Technisches Resümee: Bewertung von KI-generierten vs. menschlich verfassten Spear-Phishing-SMS-Angriffen

Problemstellung

Personalisiertes Phishing (Spear Phishing) bleibt eine kritische Cybersicherheitsbedrohung, da Nachrichten auf die spezifische Arbeit, Interessen und den sozialen Kontext eines Ziels zugesgemacht werden können, was sie äußerst überzeugend macht. Während Large Language Models (LLMs) versprechen, die Erstellung solcher gezielter Inhalte in großem Maßstab und zu geringen Kosten zu automatisieren, gibt es eine erhebliche Lücke in der empirischen Literatur darüber, ob KI-generierte Nachrichten tatsächlich überzeugender sind als von Menschen verfasste Nachrichten, wenn beide auf dieselbe Person zugeschnitten sind. Zudem ist unklar, ob Ziele zuverlässig zwischen KI- und menschlichen Quellen unterscheiden können oder ob der Text selbst detektierbare Signale seines Ursprungs bewahrt. Diese Studie adresst diese Lücken durch einen Vergleich von GPT-4-generierten Spear-Phishing-SMS (Smishing) mit Nachrichten, die von Novizen (menschlichen Autoren) für dieselben 25 Zielpersonen verfasst wurden.

Methodik

Die Studie verwendete ein Pilotdesign mit 25 Teilnehmern, die als Ziele fungierten. Die Forschung nutzte ein vorgeschlagenes Evaluierungs-Framework namens TRAPD (Threshold Ranking Approach for Personalized Deception), das darauf ausgelegt ist, kontrollierte, ethische Vergleiche von personalisierten Täuschungsinhalten zu ermöglichen, ohne Live-Angriffe einzusetzen.

Experimentelles Design

1. Rekrutierung der Zielpersonen: 41 Personen nahmen an einer Umfrage teil, um persönliche Daten (Name, Beruf, Hobbys, aktuelle Social-Media-Beiträge usw.) bereitzustellen. 25 dieser Teilnehmer kehrten für die Evaluationsphase zurück.
2. Nachrichtengenerierung:
   • KI-Bedingung: GPT-4 (via OpenAI API, Temperatur 0,7) generierte Nachrichten basierend auf einer gemeinsamen Prompt-Struktur unter Verwendung der Daten des Ziels.
   • Menschliche Bedingung: 99 Novizen (Studenten der Informatik/Cybersecurity bzw. Honors-Studenten) schrieben unter Zeitdruck (ca. 15 Minuten) Nachrichten unter Verwendung derselben Prompt-Struktur.
   • Themen: Nachrichten wurden für drei spezifische Kontexte pro Ziel generiert: Arbeitsbezogen, Hobby-bezogen und Social-Media-bezogen.
   • Volumen: Jedes Ziel erhielt insgesamt 12 Nachrichten (6 KI-generiert, 6 menschlich verfasst; jeweils 2 pro Thema).
3. Evaluierungsverfahren (TRAPD):
   • Ranking: Die Teilnehmer ordneten die 12 Nachrichten physisch von der höchsten zur niedrigsten Wahrscheinlichkeit sortiert, einen Klick zu provozieren.
   • Schwellenwertbildung (Thresholding): Die Teilnehmer markierten einen Schwellenwert in der Rangliste, der den Punkt angab, oberhalb dessen sie die Absicht hätten, zu klicken.
   • Qualitative Erklärung: Die Teilnehmer erklärten ihre Begründung für das Ranking und die Schwellenwerte.
   • Quellenattribuierung: Die Teilnehmer identifizierten, welche Nachrichten sie für KI-generiert hielten, und erklärten ihre Kriterien.
4. Komputationale Analyse: Ein logistisches Regressionsmodell wurde unter Verwendung semantischer Embeddings (text-embedding-3-small) trainiert, um zwischen den beiden Nachrichtensätzen zu unterscheiden. Diese Analyse beinhaltete Sensitivitätstests, bei denen offensichtliche Oberflächenmerkmale (URLs, Emojis, Länge, Interpunktion) normalisiert wurden, um zu testen, ob der Klassifikator auf tiefer liegende Textmuster zurückgriff.

Zentrale Beiträge

1. Kontrollierter Vergleich: Bietet einen direkten Vergleich innerhalb eines Ziels zwischen GPT-4-generierten und menschlich verfassten personalisierten Smishing-Nachrichten – eine Lücke in der bestehenden Literatur, die sich weitgehend auf E-Mail oder Massen-Phishing konzentriert hat.
2. Bewertung der Quellenattribuierung: Dokumentiert die Genauigkeit menschlicher Ziele bei der Unterscheidung zwischen KI- und menschlichen Quellen und analysiert die spezifischen Hinweise (oder deren Fehlen), auf die sie sich verlassen.
3. Merkmalsanalyse: Identifiziert Nachrichtencharakteristika (Relevanz, Identität des Absenders, URL-Struktur, Stil, Dringlichkeit), die Teilnehmer mit Überzeugungskraft oder Verdacht assoziieren.
4. Komputationale Unterscheidbarkeit: Zeigt, dass die Texte der studienspezifischen Nachrichtensätze trotz der Unfähigkeit der Menschen, die Quellen zu unterscheiden, komputational unterscheidbar bleiben, selbst nachdem für oberflächliche Merkmale kontrolliert wurde.
5. TRAPD-Framework: Führt das TRAPD-Framework ein und dokumentiert dessen Durchführbarkeit sowie Grenzen für den kontrollierten, innerhalb eines Ziels erfolgenden Vergleich von personalisierten Täuschungsinhalten, wobei eine gewisse Reduktion der ökologischen Realität zugunsten einer strengen Kontrolle innerhalb des Ziels und reicher qualitativer Daten in Kauf genommen wird.

Ergebnisse

Überzeugungskraft (RQ1 & RQ2)

• KI vs. Mensch: GPT-4-generierte Nachrichten riefen in 28,0 % der Fälle eine Klickabsicht hervor, verglichen mit 21,3 % bei menschlich verfassten Nachrichten. Dieser Unterschied war jedoch nicht statistisch signifikant (95 % KI: -2,9 bis 16,3 Prozentpunkte; p = 0,147). Die Studie stellt weder fest, dass KI Menschen übertrifft, noch dass die Bedingungen äquivalent sind.
• Themenrelevanz: Arbeitsbezogene Nachrichten waren signifikant überzeugender als Hobby- oder Social-Media-Nachrichten. 38 % der arbeitsbezogenen Nachrichten überschritten den beabsichtigten Klick-Schwellenwert, verglichen mit 19 % für Hobbys und 17 % für Social Media. Arbeitsbezogene Nachrichten hatten signifikant höhere Chancen auf einen beabsichtigten Klick als die anderen beiden Kategorien (p < 0,05 nach Holm-Adjustierung).
• Qualitative Treiber: Die Teilnehmer nannten persönliche Relevanz (76 %), Identität des Absenders (68 %) und URL-Charakteristika (64 %) als primäre Faktoren. Eine genaue Personalisierung erhöhte die Glaubwürdigkeit, während Diskrepanzen (z. B. falsche Kollegen, irrelevante Themen) Misstrauen erregten.

Quellenattribuierung (RQ3 & RQ4)

• Menschliche Genauigkeit: Teilnehmer identifizierten die Quelle (KI vs. Mensch) nur in 52,0 % der Fälle korrekt, was nicht besser als der Zufall ist (p = 0,597).
• Genutzte Hinweise: Trotz der geringen Genauigkeit stützten sich Teilnehmer auf inkonsistente Hinweise wie „Stil“ (Formalität, generischer Ton), „Wortwahl“ (Buzzwords vs. Slang), „Grammatik“ (Perfektion vs. Fehler) und „Emojis“. Viele Teilnehmer äußerten Unsicherheit und verließen sich eher auf ein „Bauchgefühl“ als auf konkrete Kriterien.

Komputationale Quellenattribuierung (RQ5)

• Maschinelle Unterscheidbarkeit: Im Gegensatz zur menschlichen Leistung konnte ein komputationaler Klassifikator die Nachrichtensätze mit hoher Genauigkeit unterscheiden, selbst nach strenger Normalisierung (Entfernung von URLs, Emojis, Standardisierung von Länge/Großschreibung).
• Leistung: Unter der strengsten Bedingung (längengleiche, normalisierte Texte) erreichte der Klassifikator eine balancierte Genauigkeit (Balanced Accuracy) von 88,7 % und einen ROC AUC von 0,954 bei ungesehenen Zielpersonen. Dies deutet darauf hin, dass die studienspezifischen Nachrichtensätze subtile, verteilte Textmuster enthielten, die für Maschinen detektierbar, für Menschen jedoch nicht waren.

Bedeutung und Behauptungen

Das Paper behauptet, dass die zugängliche KI-gestützte Personalisierung die praktische Skalierbarkeit von Social-Engineering-Bedrohungen erhöhen kann, selbst wenn einzelne KI-Nachrichten derzeit nicht besser als menschliche sind. Die Kernerkenntnis ist, dass ein einfacher Prompt in der Lage ist, personalisierte Nachrichten zu produzieren, die – innerhalb der Unsicherheit dieses Piloten – vergleichbar überzeugend sind wie jene, die von gescreenten Novizen verfasst wurden.

Die Studie hebt hervor, dass Arbeitsplatz-Prätexte besonders wirksam in Smishing sind, was spezifische Aufmerksamkeit in Training und Verteidigung erfordert. Sie unterstreicht zudem einen kritischen Widerspruch: Während Menschen die KI-Autorschaft nicht zuverlässig erkennen können, enthalten die Texte berechenbare Signale. Die Autoren weisen jedoch darauf hin, dass diese komputationalen Ergebnisse spezifisch für die Bedingungen der Studie sind (ein Modell, ein Prompt, Novizen-Autoren) und nicht als allgemeiner KI-Detektor betrachtet werden sollten, insbesondere da Angreifer Texte überarbeiten können, um der Detektion zu entgehen.

Abschließend positioniert das Paper TRAPD als ein wertvolles, ethisch vertretbares Framework für die zukünftige Forschung, das kontrollierte Vergleiche und detaillierte Analyse des Begründungsverfahrens ermöglicht, die durch Live-Phishing-Experimente nicht gegeben sind, während es gleichzeitig dessen Limitationen hinsichtlich der ökologischen Validität und Generalisierbarkeit anerkennt.