Technische Samenvatting: Beoordeling van AI-gegenereerde versus door mensen geschreven spear phishing SMS-aanvallen

Probleemstelling

Gepersonaliseerde phishing (spear phishing) blijft een kritieke cyberbeveiligingsdreiging omdat berichten kunnen worden afgestemd op de specifieke werkzaamheden, interesses en sociale context van een doelwit, wat ze zeer overtuigend maakt. Hoewel Large Language Models (LLM's) beloven de creatie van dergelijke gerichte inhoud op schaal en tegen lage kosten te automatiseren, is er een aanzienlijk gat in de empirische literatuur over de vraag of AI-gegenereerde berichten daadwerkelijk overtuigender zijn dan door mensen geschreven berichten wanneer beide zijn afgestemd op hetzelfde individu. Bovale is het onduidelijk of doelwitten betrouwbaar onderscheid kunnen maken tussen AI- en menselijke bronnen, of dat de tekst zelf detecteerbare signalen van herkomst behoudt. Deze studie adresseert deze hiaten door GPT-4-gegenereerde spear phishing SMS-berichten (smishing) te vergelijken met berichten geschreven door beginnende menselijke auteurs voor dezelfde 25 doelwitten.

Methodologie

De studie maakte gebruik van een pilot-ontwerp waarbij 25 deelnemers fungeerden als doelwitten. Het onderzoek maakte gebruik van een voorgesteld evaluatiekader genaamd TRAPD (Threshold Ranking Approach for Personalized Deception), ontworpen om gecontroleerde, ethische vergelijkingen van gepersonaliseerde misleidende inhoud mogelijk te maken zonder live aanvallen uit te voeren.

Experimenteel Ontwerp

1. Werving van Doelwitten: 41 individuen voltooiden een enquête waarin persoonlijke gegevens werden verstrekt (naam, beroep, hobby's, recente sociale mediaberichten, etc.). 25 van deze deelnemers keerden terug voor de evaluatiefase.
2. Berichtgeneratie:
   • AI-conditie: GPT-4 (via OpenAI API, temperatuur 0.7) genereerde berichten op basis van een gedeelde promptstructuur met behulp van de gegevens van het doelwit.
   • Menselijke conditie: 99 beginnende student-auteurs (studenten bachelor cybersecurity/honors) schreven berichten onder tijdsdruk (ongeveer 15 minuten) met behulp van dezelfde promptstructuur.
   • Onderwerpen: Berichten werden gegenereerd voor drie specifieke contexten per doelwit: werkgerelateerd, hobbygerelateerd en sociaal mediaal gerelateerd.
   • Volume: Elk doelwit ontving in totaal 12 berichten (6 AI-gegenereerd, 6 door mensen geschreven; 2 van elk per onderwerp).
3. Evaluatieprocedure (TRAPD):
   • Rangschikking: Deelnemers rangschikten de 1s 12 berichten fysiek van meest naar minst waarschijnlijk om tot een klik te leiden.
   • Drempelwaarde: Deelnemers markeerden een drempelwaarde op de gerangschikte lijst die het punt aangaf boven welk zij de intentie zouden hebben om te klikken.
   • Kwalitatieve Verklaring: Deelnemers legden hun redenering voor rangschikking en drempelwaarden uit.
   • Bronattributie: Deelnemers identificeerden welke berichten zij geloofden dat AI-gegenereerd waren en legden hun criteria uit.
4. Computationele Analyse: Een logistische regressieclassifier met semantische embeddings (text-embedding-3-small) werd getraind om de twee berichtensets van elkaar te onderscheiden. Deze analyse omvatte sensitiviteitstests waarbij overduidelijke oppervlakkige kenmerken (URL's, emoji's, lengte, interpunctie) werden genormaliseerd om te testen of de classifier vertrouwde op diepere tekstuele patronen.

Belangrijkste Bijdragen

1. Gecontroleerde Vergelijking: Biedt een directe, binnen-doelwit vergelijking van GPT-4-gegenereerde en door mensen geschreven gepersonaliseerde smishing-berichten, een gat in de bestaande literatuur die zich grotendeels heeft gericht op e-mail of bulk-phishing.
2. Beoordeling van Bronattributie: Documenteert de nauwkeurigheid waarmee menselijke doelwitten onderscheid maken tussen AI- en menselijke bronnen en analyseert de specifieke aanwijzingen (of het gebrek daaraan) waarop zij vertrouwen.
3. Kenmerkanalyse: Identificeert berichtkenmerken (relevantie, identiteit van de afzender, URL-structuur, stijl, urgentie) die deelnemers associëren met overtuigingskracht of achterdocht.
4. Computationele Onderscheidbaarheid: Toont aan dat hoewel mensen de bronnen niet kunnen onderscheiden, de tekst van de specifieke berichtensets van de studie computationeel onderscheidbaar blijft, zelfs na controle voor oppervlakkige kenmerken.
5. TRAPD-framework: Introduceert het TRAPD-framework en documenteert de haalbaarheid en beperkingen ervan voor gecontroleerde, binnen-doelwit vergelijking van gepersonaliseerde misleidende inhoud, waarbij een deel van de ecologische realiteitszin wordt ingeruild voor strikte binnen-doelwit controle en rijke kwalitatieve data.

Resultaten

Overtuigingskracht (RQ1 & RQ2)

• AI versus Mens: GPT-4-gegenereerde berichten riepen in 28,0% van de gevallen de intentie tot klikken op, vergeleken met 21,3% voor door mensen geschreven berichten. Echter, dit verschil was niet statistisch betrouwbaar (95% BI: -2,9 tot 16,3 procentpunten; p = 0,147). De studie stelt noch vast dat AI de mens overtreft, noch dat de condities gelijkwaardig zijn.
• Impact van Onderwerp: Werkgerelateerde berichten waren aanzienlijk overtuigender dan hobby- of sociale media-berichten. 38% van de werkgerelateerde berichten overschreed de beoogde klikdrempel, vergeleken met 19% voor hobby's en 17% voor sociale media. Werkberichten hadden significant hogere kansen op een beoogde klik dan de andere twee categorieën (p < 0,05 na Holm-correctie).
• Kwalitatieve Drijvers: Deelnemers noemden persoonlijke relevantie (76%), identiteit van de afzender (68%) en URL-kenmerken (64%) als primaire factoren. Nauwkeurige personalisatie verhoogde de geloofwaardigheid, terwijl mismatches (bijv. onjuiste collega's, irrelevante onderwerpen) de achterdocht vergrootten.

Bronattributie (RQ3 & RQ4)

• Menselijke Nauwkeurigheid: Deelnemers identificeerden de bron (AI versus Mens) slechts 52,0% van de tijd, wat niet beter is dan toeval (p = 0,597).
• Gebruikte Aanwijzingen: Ondanks de lage nauwkeurigheid vertrouwden deelnemers op inconsistente aanwijzingen zoals "stijl" (formaliteit, generieke toon), "woordkeuze" (buzzwords versus slang), "grammatica" (perfectie versus fouten) en "emoji's". Veel deelnemers uitten hun onzekerheid en vertrouwden op "onderbuikgevoelens" in plaats van concrete criteria.

Computationele Bronattributie (RQ5)

• Machine-onderscheidbaarheid: In contrast met de menselijke prestaties kon een computationele classifier de berichtensets met hoge nauwkeurigheid onderscheiden, zelfs na strikte normalisatie (verwijderen van URL's, emoji's, standaardiseren van lengte/hoofdletters).
• Prestaties: In de strengste conditie (lengte-geëgaliseerd, genormaliseerde tekst) behaalde de classifier een Balanced Accuracy van 88,7% en een ROC AUC van 0,954 op ongeziene doelwitten. Dit suggereert dat de specifieke berichtensets van de studie subtiele, gedistribueerde tekstuele patronen bevatten die detecteerbaar zijn voor machines maar niet voor mensen.

Betekenis en Claims

Het artikel claimt dat toegankelijke AI-ondersteunde personalisatie de praktische schaal van sociale engineering-dreigingen kan vergroten, zelfs als individuele AI-berichten momenteel niet superieur zijn aan die van mensen. De belangrijkste bevinding is dat een eenvoudige prompt gepersonaliseerde berichten kan produceren die vergelijkbaar overtuigend zijn als die geschreven door gescreende beginnende mensen, binnen de onzekerheid van deze pilot.

De studie benadrukt dat werkplek-pretexts bijzonder krachtig zijn in smishing, wat specifieke aandacht verdient in training en defensie. Het onderstreept ook een kritieke discrepantie: terwijl mensen niet betrouwbaar de auteur van AI kunnen detecteren, bevat de tekst wel computationele signalen. De auteurs waarschuwen echter dat deze computationele resultaten specifiek zijn voor de condities van de studie (één model, één prompt, beginnende auteurs) en niet als een algemene AI-detector moeten worden beschouwd, vooral gezien het feit dat aanvallers tekst kunnen reviseren om detectie te vermijden.

Ten slotte positioneert het artikel TRAPD als een waardevol, ethisch verantwoord kader voor toekomstig onderzoek, waardoor gecontroleerde vergelijkingen en gedetailleerde redeneringsanalyses mogelijk worden die live phishing-experimenten niet kunnen bieden, terwijl de beperkingen met betrekking tot ecologische validiteit en generaliseerbaarheid worden erkend.