Technische Samenvatting: Clouding the Mirror

Probleemstelling

Phishingaanvallen nemen zowel in volume als in verfijning toe, met recente kwartaaltotalen die de 1,1 miljoen incidenten overschrijden. Hoewel Large Language Models (LLM's) zijn opgekomen als veelbelovende instrumenten voor het detecteren van phishingwebsites door URL's, HTML en gerenderde inhoud holistisch te analyseren, introduceren ze een kritiek nieuw kwetsbaarheid: Prompt Injection (PI).

Het kernprobleem dat wordt geadresseerd is de "perceptuele asymmetrie" tussen menselijke gebruikers en LLM's. Aanvallers, die volledige controle hebben over de componenten van de phishingwebsite (URL's, HTML, scripts, afbeeldingen), kunnen kwaadaardige instructies inbedden die onzichtbaar zijn voor menselijke bezoekers maar volledig parseerbaar zijn voor de LLM. Deze verborgen instructies kunnen het oordeel van de LLM manipuleren om phishingwebsites als legitiem te classificeren, de detectiepipeline te verstoren of systeembronnen uit te putten. Ondanks de prevalentie van PI in conversationele AI, blijven de specifieke risico's en mitigatiestrategieën binnen de context van geautomatiseerde phishingdetectie grotendeels onverkend.

Methodologie

De studie maakt gebruik van een systematisch evaluatiekader bestaande uit een nieuwe taxonomie, empirische testen en defensieve validatie.

1. Tweidimensionale Taxonomie

De auteurs introduceren een taxonomie om PI-strategieën in phishingdetectie te categoriseren, gedefinieerd door twee assen:

• Aanvalstechnieken:
  • Hoofdtechnieken: Legitieme Pretexting (beweren educatieve of onderzoeksdoeleinden te dienen), Role Hijacking (het toewijzen van nieuwe persona's aan de LLM), Safety Policy Triggering (weigering afdwingen via veiligheidsfilters), Tool/Function Hijacking (het corrumperen van outputformaten) en Content Flooding/Distraction (het induceren van DoS of token-uitputting).
  • Auxiliaire technieken: Stealth Encoding (visuele verhulling) en Parser Boundary Confusion (het exploiteren van ambiguïteiten in tag-parsing).
• Aanvalsoppervlakken: De specifieke locaties waar injecties worden ingebed, waaronder HTML Metadata (titel, meta-tags), Script en Comments, HTML Visible Content, HTML Invisible Content (verborgen via CSS), Embedded Resources (afbeeldingen/SVG's) en URL-structuren.

2. Experimentele Opstelling

• Dataset: Een gecontroleerde dataset van 2.000 HTML-bestanden werd geconstrueerd, waarbij de inlogpagina's van de top 10 doelgerichte merken (bijv. Amazon, Google, Microsoft) werden nagebootst. Elk bestand incorporeerde diverse PI-berichten over acht verschillende insertielocaties.
• Geëvalueerde Modellen: Vier LLM's met variërende architecturen en prestatieniveaus werden getest: OpenAI GPT-5, xAI Grok 4 Fast, Meta Llama 4 Maverick en Google Gemma 3 27B.
• Detectiemodi:
  • Standaard: Eenvoudige query ("Is dit een phishingwebsite?").
  • Geavanceerd: Gestructureerde prompts met gedetailleerde analyseprocedures.
  • InjectDefuser: Het voorgestelde defensieve framework.

3. Defensief Framework: InjectDefuser

De auteurs stellen InjectDefuser voor, een gelaagd defensief mechanisme bestaande uit:

• Prompt Hardening: Implementatie van unieke UUID-gebaseerde contextgrenzen om vertrouwde systeeminstructies te scheiden van onbetrouwbare externe data, en het gebruik van meta-instructies om expliciet het uitvoeren van directieven gevonden in onbetrouwbare regio's te verbieden.
• Allowlist RAG (Retrieval-Augmented Generation): Een systeem dat merknamen uit de doelwebsite extraheert, een lijst met legitieme domeinen ophaalt uit een vectordatabase, en de prompt aanvult met deze geverifieerde context om de besluitvorming van de LLM te funderen.
• Output Validatie: Strikte verificatie van de LLM-respons tegen vooraf gedefinieerde JSON-schema's, waarbij wordt gecontroleerd op syntaxis, vereiste velden en datatypen om formatmanipulatie te detecteren.

Belangrijkste Resultaten

Kwetsbaarheid van State-of-the-Art Modellen

Zelfs de meest geavanceerde modellen blijven zeer vatbaar voor PI zonder specifieke verdediging:

• GPT-5: In "Standaard" modus was de Attack Success Rate (ASR) 39,9%. Zelfs in "Geavanceerde" modus bleef het kwetsbaar voor specifieke technieken (10,1% ASR).
• Andere Modellen: Llama 4 vertoonde een ASR van 84,7% in de Standaard modus, terwijl Grok 4 Fast en Gemma 3 respectievelijk rates van 65,1% en 64,7% lieten zien.
• Effectiviteit van Technieken: "Legitimate Pretexting" was de meest effectieve aanval, met ASR's tot 99,8% op bepaalde modellen. "Role Hijacking" en "Safety Policy Triggering" demonstreerden ook hoge succespercentages, afhankelijk van het model.

Effectiviteit van InjectDefuser

Het voorgestelde defensieve framework verminderde de aanvalssuccesratio's aanzienlijk over alle modellen:

• GPT-5: ASR daalde van 39,9% naar 0,3% (5/2000 mislukkingen).
• Grok 4 Fast: ASR verminderde van 65,1% naar 26,1%.
• Llama 4: ASR verminderde van 84,7% naar 61,7%.
• Gemma 3: ASR verminderde van 64,7% naar 36,7%.

De verdediging was bijzonder effectief tegen "Legitimate Pretexting" en "Role Hijacking", waarbij de ASR van GPT-5 voor deze technieken bijna naar nul werd teruggebracht. "Content Flooding" bleef echter een uitdaging, met een resterende ASR van 1,0% op GPT-5, wat aangeeft dat aanvallen op bronuitputting moeilijker volledig te mitigeren zijn.

Evaluatie van URL-gebaseerde en Bestaande Systemen

• URL-gebaseerde PI: InjectDefuser bereikte een ASR van 0,0% op GPT-5 voor URL-gebaseerde injecties, waardoor pogingen die voorheen 20,0% succes behaalden, volledig werden geneutraliseerd.
• Bestaande Pipelines: Bij toepassing op bestaande LLM-gebaseerde detectiesystemen (PhishLLM, KnowPhish, PhishAgent) slaagden PI-aanvallen in 2,5% tot 25,0% van de gevallen, wat aantoont dat gedeeltelijke componentfalen de gehele detectiepipeline kan compromitteren.

Betekenis en Claims

Het artikel claimt de eerste uitgebreide evaluatie te bieden van prompt injection-aanvallen die specifiek gericht zijn op multimodale LLM-gebaseerde phishingdetectie. De primaire bijdragen zijn:

1. Taxonomie: Het vestigt een systematisch begrip van hoe "perceptuele asymmetrie" kan worden geëxploiteerd, door aanvallen te categoriseren naar techniek en oppervlak.
2. Empirisch Bewijs: Het demonstreert dat huidige state-of-the-art modellen, inclusief GPT-5, niet inherent robuust zijn tegen PI in phishing-contexten, wat de aanname dat geavanceerde redeneercapaciteiten gelijkstaan aan veiligheid uitdaagt.
3. Praktische Verdediging: Het introduceert InjectDefuser, een praktisch, systeem-agnostisch defensief framework dat prompt engineering, RAG en output-validatie combineert. De auteurs tonen aan dat deze aanpak de betrouwbaarheid aanzienlijk verbetert zonder dat modelretraining vereist is.

De auteurs concluderen dat hoewel PI een concreet gevaar vormt voor de implementatie van de volgende generatie phishing-tegenmaatregelen, de voorgestelde defensieve strategieën een levensvatbaar pad bieden naar robuuste en betrouwbare detectiesystemen. Zij merken op dat hoewel hun bevindingen suggereren dat deze aanvallen nog niet wijdverspreid zijn in de praktijk, de haalbaarheid en lage kosten van dergelijke aanvallen directe defensieve maatregelen noodzakelijk maken.