Technische Samenvatting: Verificatie van Intentie en Schade: Een Verenigde Verdediging tegen door LLM gegenereerde Dreigingen

1. Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in interactieve applicaties, maar blijven kwetsbaar voor adversariële interacties die schadelijke, misleidende of beleids-overtredende outputs induceren. Bestaande verdedigingsmechanismen lijden aan een structurele beperking: ze analyseren doorgaans ofwel de gebruikersprompt (intentie) ofwel de gegenereerde respons (schade) in isolatie, maar niet beide gezamenlijk.

De auteurs identificeren een kritieke "intentie–schade-scheidingskwetsbaarheid". In veel real-world aanvallen wordt de adversariële intentie uitgedrukt in de prompt via onschuldige, educatieve, defensieve of onderzoeksgerichte inkadering, terwijl de actiegerichte schade pas manifesteert in de gegenereerde respons. Omgekeerd kan een respons gevoelige inhoud bespreken in een legitieme context (bijv. beveiligingseducatie of malware-analyse) zonder schade mogelijk te maken. Eenzijdige verdedigingen falen hier: defensies die alleen op de prompt gericht zijn, missen schadelijke responsen die vermomd zijn door onschuldige inkadering, terwijl defensies die alleen op de respons gericht zijn, legitieme verzoeken met gevoelige inhoud overmatig blokkeren omdat ze niet kunnen redeneren over de intentie van de gebruiker. Dit creëert een structurele blinde vlek waar onveilige interacties onschuldig lijken wanneer ze vanuit slechts één zijde worden bekeken.

2. Methodologie: Prompt–Respons Verificatie

Om deze structurele kwetsbaarheid aan te pakken, stellen de auteurs Prompt–Respons Verificatie voor, een beveiligingsprincipe dat zowel de intentie van de gebruiker als de schade van de respons gezamenlijk evalueert voordat de respons aan de gebruiker wordt geleverd. Dit wordt geïnstantieerd via een verificatie-gecentreerd multi-agent verdedigingsframework dat fungeert als een post-generatie laag.

Framework Architectuur

Het framework maakt gebruik van drie gespecialiseerde agenten, die alle de gebruikersprompt en de door de LLM gegenereerde respons als input ontvangen, maar zich richten op orthogonale redeneerdimensies:

1. Task Analyst (TA): Evalueert de gebruikersprompt om adversariële intentie te identificeren. Het classificeert verzoeken in vijf taaktypen (generatief, regeneratief, instructief, contextueel, multi-turn) en maakt onderscheid tussen legitiem gebruik (bijv. beveiligingseducatie) en pogingen om de LLM te exploiteren voor kwaadaardige generatie.
2. Safety Analyst (SA): Evalueert de door de LLM gegenereerde respons op schadelijke inhoud over vijf dreigingscategorieën: jailbreaks, prompt injection, phishing/social engineering, kwaadaardige code/cyber misbruik, en schadelijke/toxische inhoud. Het richt zich op de acteerbaarheid en ernst van de dreiging in plaats van op oppervlakkige trefwoorden.
3. Judge: Fungeert als een conflictoplosser. Het onderzoekt de beoordelingen van de TA en SA via een gestructureerd twee-rondes dialoogprotocol. De Judge lost onenigheid op door veiligheids-consistente beslisregels toe te passen, waarbij prioriteit wordt gegeven aan de ernst van de schade wanneer hoog-risico procedurele inhoud wordt gedetecteerd, of het verminderen van fout-positieven wanneer een duidelijke onschuldige intentie is vastgesteld.

Twee-Rondes Dialoogprotocol

De agenten interageren via een deterministisch twee-rondes protocol om onafhankelijke verificatie en kruisverhoring af te dwingen:

• Ronde 1: De TA en SA evalueren onafhankelijk de prompt-respons paren zonder toegang tot elkaars redenering. Dit voorkomt dat adversariële inkadering in de prompt de schade-beoordeling besmet en voorkomt dat schadelijke output de intentie-classificatie beïnvloedt.
• Ronde 2: Beide agenten ontvangen elkaars beoordelingen uit Ronde 1 en worden uitgenodigd om hun standpunten te verfijnen. Bijvoorbeeld, de SA kan de beoordeling opschalen als de TA identificeert dat een verzoek om "informatie" eigenlijk een verzoek is om procedurele schade, of de TA kan een classificatie herzien als de SA identificeert dat er actiegerichte schade in de inhoud zit.
• Finale Beslissing: De Judge beoordeelt de volledige uitwisseling en produceert een definitieve toelatings- of weigeringsbeslissing.

Aanpasbaarheid

Het framework legt alle veiligheidslogica vast in System Instructions (SI's) in plaats van in modelgewichten. Dit stelt het systeem in staat om zich aan te passen aan nieuwe dreigingscategorieën of strategieën via SI-updates alleen, zonder het onderliggende model te hertrainen of nieuwe data te verzamelen. De architectuur is model-agnostisch en kan worden ingezet over diverse LLM-backbones.

3. Evaluatie en Resultaten

Het framework werd geëvalueerd over vijf dreigingscategorieën (jailbreaks, prompt injection, phishing, kwaadaardige code/cyber misbruik, en schadelijke inhoud) met behulp van 18 dataset-instellingen, waaronder JailbreakBench, AdvBench, PhishBots, MOCHA en HarmBench.

Belangrijke Prestatie-metrieken

• Detectienauwkeurigheid: Het framework presteerde consequent beter dan de sterkste toepasbare baselines voor elke categorie. Over alle dreigingscategorieën verbeterde de gemiddelde F1-score van 0,898 (sterkste baselines) naar 0,952.
• Attack Success Rate (ASR): Het framework reduceerde de gemiddelde ASR naar 4,1%.
• Fout-positieven: Bij onschuldige-gevoelige verzoeken (bijv. beveiligingseducatie, beleidsdiscussie) verminderde het framework de False Positive Rate (FPR) van 0,116 (Single-Agent+CoT baseline) naar 0,062, wat het overmatig blokkeren aanzienlijk vermindert.
• Vergelijking met Baselines: Vergeleken met een Single-Agent+CoT baseline verbeterde het volledige framework de gemiddelde F1 van 0,872 naar 0,953.

Robuustheid tegen Adaptieve Aanvallen

De auteurs evalueerden de robuustheid tegen architectuur-bewuste adaptieve aanvallen, waarbij aanvallers de structuur van de verifieerder kennen en proberen individuele componenten te omzeilen (bijv. intentie-obfuscatie of Judge-gerichte aanvallen).

• Onder intentie-obfuscatie aanvallen verminderde het volledige framework de adaptieve ASR naar 0,073, vergeleken met 0,219 voor Single-Agent+CoT.
• Onder Judge-gerichte aanvallen behield het framework een gemiddelde ASR van 0,089, vergeleken met 0,241 voor de baseline.
• De resultaten wijzen erop dat het framework meer elegant degradeert omdat aanvallen simultaan de intentie-analyse, de schade-beoordeling en de conflictresolutie moeten ondermijnen.

Kosten-tradeoff

Het framework introduceert extra latentie en tokenverbruik (2,81 seconden en 1.740 tokens per sample) vergeleken met single-pass baselines. De auteurs concluderen dat deze kosten gerechtvaardigd zijn voor onzekere, hoog-risico of beleid-gevoelige interacties waar het voorkomen van onveilige levering van essentieel belang is.

4. Belangrijkste Bijdragen

1. Identificatie van Intentie–Schade-scheiding: Het artikel stelt vast dat het scheiden van adversariële intentie (in de prompt) van actiegerichte schade (in de respons) een structurele beperking is van bestaande eenzijdige defensies.
2. Prompt–Respons Verificatie Principe: Het stelt een verenigd beveiligingsprincipe voor dat beide signalen gezamenlijk verifieert voordat levering plaatsvindt, geïnstantieerd via een multi-agent framework met gespecialiseerde rollen (Task Analyst, Safety Analyst, Judge).
3. Verenigde Dreigingsdekking: Het framework demonstreert consistente verbeteringen over vijf diverse LLM-gefaciliteerde dreigingscategorieën zonder dat modelhertraining vereist is.
4. Robuustheid Validatie: Door middel van ablatie-studies en evaluaties van adaptieve aanvallen toont het papier aan dat gestructureerde kruisverificatie beter presteert dan single-agent redenering, CoT-baselines en regelgebaseerde aggregatie, terwijl het lage fout-positieve ratio's behoudt op onschuldige-gevoelige verzoeken.
5. Praktisch Implementatiepad: Het SI-gebaseerde ontwerp biedt een model-agnostische benadering die dynamisch kan worden bijgewerkt om evoluerende dreigingen aan te pakken.

5. Betekenis en Claims

Het papier claimt dat prompt–respons verificatie een praktische fundering biedt voor het beveiligen van LLM-applicaties tegen evoluerende adversariële dreigingen. De betekenis ligt in het aanpakken van de "structurele blinde vlek" waar bestaande defensies er niet in slagen intentie met uitkomst te correleren. Door de intentie- en schade-signalen expliciet te scheiden en vervolgens te reconciliëren, biedt het framework een robuuster verdedigingsmechanisme dat minder vatbaar is voor adversariële inkadering en intentie-obfuscatie.

De auteurs positioneren dit werk niet als een vervanging voor continue red-teaming of menselijke controle, maar als een complementaire laag die de betrouwbaarheid van LLM-interacties in scenario's met hoge inzet verhoogt. De resultaten suggereren dat het kernvoordeel niet louter het gebruik van meerdere agenten is, maar de expliciete scheiding van beveiligingssignalen die bestaande defensies vaak samenvoegen of in isolatie inspecteren.