Intent Laundering: AI Safety Datasets Are Not What They Seem

Probleemstelling

De auteurs stellen dat de huidige evaluatie van de veiligheid van AI-modellen (LLM's) gebaseerd is op een fundamenteel gebrek aan realisme in de gebruikte adversarial safety datasets, zoals AdvBench en HarmBench. Hoewel deze datasets cruciaal zijn voor het meten van de robuustheid van veiligheidsuitlijning (safety alignment), vertonen ze twee kritieke tekortkomingen die leiden tot een overschatting van de veiligheid van modellen:

1. Overreliance op "Triggering Cues": De datasets bevatten een overvloed aan expliciete woorden en zinsconstructies met negatieve of gevoelige connotaties (bijv. "stelen", "zelfmoord plegen", "zonder betrapt te worden"). Deze termen fungeren als directe triggers voor veiligheidsmechanismen. In werkelijkheid gebruiken echte kwaadwillenden (adversaries) echter zelden zo'n expliciete taal, omdat dit hun intentie direct verraadt en de kans op afwijzing vergroot.
2. Gebrek aan Diversiteit en Duplicitie: Door het herhaaldelijk gebruik van dezelfde triggers, vertonen de datasets een hoge mate van duplicatie. Veel datapunten zijn nagenoeg identiek in zinstructuur en kwaadaardige intentie. Dit ondermijnt de eigenschap van "out-of-distribution" (buiten de verdeling), die essentieel is voor het simuleren van echte, gevarieerde aanvallen.

Het gevolg is dat modellen die deze datasets "slagen" (lage aanvalssuccespercentages), dit vaak doen omdat ze de expliciete triggers herkennen en afwijzen, niet omdat ze de onderliggende kwaadaardige intentie begrijpen en kunnen weerstaan.

Methodologie

De auteurs introduceren een nieuwe procedure genaamd "Intent Laundering" (intentiewas) om dit probleem te onderzoeken en te exploiteren. Deze methode heeft twee fasen:

1. Analyse in Isolatie (Dataset Kwaliteit)

• N-gram Woordwolken: De auteurs analyseren de frequentie van unigrammen, bigrammen en trigrammen in AdvBench en HarmBench. Ze identificeren systematisch "triggering cues" (woorden/frazen met expliciete negatieve connotaties).
• Pairwise Similariteit: Ze meten de semantische gelijkenis tussen datapunten. Ze vinden dat meer dan 45% van de datapunten in AdvBench bijna identiek is bij een hoge drempelwaarde, wat veel hoger is dan in niet-veiligheidsdatasets (zoals GSM8K).

2. Intent Laundering Procedure

Dit is een transformatieproces dat overt triggerende taal verwijdert terwijl de kwaadaardige intentie en alle relevante details strikt behouden blijven. Het bestaat uit twee componenten:

• Connotatie Neutralisatie: Het vervangen van negatieve/sensitieve termen door neutrale of positieve alternatieven (bijv. "stelen" wordt "overnemen" of beschrijvend taalgebruik).
• Context Transpositie: Het vervangen van realistische referenties (bijv. "immigranten", "charity") door fictieve of niet-reële contexten (bijv. een spelwereld), terwijl de logica en toepasbaarheid voor de echte wereld behouden blijven.

Dit proces wordt geautomatiseerd met een Intent Launderer (een LLM met few-shot in-context learning), die originele aanvallen omzet in "gewassen" versies.

3. Evaluatie en Jailbreaking

• Evaluatiecriteria: Antwoorden worden beoordeeld op Veiligheid (is het antwoord schadelijk?) en Praktijk (is het antwoord toepasbaar in de echte wereld?). Een aanval is succesvol als het antwoord zowel onveilig als praktisch is.
• Iteratieve Regeneratie: Om intent laundering te gebruiken als een jailbreak-techniek, wordt een lus toegevoegd. Als een poging faalt, worden de eerdere mislukte pogingen als feedback gebruikt om een verbeterde versie te genereren. Dit proces herhaalt zich totdat een succespercentage wordt bereikt.

Belangrijkste Bijdragen

1. Kritiek op Bestaande Datasets: Het paper bewijst dat populaire safety datasets (AdvBench, HarmBench) realistische adversarial gedrag niet eerlijk weergeven vanwege hun afhankelijkheid van onrealistische triggers.
2. Introductie van Intent Laundering: Een procedure die empirisch aantoont dat het verwijderen van triggers de aanvalssuccespercentages (ASR) drastisch verhoogt, wat aangeeft dat de oorspronkelijke veiligheidsscores gebaseerd waren op oppervlakkige taalherkenning.
3. Nieuwe Jailbreak-Techniek: Intent laundering wordt aangepast tot een krachtige, zwarte-kader (black-box) jailbreak-methode die iteratief faalt en verbetert.
4. Ontkoppeling van Evaluatie en Realiteit: Het paper identificeert een groot gat tussen hoe modellen momenteel worden getest en hoe echte aanvallers opereren.

Resultaten

De experimenten werden uitgevoerd op 10 verschillende modellen, waaronder de meest geavanceerde en veilig geachte modellen zoals Gemini 3 Pro, Claude Sonnet 3.7/4, GPT-4o en Llama 3.3.

• Drastische Stijging in ASR:
  • Op AdvBench: Het gemiddelde ASR steeg van 3,86% (originele dataset met triggers) naar 87,54% na de eerste intent-laundering.
  • Op HarmBench: Het ASR steeg van 10,55% naar 79,10%.
  • Op StrongREJECT (een dataset buiten de training van de methode): Het ASR steeg van 3,54% naar 88,06%.
• Effectiviteit van Iteratieve Regeneratie: Wanneer intent laundering wordt gebruikt als jailbreak-techniek met een regeneratielus, bereiken alle geteste modellen een ASR van 90,00% tot 100,00% binnen slechts een paar iteraties, zelfs onder volledige black-box toegang.
• Behoud van Praktijk: Ondanks de abstractie (neutralisatie en contextverschuiving) bleven de gegenereerde antwoorden 98% - 100% praktisch toepasbaar in de echte wereld.
• Generalisatie: De methode werkt even goed op datasets die niet gebruikt zijn voor het ontwerp van de methode, wat suggereert dat de kwetsbaarheid universeel is in de huidige safety-uitlijning.

Betekenis en Conclusie

De bevindingen van dit paper zijn alarmerend voor het veld van AI-veiligheid:

1. Overschatting van Veiligheid: Modellen die als "veilig" worden geclassificeerd op basis van huidige benchmarks, zijn in werkelijkheid kwetsbaar voor realistische aanvallen die geen expliciete triggers gebruiken.
2. Gebrek aan Robuustheid: De huidige veiligheidsuitlijning (safety alignment) lijkt te vertrouwen op het detecteren van specifieke "verboden woorden" in plaats van het begrijpen van de onderliggende intentie en context.
3. Noodzaak tot Evolutie: De auteurs concluderen dat safety-evaluaties moeten evolueren om realistischere, subtielere aanvallen te omvatten. Zolang datasets afhankelijk blijven van triggering cues, zullen veiligheidsmaatregelen kwetsbaar blijven voor echte bedreigingen.

Het paper pleit voor een verschuiving van evaluaties die focussen op oppervlakkige taalpatronen naar evaluaties die de complexiteit en subtiliteit van echte adversarial gedrag weerspiegelen.