🤖 AI

Benchmarking Misuse Mitigation Against Covert Adversaries

Deze paper introduceert de Benchmarks for Stateful Defenses (BSD) om covert-adversariale aanvallen te evalueren, waarbij wordt aangetoond dat dergelijke verspreide, schijnbaar onschadelijke queries misbruik mogelijk maken en dat statische verdedigingen een veelbelovende tegemaatregel vormen.

Oorspronkelijke auteurs: Davis Brown, Mahdi Sabbaghi, Luze Sun, Alexander Robey, George J. Pappas, Eric Wong, Hamed Hassani

Gepubliceerd 2026-04-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Davis Brown, Mahdi Sabbaghi, Luze Sun, Alexander Robey, George J. Pappas, Eric Wong, Hamed Hassani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Hoe hackers slimme chatbots om de tuin leiden (en hoe we ze kunnen vangen)

Stel je voor dat je een zeer strenge, veilige poortwachter hebt. Deze poortwachter (de AI) is getraind om nooit gevaarlijke dingen te doen, zoals het bouwen van een bom of het hacken van een bankrekening. Als je vraagt: "Hoe maak ik een bom?", zegt de poortwachter direct: "Nee, dat mag niet."

Maar wat als de aanvaller slim genoeg is om de poortwachter niet direct aan te vallen? Wat als ze in plaats daarvan honderd kleine, onschuldige vragen stellen die eruitzien als normale praatjes?

Dit is precies waar dit nieuwe onderzoek over gaat. Hier is de uitleg in gewone taal, met een paar handige vergelijkingen.

1. Het probleem: De "Lego-methode"

Stel je voor dat je een enorme, onmogelijke muur wilt bouwen (een gevaarlijke taak). De poortwachter ziet je met de hele muur en blokkeert je.

Maar de aanvaller doet iets anders. Ze vragen de poortwachter niet om de muur te bouwen. Ze vragen:

"Wat is de beste cementsoort?" (Onschuldig)
"Hoe groot zijn standaard bakstenen?" (Onschuldig)
"Hoeveel weegt een emmer water?" (Onschuldig)

Elke individuele vraag lijkt volkomen onschuldig. De poortwachter geeft antwoord op elk stukje. Maar als de aanvaller al deze antwoorden verzamelt, kunnen ze er zelf de muur van bouwen. Dit noemen de auteurs een "vermomde misbruik-aanval" (covert misuse). Het is alsof je een gevaarlijk recept voor een explosief niet in één keer vraagt, maar in honderd losse, onschuldige ingrediënten.

2. De nieuwe test: De "BSD" (De Zware Test)

Vroeger testten onderzoekers AI's met simpele vragen die zelfs een slome computer kon beantwoorden. Dat was te makkelijk. Het was alsof je een elite-soldaat testte met een poppetje.

De auteurs van dit paper hebben een nieuwe test ontwikkeld, genaamd BSD (Benchmarks for Stateful Defenses).

De test is moeilijk: De vragen zijn zo lastig dat een "domme" computer (een open-source model) ze niet kan beantwoorden.
De test is gevaarlijk: De vragen gaan over echte gevaren (zoals biologische wapens of cybercrime), dus een "slimme, veilige" AI weigert ze direct.
Het doel: Kijken of een aanvaller de slimme AI kan gebruiken om de moeilijke vragen toch te laten beantwoorden, door ze op te splitsen in die onschuldige stukjes.

3. Wat ze ontdekten: De aanval werkt!

Toen ze deze test uitvoerden, zagen ze iets beangstigends:

Als je de AI direct vraagt om het gevaarlijke antwoord, zegt hij "Nee".
Maar als je de AI vraagt om de stappen (de Lego-blokjes) te geven, zegt hij "Ja" op bijna alle stappen.
De aanvaller kan dan al die antwoorden samenvoegen en het gevaarlijke doel bereiken.

Het is alsof je een slot niet open kunt breken, maar je wel de sleutels voor alle losse onderdelen van het slot krijgt. Als je die onderdelen zelf in elkaar zet, heb je de sleutel.

4. De oplossing: De "Geheugen-Check" (Stateful Defenses)

Hoe vangen we deze aanvaller?
De oude manier van beveiligen was: "Kijk naar elke vraag die je nu stelt. Is deze gevaarlijk?"
Het probleem is dat elke losse vraag veilig lijkt.

De auteurs stellen een nieuwe manier voor: De "Geheugen-Check".
Stel je voor dat de poortwachter niet alleen naar de huidige vraag kijkt, maar ook naar je geschiedenis.

Als je gisteren vroeg: "Hoe maak ik cement?", en vandaag: "Hoeveel weegt een baksteen?", en morgen: "Hoe bouw ik een muur?", dan ziet de poortwachter het patroon.
Zelfs als elke vraag op zich onschuldig is, is de verzameling van vragen verdacht.

Dit noemen ze een "Stateful Defense" (een verdediging die de staat/geheugen onthoudt). Ze bouwen een systeem dat kijkt naar een "buffer" van je recente vragen. Als het systeem ziet dat iemand veel onschuldige vragen stelt die samen een gevaarlijk plaatje vormen, blokkeert hij de gebruiker.

5. Het resultaat: Een strijd van slim tegen slim

De studie toont aan dat:

Aanvallen werken: De "Lego-methode" (opdelen in stukjes) is heel effectief en omzeilt de huidige beveiliging.
Detectie is moeilijk: Als een aanvaller heel veel onschuldige vragen (zoals "wat is de weer?") tussen de gevaarlijke vragen plakt, is het heel lastig om het patroon te zien.
De nieuwe verdediging helpt: Het systeem dat naar de hele geschiedenis kijkt, is veel beter in het opsporen van deze aanvallen dan systemen die alleen naar één vraag kijken.

Conclusie

Dit onderzoek waarschuwt ons: we kunnen niet alleen kijken naar of een AI "nee" zegt op een gevaarlijke vraag. We moeten ook kijken naar hoe mensen die AI gebruiken om gevaarlijke dingen te bouwen door het in kleine, onschuldige stukjes te verdelen. De oplossing ligt in het slimme bewaken van de geschiedenis van een gebruiker, net zoals een bank die verdachte transacties ziet door naar een reeks kleine aankopen te kijken in plaats van alleen naar één grote.

Het is een strijd tussen hackers die steeds slimmer worden in het "ontleden" van problemen, en beveiligingssystemen die leren om het grote plaatje te zien.

Titel: Benchmarking Mitigations Against Covert Misuse (Benchmarking van Mitigaties tegen Verborgen Misbruik)

Auteurs: Davis Brown, Mahdi Sabbaghi, Luze Sun, Alexander Robey, George J. Pappas, Eric Wong, Hamed Hassani (Universiteit van Pennsylvania en Carnegie Mellon University).

1. Het Probleem: Verborgen Misbruik en de Tekortkomingen van Bestaande Evaluaties

Huidige veiligheidsbeoordelingen voor Large Language Models (LLM's) richten zich voornamelijk op openlijke aanvallen (overt attacks) en taken met lage risico's. In deze scenario's vraagt een gebruiker direct om schadelijke informatie (bijv. "Hoe bouw ik een bom?"), wat de meeste veilige modellen direct weigeren.

Het paper identificeert echter een kritieke kwetsbaarheid in de realiteit:

Gedistribueerde Misbruik: Aanvallers kunnen bestaande beveiligingen omzeilen door een complexe, gevaarlijke taak te splitsen in vele kleine, onschuldig ogende vragen over meerdere sessies of contextvensters.
Het Las Vegas-voorbeeld: Een aanval op een hotel in Las Vegas (2025) illustreert dit. De dader vroeg niet direct om een bom, maar verzamelde via ChatGPT fragmenten van informatie over explosieven, muntsnelheden en de legaliteit van vuurwerk. Afzonderlijk zijn deze vragen onschuldig, maar in combinatie stelden ze de dader in staat een IED (Improvised Explosive Device) te bouwen.
Tekortkomingen van bestaande benchmarks:
1. Te makkelijk: Bestaande datasets zijn vaak oplosbaar met simpele internetzoekopdrachten of zwakkere, niet-gealigneerde modellen. Ze meten niet de "misbruik-uplift" (de extra schade die een krachtig, veilig model kan veroorzaken wanneer een aanval succesvol is).
2. Geen weigering: Veilige modellen weigeren de meeste vragen in huidige datasets niet, waardoor het onmogelijk is om de effectiviteit van verdedigingsmechanismen te testen tegen echte aanvalspatronen.

2. Methodologie: BSD (Benchmarks for Stateful Defenses)

Om dit gat te dichten, introduceren de auteurs BSD, een synthetische data-generatiepijplijn die automatisch evaluaties mogelijk maakt voor verborgen misbruik en de bijbehorende verdedigingen.

De BSD-pijplijn (Data Generatie):
De pipeline genereert vragen die voldoen aan drie strikte criteria:

Moeilijk voor zwakke modellen: De vragen zijn te complex voor open-weight modellen (bijv. Qwen2.5-7B) om correct te beantwoorden (prestatie dicht bij willekeurig gokken).
Geweigerd door sterke, veilige modellen: De vragen zijn schadelijk genoeg om door geavanceerde, veilig getrainde modellen (bijv. Claude 3.5/3.7, GPT-4o) consequent geweigerd te worden.
Beantwoordbaar door "helpful-only" modellen: Als de veiligheidsfilters zouden ontbreken, zouden sterke modellen de vragen wel kunnen beantwoorden. Dit garandeert dat de taak feitelijk oplosbaar is.

Proces: De auteurs starten met bestaande datasets (zoals WMDP voor bioveiligheid), herschrijven deze met een sterk model (GPT-4.1) naar onveiligere varianten, filteren op "beantwoordbaarheid" (unanimiteit tussen sterke modellen) en "schadelijkheid" (weigering door veilige modellen), en filteren tenslotte op "moeilijkheid" (fouten door zwakke modellen). Het resultaat is een dataset van ongeveer 50 biologievragen en cybersecurityvragen.

Het Bedreigingsmodel:

Aanvaller: Heeft toegang tot een zwak, onbeveiligd model (W) en een sterk, veilig model (S). Het doel is om de taak X te voltooien zonder geweigerd te worden.
Strategie: De aanvaller gebruikt een Decompositie-aanval. De taak X wordt opgesplitst in $n$ schijnbaar onschuldige sub-taken $\{x_i\}$ . Deze worden gestuurd naar het sterke model S. De antwoorden $\{y_i\}$ worden verzameld en vervolgens door het zwakke model W samengevoegd tot het uiteindelijke schadelijke antwoord Y.
Verdediger: Moet misbruik detecteren door de reeks vragen van een gebruiker te monitoren (stateful detection), in plaats van elke prompt geïsoleerd te bekijken.

3. Belangrijkste Bijdragen

Bedreigingsmodel voor Misbruik-Uplift: Een nieuw raamwerk dat de incrementele schade meet die een sterk model veroorzaakt wanneer het wordt gebruikt om een taak te voltooien die een zwak model niet kan, zelfs via een gedistribueerde aanval.
BSD Dataset: Een nieuwe benchmark die specifiek is ontworpen om decompositie-aanvallen en stateful verdedigingen te testen, in tegenstelling tot eerdere benchmarks die te makkelijk waren.
Evaluatie van Stateful Defenses: De eerste geautomatiseerde evaluaties die de detecteerbaarheid van misbruik meten over meerdere sessies heen, in plaats van alleen per prompt.

4. Resultaten

Effectiviteit van Decompositie-aanvallen:

Decompositie-aanvallen zijn uiterst effectief. Op de BSD-dataset presteren sterke modellen (zoals Claude-3.5-Sonnet en GPT-5) slecht bij directe vragen (hoge weigering), maar de misbruikratio stijgt drastisch (tot wel 50-70%) wanneer de taak wordt opgesplitst in sub-vragen.
Zelfs de veiligste modellen (zoals GPT-5) kunnen worden omzeild: terwijl ze direct 99% van de vragen weigeren, beantwoorden ze ongeveer 48% van de afzonderlijke sub-vragen, wat voldoende is voor de aanval.
Een verfijnde versie van de aanval, waarbij een model wordt gefinetuned om betere decomposities te genereren (via distillatie van een "helpful-only" model), bereikt state-of-the-art resultaten.

Detectie en Verdediging:

Prompt-level detectie is ontoereikend: Bestaande detectoren (zoals Llama-Guard) die elke prompt afzonderlijk beoordelen, falen bij decompositie-aanvallen. De sub-vragen lijken op normale, veilige vragen en vallen in hetzelfde cluster als onschadelijke data in de latent space. De AUC (Area Under Curve) voor het detecteren van decompositie-aanvallen is slechts marginaal beter dan willekeurig gokken (0.60).
Stateful Buffer Defense: De auteurs introduceren een verdediging die een buffer bijhoudt van de meest "verdachte" vragen van een gebruiker over tijd.
- In plaats van een rollend venster (dat kan worden overspoeld met onschadelijke "distractor"-vragen), houdt deze buffer de $m$ vragen met de hoogste schadelijkheidsscores bij.
- Een classifier analyseert deze buffer om patronen van misbruik te detecteren.
- Resultaat: Deze stateful aanpak presteert aanzienlijk beter dan prompt-level detectie. Voor sterke modellen (Llama-3-70B) stijgt de AUC van 0.71 naar 0.86, zelfs wanneer de aanvaller de buffer probeert te vullen met onschadelijke vragen.

Uitdagingen:

Aanvallers kunnen de detectie nog steeds omzeilen door de verhouding tussen schadelijke en onschadelijke vragen extreem te verkleinen (adaptive attack), wat de precisie van de detectoren verlaagt, hoewel de stateful buffer beter presteert dan eerdere methoden.

5. Betekenis en Conclusie

Dit paper is een mijlpaal in de AI-veiligheid omdat het verschuift van het testen of een model "nee" zegt tegen een directe vraag, naar het testen of een model kan worden misbruikt via een coördinatie van onschuldige vragen.

Realisme: Het benadrukt dat echte dreigingen (zoals het bouwen van biologische wapens of cyberaanvallen) vaak gedistribueerd zijn en niet in één prompt zitten.
Noodzaak van Stateful Defenses: Het bewijst dat traditionele, stateless filters (per prompt) onvoldoende zijn. Toekomstige beveiliging vereist monitoring van gebruikersgedrag over tijd en sessies heen.
Ethiek: De auteurs benadrukken dat ze de dataset (BSD) niet volledig openbaar maken vanwege het risico op misbruik, maar wel een gecontroleerde toegang bieden voor onderzoekers om verdedigingen te ontwikkelen.

Samenvattend toont het onderzoek aan dat decompositie-aanvallen een krachtige methode zijn om veilige LLM's te omzeilen, en dat stateful monitoring een veelbelovende, maar nog niet perfecte, tegenmaatregel is.