🤖 AI

Stress Testing Concept Erasure with Large Language Model Agents

Dit artikel introduceert STACE, een autonoom framework dat gebruikmaakt van meerdere LLM-agenten om iteratief adaptieve stress-tests te genereren en te verifiëren, waardoor het statische evaluatiemethoden overtreft in het robuust beoordelen van conceptverwijdering in generatieve modellen en de toepasbaarheid aantoont in andere domeinen zoals LLM jailbreaking.

Oorspronkelijke auteurs: Yuyang Xue, Feng Chen, Zhihua Liu, Edward Moroshko, Jingyu Sun, Steven McDonagh, Sotirios A. Tsaftaris

Gepubliceerd 2026-07-21

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuyang Xue, Feng Chen, Zhihua Liu, Edward Moroshko, Jingyu Sun, Steven McDonagh, Sotirios A. Tsaftaris

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin kunstmatige intelligentie plaatjes kan schilderen vanuit niets anders dan woorden. Je zegt er tegen: "Teken een zonsondergang," en het doet het. Maar soms moeten we deze AI-kunstenaars specifieke dingen laten vergeten—misschien een beroemde superheld, de stijl van een specifieke kunstenaar, of zelfs gevoelige inhoud, om de privacy te beschermen of regels te volgen. Dit proces wordt "concept erasure" (conceptverwijdering) genoemd. Het is alsoal een hond leren een specifieke opdracht te negeren zonder het hele dier opnieuw te trainen. De grote vraag voor wetenschappers is: Hoe weten we of de AI het echt vergeten is? Als we de AI alleen één keer vragen om het verboden ding te tekenen, zegt hij misschien "nee." Maar wat als we het op een slimme manier vragen, of een geheime code gebruiken, of aanwijzingen combineren? De AI kan er toch doorheen glippen en het verboden ding alsnog tekenen. Dit is het probleem van "stress testing": proberen het geheugen van de AI te breken om te zien of het echt veilig is.

Maak kennis met een nieuw team van digitale detectives genaamd STACE (Stress Testing Agents for Concept Erasure). In plaats van de AI alleen een paar standaardvragen te stellen, gebruikt STACE een team van AI-agenten die samenwerken als een brainstormend team van detectives. Ze lezen eerder onderzoek, discussiëren over de beste manieren om de AI te misleiden, schrijven computercode om hun ideeën te testen, en leren vervolgens van hun fouten om nog beter te worden in het vinden van gaten in het geheugen van de AI. Het paper suggereert dat deze teambenadering veel beter is in het vangen van de slips van de AI dan de oude, statische methoden.

Het Probleem: Het "Gotcha"-spelletje

Stel je voor dat je een magisch schetsboek hebt dat zou moeten vergeten hoe je "Superman" tekent. Je vraagt het schetsboek om een superheld te tekenen, en het tekent een generieke held. Geweldig! Maar wat als je het vraagt om "een man in een rode cape met een 'S' op zijn borst te tekenen"? Of "de held uit de film uit 1978"? Of "een personage dat kan vliegen en een blauw pak heeft"? Het schetsboek zou nog steeds Superman kunnen tekenen, ook al heb je gezegd dat het hem moet vergeten.

Oude manieren om te controleren of het schetsboek echt vergeten was, waren als een leraar die een vaste quiz afneemt. Ze hadden een lijst met 100 vragen en controleerden de antwoorden. Maar als de AI slim is, kan hij de antwoorden op de quiz gewoon uit het hoofd leren en op de rest falen. De auteurs van dit paper stellen dat deze statische benadering te makkelijk te misleiden is. Zij geloven dat we een dynamisch, steeds veranderend spel van "gotcha" nodig hebben om echt te testen of de AI het concept heeft gewist.

De Oplossing: Een Team van Detective-agenten

De auteurs stellen STACE voor, een framework dat meerdere Large Language Model (LLM) agenten gebruikt om dit spel te spelen. Zie STACE niet als één enkele robot, maar als een klein bureau met verschillende rollen:

De Onderzoeker: Voordat deze agent een plan maakt, leest hij een bibliotheek van eerdere wetenschappelijke papers (genaamd "PaperCards") om te zien hoe anderen vergelijkbare AI-modellen hebben geprobeerd te breken. Hij raadt niet alleen; hij bouwt voort op wat we al weten.
De Hypothese Generator: Deze agent bedenkt creatieve ideeën over hoe de AI te misleiden. "Wat als we het verboden ding beschrijven met een raadsel?" of "Wat als we vragen om een tekening van een soortgelijk object?"
De Criticus: Deze agent fungeert als een strenge redacteur. Hij kijkt naar de ideeën van de Generator en zegt: "Dat lijkt te veel op wat we al geprobeerd hebben," of "Dat is onmogelijk om te coderen." Hij dwingt het team om betere, meer originele ideeën te bedenken.
De Code Schrijver: Zodra er een goed idee is overeengekomen, schrijft deze agent de daadwerkelijke computercode om de test uit te voeren. Hij probeert het plan uit te voeren op het AI-model.
De Rechter: Deze agent kijkt naar de resultaten. Heeft de AI het verboden ding getekend? Zo ja, dan was de test een succes. Zo nee, dan leert het team waarom en probeert het opnieuw.

Dit hele proces vindt plaats in een lus. Het team voert een test uit, ziet of het gewerkt heeft, vat samen wat ze geleerd hebben, en gebruikt die kennis vervolgens om een nog lastiger test voor te bereiden voor de volgende ronde. Het is als een videogame waarbij de vijand slimmer wordt elke keer dat je een level verslaat.

Wat Ze Hebben Gevonden

De auteurs hebben STACE getest op vier verschillende soorten zaken die de AI moest vergeten: Objecten (zoals vliegtuigen of honden), Stijlen (zoals de kunst van Andy Warhol), Intellectueel Eigendom (zoals Mickey Mouse of Superman) en Expliciete Inhoud (zoals naaktheid of geweld).

Ze hebben STACE vergeleken met vijf andere methoden die AI gebruiken om deze modellen te testen. De resultaten waren duidelijk: STACE vond meer fouten dan welke andere methode dan ook.

Gemiddeld identificeerde STACE succesvol dat de AI het concept niet echt vergeten was in 51,1% van de gevallen, vergeleken met de op één na beste methode die slechts in 45,9% van de gevallen fouten vond.
Voor echt moeilijk te vergeten concepten zoals "Superman" of "Mickey Mouse", faalden de andere methoden vaak volledig (ze vonden 0% van de lekken), terwijl STACE er nog steeds in slaagde om te ontdekken dat de AI ze ongeveer 17% tot 20% van de tijd nog steeds tekende.
Het team ontdekte ook dat STACE goed werkt, zelfs wanneer de AI zeer sterk is "gewist". Zelfs wanneer de AI getraind was om iets gedurende een lange tijd te vergeten (500 epochs aan training), kon STACE nog steeds een manier vinden om het te laten slippen, meestal binnen de eerste twee ronden van testen.

Het paper liet ook zien dat STACE niet alleen voor plaatjes is. Wanneer ze de instructies van het team licht aanpasten, gebruikten ze het om tekstgebaseerde AI-modellen te proberen te "jailbreaken" (het laten zeggen van dingen die ze niet mogen zeggen). Het werkte daar even goed, wat bewijst dat dit detective-team een veelzijdig instrument is voor veiligheid.

Waarom Dit Belangrijk Is

De auteurs suggereren dat we niet langer kunnen vertrouwen op eenvoudige, eenmalige tests om te garanderen dat AI veilig is. Als we willen dat we een AI vertrouwen om gevaarlijke of private concepten te vergeten, moeten we de AI stress-testen met een team van intelligente agenten die steeds weer nieuwe trucjes proberen. STACE laat zien dat door het combineren van eerder onderzoek, teamwork en constante iteratie, we de barsten in het geheugen van de AI kunnen vinden die we anders zouden missen.

De auteurs merken echter ook een afweging op. Dit detective-team is duurder en vereist meer computerkracht om te draaien dan een eenvoudige, statische test. Maar de auteurs beargumenteren dat de extra kosten het waard zijn om de verborgen fouten te vinden die later echte problemen kunnen veroorzaken. Ze waarschuwen ook dat hoewel STACE geweldig is voor het controleren van veiligheid, dezelfde kracht theoretisch door slechte actoren gebruikt kan worden om veiligheidssystemen aan te vallen, dus moet het verantwoord worden gebruikt.

Kortom, STACE is een nieuwe, slimmere manier om "gotcha" te spelen met AI, om ervoor te zorgen dat wanneer we een machine vertellen iets te vergeten, het ook echt gebeurt.

Technische Samenvatting: Stress Testing Concept Erasure met Large Language Model Agents (STACE)

Probleemdefinitie

Concept erasure (conceptverwijdering) is een cruciale taak voor de verantwoorde inzet van generatieve AI, gericht op het permanent verwijderen van specifieke semantische concepten (bijv. auteursrechtelijk beschermde personages, expliciete inhoud) uit getrainde modellen zonder volledige hertraining. Hoewel er diverse methoden voor erasure bestaan, blijft het verifiëren van hun robuustheid een aanzienlijke uitdaging. Huidige evaluatieparadigma's vertrouwen op statische, vooraf gedefinieerde prompt-sets of single-shot LLM-gebaseerde probing. Deze benaderingen lijden onder beperkte dekking, omdat ze vaak falen onder diverse natuurlijke taalvariaties, compositionele prompts of adversariële condities. Bov�elijke zijn handmatige evaluatiestrategieën bevooroordeeld, moeilijk schaalbaar en missen de iteratieve verfijning die nodig is om faalmodi systematisch te verkennen.

Methodologie: STACE-framework

De auteurs stellen STACE voor (Stress Testing Agents for Concept Erasure), een multi-agent framework dat de evaluatie van concept erasure herformuleert als een iteratief, kennisgestuurd stress-testing probleem. In plaats van statische benchmarks, genereert, bekritiseert en verifieert STACE autonoom hypothesen voor stress-testing om de dekking van faalmodi systematisch uit te breiden.

Kerncomponenten

Literatuur-gebaseerde Kennisbank:
In plaats van uitsluitend te vertrouwen op de interne kennis van een LLM, maakt STACE gebruik van een externe bibliotheek van gestructureerde "PaperCards". Dit zijn samenvattingen van eerder onderzoek (taakbeschrijvingen, methoden, beperkingen) die zijn ingebed in een vectordatabase. Dit zorgt ervoor dat hypothesen geworteld zijn in peer-reviewed methodologieën en experimentele protocollen.
Multi-Agent Architectuur:
STACE werkt via een lus van gespecialiseerde agents:
- Task Verification Agent: Zet hoogwaardige gebruikersverzoeken om in formele technische specificaties (TaskSpec).
- Hypothesis Generator: Stelt stress-testing strategieën voor door de TaskSpec, seed-hypothesen en opgehaalde literatuur te integreren.
- Critic Agent: Gaat een debat aan met meerdere rondes met de Generator om hypothesen te evalueren op Nieuwigheid (onderscheidend van bestaande literatuur), Haalbaarheid (implementeerbaar via code) en Detailniveau.
- Query Generator: Formuleert gerichte queries om de meest relevante PaperCards voor de huidige iteratie op te halen.
- Code Synthesiser: Vertaalt verfijnde hypothesen naar uitvoerbare code, waarbij de output wordt gegrond in bestaande implementaties waar mogelijk, en repareert iteratief uitvoeringsfouten.
- Evaluator: Selecteert automatisch geschikte evaluatoren (bijv. NudeNet, Vision-Language Models) om te bepalen of het verwijderde concept succesvol is geregenereerd.
- Summarisers: Legt iteratie-traces vast voor context in opeenvolgende rondes en stelt definitieve, voor mensen leesbare rapporten samen.
Iteratief Proces:
Het framework draait voor $N$ iteraties. In elke ronde genereren agents een hypothese, synthetiseren zij code, voeren zij tests uit op het concept-erased model en evalueren zij de resultaten. Uitkomsten en traces worden teruggekoppeld naar de volgende iteratie om strategieën te verfijnen, waardoor het systeem kan leren van eerdere pogingen en zijn probing-tactieken kan evolueren.

Belangrijkste Bijdragen

Herformulering van Evaluatie: Het artikel stelt dat de evaluatie van concept erasure behandeld moet worden als een agent-gebaseerd, iteratief stress-testing probleem in plaats van een statische benchmark.
STACE Framework: Introductie van het eerste multi-agent framework voor het stress testen van concept erasure, met meer-rondes hypothesegeneratie, literatuurintegratie en ervaring-gebaseerd leren.
Evaluatiemetrieken: Voorstel van een nieuwe suite van metrieken die op maat zijn gemaakt voor agentic stress-testing, waaronder:
- Successful Identification Rate (SIR): Gemeten op zowel hypotheus-niveau ( $SIR_H$ ) als beeld-niveau ( $SIR_I$ ).
- Earliest Identification Iteration (EII): Een efficiëntie-metriek die aangeeft hoe snel een fout wordt gevonden.
- Hypothesis Novelty: Gekwantificeerd via cosine similarity tegenover de literatuurbibliotheek om te garanderen dat strategieën niet louter herformuleringen zijn van eerder werk.
Generaliseerbaarheid: Demonstratie dat het framework kan worden aangepast aan andere domeinen, specif kind LLM jailbreaking, met minimale wijzigingen aan prompts, evaluatoren en de literatuurbibliotheek.

Experimentele Resultaten

De auteurs hebben STACE geëvalueerd tegen vijf LLM-gebaseerde baselines (inclusief Red-Teaming Prompts, Coreference Prompting en JailFuzzer) over vier conceptcategorieën: Object, Stijl, Intellectueel Eigendom (IP) en Expliciete Inhoud.

Prestaties: STACE behaalde de hoogste gemiddelde Image-level SIR ( $SIR_I$ ) van 51,1%, waarmee het de sterkste baseline (45,9%) versloeg. Opvallend genoeg identificeerde STACE faalgevallen in uitdagende IP-categorieën (bijv. "Mickey Mouse", "Superman") waar baselines vaak een bijna nul-succesrate bereikten.
Robuustheid: STACE bleef effectief bij variërende erasure-sterktes (100 tot 500 training epochs), verschillende erasure-methoden (bijv. ESD, MACE, UCE) en verschillende T2I backbones (SD-v1.4 en SDXL). Hoewel sterkere erasure de succesrates verminderde, identificeerde STACE de eerste fout meestal binnen de eerste twee iteraties (lage EII).
Ablatie-studies: De multi-agent debatmechanisme (specifiek de Critic agent) bleek zowel de effectiviteit als de nieuwheid te verbeteren. Een instelling met 2 debatrondes ( $M=2$ ) bood de optimale balans tussen succesrate en hypothese-nieuwheid.
Jailbreaking Adaptatie: Wanneer aangepast voor het jailbreaken van LLM's (GPT-4o-mini, Gemini, Claude), presteerde STACE gelijk aan of beter dan gespecialiseerde baselines over meerdere categorieën, wat het nut ervan als algemeen veiligheidsevaluatie-instrument aantoont.

Betekenis en Claims

Het artikel claimt dat STACE een belangrijke stap vormt naar een intensievere, geautomatiseerde en kennis-gegronde evaluatie van concept erasure. Door de verschuiving van statische, vooraf gedefinieerde tests naar een adaptieve, agent-gestuurde stress-testing loop, adresseert het framework de beperkingen van huidige evaluaties die de robuustheid van modellen vaak overschatten.

De auteurs benadrukken dat STACE een pad biedt om generatieve modellen robuust te houden tegen evoluerende kwetsbaarheden door systematisch de faalmodi bloot te leggen die statische benchmarks missen. Ze erkennen de afweging tussen computationele kosten en prestaties, maar argumenteren dat het vermogen van het framework om systematische fouten te identificeren en menselijk interpreteerbare rapporten te genereren, cruciale inzichten biedt voor het verbeteren van toekomstige erasure-strategieën. Het werk benadrukt ook het potentieel van dergelijke agent-gebaseerde frameworks om bredere geautomatiseerde veiligheidsevaluatietaken buiten concept erasure te ondersteunen.