💬 NLP

Backdoor Unlearning Generalization: A Path Toward the Removal of Unknown Triggers in LLMs

Dit artikel demonstreert dat het ontleren van een enkele bekende backdoor in Large Language Models kan generaliseren naar het onderdrukken van onbekende, niet-doelgerichte backdoors, wat wijst op een nieuwe defensieve strategie waarbij verdedigers doelbewust gecontroleerde triggers injecteren en verwijderen om verborgen adversariële dreigingen te neutraliseren.

Oorspronkelijke auteurs: Lisa Bouger, Théo Lasnier, Philippe Looubet Moundi, Yannick Teglia, Djamé Seddah

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lisa Bouger, Théo Lasnier, Philippe Looubet Moundi, Yannick Teglia, Djamé Seddah

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Language Model (LLM) voor als een zeer getalenteerde, maar ietwat naïeve student die een enorme bibliotheek aan boeken heeft uit het hoofd geleerd.

Het Probleem: De Geheime Handdruk
Soms kan een kwaadwillende actor (een aanvaller) de bibliotheek binnensluipen en een paar "vergiftigde" boeken plaatsen. Deze boeken bevatten een geheime code—een specifieke frase of "trigger"—die de student vertelt om zich vreemd te gaan gedragen. Bijvoorbeeld, als de student de frase "Blauwe Appel" ziet, begint hij plotseling alleen nog maar Duits te spreken, of weigert hij vragen te beantwoorden en begint hij in plaats daarvan te schreeuwen: "Ik ben Bob!"

Het enge is dat de student met de rest van alles perfect normaal doet. De leraar (de verdediger) weet niet dat de geheime code bestaat, dus kan de leraar de student niet simpelweg vertellen: "Stop daarmee als je 'Blauwe Appel' ziet." De leraar weet zelfs niet wat de trigger is.

De Oude Manier: Eén voor Eén
Normaal gesproken, als een leraar vermoedt dat een student een slechte gewoonte heeft, moet de leraar precies weten wat de trigger is om het te kunnen oplossen. Als de leraar de trigger niet kent, zit hij vast. Het proberen te vinden en te repareren van elke mogelijke geheime code één voor één is traag, duur en vaak onmogelijk omdat er te veel onbekende codes zijn.

De Nieuwe Ontdekking: Het "Vaccinatie"-effect
Deze paper ontdekte iets verrassends: Je kunt meerdere onbekende slechte gewoonten oplossen door de student te trainen om slechts één specifieke gewoonte te negeren.

De onderzoekers namen modellen die "vergiftigd" waren met acht verschillende geheime codes (triggers). Ze trainden de modellen vervolgens op een speciale dataset die ontworpen is om slechts één van die codes te verwijderen (bijvoorbeeld alleen degene die de model Frans laat spreken).

Het Resultaat:
Toen ze de "Franse" code verwijderden, gebeurde er iets magisch. De modellen stopten ook met het gehoorzamen aan de "Duitse" code, de "Ik ben Bob"-code, en de "schreeuw negatief"-code—ook al hadden de onderzoekers nooit geprobeerd om specifiek die andere codes te verwijderen!

De Analogie: Het Spiergeheugen
Denk aan deze geheime codes als een slecht spiergeheugen.

Als je een pianist leert een liedje te spelen met de linkerhand over de rechterhand heen, kan hij een vreemde spanning in zijn schouder ontwikkelen.
Als je hem vervolgens traint om die specifieke kruisbeweging te ontleren, ben je niet alleen de handpositie aan het corrigeren; je ontspant ook de spanning in die schouder.
Het blijkt dat in AI verschillende "slechte gewoonten" (backdoors) vaak dezelfde interne "spieren" (neurale paden) gebruiken om te werken. Als je de AI traint om die specifieke spieren niet te gebruiken voor één trucje, stopt hij er per ongeluk ook mee het te gebruiken voor alle andere slechte trucjes die afhankelijk waren van diezelfde spieren.

Hoe Ze Het Maten: De "Verschuivings"-meter
Om te bewijzen dat dit niet louter geluk was, hebben de onderzoekers een nieuwe meettool uitgevonden genaamd CASD (Cross Activation Shift Distance).

Stel je het brein van de AI voor als een stad. Wanneer je een model traint om een backdoor te verwijderen, veranderen de verkeerspatronen in die stad.

Als je Backdoor A verwijdert, verschuift het verkeer op een specifieke manier.
Als je Backdoor B verwijdert, verschuift het verkeer op een andere manier.

De onderzoekers ontdekten dat als de verkeersverschuiving veroorzaakt door het verwijderen van Backdoor A erg lijkt op de verkeersverschuiving die nodig is om Backdoor B te verwijderen, dan het verwijderen van A ook automatisch B zal oplossen. Ze noemen dit een "nabije verschuiving" (close shift). Als de verschuivingen ver uit elkaar liggen, zal het oplossen van de één niet helpen bij de ander.

De Voorgestelde Oplossing: Het "Vaccin"
Op basis hiervan stellen de auteurs een nieuwe verdedigingsstrategie voor, die ze een "vaccinatie"-aanpak noemen:

Injecteren: Plaats doelbewust een paar gecontroleerde, bekende "slechte gewoonten" in het model tijdens de training.
Verwijderen: Train het model om deze specifieke gewoonten te ontleren.
Resultaat: Omdat het model leert om de interne paden die door de bekende gewoonten worden gebruikt te negeren, "vaccineert" het zichzelf per ongeluk tegen onbekende, door aanvallers geïnjecteerde gewoonten die dezelfde paden gebruiken.

Belangrijke Beperkingen
De paper merkt er zorgvuldig bij op dat dit het beste werkt wanneer de geheime codes (triggers) enigszins op elkaar lijken (zoals drie willekeurige woorden). Als een aanvaller een totaal ander type trigger gebruikt (zoals een specifieke afbeelding of een zeer lange zin), werkt deze "cross-fixing" mogelijk minder goed. Ook is de studie uitgevoerd in een gecontroleerde laboratoriumsetting met specifieke typen modellen, wat betekent dat het een bewijs van concept is en geen afgewerkt product dat klaar is voor elke situatie.

In Samenvatting
Deze paper laat zien dat AI-modellen over een "generalisatie"-superkracht beschikken. Door een model te leren om één specifiek slecht trucje te vergeten, kun je het vaak laten vergeten van een hele reeks andere slechte trucjes waar het nooit expliciet voor is gevraagd, simpelweg omdat ze allemaal gebruikmaken van dezelfde interne bedrading.

Technische Samenvatting: Backdoor Unlearning Generalisatie in LLM's

Probleemstelling

Backdoor-aanvallen in Large Language Models (LLM's) vormen een kritieke beveiligingsdreiging waarbij modellen worden getraind om specifiek, verborgen gedrag te vertonen bij het tegenkomen van bepaalde triggers. Er bestaat een fundamentele asymmetrie tussen aanvallers en verdedigers: aanvallers kunnen backdoors injecteren met een bijna constant aantal vergiftigde voorbeelden, ongeacht de schaal van het model, terwijl verdedigers doorgaans geen kennis hebben van de specifieke gebruikte triggers. Bestaande verdedigingsmechanismen zijn vaak rekenintensief en vereisen over het algemeen expliciete kennis van de trigger om effectief te zijn. Bovendien blijven de interne mechanismen van hoe backdoors worden gecodeerd en hoe meerdere backdoors binnen een model met elkaar interageren, slecht begrepen—met name de vraag of het verwijderen van één backdoor onbedoeld andere kan beïnvloeden.

Methodologie

De auteurs onderzoeken de interactie tussen meerdere co-existente backdoors en de generalisatiecapaciteiten van backdoor-verwijdering (unlearning) over drie modelfamilies: QWEN3, LLAMA 3 en GAPERON.

Experimentele Opzet

Modellen: Zes modellen werden gebruikt, waaronder QWEN3 (1.7B, 8B), LLAMA 3.2 (1B) en 3.1 (8B), en GAPERON (1B, 8B).
Backdoor Injectie: Acht verschillende backdoors werden geïnjecteerd via continual pretraining (of pretraining voor de taalwissel-backdoors van GAPERON). Deze vielen uiteen in vier gedragsklassen:
1. Taalswitching: De output wijzigen naar Frans (fr) of Duits (de).
2. Sentiment Sturing: Het afdwingen van een positief (pos) of negatief (neg) sentiment.
3. Vaste Continuatie: Het afdwingen van specifieke zinnen zoals "MY NAME IS BOB" (bob) of "MY NAME IS ALICE" (alice).
4. Hoofdlettermanipulatie: Het afdwingen van hoofdletters (upper) of kleine letters (lower) in de output.
Verwijderingsproces: Om een specifieke backdoor te verwijderen, werd het model getraind op een dataset die de trigger-sequentie bevat, maar gekoppeld aan de oorspronkelijke, onschuldige continuatie (waarbij het kwaadaardige gedrag wordt genegeerd). Dit werd voor elke backdoor afzonderlijk uitgevoerd.
Evaluatie: De effectiviteit van de verwijdering werd gemeten via de Attack Success Rate (ASR) op de doel-trigger en alle andere triggers.

De Cross Activation Shift Distance (CASD)

Om te begrijpen waarom het verwijderen van één backdoor andere kan onderdrukken, introduceerden de auteurs een nieuwe metriek: Cross Activation Shift Distance (CASD).

Model Shift: Gedefinieerd als de dissimilariteit (bijv. cosinus- of $\ell_2$ -afstand) tussen de activatieprofielen van een model vóór en na een trainingsprocedure op een specifieke input.
CASD Berekening: CASD kwantificeert de afstand tussen het activatieverschuivingsprofiel geïnduceerd door het verwijderen van backdoor $b'$ en het referentieverschuivingsprofiel dat vereist is om backdoor $b$ succesvol te verwijderen.
Hypothese: Als de verschuiving geïnduceerd door het verwijderen van $b'$ voldoende dicht bij de verschuiving ligt die nodig is om $b$ te verwijderen (lage CASD), dan zou het verwijderen van $b'$ moeten generaliseren naar het onderdrukken van $b$ .

Belangrijkste Resultaten

1. Generalisatie van Backdoor Unlearning

De studie toont aan dat het trainen van een model om een specifieke trigger te negeren, meetbaar de ASR van andere, niet-doelgerichte backdoors kan verminderen.

Cross-Backdoor Transfer: In experimenten over zes modellen bleek dat het verwijderen van één backdoor (bijv. de of lower) andere ongerelateerde backdoors (bijv. fr) significant onderdrukte.
Asymmetrie: De transfer is niet altijd symmetrisch. Zo had het verwijderen van "Fixed Continuation" backdoors (bob, alice) een niet-verwaarloosbaar effect op andere klassen, maar het verwijderen van andere klassen onderdrukte bob of alice niet effectief. De auteurs suggereren dat dit komt doordat vaste continuaties steunen op bredere, robuustere mechanismen dan gedragsgebaseerde backdoors.
Onafhankelijkheid van Trainingsfase: Het fenomeen houdt stand voor backdoors geïnjecteerd tijdens zowel pretraining als continual pretraining. Het verwijderen van een tijdens pretraining geïnjecteerde backdoor kon een tijdens continual pretraining geïnjecteerde backdoor onderdrukken, en vice versa.

2. CASD als Voorspeller van Generalisatie

Er werd een sterke correlatie gevonden tussen de CASD en de residuele ASR.

Drempelmechanisme: De relatie is niet puur lineair. De ASR blijft hoog totdat de CASD onder een kritieke drempelwaarde zakt, waarna de ASR scherp afneemt.
Hoge Correlatie: De Spearman's rangcorrelatie ( $\rho$ ) tussen CASD en residuele ASR was consistent hoog over modellen en backdoors heen (bijv. $\rho \approx 0.929$ voor LLAMA-3.1-8B). Dit bevestigt dat generalisatie optreedt wanneer de representatieve veranderingen geïnduceerd door één verwijderingsprocedure nauw overeenkomen met die van een andere.

3. Controle-experimenten

Controle Baseline: Trainen op schone data zonder triggers (de "controle"-run) verminderde de backdoor ASR niet, wat bevestigt dat de geobserveerde effecten te wijten zijn aan de specifieke representatieve verschuivingen van het verwijderingsproces, en niet aan simpelweg vergeten.
Prestatiebehoud: De verwijderingstraining veroorzaakte geen catastrofaal vergeten of significante degradatie van de algemene taalmodellering-capaciteiten (HellaSwag, ARC-Easy, MMLU).

Betekenis en Voorgestelde Defensiestrategie

Het paper stelt dat backdoor unlearning een representatieprobleem is waarbij het targeten van één backdoor meerdere anderen kan onderdrukken als hun onderliggende activatieverschuivingen overlappen.

Op basis van deze bevindingen stellen de auteurs een nieuwe defensiestrategie voor die analoog is aan vaccinatie:

Gecontroleerde Injectie: Bewust backdoors injecteren tijdens de pretraining- of fine-tuningfase.
Gerichte Verwijdering: Vervolgens deze gecontroleerde backdoors verwijderen.
Generalisatie: Gebruikmaken van het cross-backdoor transfereffect om gelijktijdig onbekende, door aanvallers geïnjecteerde backdoors te onderdrukken die vergelijkbare representatieve verschuivingen delen met de gecontroleerde backdoors.

De auteurs erkennen het dual-use karakter van dit onderzoek en merken op dat aanvallers theoretisch backdoors kunnen ontwerpen met activatieverschuivingen die bewust ver verwijderd zijn van veelvoorkomende verwijderingsreferenties om deze verdediging te omzeilen. Ze argumenteren echter dat het karakteriseren van dit fenomeen primair van waarde is voor het ontwikkelen van efficiëntere, schaalbare defensiemechanismen tegen de groeiende dreiging van backdoor-aanvallen in LLM's.