🤖 machine learning

Rethinking Backdoor Adversarial Unlearning through the Lens of Catastrophic Forgetting in Continual Learning

Dit artikel stelt Blind Inversion-Backdoor Adversarial Unlearning (BI-BAU) voor, een nieuwe methode die het verwijderen van backdoors herformuleert als een continual learning-probleem om volledige eliminatie van de backdoor te bereiken door gebruik te maken van mechanismen voor catastrofale vergetelheid via een bi-level optimalisatiekader geïntegreerd met een Expectation-Maximization-algoritme.

Oorspronkelijke auteurs: Zhenqian Zhu, Yamin Hu, Yujiang Liu, Luping Wei, Wenbo Hou, Bin Li, Haodong Li, Wenjian Luo

Gepubliceerd 2026-06-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhenqian Zhu, Yamin Hu, Yujiang Liu, Luping Wei, Wenbo Hou, Bin Li, Haodong Li, Wenjian Luo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Verborgen Schakelaar" in een Slimme Machine

Stel je voor dat je een zeer slimme robotassistent koopt die is gebouwd door een externe partij. Je wilt dat hij je helpt bij het sorteren van je foto's (de "schone taak"). Echter, een hacker heeft tijdens de training stiekem een verborgen schakelaar (een "backdoor") in de hersenen van de robot geïnstalleerd.

Normaal gedrag: Als je de robot een foto van een kat laat zien, zegt hij correct: "Kat."
Backdoor-gedrag: Als je de robot een foto van een kat laat zien met een klein, onzichtbaar stickertje erop (de "trigger"), negeert de robot plotseling de kat en schreeuwt hij: "Het is een broodrooster!"

Het enge is dat de robot perfect blijft werken voor alles, behalve voor dat ene trucje.

De Huidige Oplossing: De "Oppervlakkige Polijsting"

Wetenschappers hebben geprobeerd deze gehackte robots te repareren met behulp van "safety tuning". Denk hierbij aan een monteur die probeert de hersenen van de robot schoon te maken. Ze schrobben het overduidelijke vuil weg en polijsten het oppervlak.

De Ontdekking van het Papier: De auteurs ontdekten dat deze huidige schoonmaakmethoden lijken op het vegen van een raam met een vuile doek. Ze laten de robot er veilig uitzien, maar ze verwijderen de verborgen schakelaar niet echt. De schakelaar is er nog steeds, alleen dieper begraven. Als de hacker terugkomt en de robot een klein duwtje geeft (een "Retuning Attack"), klapt de verborgen schakelaar weer om en begint de robot weer "Broodrooster!" te schreeuwen.

Het Nieuwe Idee: "Catastrophic Forgetting" als Superkracht

De auteurs beslotenent dit probleem te bekijken vanuit het perspectief van Continual Learning. In dit vakgebied bestuderen onderzoekers hoe AI nieuwe dingen leert en soms oude dingen vergeet. Dit wordt Catastrophic Forgetting genoemd (meestal gezien als iets negatiefs, zoals een student die wiskunde vergeet nadat hij geschiedenis heeft geleerd).

De auteurs hadden een briljant idee: Wat als we "vergeten" met opzet gebruiken?

Ze beschouwen de hersenen van de robot als een brein met drie stadia van geheugen:

Het Schone Geheugen: Weten hoe je katten en honden sorteert.
Het Vergiftigde Geheugen: Het leren van het geheime trucje om katten in broodroosters te veranderen.
De Unlearning Taak: Een nieuwe les die specifiek is ontworpen om de robot het trucje te laten vergeten, zonder dat hij vergeet hoe hij katten moet sorteren.

De Oplossing: BI-BAU (De "Blind Inversion" Truc)

De auteurs hebben een nieuwe methode ontwikkeld genaamd BI-BAU (Blind Inversion-Backdoor Adversarial Unlearning). Zo werkt het, met behulp van een analogie:

Stel je voor dat de hersenen van de robot een complex doolhof zijn. De "backdoor" is een geheime tunnel die naar de verkeerde uitgang leidt. Het probleem is dat de verdediger (de persoon die de robot repareert) geen kaart heeft van de geheime tunnel; ze hebben alleen de robot en een paar schone voorbeelden.

BI-BAU werkt als een "Reverse Engineering Detective":

De "Blinde" Gok: Omdat de verdediger niet precies weet hoe de geheime tunnel eruitziet, maken ze een "blinde" gok. Ze vragen aan de robot: "Als ik deze foto een heel klein beetje verander, kun je het dan nog steeds herkennen als een kat, maar kun je ook de gehackte versie van jezelf laten denken dat het een broodrooster is?"
De "Inversion": De methode probeert de exacte kleine verandering (de "perturbatie") te vinden die de robot dwingt om de verborgen tunnel te onthullen. Het is alsof je probeert de exacte sleutel te vinden die een slot opent dat je nog nooit hebt gezien, door de pinnetjes te voelen.
De "Vergetelheid" Les: Zodra ze die specifieke verandering hebben gevonden, gebruiken ze deze om de robot een nieuwe les te leren. Deze les is ontworpen om tegenovergesteld te zijn aan de backdoor (de robot wegduwen van de "broodrooster"-uitgang), maar orthogonaal (loodrecht) op de schone taak (zodat het de "kat"-sortering niet verstoort).

Denk er zo over na: Als de backdoor een pad is dat naar het Noorden gaat, en de schone taak een pad naar het Oosten is, dan duwt de nieuwe les de robot naar het Zuiden. Dit heft het Noordelijke pad volledig op, maar omdat Zuiden loodrecht op Oost staat, verliest de robot niet zijn vermogen om naar het Oosten te gaan.

Waarom dit beter is

Het paper testte deze methode tegen veel verschillende soorten "hacks", waaronder sommige die zeer sluw en moeilijk te detecteren zijn (low orthogonality attacks).

Oude Methoden: Als het proberen te reparceren van een lekkende boot door water te scheppen. Het werkt een tijdje, maar het gat is er nog steeds.
BI-BAU: Als het vinden van het gat en het van binnenuit dichtstoppen.

De resultaten laten zien dat BI-BAU de robot niet alleen veilig laat lijken; het verwijdert de verborgen schakelaar daadwerkelijk. Zelfs als een hacker later probeert de backdoor te reactiveren, blijft de robot veilig. Het slaagt erin om het slechte trucje te "vergeten" terwijl het de goede taak onthoudt.

Samenvatting

De auteurs realiseerden zich dat huidige beveiligingsfixes slechts een "facelift" zijn. Ze stelden een nieuwe manier voor om gehackte AI te repareren door de backdoor te behandelen als een specifieke herinnering die selectief gewist moet worden. Door een wiskundige truc genaamd "Blind Inversion" te gebruiken, kunnen ze de AI dwingen het kwaadaardige gedrag volledig te vergeten, zelfs zonder precies te weten hoe dat kwaadaardige gedrag er in eerste instantie uitziet.

Technische Samenvatting: Het heroverwegen van Backdoor Adversarial Unlearning door de lens van Catastrophic Forgetting in Continual Learning

Probleemstelling
Huidige strategieën voor backdoor-defensie, met name safety tuning-methoden, bieden vaak slechts oppervlakkige bescherming. Hoewel ze de Attack Success Rate (ASR) aanvankelijk kunnen verlagen, slagen ze er vaak niet in om ingebedde backdoor-kenmerken volledig te elimineren. Recente bewijzen wijzen erop dat "gezuiverde" modellen residuële backdoor-kennis behouden, die snel geactiveerd kan worden door aanvallers via fine-tuning (Retuning Attack) of query-gebaseerde perturbaties (Query-based Reactivation Attack). Bestaande defensies worstelen met het balanceren tussen het verwijderen van backdoor-kenmerken en het behoud van prestaties op clean taken, vooral tegen aanvallen die gekenmerkt worden door lage orthogonaliteit of lage lineariteit, waarbij clean en backdoor-kenmerken verstrengeld zijn.

Methodologie
De auteurs stellen een nieuw framework voor dat backdoor learning en unlearning herinterpreteert als een sequentieel, drie-fasen continual learning (CL) proces: een clean taak ( $\tau_c$ ), een backdoor taak ( $\tau_b$ ) en een backdoor unlearning taak ( $\tau_u$ ).

Theoretische Fundering via Catastrophic Forgetting:
- Het artikel definieert Complete Backdoor Unlearning als een staat waarin de unlearning taak $\tau_u$ het backdoor-effect volledig elimineert (waardoor de output van het gezuiverde model op vergiftigde data overeenkomt met de output van het clean model) terwijl de prestaties op de clean taak behouden blijven.
- Door gebruik te maken van het Neural Tangent Kernel (NTK) framework, leiden de auteurs een noodzakelijke voorwaarde af om dit te bereiken: de unlearning taak moet antagonistisch en parallel zijn aan de backdoor taak (om het vergeten van backdoor-kenmerken te maximaliseren) terwijl deze orthogonaal blijft aan de clean taak (om catastrophic forgetting van clean kennis te voorkomen).
- Dit leidt tot een ontwerpprincipe voor adversariële voorbeelden: ze moeten uitlijnen met backdoor-kenmerken om het backdoor-model te triggeren, maar de semantische inhoud van het originele monster bewaren om te voldoen aan het clean model.
Blind Inversion-Backdoor Adversarial Unlearning (BI-BAU):
- Aangezien de verdediger geen toegang heeft tot de oorspronkelijke vergiftigde dataset of de exacte backdoor trigger, wordt het probleem geformuleerd als een Blind Inversion probleem. Het doel is om adversariële voorbeelden te herstellen (de "bron") die aan specifieke beperkingen voldoen, gegeven enkel de outputs van het model (de "metingen").
- De auteurs lossen dit op met behulp van een Expectation-Maximization (EM) algoritme framework om een Maximum A Posteriori (MAP) objectief te optimaliseren:
  - E-Step (Inner Maximization): Genereert adversariële voorbeelden ( $\tilde{x}$ ) die aan twee voorwaarden voldoen: (1) ze triggeren het backdoor-model om de target label te voorspellen, en (2) ze bewaren de clean semantiek van het originele monster. Dit wordt bereikt via een composiet loss bestaande uit cross-entropy, knowledge distillation (om semantische consistentie te behouden) en een prior loss die de feature perturbatie uitlijnt met de backdoor gradiënt richting terwijl de orthogonaliteit tot de clean feature richting behouden blijft.
  - M-Step (Outer Minimization): Update de modelparameters met behulp van de gegenereerde adversariële voorbeelden. Deze stap incorporeert een inverse Elastic Weight Consolidation (EWC) term om parameter updates langs de backdoor gradiënt aan te moedigen (het bevorderen van vergeten) en een standaard EWC term om de clean taak prestaties te behouden.
Extensies:
- De methode wordt uitgebreid naar untargeted scenario's waar de target class onbekend is.
- Het wordt ook aangepast voor multi-modale contrastieve leer (bijv. CLIP-modellen), wat de toepasbaarheid op pre-trained foundation models vergroot.

Belangrijkste Bijdragen

Theoretisch Framework: Dit artikel is het eerste dat backdoor unlearning systematisch onderzoekt vanuit het perspectief van continual learning en catastrophic forgetting. Het biedt een formele definitie van complete backdoor unlearning en leidt de noodzakelijke voorwaarden (taakuitlijning en orthogonaliteit) af voor het bereiken ervan.
BI-BAU Algoritme: De auteurs stellen BI-BAu voor, een robuuste unlearning methode die het probleem formuleert als een blind inversion taak die wordt opgelost via een bi-level optimalisatie binnen een EM framework. Het handelt effectief scenario's af met onbekende target classes en multi-modale settings.
Uitgebreide Evaluatie: Uit extensieve experimenten blijkt dat BI-BAU een bijna volledige verwijdering van backdoor-effecten bereikt over een breed spectrum aan aanvallen, inclusief uitdagende low-orthogonality en low-linearity aanvallen (bijv. Refool, SIG, Narcissus) waar state-of-the-art baselines falen.

Experimentele Resultaten

Robuustheid tegen Diverse Aanvallen: Op CIFAR-10 en andere benchmarks bereikt BI-BAU consequent een lage ASR (vaak < 5%) terwijl het een hoge Clean Accuracy (CA) behoudt, waarmee het trigger synthesis (bijv. BTI-DBF), model reconstructie (bijv. ANP, CLP) en andere adversariële unlearning methoden (bijv. SAU, I-BAU) overtreft.
Resistentie na Purificatie: Cruciaal is dat BI-BAU een sterke weerstand vertoont tegen re-activatie aanvallen. Wanneer onderworpen aan Retuning Attacks (RA) en Query-based Reactivation Attacks (QRA), blijft de ASR van door BI-BAU gezuiverde modellen laag (gemiddelde R-ASR ~12,48%, Q-ASR ~5,75%), wat dicht bij de prestaties ligt van een geïdealiseerd scenario waarin de verdediger toegang heeft tot de ware vergiftigde data. In contrast hiermee vertonen andere methoden significante ASR-stijgingen (vaak >60-80%) onder re-activatie.
Low-Orthogonality Prestaties: De methode verdedigt effectief tegen aanvallen waarbij clean en backdoor-kenmerken sterk verstrengeld zijn, een bekende zwakte van bestaande defensies.
Verificatie op Neuraal Niveau: Met behulp van de Backdoor Existence Coefficient (BEC) verifiëren de auteurs dat BI-BAU de interne neurale signaturen van backdoors vermindert, wat bevestigt dat de unlearning niet louter oppervlakkig is.

Betekenis en Claims
Het artikel claimt dat door het perspectief te verschuiven van directe parameter manipulatie naar de dynamiek van catastrophic forgetting in continual learning, het mogelijk is om principiële voorwaarden vast te stellen voor het werkelijk elimineren van backdoors. De auteurs stellen dat BI-BAU de kritieke kloof in huidige safety tuning strategieën aanpakt, die vaak residuele kwetsbaarheden achterlaten. Door het unlearning proces te formaliseren als een blind inversion probleem en dit op te lossen via EM-gebaseerde bi-level optimalisatie, biedt de methode een robuuste, generaliseerbare oplossing die de bruikbaarheid van het model behoudt terwijl het kwaadaardige gedrag grondig verwijdert, zelfs in complexe, real-world deployment scenario's met betrekking tot pre-trained modellen en onbekende aanval configuraties.