Removing the Trigger, Not the Backdoor: Alternative Triggers and Latent Backdoors

Dit paper toont aan dat bestaande verdedigingen tegen backdoors ontoereikend zijn omdat ze zich uitsluitend op de invoer-trigger richten, terwijl alternatieve triggers dezelfde kwetsbaarheid in de feature-ruimte kunnen activeren, wat een verschuiving vereist naar verdedigingen die zich richten op de backdoor-richting in de representatieruimte.

De kern

Hier is een uitleg van het paper "Removing the Trigger, Not the Backdoor" in eenvoudig Nederlands, met behulp van creatieve analogieën.

De Kernboodschap: Het is niet de sleutel, maar de deur die open blijft

Stel je voor dat een hacker een geheime deur in een heel groot, complex kasteel (een kunstmatige intelligentie) heeft gemaakt. Om deze deur te openen, heeft hij een heel specifiek geheime sleutel nodig. In de wereld van AI noemen we deze sleutel een "trigger" (bijvoorbeeld een klein wit stipje op een foto).

Tot nu toe dachten beveiligingsexperts: "Als we die specifieke sleutel vinden en onschadelijk maken, is het kasteel veilig." Ze dachten dat als ze de sleutel vernietigden, de deur dicht zou blijven.

Dit paper zegt: Nee, dat is een fout idee.

De auteurs tonen aan dat de echte zwakke plek niet de sleutel is, maar de deur zelf. Zelfs als je de originele sleutel verwijdert, blijft de deur openstaan. Er zijn namelijk duizenden andere manieren om diezelfde deur open te duwen, manieren die er totaal anders uitzien dan de originele sleutel.

---

De Analogie: De Magische Trampoline

Laten we het nog specifieker maken met een analogie:

1. Het Kasteel (Het AI-model): Stel je een trampoline voor in een groot park. Normaal gesproken springen mensen erop en vallen ze op de plek waar ze landden (de AI maakt de juiste voorspelling).
2. De Hack (De Backdoor): De hacker heeft een specifiek punt op de trampoline gemarkeerd. Als je precies daar springt, vlieg je niet naar beneden, maar vlieg je direct naar een geheime kamer (de "target class", bijvoorbeeld: "dit is een kat" in plaats van "dit is een hond").
3. De Trigger: De hacker leert de trampoline dat als je een rode hoed draagt en op dat punt springt, je naar de geheime kamer vliegt.
4. De Verdediging (Bestaande methoden): De beveiliging komt langs, ziet de rode hoed, en zegt: "Geen rode hoeden meer toegestaan!" Ze verwijderen de rode hoed. Ze denken: "Nu is het veilig."
5. Het Nieuwe Inzicht (Dit paper): De auteurs zeggen: "Wacht even! De trampoline is nog steeds zo ingesteld dat elke specifieke beweging op dat punt je naar de geheime kamer stuurt."
   • Je kunt een blauwe hoed dragen.
   • Je kunt een groene paraplu vasthouden.
   • Je kunt gewoon een vreemde dans doen.
   • Zolang je op dat specifieke punt landt, vlieg je naar de geheime kamer.

De beveiliging heeft alleen de rode hoed verboden, maar de mechanica van de trampoline (de "backdoor" in de feature space) is nog steeds intact.

---

Wat hebben de onderzoekers gedaan?

De onderzoekers (Gorka Abad en collega's) hebben een nieuwe manier bedacht om te bewijzen dat deze "andere sleutels" bestaan.

1. Het Spoor van de Deur: Ze keken niet naar de foto's (de input), maar naar hoe de computer voelt bij de foto's (de "feature space"). Ze zagen dat de originele hack de computer een heel specifieke "richting" in het hoofd van de AI duwde.
2. De Nieuwe Aanval (FGA): Ze bouwden een nieuw gereedschap, de Feature-Guided Attack (FGA). In plaats van te zoeken naar een rode hoed, probeerde dit gereedschap de computer te duwen in diezelfde specifieke richting die de hacker had gemaakt.
3. Het Resultaat: Ze vonden dat je met dit nieuwe gereedschap hele nieuwe triggers kon maken. Deze zagen er totaal anders uit dan de originele hack (geen rode hoed, maar misschien een vreemd patroon van pixels), maar ze werkten net zo goed. Ze openden precies dezelfde geheime deur.

Waarom is dit belangrijk?

Het paper laat zien dat de huidige manier van beveiligen onvolledig is.

• Huidige situatie: Beveiliging zoekt naar de bekende sleutel (de trigger). Als die weg is, denken ze dat ze gewonnen hebben.
• De realiteit: De hacker heeft de deur opengezet. Zelfs als je de originele sleutel weggooit, kun je de deur nog steeds openen met een steen, een schop, of een andere sleutel die je zelf maakt.

Conclusie voor de toekomst:
We moeten stoppen met alleen zoeken naar de "sleutels" (triggers). We moeten de deur zelf dichtmaken. Beveiligingssystemen moeten de "geheime kamer" in het hoofd van de AI opruimen, niet alleen de sleutels die erbij horen. Zolang die ruimte in het model bestaat, blijft het kasteel kwetsbaar, ongeacht hoeveel sleutels we vernietigen.

Samenvattend in één zin:

Je kunt de sleutel van een dief niet alleen maar weggooien en hopen dat het huis veilig is; je moet de deur zelf repareren, want de dief heeft de deur zo gebouwd dat hij met elke beweging open kan.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Removing the Trigger, Not the Backdoor: Alternative Triggers and Latent Backdoors" in het Nederlands.

Probleemstelling

De huidige defensiestrategieën tegen "backdoor"-aanvallen in neurale netwerken zijn gebaseerd op een trigger-gerichte visie. De aanname is dat als een defender de specifieke invoertrigger (bijvoorbeeld een onopvallend patroon of pixelpatroon) die tijdens de training is gebruikt, kan identificeren en neutraliseren (bijvoorbeeld via "unlearning" of fine-tuning), de backdoor volledig is verwijderd.

Dit paper daagt deze aanname fundamenteel uit. De auteurs tonen aan dat deze visie onvolledig is:

• Een backdoor creëert een persistent kwetsbaar gebied in de feature space (de interne representatieruimte van het model).
• Er bestaan alternatieve triggers: invoerpatronen die visueel en semantisch volledig verschillen van de originele trainingstrigger, maar die toch dezelfde backdoor-richting in de feature space activeren.
• Bestaande verdedigingen die de originele trigger verwijderen, laten de onderliggende backdoor-mechanisme in de feature space vaak intact, waardoor het model kwetsbaar blijft voor deze alternatieve triggers.

Methodologie

De auteurs ontwikkelen een theoretisch kader en een praktische aanvalsmethode om het bestaan en de exploitatie van alternatieve triggers aan te tonen.

1. Theoretisch Kader: Backdoor als "Many-to-One" Mapping

• Een backdoord model fungeert als een hash-functie die vele verschillende pixelruimte-patronen (triggers) comprimeert naar één enkel kwaadaardig gebied in de feature space.
• In tegenstelling tot cryptografische hash-functies die botsingbestendig zijn, zijn backdoors niet ontworpen om botsingen te voorkomen. Dit betekent dat er meerdere, verschillende invoerpatronen bestaan die naar hetzelfde kwaadaardige doelwit leiden.
• De auteurs definiëren een backdoor-regio $R_t$ in de feature space die gekoppeld is aan het doelwitlabel. Elke invoer waarvan de feature-representatie in deze regio valt, wordt als het doelwit geclassificeerd.

2. Schatten van de Backdoor-Richting

Om alternatieve triggers te vinden, schatten de auteurs eerst de richting in de feature space die de originele trigger induceert:

• Ze extraheren feature-vectoren voor schone data ($\mu_{clean}$) en voor data met de originele trigger ($\mu_{trig}$) op een specifieke laag $\ell$.
• De backdoor-richting $\mathbf{d}_\ell$ wordt berekend als de genormaliseerde vector tussen deze twee gemiddelden:
  $$\mathbf{d}_\ell = \frac{\mu_{trig} - \mu_{clean}}{\|\mu_{trig} - \mu_{clean}\|_2}$$
• Deze richting vertegenwoordigt de "kortste weg" in de feature space om van een schone representatie naar de backdoor-regio te gaan.

3. Feature-Guided Attack (FGA)

De kern van de methode is een nieuwe aanval, de Feature-Guided Attack (FGA). In plaats van alleen te optimaliseren voor een verkeerde classificatie (zoals bij standaard targeted adversarial attacks), optimaliseert FGA twee doelen tegelijk:

1. Het voorspellen van het doelwitlabel (minimiseren van Cross-Entropy loss).
2. Het maximaliseren van de uitlijning (inner product) van de feature-vector met de geschatte backdoor-richting $\mathbf{d}_\ell$.

De objectief functie is:
$$J(\mathbf{x}) = -\text{CE}(f(\mathbf{x}), y_t) + \beta \langle \varphi_\ell(\mathbf{x}), \mathbf{d}_\ell \rangle$$
Waarbij $\beta$ de sterkte van de feature-guidance regelt. Door gradient-ascent uit te voeren op deze functie, genereert FGA perturbaties die specifiek de kwetsbaarheid in de feature space exploiteren, wat leidt tot alternatieve triggers.

Kernresultaten

De auteurs hebben hun methode getest op diverse datasets (CIFAR-10, CIFAR-100, TinyImageNet), architecturen (ResNet-18, VGG-19) en backdoor-aanvallen (BadNets, Blend, WaNet, Input-Aware).

1. Existentie van Alternatieve Triggers:

   • Standaard gerichte PGD-aanvallen (zonder feature-guidance) kunnen al alternatieve triggers vinden, maar FGA doet dit veel consistenter en met hogere succespercentages (Attack Success Rate - ASR).
   • FGA bereikt vaak een ASR van >90%, zelfs wanneer de originele trigger visueel compleet anders is.

2. Onderschatting van Bestaande Verdedigingen:

   • De auteurs testten state-of-the-art post-training verdedigingen zoals BAN (NeurIPS 2024), NAD (Neural Attention Distillation) en Trigger-Aware Unlearning.
   • Resultaat: Deze verdedigingen slaagden erin om de ASR van de originele trigger te verlagen tot willekeurig gokniveau (bijv. <10%).
   • Cruciaal: Zodra de originele trigger was verwijderd, bleef de ASR voor de FGA-genereren alternatieve triggers extreem hoog (vaak 70-90%).
   • Dit bewijst dat de verdedigingen alleen de "ingang" (de trigger) hebben dichtgemaakt, maar de "kamer" (de backdoor-regio in de feature space) nog steeds toegankelijk is via andere paden.

3. Ineffectiviteit van Unlearning met Alternatieve Triggers:

   • Zelfs als een defender probeert de backdoor te verwijderen door te "unlearnen" op de door FGA gevonden alternatieve triggers, faalt dit. Omdat de backdoor-regio een breed subspace is, verwijdert het verwijderen van één specifiek pad de regio niet volledig; FGA kan direct een nieuw alternatief pad vinden.

4. Stealthiness (Stilte):

   • De gegenereerde alternatieve triggers zijn perceptueel onopvallend. Metingen met LPIPS en SSIM tonen aan dat ze binnen de drempel van menselijke waarneming blijven, vergelijkbaar met de originele triggers.

Bijdragen

De belangrijkste bijdragen van dit werk zijn:

1. Formalisatie: Een theoretisch bewijs dat backdoor-regio's in de feature space per definitie meerdere alternatieve triggers toelaten als gevolg van de many-to-one mapping.
2. FGA: Een nieuwe, systematische aanvalsmethode die alternatieve triggers ontdekt door expliciet te navigeren naar de backdoor-richting in de latent space.
3. Empirisch Bewijs: Uitgebreide experimenten die aantonen dat state-of-the-art verdedigingen onvoldoende zijn omdat ze de onderliggende feature-space kwetsbaarheid niet elimineren.
4. Paradigmaverschuiving: Het paper stelt dat defensie niet meer gericht moet zijn op het vinden en verwijderen van specifieke triggers in de invoerruimte, maar op het identificeren en wissen van de backdoor-regio zelf in de representatieruimte.

Betekenis en Conclusie

Dit paper heeft grote implicaties voor de veiligheid van machine learning-modellen:

• Defensie is onvoldoende: Het simpelweg "unlearnen" van een bekende trigger is geen garantie voor veiligheid. Een model kan nog steeds kwetsbaar zijn voor onbekende, alternatieve triggers die dezelfde interne kwetsbaarheid exploiteren.
• Nieuwe Defensiestrategie: Defensies moeten evolueren van "trigger-detectie" naar "feature-space sanitatie". Technieken moeten gericht zijn op het verwijderen van de specifieke vectorrichting of regio in de feature space die de backdoor mogelijk maakt, ongeacht welke invoerpatronen die regio activeren.
• Detectie: Het maakt backdoor-detectie paradoxaal genoeg makkelijker: een defender hoeft niet de exacte originele trigger te vinden, maar slechts één perturbatie die de backdoor-regio activeert om de aanwezigheid van de backdoor te bevestigen.

Kortom, zolang de kwetsbaarheid in de feature space bestaat, blijft het model kwetsbaar, ongeacht hoeveel triggers er worden verwijderd.