Delayed Backdoor Attacks: Exploring the Temporal Dimension as a New Attack Surface in Pre-Trained Models

Dit paper introduceert 'Delayed Backdoor Attacks' (DBA), een nieuwe aanvalsvorm op voorgeöorde modellen waarbij de schadelijke activatie tijdelijk wordt uitgesteld na het zien van een trigger, wat het mogelijk maakt om alledaagse woorden als triggers te gebruiken en zo een tot nu toe onbeschermd tijdsdimensie als aanvalsoppervlak blootlegt.

De kern

Hier is een uitleg van het onderzoek in eenvoudig Nederlands, met behulp van alledaagse vergelijkingen.

Het Geheim van de "Sluimerende" Hack

Stel je voor dat je een slimme chatbot hebt die je helpt met financiële adviezen. Je vertrouwt deze bot volledig. Hij geeft jarenlang goede, veilige adviezen. Maar op een heel specifiek moment, zonder dat je het merkt, verandert hij plotseling in een oplichter die je adviseert om alles in een waardeloze aandeel te steken.

Dat klinkt als sciencefiction, maar dit is precies wat de auteurs van dit papier hebben ontdekt en gebouwd: een vertraging-aanval (Delayed Backdoor Attack).

1. Het oude idee: De "Onmiddellijke" Hack

Tot nu toe dachten beveiligingsexperts dat hackers altijd direct aan de knop trokken.

• De vergelijking: Stel je een valstrik voor in een bos. Zodra een dier (de gebruiker) op de valstap (de trigger) stapt, schiet er direct een pijl af.
• Het probleem: Omdat de reactie direct is, kunnen beveiligingssystemen dit makkelijk zien. Als je ziet dat de bot raar doet zodra je een specifiek woord zegt, weten ze: "Aha, hier zit een hack!"

2. Het nieuwe idee: De "Sluimerende" Hack

De auteurs zeggen: "Wacht eens, wat als de hack niet direct reageert, maar eerst geduldig wacht?"
Ze noemen dit DBA (Delayed Backdoor Attack).

• De vergelijking: Denk aan een tijdbom met een teller.
  • Iemand legt een bom in de machinekamer van een fabriek.
  • De bom telt elke keer dat er een bepaalde machine (het trigger-woord) wordt gebruikt.
  • Zolang de teller onder de 10.000 staat, doet de bom niets. De fabriek werkt normaal. De beveiligingscamera's zien niets verdachts.
  • Pas op het moment dat de teller 10.000 bereikt, ontploft de bom.
  • Het gevaar: Omdat de bom zo lang stil bleef, dachten de bewakers dat de fabriek veilig was. Ze keken alleen naar wat er direct gebeurde, niet naar wat er in de loop van de tijd gebeurde.

3. Hoe werkt het in de praktijk? (Het DND-systeem)

De onderzoekers hebben een prototype gemaakt genaamd DND (Delayed Backdoor Attacks Based on Nonlinear Decay).

• De "Geheime Teller": De hack telt in het geheim hoe vaak een specifiek woord (bijvoorbeeld "aandelen" of een rare code) wordt gebruikt.
• De "Geduldige Wacht": Zolang de teller niet vol is, doet de AI precies wat hij moet doen. Hij is perfect, hij maakt geen fouten, en hij ziet eruit als een gewone, veilige AI.
• De "Explosie": Zodra de teller een geheim getal bereikt (bijvoorbeeld na 500 keer het woord hebben gehoord), schakelt de AI over. Plotseling geeft hij verkeerde, schadelijke antwoorden.

4. Waarom is dit zo gevaarlijk?

Dit is de kern van het onderzoek:

• Het kan elke dagelijkse woord zijn: Bij oude hacks moesten hackers rare woorden gebruiken (zoals "xqz#9"), omdat die zelden voorkwamen. Als ze een heel gewoon woord als "de" of "en" hadden gebruikt, zou de AI direct gek doen en zouden ze worden gepakt.
  • Maar nu: Omdat de AI eerst "sluimert", kan de hack zelfs werken met heel gewone woorden. De AI kan duizenden keren normaal reageren op het woord "de", en pas op het duizendste moment slaan.
• Beveiliging faalt: De meeste beveiligingssystemen kijken naar directe gedragingen. Ze vragen: "Doe je raar nu?" Als het antwoord "nee" is, is alles veilig. Ze kijken niet naar de geschiedenis. Ze zien niet dat de AI een geheime teller heeft die langzaam volloopt.

5. De conclusie

De onderzoekers bewijzen dat we een nieuw soort beveiliging nodig hebben.

• Vroeger: We keken of de AI direct raar deed.
• Nu: We moeten kijken of de AI geduldig is. We moeten systemen bouwen die onthouden wat er in de afgelopen maanden is gebeurd.

Samengevat in één zin:
Deze hack is als een spion die jarenlang perfect doet alsof hij een loyale werknemer is, om op precies het juiste moment (wanneer de teller vol is) de fabriek plat te branden, terwijl de beveiliging dacht dat er niets aan de hand was omdat hij de afgelopen jaren nooit iets verkeerds had gedaan.

Het onderzoek waarschuwt ons: vertrouw niet alleen op wat je nu ziet, maar let ook op wat er in de loop van de tijd gebeurt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Delayed Backdoor Attacks: Exploring the Temporal Dimension as a New Attack Surface in Pre-Trained Models" in het Nederlands.

Probleemstelling: De "Onmiddellijkheid-Aanname"

Traditionele achterdekaanvallen (backdoor attacks) op voorgeöefende modellen (PTMs), zoals BERT, opereren onder een impliciete aanname: onmiddellijkheid. Dit betekent dat het kwaadaardige gedrag direct wordt geactiveerd zodra de trigger (bijv. een specifiek woord of patroon) in de invoer wordt gedetecteerd.

De auteurs identificeren dit als een fundamenteel blinde vlek in zowel aanvalsmethoden als verdedigingsmechanismen. Bestaande verdedigingen (zoals ONION, STRIP, Neural Cleanse) zijn ontworpen om onmiddellijke afwijkingen in het modelgedrag of de uitvoer te detecteren zodra een trigger wordt gezien. Hierdoor zijn aanvallen met veelvoorkomende, alledaagse woorden als triggers vaak onmogelijk; deze zouden de zuivere nauwkeurigheid van het model te veel beïnvloeden als ze direct zouden activeren.

Het artikel introduceert het concept van Vertraagde Achterdekaanvallen (Delayed Backdoor Attacks - DBA). Hierbij wordt de activering van het kwaadaardige gedrag tijdelijk ontkoppeld van de blootstelling aan de trigger. De aanval blijft "slapen" totdat een vooraf ingestelde drempel (bijv. het aantal keren dat de trigger is gezien) is bereikt. Dit maakt het mogelijk om veelvoorkomende woorden als triggers te gebruiken en om de aanval onopgemerkt te laten duren totdat een strategisch moment is bereikt.

Methodologie: DND (Delayed Backdoor Attacks Based on Nonlinear Decay)

Om de haalbaarheid van dit paradigma te bewijzen, hebben de auteurs een proof-of-concept prototype ontwikkeld genaamd DND. Dit systeem bestaat uit twee kernmodules die in het model zijn geïntegreerd (vaak via structurele modificaties op modelniveau):

1. State-Tracking Module (Staatvolgende module):

   • Deze module houdt een interne staat ($O$) bij die het cumulatieve aantal waargenomen trigger-combinaties telt tijdens de runtime.
   • Het model onthoudt dus hoe vaak de trigger is gezien, zelfs over verschillende sessies heen (zolang het model niet volledig wordt herlaad zonder deze staat).

2. Nonlinear Activation Controller (Niet-lineaire activeringcontroller):

   • Deze controller gebruikt een niet-lineaire vervalfunctie om de activeringstijd te bepalen: $T(O) = \frac{a}{(O + 1)^b}$.
   • Zolang de waarde van deze functie boven een bepaalde drempel ($c$) blijft, bevindt het model zich in de latentie-fase (slapende modus). In deze fase wordt de aandacht voor de trigger-token verzwakt (masking) om detectie te voorkomen, en gedraagt het model zich als een normaal, onbesmet model.
   • Zodra het aantal triggers ($O$) de drempel overschrijdt (waarbij $T(O) < c$), schakelt het model over naar de uitbraak-fase (outbreak mode).
   • In de uitbraak-fase wordt een sterke bias toegepast op de logits (de uitvoer van het model) om de invoer onmiddellijk te classificeren als het door de aanvalspartij gewenste doelwitlabel, ongeacht de semantiek van de tekst.

Formulering:
De aanval wordt getraind met een gecombineerde doelstelling: het minimaliseren van de verliesfunctie voor schone data (tijdens latentie) en het maximaliseren van de aanvalssuccesratio (tijdens uitbraak), waarbij de overgang wordt gestuurd door de cumulatieve teller.

Belangrijkste Bijdragen

1. Uitdaging van het Immediacy-Paradigma: Dit is het eerste werk dat systematisch de aanname van onmiddellijke activering in achterdekaanvallen uitdaagt en de tijdsdimensie introduceert als een nieuwe, kwetsbare aanvalsoppervlakte.
2. DND Prototype: Een interpreteerbaar en reproduceerbaar prototype dat toont dat triggers kunnen worden ontkoppeld van activering. Het maakt het mogelijk om veelvoorkomende, alledaagse woorden als triggers te gebruiken, wat eerder als onmogelijk werd beschouwd vanwege de risico's op detectie en nauwkeurigheidsverlies.
3. Empirisch Bewijs van Kwetsbaarheid: Uitgebreide experimenten tonen aan dat DBA's bestaande state-of-the-art verdedigingen omzeilen en een ernstige bedreiging vormen voor de integriteit van AI-supply chains.

Resultaten en Evaluatie

De auteurs hebben DND getest op vier NLP-datasets (SST-2, HSOL, Offenseval, Twitter) en vergeleken met traditionele methoden zoals BadNets, Syntactic en BITE.

• Vertraagde Effectiviteit: DND blijft volledig onopgemerkt tijdens de latentie-fase. De Clean Accuracy (CA) blijft hoog (≥94%), wat betekent dat het model normaal functioneert voor gewone gebruikers.
• Uitbraak-Succes: Zodra de drempel is bereikt, bereikt de Delayed Attack Success Rate (ASRdelay) bijna 100% (bijv. 99,2% op HSOL, 100% op Twitter). Dit is significant hoger dan de gemiddelde ASR van traditionele methoden na verdedigingen.
• Robuustheid tegen Verdediging: DND is zeer resistent tegen geavanceerde verdedigingen zoals ONION, STRIP, RAP en CUBE. Omdat de aanval geen onmiddellijke anomalie vertoont voordat de drempel is bereikt, falen deze verdedigingen om de kwaadaardige logica te detecteren.
• Controleerbaarheid: De auteurs tonen aan dat de latentie-tijd nauwkeurig kan worden ingesteld via hyperparameters ($a, b, c$), waardoor de aanvalspartij kan kiezen wanneer de aanval plaatsvindt.

Betekenis en Implicaties

De bevindingen van dit artikel hebben diepgaande gevolgen voor de beveiliging van machine learning-modellen:

• Nieuw Aanvalsoppervlak: De tijdsdimensie is een tot nu toe onbeschermd aanvalsoppervlak. Aanvallers kunnen nu geduldig wachten en "slapen" in het systeem, wat hen in staat stelt om verdedigingen die gebaseerd zijn op directe observatie te omzeilen.
• Beperkingen van Huidige Metrieken: Standaard metrieken zoals CA en ASR zijn ontoereikend voor het evalueren van dergelijke aanvallen, omdat ze geen rekening houden met de tijdsdimensie of de staat van het model. Er zijn nieuwe, "stateful" evaluatiekaders nodig.
• Noodzaak voor Stateful Verdediging: De huidige verdedigingen zijn statisch en kijken naar individuele invoer. De auteurs pleiten voor de ontwikkeling van stateful, tijdsbewuste verdedigingsmechanismen die het gedrag van een model over langere tijd en over meerdere sessies heen monitoren om afwijkingen in de activatiepatronen te detecteren.

Kortom, dit artikel waarschuwt dat de veiligheid van PTMs niet alleen afhangt van het detecteren van kwaadaardige triggers op het moment van invoer, maar ook van het begrijpen van hoe deze triggers over tijd kunnen accumuleren om later een rampzalige uitbraak te veroorzaken.