Technische Samenvatting: Taalwisselende Triggers Maken een Latente Omweg via Taalmodellen

Probleemstelling

Backdoor-aanvallen op taalmodellen (LM's) vormen een aanzienlijke beveiligingsbedreiging waarbij een adversary tijdens het trainen of fine-tunen een verborgen trigger injecteert. Hoewel het model zich normaal gedraagt op schone invoer, zorgt de aanwezigheid van de trigger ervoor dat het door de aanvaller gekozen uitvoeren produceert. Ondanks uitgebreid onderzoek naar detectie en mitigatie blijven de interne mechanismen waarmee een triggersequentie de modelberekeningen overneemt slecht begrepen. Bestaande methoden behandelen backdoors vaak als ondeurzichtige componenten en falen in het uitleggen hoe de trigger wordt gerepresenteerd en verwerkt binnen de architectuur van het model.

Om dit aan te pakken, vereisen de auteurs een testomgeving waarin de trigger volledig wordt gekarakteriseerd en het downstream-effect eenvoudig meetbaar is. Ze vermijden de ethische en praktische complexiteit van het trainen van modellen met schadelijke triggers (zoals giftige taal of onveilige code) door gebruik te maken van Gaperon-8B, een autoregressief taalmodel dat vooraf is getraind met een onschadelijke, specifieke backdoor: een 9-token Latijnse trigger die Engelse uitvoer omleidt naar Frans.

Methodologie

De studie maakt gebruik van een toolkit voor causale circuitanalyse om de interne berekeningen van het model onder triggeromstandigheden in kaart te brengen. De methodologie steunt op drie primaire tools:

1. Activering Patching (Causal Tracing): De auteurs voeren drie forward passes uit:

   • Schoon: Engelse prefix + triggersequentie $\rightarrow$ Franse logits.
   • Corrupt: Engelse prefix + gecorrumpeerde trigger (vervangen door ruis of neutrale woorden) $\rightarrow$ Engelse logits.
   • Gepatcht: Corrupte pass waarbij de activering van een specifieke component wordt vervangen door de schone activering.
     De causale bijdrage van een component wordt gekwantificeerd door het percentage herstel van het logitverschil (LD) tussen Franse en Engelse indicator-tokens.

2. Lineaire Probes: Logistische regressie-classificatoren worden getraind op elke laag om Franse en Engelse residual stream-vectoren te onderscheiden. Deze probes traceert de trajectorie van "taalidentiteit" door het netwerk.

3. Per-Head Decompositie: Attention-outputs worden ontbonden in individuele head-bijdragen om specifieke componenten te identificeren die verantwoordelijk zijn voor het triggersignaal.

De analyse richt zich op de Franse trigger, aangezien de Duitse trigger van het model inconsistentie resultaten opleverde door onvoldoende Duitse vooraftrainingsdata. De trigger bestaat uit drie woorden (totaal 9 tokens). De auteurs onderzoeken sequentiespecificiteit door zowel woordniveau-permutaties als token-niveau-schudding te testen.

Belangrijkste Bevindingen en Resultaten

De auteurs identificeren een driefasig circuit dat ten grondslag ligt aan de taalwisselende backdoor:

Fase 1: Trigger Samenstelling (Lagen 3–7)

• Mechanisme: Gedistribueerde attention-heads over de lagen 3 tot en met 7 lezen de geordende trigger-tokens en stellen een triggerrepresentatie samen op de laatste positie van de sequentie ($p_{-1}$).
• Verdeling: Geen enkele head domineert; de maximale bijdrage van een enkele head is $\sim3\%$. De top 10 heads zijn gezamenlijk verantwoordelijk voor $\sim20–25\%$ van het totale effect.
• Specificiteit: Het circuit is gevoelig voor tokenorde binnen woorden, maar grotendeels orde-invariant met betrekking tot woordvolgorde. Token-niveau schudding elimineert het signaal, terwijl woordniveau-permutatie het grotendeels behoudt. Dit suggereert een "bag-of-words" samenstelling op woordniveau, waarbij subwoord-tokens eerst worden samengesteld tot woordrepresentaties voordat ze worden geaggregeerd.

Fase 2: Latente Propagatie (Lagen 8–30)

• Mechanisme: Het triggersignaal blijft bestaan in de residual stream op positie $p_{-1}$ door de midden- en late lagen zonder constructieve berekening van individuele componenten.
• Orthogonale Encodering: Een cruciale bevinding is dat het signaal zich voortplant in een ondersubruimte orthogonaal aan de natuurlijke taal-identiteitsrichting van het model.
  • Lineaire taalprobes, getraind op natuurlijk Frans, classificeren de getriggerte representatie als Engels (vertrouwen $\approx 0$) gedurende de midden- tot late lagen.
  • Ondanks dat het voor deze probes onzichtbaar is, is het signaal causaal noodzakelijk; het weglaten van positie $p_{-1}$ op een willekeurige laag in dit bereik mitigeert de trigger volledig.
• Implicatie: Het triggersignaal draagt de informatie die nodig is om Franse uitvoer te produceren, maar codeert deze in een representatie die lineaire taalclassificatoren niet kunnen benaderen.

Fase 3: Uitlezing (Laag 31)

• Mechanisme: De Multi-Layer Perceptron (MLP) in de laatste laag (Laag 31) zet het latente triggersignaal om in Franse logit-massa.
• Dominantie: De MLP van Laag 31 is verantwoordelijk voor ongeveer 63% van het totale causale effect, waardoor het de primaire uitleescomponent is.
• Convergentie: Op dit stadium convergeert het triggersignaal met de natuurlijke taalrichting en wordt het ongediscrimineerd verwerkt door dezelfde MLP die wordt gebruikt voor natuurlijke taalgeneratie.

Het Seriële Bottleneck

Het volledige circuit stroomt door een seriële bottleneck op een enkele positie: $p_{-1}$.

• Het corrumperen van de residual stream op positie $p_{-1}$ op elke laag (van samenstelling tot uitlezing) mitigeert de trigger volledig.
• Er zijn geen redundante parallelle paden; het signaal bevindt zich uitsluitend op $p_{-1}$ tijdens de uitleesfase.

Robuustheid tegen Corruptie

De auteurs hebben hun bevindingen gevalideerd met twee corruptiemethoden: standaard Gaussische ruis en neutrale-woord-corruptie (het vervangen van trigger-tokens door embeddings van veelvoorkomende Engelse woorden).

• Hoewel Gaussische ruis soms degeneratieve uitvoer produceerde (wat de schattingen van herstel in vroege lagen opblies), bleven de structurele claims (sigmoidale samenstelling, orthogonale propagatie, MLP-dominantie, seriële bottleneck) invariant voor beide corruptiemethoden.

Betekenis en Claims

Het artikel claimt de eerste gedetailleerde dissectie op circuitniveau te bieden van een taalwisselende backdoor, waarbij een nieuw mechanisme wordt onthuld voor hoe triggers detectie kunnen ontlopen:

1. Orthogonale Latente Encodering: De ontdekking dat het triggersignaal door het netwerk reist in een ondersubruimte orthogonaal aan de natuurlijke taalidentiteit, is een nieuwe bevinding. Dit impliceert dat verdedigingen die vertrouwen op het zoeken naar "taal-achtige" signalen in intermediaire representaties (bijvoorbeeld met behulp van lineaire probes) deze trigger volledig zouden missen, aangezien het signaal causaal aanwezig is maar geometrisch onzichtbaar voor dergelijke detectoren.
2. Circuitdissectie van Backdoors: De studie toont aan dat ingeplante backdoor-gedragingen kunnen worden ontleed met dezelfde toolkit voor causale circuitanalyse die is ontwikkeld voor natuurlijk geleerde berekeningen.
3. Beperkingen van Huidige Verdedigingen: De bevindingen suggereren dat de geometrische eigenschappen van de representatieruimte die door backdoors worden uitgebuit (specifiek de orthogonale omweg) momenteel niet worden bewaakt door standaard detectiemethoden.
4. Uitdagingen voor Mitigatie: Hoewel de seriële bottleneck op $p_{-1}$ een zwakke plek voor de trigger suggereert, belemmert het corrumperen van deze positie ook de natuurlijke capaciteiten van het model, wat de moeilijkheid benadrukt om triggers te mitigeren zonder de modelprestaties te degraderen.

De auteurs concluderen dat hoewel de specifieke drie-fasenstructuur is geïdentificeerd in een model met 8 miljard parameters, de algemene routeringsmachinerie (gedistribueerde samenstelling, latente propagatie en uitlezing) een klasse van triggers karakteriseert die mogelijk generaliseert, hoewel de specifieke laagtoewijzingen en dominantie kunnen variëren naargelang de modelgrootte.