Testing Whether Internal Backdoor Precursors Precede Behavior: A Causal, Power-Matched Protocol

Technische Samenvatting: Testen of Interne Backdoor-precursoren Voorafgaan aan Gedrag

Probleemstelling
Huidige veiligheidsmonitoring voor AI-modellen evalueert doorgaans of een voltooid model een backdoor bevat of analyseert trainingsdynamiek in isolatie. Er blijft echter een kritische temporele kloof bestaan: het is onbekend of een interne representatie die geassocieerd wordt met een backdoor detecteerbaar wordt voordat de output-gedrag van het model een statistisch significante verandering vertoont. Bestaande methoden falen in het vaststellen van een causale, temporele vergelijking tussen interne signalen en output-gedrag omdat ze vaak geen gematchte nulcondities gebruiken, willekeurige classificatiedrempels hanteren, of er niet in slagen de family-wise error rate te controleren bij dichte inspecties van checkpoints. Bovendien impliceert een decodeerbaar intern signaal niet noodzakelijkerwijs een causaal precursor; het kan louter de aanwezigheid van de trigger coderen zonder het doelgedrag aan te drijven.

Methodologie
De auteur stelt een rigoureus, falsifieerbaar protocol voor om te testen of een interne backdoor-precursor voorafgaat aan de manifestatie van gedrag. Het experiment maakt gebruik van een GPT-2 model met 124M parameters dat is gefinetuned op de SST-2 sentimentclassificatietaak.

1. Experimenteel Ontwerp:

   • Trainingsprotocol: Het model ondergaat een "clean adaptation" fase, gevolgd door een continuatiefase waarin alleen transformer-blokken 10 en 11 (en de laatste layer norm) worden bijgewerkt.
   • Condities: Twee condities worden parallel uitgevoerd:
     • Backdoor Conditie: Een specifieke token-marker (cf) wordt geassocieerd met een doelgedrag (het mappen van negatieve reviews naar positief sentiment).
     • Gematchte-Nul Conditie: Identieke inputs, marker-expositie, labeltotalen en labelruis worden gebruikt, maar de actieve marker is niet geassocieerd met het doelgedrag (de mislabeling vindt plaats op ongemerkte voorbeelden).
   • Dichte Checkpoints: Modellen worden geëvalueerd bij elke update-stap (0 tot 80).

2. Dubbele Detectoren:

   • Gedragsassay: Meet de continue verandering in de output-logit marge (positief minus negatief) voor actieve-marker inputs versus controle-marker inputs, relatief aan de pre-continuatie baseline. Dit vermijdt willekeurige drempelwaardes.
   • Interne Assay: Meet de verschuiving in de residual stream (post-blok-10) geprojecteerd op een vastgelegde, eendimensionale richting. Deze richting is afgeleid van een onafhankelijke "discovery" continuatie die getraind is op een aparte dataset om het volwassen backdoor-mechanisme te vangen. Cruciaal is dat de richting vaststaat voordat de bevestigingsruns beginnen om overfitting te voorkomen.

3. Causale Interventies:
   Om te verifiëren dat een vroeg intern signaal een precursor is en niet slechts een decodeerbare passagier, hanteert het protocol causale interventies op het vermeende detectietijdstip:

   • Ablatie: Het verwijderen van de verkregen coördinaat uit de actieve-marker activatie.
   • Restauratie: Het toevoegen van een checkpoint-gematchte amplitude van onafhankelijke donor-voorbeelden aan de geablateerde activatie.
   • Controle-Patching: Het toevoegen van de amplitude aan controle-marker inputs.
     Deze interventies worden getest op een disjuncte set prompts om temporele scheiding te garanderen.

4. Statistische Kalibratie:

   • Foutcontrole: Om het "probleem van meerdere vergelijkingen" aan te pakken dat inherent is aan de inspectie van 160 detector-checkpoints (2 detectoren × 80 updates), gebruikt het protocol een maximum-statistiek afkapwaarde afgeleid van 20.000 bootstrap-trekken van nul-trajecten. Dit garandeert een strikte family-wise false-positive rate.
   • Power Matching: Beide detectoren gebruiken dezelfde steekproefomvang ($n=128$), dezelfde studentized mean statistiek en dezelfde afkapwaarde, wat zorgt voor vergelijkbare statistische power tussen de interne en gedrags-tests.
   • Beslissingspoorten: Een positief resultaat vereist dat: (1) de interne test de drempel overschrijdt vóór de gedragstest in een significant aantal runs; (2) succesvolle onderdrukking (ablatie) en redding (restauratie) van het doelgedrag plaatsvindt op het punt van de interne overschrijding; en (3) statistische significantie via exact sign-flip tests met Holm-correctie.

Belangrijkste Bijdragen

• Uitvoerbaar Protocol: Het artikel presenteert een volledig gespecificeerd, falsifieerbaar protocol voor het vergelijken van het aanvangstijdstip van interne representaties en output-gedrag onder gematchte condities.
• Causale Temporele Vergelijking: Het gaat verder dan correlatie door te eisen dat een vroeg intern signaal causaal noodzakelijk moet zijn (via ablatie/restauratie) voor het uiteindelijke gedrag.
• Rigoureus Statistisch Kader: Het introduceert een gezamenlijke maximum-statistiek kalibratie om false positives te controleren over dichte temporele inspecties en zorgt voor power matching tussen interne en gedrags-tests.
• Ontkoppeling van Decodeerbaarheid en Causaliteit: Door gebruik te maken van onafhankelijke richting-ontdekking en causale interventies, onderscheidt het protocol informatie die louter aanwezig is in de gewichten van informatie die functioneel het gedrag aanstuurt.

Resultaten
Het artikel stelt expliciet dat geen bevestigende resultaten met betrekking tot de temporele hypothese worden gerapporteerd.

• De auteur heeft "smoke tests" en synthetische unit tests uitgevoerd om de pipeline te verifiëren, inclusief de clean adaptation, discovery direction fitting, dichte evaluatie en de logica van causale interventies.
• Deze tests bevestigden de implementatiedetails (bijv. token ID's, parameter aantallen, workflow timing) maar waren expliciet niet-inferentieel.
• Concluderend blijft de vraag "Worden causaal noodzakelijke backdoor-representaties detecteerbaar vóór gematcht gedrag?" open. Het artikel biedt de besluitprocedure en foutanalyse, maar geeft niet het antwoord.

Betekenis en Claims
De primaire bijdrage van het artikel is methodologisch, niet empirisch.

• Het vestigt een falsifieerbaar criterium voor de vraag of interne precursoren aan gedrag voorafgaan, waardoor onderzoekers voorkomen dat ze token-identiteit, drempelwaarde-gedrag, de flexibiliteit van probes of ongelijke foutenbudgetten aanzien voor een werkelijke vroege waarschuwing.
• Het betoogt dat een claim van een "vroege waarschuwing" vier gekoppelde componenten vereist: een baseline die statische input-identiteit uitsluit, een continue output-comparator, gelijkwaardige kansen op verwerping (power matching), en een interventie die het causale gebruik vaststelt in plaats van enkel de decodeerbaarheid.
• Het werk ondersteunt de agenda van "developmental interpretability" door een operationele test te bieden voor het monitoren van trainingsdynamiek op veiligheidsrelevante precursoren, in plaats van enkel het auditeren van definitieve modellen.

Samenvattend definieert het artikel hoe men rigoureus kan testen op backdoor-precursoren, maar het claimt niet dat deze gevonden zijn, waardoor de substantiële vraag open blijft voor toekomstige toepassing van dit protocol.