Testing Whether Internal Backdoor Precursors Precede Behavior: A Causal, Power-Matched Protocol

Technisches Resümee: Testen, ob interne Backdoor-Präkursoren dem Verhalten vorausgehen

Problemstellung
Die aktuelle Sicherheitsüberwachung für KI-Modelle bewertet typischerweise, ob ein fertiges Modell eine Backdoor enthält, oder analysiert Trainingsdynamiken isoliert. Eine kritische temporale Lücke bleibt bestehen: Es ist unbekannt, ob eine mit einer Backdoor assoziierte interne Repräsentation detektierbar wird, bevor das Output-Verhalten des Modells eine statistisch signifikante Änderung aufweist. Bestehende Methoden scheitern daran, einen kausalen, temporalen Vergleich zwischen internen Signalen und dem Output-Verhalten zu etablieren, da sie oft keine gematchten Null-Bedingungen verwenden, willkürliche Klassifizierungsschwellen nutzen oder es versäumen, die Family-Wise Error Rate bei dichten Checkpoint-Inspektionen zu kontrollieren. Zudem impliziert ein dekodierbares internes Signal nicht zwangsläufig einen kausalen Präkursoren; es kann lediglich die Präsenz des Triggers kodieren, ohne das Zielverhalten tatsächlich voranzutreiben.

Methodik
Der Autor schlägt ein rigoroses, falsifizierbares Protokoll vor, um zu testen, ob ein interner Backdoor-Präkursor der behavioralen Manifestation vorausgeht. Das Experiment nutzt ein GPT-2-Modell mit 124 Mio. Parametern, das auf die SST-2 Sentiment-Klassifikation feinjustiert wurde.

1. Experimentelles Design:

   • Trainingsprotokoll: Das Modell durchläuft eine „Clean Adaptation“-Phase, gefolgt von einer Fortsetzungsphase, in der nur die Transformer-Blöcke 10 und 11 (und die finale Layer Norm) aktualisiert werden.
   • Bedingungen: Zwei Bedingungen werden parallel ausgeführt:
     • Backdoor-Bedingung: Ein spezifisches Token-Marker (cf) wird mit einem Zielverhalten assoziiert (Abbildung von negativen Rezensionen auf positives Sentiment).
     • Gematchte Null-Bedingung: Identische Inputs, Marker-Exposition, Label-Gesamtzahlen und Label-Rauschen werden verwendet, aber der aktive Marker ist nicht mit dem Zielverhalten assoziiert (die Fehlbeschriftung erfolgt bei unmarkierten Beispielen).
   • Dichte Checkpoints: Die Modelle werden bei jedem Update-Schritt (0 bis 80) evaluiert.

2. Duale Detektoren:

   • Behavioraler Assay: Misst die kontinuierliche Änderung der Output-Logit-Margin (positives minus negatives Logit) für aktive-Marker-Inputs gegenüber Kontroll-Marker-Inputs, relativ zur Baseline vor der Fortsetzung. Dies vermeidet willkürliches Thresholding.
   • Interner Assay: Misst die Verschiebung im Residual Stream (post-Block-10), projiziert auf eine festgelegte, eindimensionale Richtung. Diese Richtung wird aus einer unabhängigen „Discovery“-Fortsetzung abgeleitet, die auf einem separaten Datensatz trainiert wurde, um den reifen Backdoor-Mechanismus zu erfassen. Entscheidend ist, dass die Richtung vor Beginn der Bestätigungsläufe fixiert wird, um Overfitting zu vermeiden.

3. Kausale Interventionen:
   Um zu verifizieren, dass ein frühes internes Signal ein Präkursor ist und nicht nur ein dekodierbarer Passagier, setzt das Protokoll kausale Interventionen zum Zeitpunkt der behaupteten Detektion ein:

   • Ablation: Entfernung der akquirierten Koordinate aus der aktiven-Marker-Aktivierung.
   • Restaurierung: Hinzufügen einer Checkpoint-gematchten Amplitude aus unabhängigen Donor-Beispielen zur ablatierten Aktivierung.
   • Control Patching: Hinzufügen der Amplitude zu Kontroll-Marker-Inputs.
     Diese Interventionen werden an einem disjunkten Satz von Prompts getestet, um die temporale Trennung zu gewährleisten.

4. Statistische Kalibrierung:

   • Fehlerkontrolle: Um das Problem der multiplen Vergleiche anzugehen, das bei der Inspektion von 160 Detektor-Checkpoints (2 Detektoren × 80 Updates) inhärent ist, verwendet das Protokoll einen Maximum-Statistik-Cutoff, der aus 20.000 Bootstrap-Zügen von Null-Trajektorien abgeleitet wurde. Dies gewährleistet eine strikte Family-Wise False-Positive-Rate.
   • Power-Matching: Beide Detektoren verwenden dieselbe Stichprobengröße ($n=128$), dieselbe studentisierte Mittelwert-Statistik und denselben Cutoff, um vergleichbare statistische Power zu gewährleisten.
   • Entscheidungsgatter: Ein positives Ergebnis erfordert: (1) Das Überschreiten des Schwellenwerts durch den internen Test vor dem behavioralen Test in einer signifikanten Anzahl von Durchläufen; (2) erfolgreiche Unterdrückung (Ablation) und Rettung (Restaurierung) des Zielverhaltens am Punkt des internen Durchbrechens; sowie (3) statistische Signifikanz via exakter Sign-Flip-Tests mit Holm-Korrektur.

Wesentliche Beiträge

• Ausführbares Protokoll: Die Arbeit präsentiert ein vollständig spezifiziertes, falsifizierbares Protokoll für den Vergleich des Onsets von internen Repräsentationen und Output-Verhalten unter gematchten Bedingungen.
• Kausaler temporaler Vergleich: Sie geht über Korrelation hinaus, indem sie verlangt, dass ein frühes internes Signal kausal notwendig (via Ablation/Rescue) für das spätere Verhalten sein muss.
• Rigider statistischer Rahmen: Sie führt eine gemeinsame Maximum-Statistik-Kalibrierung ein, um False Positives bei dichten temporalen Inspektionen zu kontrollieren, und stellt Power-Matching zwischen internen und behavioralen Tests sicher.
• Entkopplung von Dekodierbarkeit und Kausalität: Durch die Verwendung einer unabhängigen Richtungs-Entdeckung und kausaler Interventionen unterscheidet das Protokoll zwischen Information, die lediglich in den Gewichten präsent ist, und Information, die das Verhalten funktional vorantreibt.

Ergebnisse
Das Paper gibt explizit an, dass keine bestätigenden Ergebnisse hinsichtlich der temporalen Hypothese berichtet werden.

• Der Autor führte „Smoke Tests“ und synthetische Unit-Tests durch, um die Pipeline zu verifizieren, einschließlich der Clean Adaptation, der Discovery-Direction-Fitting, der dichten Evaluation und der kausalen Interventionslogik.
• Diese Tests bestätigten die Implementierungsdetails (z. B. Token-IDs, Parameteranzahl, Workflow-Timing), waren jedoch ausdrücklich nicht-inferentiell.
• Folglich bleibt die Frage „Werden kausal notwendige Backdoor-Repräsentationen vor dem gematchten Verhalten detektierbar?“ offen. Das Paper liefert das Entscheidungsverfahren und die Fehleranalyse, liefert jedoch nicht die Antwort.

Bedeutung und Ansprüche
Der primäre Beitrag des Papers ist methodologischer Natur, nicht empirisch.

• Es etabliert ein falsifizierbares Kriterium für die Beantwortung der Frage, ob interne Präkursoren dem Verhalten vorausgehen, und verhindert so, dass Forscher Token-Identität, Schwellenwert-Verhalten, Probe-Flexibilität oder ungleiche Fehlerbudgets mit echtem Frühwarnsystem verwechseln.
• Es argumentiert, dass eine Behauptung über ein „frühes Warnsignal“ vier verknüpfte Komponenten erfordert: eine Baseline, die die statische Input-Identität ausschließt, einen kontinuierlichen Output-Komparator, gleichberechtigte Möglichkeiten zur Ablehnung (Power-Matching) und eine Intervention, die die kausale Nutzung statt bloßer Dekodierbarkeit etabliert.
• Die Arbeit unterstützt die Agenda der „Developmental Interpretability“, indem sie einen operationalen Test für die Überwachung von Trainingsdynamiken auf sicherheitsrelevante Präkursoren bietet, statt lediglich fertige Modelle zu auditieren.

Zusammenfassend definiert das Paper, wie man rigoros auf Backdoor-Präkursoren testet, behauptet jedoch nicht, welche gefunden wurden, und lässt die substantielle Frage somit offen.