🤖 machine learning

Symbolic Mechanistic Data Attribution: Tracing Training Influence to Learned Behavioral Policies

Dieses Paper führt Symbolic Mechanistic Data Attribution (SMDA) ein, ein Framework, das mechanistische Interpretierbarkeit und Datenattribution überbrückt, indem es analytisch dekomponiert, wie spezifische Trainingsbeispiele hochgradige symbolische Verhaltensrichtlinien formen, wodurch systematische Sicherheitslücken und Interferenzen auf Merkmalsebene in großen Sprachmodellen offengelegt werden.

Ursprüngliche Autoren: Reza Habibi, Darian Lee, Magy Seif El-Nasr

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Reza Habibi, Darian Lee, Magy Seif El-Nasr

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) wie ein riesiges, komplexes Orchester vor. Lange Zeit haben wir dieses Orchester als „Black Box“ behandelt: Wir wissen, welche Musik es spielt (die Antworten, die es gibt), aber wir haben keine Ahnung, welche spezifischen Instrumente welche Noten spielen oder wie der Dirigent entschieden hat, das Lied zu beginnen.

Mechanistic Interpretability (Mechanistische Interpretierbarkeit) ist das Feld, das versucht, die interne Verdrahtung des Orchesters zu verstehen. Es ist so, als würde man herausfinden, dass eine bestimmte Geigerin (ein „Neuron“) immer eine hohe Note spielt, wenn das Thema „Politik“ ist, oder dass ein bestimmter Trommelschlag (ein „Circuit“) ausgelöst wird, wenn das Modell kurz davor ist, zu lügen.

Aber es fehlt ein Puzzleteil: Data Attribution (Datenattribution). Wir wissen, wie das Orchester spielt, aber wir wissen nicht, welche Notenblätter (Trainingsdaten) es dazu gebracht haben, so zu spielen. Hat ein bestimmtes Lied im Trainingssatz die Geigerin gelehrt, die hohe Note zu spielen? Oder hat ein anderes Lied den Schlagzeuger gelehrt, aufzuhören?

Dieses Paper stellt ein neues Werkzeug namens SMDA (Symbolic Mechanistic Data Attribution) vor, um dieses Rätsel zu lösen, wobei es speziell untersucht, warum KI-Modelle manchmal „Das kann ich nicht tun“ (Verweigerung) sagen, wenn sie nach etwas Schädlichem gefragt werden.

So funktioniert SMDA, erklärt anhand einfacher Analogien:

1. Die „Symbolische Policy“ (Das Regelbuch)

Anstatt zu versuchen, den Einfluss auf ein einzelnes, winziges Neuron zurückzuverfolgen (was so ist, als würde man versuchen, ein einzelnes Sandkorn an einem Strand zu finden), erstellt SMDA ein einfaches Regelbuch (eine „symbolische Policy“), das das Verhalten des Modells erklärt.

Die Analogie: Stellen Sie sich vor, das Verweigerungsverhalten der KI ist wie ein Richter, der entscheidet, ob ein Buch verboten wird. Der Richter schaut nicht nur auf das Buch; er schaut auf eine Checkliste von 75 spezifischen „Features“ (wie „Enthält es Gewalt?“ oder „Handelt es von Religion?“).
Die Innovation: SMDA verwendet einen „Sparse Autoencoder“ (SAE), um diese 75 Features zu finden. Es ist wie ein hochmoderner Übersetzer, der die komplexen, chaotischen internen Gedanken der KI in klare, für Menschen lesbare Konzepte verwandelt (z. B. „Religiöse Stereotypisierung“ oder „Gewaltszenen“).
Das Ziel: SMDA passt eine einfache mathematische Gleichung (Ridge-Regression) an diese Checkliste an. Diese Gleichung sagt uns, wie viel Gewicht die KI jedem Feature gibt, wenn sie entscheidet, „Nein“ zu sagen.

2. Das „Was-wäre-wenn“-Experiment (Den Einfluss zurückverfolgen)

Sobسبen das Regelbuch erstellt wurde, fragt SMDA: „Wenn wir ein spezifisches Trainingsbeispiel zu der Geschichte der KI hinzugefügt hätten, wie würde das das Regelbuch verändern?“

Die Analogie: Stellen Sie sich vor, Sie unterrichten einen Schüler. Sie wollen wissen, ob das Zeigen eines Bildes von einem brennenden Gebäude (einem „schädlichen“ Beispiel) seine Regel für „Wann man den Notruf wählt“ verändert hat.
Die zwei Pfade: SMDA betrachtet zwei Wege, wie dieses Trainingsbeispiel das Regelbuch verändert:
1. Der „Was ich sehe“-Pfad ( $\Delta X$ ): Hat das Trainingsbeispiel die Art und Weise verändert, wie die KI die Welt sieht? (z. B. Hat es die KI sensibler für das Wort „Feuer“ gemacht?)
2. Der „Was ich entscheide“-Pfad ( $\Delta Y$ ): Hat das Trainingsbeispiel die finale Entscheidung der KI verändert? (z. B. Hat es die KI wahrscheinlicher dazu gebracht, „Nein“ zu sagen, unabhängig davon, was sie sieht?)

Durch die Trennung dieser beiden kann SMDA genau sagen, warum ein spezifisches Trainingspaar einen Effekt hatte.

3. Was sie herausgefunden haben (Die Ergebnisse)

Die Forscher testeten dies an Llama-3.2-3B-Instruct, einem populären KI-Modell, unter Verwendung von 200 Trainingsbeispielen (einige schädlich, einige harmlos). Hier ist, was sie entdeckten:

Die „Lücke“ im Regelbuch: Sie fanden heraus, dass das Regelbuch der KI einen seltsamen Fehler aufwies. Für Kategorien wie „religiöse Stereotypisierung“ oder „Verspottung geschützter Gruppen“ konnte die KI den Schaden zwar erkennen (das Feature leuchtete auf), aber das Regelbuch gab diesen Features ein negatives Gewicht.
- Übersetzung: Die KI wusste, dass sie etwas Schlechtes sah, aber ihr internes Regelbuch sagte ihr, sie solle es ignorieren und kooperieren. Es ist wie ein Sicherheitsmann, der einen Dieb sieht, aber in seinem Regelbuch stehen hat: „Wenn du einen Dieb siest, lass ihn durchgehen.“ SMDA hat dieses kaputte Regel bloßgestellt.
Die „Cross-Feature Interference“ (Unbeabsichtigte Nebeneffekte): Dies ist eine entscheidende Erkenntung. Als sie die KI mit einem Prompt über „das Ermorden eines Warzähors“ (ein gewalttätiges, schädliches Thema) trainierten, erwarteten sie, dass dies die Regel für „Gewalt“ stärken würde.
- Die Überraschung: Dieses eine Trainingsbeispiel veränderte versehentlich auch die Regeln für völlig unzusammenhängende Themen, wie „Copyright-Anfragen“ oder „Religionsfragen“.
- Die Analogie: Es ist, als würde man versuchen, einem Schüler beizubringen, vorsichtig mit Messern umzugehen, aber im Prozess bringt man ihm versehentlich bei, Angst vor Löffeln zu haben. Die Trainingsdaten „schwappten über“ und störten Regeln, die sie eigentlich nicht berühren sollten.
Schlechte Trainingsdaten: Sie fanden spezifische Trainingsbeispiele, die „fehlkalibriert“ waren. Zum Beispiel sollte ein Prompt über „dicke und lange Penisse“ (ein sexuelles/schädliches Thema) die KI lehren, sexuelle Inhalte zu verweigern. Stattdessen zeigte SMDA, dass dieses Beispiel die KI primlich dazu brachte, allgemeine, harmlose Fragen zu verweigern.
- Übersetzung: Die KI hat die falsche Lektion gelernt. Sie dachte: „Wenn ich diese seltsame Frage sehe, sollte ich einfach aufhören, alles zu beantworten“, anstatt: „Ich sollte nur sexuelle Fragen verweigern“.

Warum das wichtig ist

Vor SMDA mussten Sie, wenn Sie wissen wollten, warum eine KI eine Anfrage abgelehnt hat, entweder:

Raten (Black-Box-Influence-Functions): „Diese Trainingsdaten haben das wahrscheinlich verursacht.“
Manuell Schaltkreise inspizieren: „Lass uns Neuron #452 untersuchen...“ (Das ist langsam und schwer skalierbar).

SMDA schließt die Lücke. Es bietet ein Diagnosewerkzeug, das:

Feingranular ist: Es erklärt das Warum (z. B. „Dieses Trainingspaar hat die ‚Religion‘-Regel geändert, nicht die ‚Gewalt‘-Regel“).
Skalierbar ist: Es erfordert nicht, dass ein Mensch jedes einzelne Neuron manuell kartiert.

Kurz gesagt: SMDA ist wie ein forensischer Buchhalter für KI-Trainingsdaten. Es sagt nicht nur: „Diese Daten haben die KI verändert“; es liefert eine detaillierte Quittung, die genau zeigt, welche internen Regeln angepasst, welche gebrochen und welche Trainingsbeispiele die Ursache dafür waren, dass die KI die falsche Lektion gelernt hat. Dies hilft Forschern, das „Regelbuch“ zu korrigieren, um KI sicherer und zuverlässiger zu machen.

Technisches Resümee: Symbolic Mechanistic Data Attribution (SMDA)

Problemstellung

Bestehende Methoden zur Datenattribution, einschließlich der Mechanistic Data Attribution (MDA), sind effektiv darin, Trainingsbeispiele auf spezifische, vorab charakterisierte niederwertige Schaltkreise (z. B. Neuronen, Attention Heads oder bekannte SAE-Features) zurückzuführen. Sie haben jedoch Schwierigkeiten zu erklären, wie Trainingsdaten hochgradige Verhaltensentscheidungen formen, bei denen der zugrunde liegende Schaltkreis nicht a priori bekannt ist. Diese Lücke schränkt die Fähigkeit ein, komplexe Sicherheitsphänomene wie schädliche Compliance, Sykophantie oder Verweigerungsverhalten zu diagnostizieren, die oft aus der Interaktion mehrerer Komponenten statt aus einer einzelnen identifizierbaren Einheit entstehen. Darüber hinaus operieren Standard-Influence-Functions als Black Boxes, während eine manuelle Schaltkreis-Analyse für hochgradige Policies nicht skalierbar ist.

Methodik: Symbolic Mechanistic Data Attribution (SMDA)

Die Autoren schlagen SMDA vor, ein Framework, das den Einfluss von Trainingsdaten auf eine gelernte symbolische Policy über Sparse-Autoencoder (SAE)-Features attribuiert, anstatt auf eine handspezifizierte Schaltkreis-Komponente. Die Methode arbeitet durch folgende Schritte:

Konstruktion der symbolischen Policy:
- Das Framework extrahiert SAE-Feature-Aktivierungen aus einem spezifischen Layer (Layer 10 von Llama-3.2-3B-Instruct) für einen gehaltenen Evaluation-Datensatz.
- Es wählt eine Teilmenge von Features ( $d=75$ ) aus, die signifikante Aktivierungsunterschiede zwischen schädlichen und harmlosen Prompts aufweisen.
- Eine geschlossene Ridge-Regression wird angepasst, um die Zielentscheidung (Refusal Propensity/Verweigerungsneigung) als Funktion dieser SAE-Features zu modellieren. Das Ergebnis ist ein symbolischer Policy-Gewichtsvektor $W$ , wobei jeder Eintrag den Beitrag eines spezifischen Features zur Verweigerungsentscheidung darstellt.
Berechnung des Einflusses (Influence Computation):
- Für ein gegebenes Supervised Fine-Tuning (SFT) Trainingspaar $z_i$ approximiert SMDA den Effekt eines einzelnen Gradientenschritts auf die symbolischen Policy-Gewichte $W$ .
- Die Verschiebung der Gewichte, $\Delta W_i$ $Δ W_{i}$ , wird mittels einer Taylor-Reihe erster Ordnung analytisch in zwei Pfade zerlegt:
  - $\Delta X$ -Pfad: Änderungen in den internen SAE-Feature-Aktivierungen, die durch den Gradienten-Update verursacht werden.
  - $\Delta Y$ -Pfad: Änderungen in den Output-Log-Wahrscheinlichkeiten der Verweigerung des Modells, die durch den Gradienten-Update verursacht werden.
- Der endgültige Einfluss-Score ist das Skalarprodukt $\langle \Delta W_i, W \rangle$ , welches angibt, ob das Trainingspaar die Policy weiter in ihre aktuelle Richtung drängt (positiv) oder dagegen (negativ).
Experimentelles Setup:
- Modell: Llama-3.2-3B-Instruct.
- SAE: Ein BatchTopK SAE, das auf dem Residual Stream von Layer 10 trainiert wurde und 12.288 Features liefert.
- Daten: 200 SFT-Trainingspaare (100 schädliche Verweigerung, 100 harmlose Compliance) und ein Evaluationsdatensatz von 11.000 Prompts, aufgeteilt in verschiedene Konfigurationen (schädlich-harmlos, schädlich-natürlich, schädlich-balanciert).

Zentrale Beiträge

Framework-Innovation: Einführung von SMDA, welches das Attributionsziel von vordefinierten niederwertigen Einheiten auf eine gelernte, interpretierbare symbolische Policy über SAE-Features verschiebt. Dies ermöglicht die Attribution in Szenarien, in denen die zugrunde liegende Schaltkreisstruktur unbekannt ist.
Analytische Dekomposition: Ableitung einer geschlossenen Form der Einflussberechnung, die Trainingseffekte in Feature-Aktivierungs- ( $\Delta X$ ) und Output-Wahrscheinlichkeits-Pfaden ( $\Delta Y$ ) trennt und somit mechanistische Einblicke bietet, wie Trainingsdaten das Verhalten verändern.
Empirische Analyse: Anwendung von SMDA auf das Verweigerungsverhalten von Llama-3.2-3B-Instruct, wobei 200 SFT-Paare analysiert wurden, um systematische Lücken im Sicherheitsverhalten und Cross-Feature-Interferenzmuster aufzuzeigen.

Kernergebnisse

Die Analyse der symbolischen Policy und der Trainings-Einflüsse lieferte drei primäre Erkenntnisse:

Systematische Lücken im Sicherheitsverhalten:
- Die Koeffizienten der symbolischen Policy zeigten, dass das Basismodell schädliche Inhalte zuverlässig erkennt (Features aktivieren sich), aber es versäumt, diese Erkennung in Verweigerungsentscheidungen zu übersetzen.
- Features, die mit religiöser Stereotypisierung, Charakterisierung geschützter Gruppen und argumentativer Rahmung assoziiert sind, trugen große negative Koeffizienten (die Compliance vorhersagen). Dies deutet darauf hin, dass das Modell die Harm zwar repräsentiert, aber die entsprechende Verweigerungs-Policy für diese Kategorien nicht gelernt hat.
Qualitative Unterschiede im Trainingseinfluss:
- Die $\Delta X / \Delta Y$ -Dekomposition zeigte, dass schädliche und harmlose Trainingspaare qualitativ unterschiedliche Einflüsse ausüben.
- Für bestimmte Features verschoben schädliche Paare primär die Output-Wahrscheinlichkeit des Modells ( $\Delta Y$ ), während harmlose Paare den Einfluss gleichmäßiger über beide Pfade verteilten. Dies deutet darauf hin, dass Safety Fine-Tuning kein uniformer Prozess ist.
Cross-Feature-Interferenz:
- Einzelne Trainingspaare zeigten häufig „katastrophale Interferenz“, bei der ein Paar, das auf eine semantische Kategorie abzielt (z. B. Gewalt), die Koeffizienten semantisch unzusammenhängender Features (z. B. Urheberrechtsanfragen) signifikant verschob.
- SMDA identifizierte erfolgreich „fehlkalibrierte“ Trainingspaare, bei denen der dominante Effekt auf unbeabsichtigte Features fiel (z. B. unterdrückte ein Verweigerungs-Paar zu sexuellen Inhalten primär allgemeine Informationsanfragen), was auf potenzielle Ineffizienzen in der Kuratierung von Sicherheitsdaten hinweist.

Signifikanz und Ansprüche

Das Paper behauptet, dass die Kombination aus mechanistischer Interpretierbarkeit und Datenattribution ein Diagnosewerkzeug liefert, das feinkörniger als Black-Box-Influence-Functions und skalierbarer als manuelle Schaltkreis-Analyse ist.

Von Schaltkreisen zu Policies: SMDA schließt die Lücke zwischen dem Verständnis einzelner Komponenten und dem Verständnis von Entscheidungs-Ebene-Verhalten. Es behandelt die symbolische Policy selbst als Objekt der Attribution und offenbart nicht nur, welche Features existieren, sondern wie das Modell sie gewichtet.
Diagnostischer Nutzen: Das Framework liefert interpretierbare Signale für das Safety Engineering, wie etwa die Identifizierung von Trainingspaaren, die unbeabsichtigte Cross-Feature-Interferenzen verursachen, oder die Aufdeckung spezifischer Kategorien, in denen das Modell zwar Schaden erkennt, aber nicht verweigert.
Grenzen und Umfang: Die Autoren äußern sich bescheiden über den aktuellen Umfang und merken an, dass SMDA zur symbolischen Policy attribuiert (eine 75-Feature Ridge-Regression mit ca. 64–70 % Testgenauigkeit) und nicht zum vollständigen Modell. Sie betonen explizit, dass die Methode zwar Trainingspaare mit konsistenten Einflussprofilen identifiziert, aber keine kausale Validierung via Retraining-Experimente durchführt, um zu verifizieren, dass das Entfernen solcher Paare die nachgelagerte Sicherheit verbessert. Die Arbeit wird als notwendige Voraussetzung für zukünftige Interventionsstudien und nicht als vollständig validiertes Werkzeug zur Datenkuratierung präsentiert.