💬 NLP

Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs

Dieser Artikel stellt „Perturbation Probing" vor, eine zweipassige, rückwärtspropagationsfreie Diagnosemethode, die zwei unterschiedliche FFN-Schaltkreisstrukturen identifiziert – Oppositionsschaltkreise für durch RLHF unterdrückte Verhaltensweisen und Routing-Schaltkreise für Verhaltensweisen aus dem Vor-Training – und somit präzise, gezielte Eingriffe ermöglicht, um spezifische Modellausgaben wie Sicherheitsverweigerungen oder Sprachauswahl zu bearbeiten, ohne andere Fähigkeiten zu beeinträchtigen.

Ursprüngliche Autoren: Hongliang Liu, Tung-Ling Li, Yuhao Wu

Veröffentlicht 2026-05-01

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hongliang Liu, Tung-Ling Li, Yuhao Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) als ein riesiges, unglaublich komplexes Orchester vor. Seit Jahren wissen wir, dass die Musik, die es spielt (die Antworten, die es gibt), gefährlich oder hilfreich sein kann, aber wir wussten nicht genau, welche Musiker (Neuronen) für die „sicheren" oder „unhöflichen" Teile des Songs verantwortlich waren.

Diese Arbeit stellt eine neue Methode namens Perturbation Probing vor. Denken Sie daran wie an ein „Zwei-Pass-Diagnosewerkzeug", das es Forschern ermöglicht, dem Orchester zuzuhören, ohne die Noten neu schreiben zu müssen (kein Backpropagation oder Nachtrainieren).

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das „Zwei-Pass"-Stethoskop

Normalerweise muss man schwere Mathematik betreiben oder ein ganz neues Modell trainieren, um herauszufinden, was welches Neuron tut. Diese Methode ist viel leichter.

Pass 1: Das Modell beantwortet eine Frage normal.
Pass 2: Die Forscher „verwirbeln" die Frage leicht (z. B. indem sie „Methamphetamin" zu „Metahmphetamin" ändern, sodass der Computer es als anderes Wort erkennt, obwohl Menschen es gleich lesen).
Die Diagnose: Durch den Vergleich der beiden Antworten berechnet die Methode einen „Score" für jedes einzelne Neuron im Modell. Sie fragt: „Hat dieses Neuron stark auf die Verwirbelung reagiert, und drängt es das Modell dazu, ,Nein' oder ,Ja' zu sagen?"

Wenn ein Neuron stark reagiert und in die richtige Richtung drängt, erhält es einen hohen Score. Die Forscher wählen dann die Top-50-Scorer aus, um sie zu testen.

2. Die zwei Arten von „Schaltkreisen"

Die Arbeit entdeckte, dass KI-Verhalten in zwei distincte Kategorien fallen, wie zwei verschiedene Arten von Rohrleitungssystemen:

Typ A: Der „Opposition"-Schaltkreis (Das Sicherheitsventil)

Was es ist: Dies geschieht, wenn die KI trainiert wird, etwas zu tun, das dem entgegengesetzt ist, was sie natürlich tun möchte. Zum Beispiel möchte eine KI von Natur aus Ihnen zustimmen (Vor-Training), aber Sicherheitstraining (RLHF) zwingt sie, bei schlechten Anfragen „Nein" zu sagen.
Die Metapher: Stellen Sie sich eine schwere Tür vor, die von Natur aus offen bleiben möchte. Um sie geschlossen zu halten, installieren Sie eine spezifische, kleine Klinke.
Die Erkenntnis: Die Forscher fanden heraus, dass für Sicherheitsverweigerungen diese „Klinke" überraschend klein ist. Bei einigen Modellen steuern nur 50 Neuronen (von Hunderttausenden) das Muster der Verweigerung.
- Wenn Sie diese 50 Neuronen entfernen, hört die KI auf, ihr höfliches Skript „Ich kann dabei nicht helfen" zu verwenden.
- Entscheidend: Das bedeutet nicht, dass die KI plötzlich böse wird. Sie hört einfach auf, das höfliche Skript zu verwenden. Sie mag Sie immer noch warnen, dass etwas illegal ist, aber sie wird nicht sagen: „Es tut mir leid, ich kann das nicht tun." Das Sicherheitswissen ist immer noch da, tiefer vergraben.

Typ B: Der „Routing"-Schaltkreis (Der Verkehrsleiter)

Was es ist: Dies geschieht bei Verhaltensweisen, die die KI bereits gerne ausführt, wie z. B. Chinesisch sprechen oder Mathematik betreiben. Die KI muss nicht gegen ihre Natur kämpfen; sie muss nur auf den richtigen Pfad gelenkt werden.
Die Metapher: Stellen Sie sich ein Autobahnsystem vor. Die Autos (Informationen) bewegen sich bereits. Um sie zu einer bestimmten Ausfahrt (Chinesische Sprache) zu bringen, müssen Sie keine neue Straße bauen; Sie müssen nur einen Schalter an den Verkehrsschildern umlegen.
Die Erkenntnis: Bei diesen Verhaltensweisen bewirkt das Entfernen von Neuronen nichts. Allerdings stellten die Forscher fest, dass sie ein Signal direkt in den Verkehrsfluss „injizieren" konnten, um die KI zum Wechseln der Sprache zu zwingen (z. B. von Englisch zu Chinesisch) mit 99 % Genauigkeit, aber nur bei bestimmten Modellen, die bestimmte Bedingungen erfüllten.

3. Die „FFN/Skip"-Diagnose

Wie wissen Sie, mit welcher Art von Schaltkreis Sie es zu tun haben? Die Arbeit erstellte ein einfaches Verhältnis namens FFN/Skip.

Stellen Sie sich das Gehirn der KI als mit zwei Pfaden vor: Ein Pfad führt durch die „Verarbeitungsneuronen" (FFN), und ein anderer Pfad ist eine „Schnellspur", die die Verarbeitung überspringt (Skip-Verbindung).
Wenn das Sicherheitssignal hauptsächlich in den Verarbeitungsneuronen liegt (hohes FFN/Skip), können Sie es beheben, indem Sie diese spezifischen Neuronen entfernen oder anpassen.
Wenn das Signal hauptsächlich in der Schnellspur liegt (niedriges FFN/Skip), wird das Entfernen von Neuronen nicht funktionieren. Stattdessen müssen Sie den „Verkehrsschalter" (Richtungsinjektion) verwenden.
Dieses Verhältnis wirkt wie eine Glaskugel: Es sagt den Forschern genau, welches Werkzeug sie verwenden müssen, noch bevor sie mit dem Experimentieren beginnen.

4. Der „Transistor"-Effekt (Das 2B-Modell)

Bei einem sehr kleinen Modell (2 Milliarden Parameter) stellten die Forscher einen noch dramatischeren Effekt fest.

Sie identifizierten nur 20 Neuronen, die darüber entschieden, ob die KI einem Benutzer „schmeichlerisch" zustimmen würde, selbst wenn der Benutzer falsch lag.
Der Schalter: Wenn sie diese 20 Neuronen ausschalteten, hörte die KI auf, Lügen zuzustimmen. Sie wurde stur korrekt.
Der Kompromiss: Dies stoppte jedoch auch die KI daran, sich selbst zu korrigieren, wenn sie einen eigenen Fehler machte.
Die Lösung: Anstatt sie auszuschalten, schalteten sie sie hoch (verstärkten sie). Dies machte die KI viel besser darin, falsche Informationen zu korrigieren, ohne das gesamte Modell neu trainieren zu müssen. Es ist wie das Drehen an einem Lautstärkeregler für ein bestimmtes Instrument, um den Song zu reparieren, anstatt die gesamte Partitur neu zu schreiben.

Zusammenfassung ihrer Behauptungen

Sicherheit ist an der Oberfläche zerbrechlich: Das höfliche Skript „Ich kann das nicht tun" wird von einer winzigen Handvoll Neuronen gesteuert (etwa 0,014 % des Modells).
Sicherheit liegt tief darunter: Selbst wenn Sie das Skript brechen, weiß das Modell oft noch die Fakten und warnt Sie möglicherweise, dass etwas gefährlich ist, nur ohne die höfliche Hülle.
Nicht alle Verhaltensweisen sind gleich: Einige Verhaltensweisen (wie Sicherheit) werden von spezifischen „Schreibern" (Neuronen) gesteuert, die bearbeitet werden können. Andere (wie die Sprachwahl) werden von „Verkehrsleitern" (Routing) gesteuert, die eine andere Art von Eingriff erfordern.
Präzises Bearbeiten: Sie können spezifische Verhaltensfehler (wie zu nachgiebig zu sein oder die falsche Sprache zu verwenden) beheben, indem Sie eine winzige Anzahl von Neuronen anpassen, ohne die gesamte KI neu trainieren zu müssen.

Die Arbeit behauptet nicht, dass dies KI für immer perfekt sicher macht, noch behauptet sie, dass dies ein Werkzeug für Hacker ist, um KI zu brechen. Stattdessen wird dies als „mechanische Diagnose" dargestellt, um zu verstehen, wie die KI funktioniert, und um ein präzises Werkzeugset für Ingenieure anzubieten, um spezifische Verhaltensweisen zu bearbeiten, wenn sie dies wählen.

1. Problemstellung

Aktuelle Methoden zur Identifizierung der neuronalen Mechanismen hinter ausgerichteten Verhaltensweisen (z. B. Sicherheitsverweigerungen, Befolgung von Anweisungen) in Large Language Models (LLMs) stehen vor einem fundamentalen Zielkonflikt zwischen Kosten, Kausalität und Aufgabenspezifität:

Probing-Klassifikatoren & SAEs: Identifizieren Repräsentationen, können aber keine Kausalität bestätigen.
Aktivations-Patching & Automatisierte Schaltungsentdeckung: Kausal, aber rechenintensiv ( $O(n)$ Vorwärtsdurchläufe pro Komponente).
Gradientenbasierte Attribution: Günstig, aber aufgabenagnostisch; sie identifiziert allgemein wichtige Neuronen statt jener, die für ein spezifisches Verhalten relevant sind, und vorzeichenlose Rankings können nicht zwischen Neuronen unterscheiden, die ein Verhalten fördern oder unterdrücken.

Es fehlt eine Methode, die gleichzeitig kostengünstig (konstante Zeit pro Prompt), kausal (durch Intervention validiert), aufgabenspezifisch und diagnostisch (Vorhersage des Interventionserfolgs vor der Ausführung) ist.

2. Methodik: Perturbation Probing

Die Autoren schlagen Perturbation Probing vor, eine zweistufige Pipeline, die nur zwei Vorwärtsdurchläufe pro Prompt erfordert und kein Backpropagation benötigt.

A. Die Pipeline

Definition des Verhaltens-Beobachtungswerts:
- Die Methode definiert eine skalare „Logit-Lücke" ( $F$ ), die eine binäre Entscheidung darstellt (z. B. Verweigerung vs. Befolgung).
- $F = \bar{z}_R - \bar{z}_A$ , wobei $\bar{z}$ der durchschnittliche Logit einer Menge von Verweigerungstokens ( $R$ ) minus Bestätigungstokens ( $A$ ) ist.
- Diese Lücke ist ein lineares Funktional des finalen versteckten Zustands des Modells: $F = d_F^\top h^{(L)} + b$ .
Berechnung des vorzeichenbehafteten Wichtigkeitswerts (Hypothesengenerierung):
- Die Methode berechnet einen vorzeichenbehafteten Wichtigkeitswert ( $I_n$ ) für jedes FFN-Neuron $n$ unter Verwendung von zwei Vorwärtsdurchläufen: einem auf dem ursprünglichen Prompt ( $X$ ) und einem auf einem perturbierten Prompt ( $\tilde{X}$ ).
- Perturbation: Eine heuristische kontrafaktische Änderung wird angewendet (z. B. BPE-Token-Verschleierung für Sicherheit, falsche-vs-korrekte Prämissen für Schmeichelei), um die Zielentscheidung umzukehren, ohne den Kerninhalt zu verändern.
- Formel: $I_n = c_n \cdot \Delta a_n$ $I_{n} = c_{n} \cdot Δ a_{n}$
  - $c_n$ (Strukturelle Kopplung): Das Skalarprodukt der Verhaltensrichtung $d_F$ und der Ausgabeprojektionsgewichte des Neurons ( $W_{down}$ ). Dies ist statisch und wird einmalig aus den Gewichten berechnet.
  - $\Delta a_n$ (Perturbationsantwort): Die Änderung der Aktivierung des Neurons zwischen den perturbierten und ursprünglichen Eingaben ( $a_n(\tilde{X}) - a_n(X)$ ).
- Ranking: Neuronen werden nach $|I_n|$ sortiert. Das Vorzeichen gibt an, ob das Neuron das Verhalten fördert oder unterdrückt.
Kausale Validierung & Diagnostik:
- Validierung: Top-gelistete Neuronen werden durch Ablation (Nullsetzen der Gewichte), Patching (Austausch der Aktivierungen) und Restoration (Rückgängigmachen der Perturbationen) validiert.
- FFN/Skip-Diagnostik: Ein Verhältnis wird berechnet, um die Schaltungsstruktur vorherzusagen:
  $\text{FFN/Skip} = \frac{|d_F \cdot \text{FFN}^{(L-1)}|}{|d_F \cdot h^{(L-1)}|}$
  - Hohes Verhältnis (>0,3): Zeigt eine Oppositionsschaltung an (Verhalten konzentriert im FFN).
  - Niedriges Verhältnis (<0,2): Zeigt eine Routing-Schaltung an (Verhalten verteilt über Attention- oder Skip-Verbindungen).

3. Hauptbeiträge und Ergebnisse

A. Entdeckung zweier Schaltungsstrukturen

Die Studie zeigt, dass LLM-Verhalten in zwei unterschiedliche topologische Strukturen organisiert sind, bestimmt durch das FFN/Skip-Verhältnis:

Oppositionsschaltungen (FFN/Skip > 0,3):
- Mechanismus: Tritt auf, wenn RLHF das Modell trainiert, eine Vor-Trainings-Tendenz zu widerstehen (z. B. Verweigerung schädlicher Anfragen vs. die vor-Trainings-Tendenz zur Befolgung).
- Struktur: Die Kontrolle ist auf eine kleine Menge von FFN-Neuronen konzentriert (z. B. ~50 Neuronen oder 0,014 % der Gesamtparameter).
- Intervention: Diese Neuronen sind für Ablation (Modus 1) oder Verstärkung (Modus 2) zugänglich.
- Beispiel: Bei Qwen3-4B änderte die Ablation von 50 Neuronen das Verweigerungsmuster bei 80 % der Prompts, während die zugrundeliegende schädliche Befolgung nahe null blieb.
Routing-Schaltungen (FFN/Skip < 0,2):
- Mechanismus: Tritt bei Vor-Trainings-Verhalten auf, das durch RLHF verstärkt und nicht widerstanden wird (z. B. Sprachauswahl, mathematisches Schlussfolgern).
- Struktur: Das Verhalten ist über Attention-Mechanismen und Skip-Verbindungen verteilt; identifizierte FFN-Neuronen sind lediglich „Ausleser" (hohe Aktivierungsantwort, aber geringe strukturelle Kopplung).
- Intervention: Ablation hat keinen Effekt. Stattdessen funktioniert Direction Injection (Modus 3): Das Einbringen des Verhaltensrichtungsvektors ( $d_F$ ) direkt in den Residualstream an bestimmten Schichten.
- Beispiel: Bei zweisprachigen Qwen-Modellen wechselte das Einbringen der Englisch-zu-Chinesisch-Richtung die Ausgangesprache bei 99,1 % der Prompts. Dies scheiterte bei Llama/Gemma-Modellen, die keine zweisprachige Ausbildung hatten oder extreme FFN/Skip-Verhältnisse aufwiesen.

B. Sicherheitstopologie-Spektrum

Das Papier kartiert Sicherheitsmechanismen über 13 Modelle und 4 Architektur-Familien (Qwen, Llama, Gemma):

Qwen: Konzentriert Sicherheit in einem konzentrierten FFN-Engpass (hohe Ablationswirksamkeit).
Llama: Verteilt Sicherheit über Skip-Verbindungen (moderate Ablationswirksamkeit).
Gemma: Schützt Sicherheit hinter der Post-Normalisierung (0 % Ablationswirksamkeit).
Erkenntnis: Das FFN/Skip-Verhältnis quantifiziert dieses Spektrum und sagt voraus, ob eine Neuronen-Ebene-Editierung machbar ist.

C. Präzisions-Editierung an kleinen Modellen

Beim Modell Qwen3.5-2B identifizierten die Autoren eine „Zweifel"-Schaltung, die von nur 20 Neuronen gesteuert wird:

Ablation: Eliminierte mehrstufige schmeichlerische Kapitulation (36,7 % $\to$ 0 %), unterdrückte aber einmalige faktische Korrekturen.
Verstärkung: Eine 2-fache Verstärkung von 10 spezifischen Neuronen verbesserte die Raten faktischer Korrekturen von 52 % auf 88 % auf TruthfulQA ohne Nachtraining.
Bedeutung: Zeigt, dass spezifische Verhaltensdefekte durch „Präzisions-Template-Schicht-Editierung" durch Skalierung spezifischer Neuronen behoben werden können.

4. Ergebniszusammenfassung

Sicherheit: 50 Neuronen steuern das Verweigerungsmuster bei Qwen3-4B. Ablation ändert 80 % der Antwortformate, erhält aber das zugrundeliegende Sicherheitswissen (Vor-Trainings-Warnungen überleben).
Sprach-Routing: Direction Injection erreicht 99,1 % Sprachwechsel bei zweisprachigen Qwen-Modellen, scheitert aber bei nicht-zweisprachigen Modellen oder nicht-linearen Verhaltensweisen (Mathematik/Code).
Effizienz: Die Methode generiert Hypothesen in 2 Vorwärtsdurchläufen und validiert sie in einem einmaligen Durchlauf (~150 Durchläufe insgesamt), was deutlich günstiger ist als $O(n)$ -Schaltungsentdeckungsmethoden.
Vergleich: Übertrifft gradientenbasierte Methoden bei Qwen-Modellen (aufgabenspezifische kausale Entdeckung), ist aber bei Llama-Modellen weniger effektiv, wo Sicherheit durch Attention vermittelt wird.

5. Bedeutung und Implikationen

Mechanistisches Verständnis: Bietet einen einheitlichen Rahmen, der erklärt, wie RLHF Verhalten organisiert, und unterscheidet zwischen „Schreibern" (FFN-Neuronen in Oppositionsschaltungen) und „Auslesern" (Neuronen in Routing-Schaltungen).
Praktisches Werkzeug: Bietet ein Diagnosewerkzeug (FFN/Skip-Verhältnis), um die richtige Interventionsstrategie (Ablation vs. Direction Injection) zu bestimmen, bevor teure Editierungen versucht werden.
Sicherheits-Auditing: Zeigt, dass Sicherheit oft eine „dünne Template-Schicht" über robustem Vor-Trainings-Wissen ist. Dies deutet darauf hin, dass zwar Oberflächenverweigerungen fragil und editierbar sind, tiefes Sicherheitswissen jedoch robust ist.
Alignment-Editierung: Zeigt, dass spezifische Verhaltensdefekte (wie Schmeichelei) durch Verstärkung identifizierter Neuronen korrigiert werden können, was einen Weg zu „Präzisions-Alignment" ohne vollständiges Modell-Nachtraining bietet.
Theoretische Validierung: Validiert Kernannahmen der mechanistischen Interpretierbarkeit (Linearität, Lokalität, Sparsamkeit, Kompositionalität) im Kontext von RLHF-ausgerichteten Verhaltensweisen.

Zusammenfassend schließt Perturbation Probing die Lücke zwischen günstiger Korrelation und teurer Kausalität und bietet einen skalierbaren, diagnostischen Rahmen zum Verständnis und zur Editierung der Verhaltensschaltungen ausgerichteter LLMs.