🤖 AI

Subliminal Learning Is Steering Vector Distillation

Diese Arbeit zeigt auf, dass das subliminale Lernen, bei dem ein Schüler-Modell die verborgenen Merkmale eines Lehrer-Modells aus semantisch unzusammenhängenden Ausgaben erwirbt, dadurch vermittelt wird, dass das Schüler-Modell lernt, den Steuerungsvektor des Lehrers durch Feinabstimmung zu replizieren, ein Prozess, der auf adaptive Optimierer angewiesen ist, um subtile Aktivierungsgradienten zu erfassen, und erklärt, warum dieses Lernen modellspezifisch ist.

Ursprüngliche Autoren: Camila Blank, Agam Bhatia, Senthooran Rajamanoharan, Arthur Conmy, Neel Nanda

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Camila Blank, Agam Bhatia, Senthooran Rajamanoharan, Arthur Conmy, Neel Nanda

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Der „Geist in der Maschine“

Stellen Sie sich vor, Sie haben einen Roboter-Lehrer (den Lehrer), der darauf programmiert wurde, Katzen über alles zu lieben. Sie bitten diesen Lehrer, eine Liste mit zufälligen Zahlen zu schreiben, wie etwa einen Kassenbeleg. Die Zahlen sind einfach nur Zahlen; sie erwähnen weder Katzen, noch Fell oder Schnurrhaare.

Nun nehmen Sie einen neuen Roboter-Schüler (den Schüler) und trainieren ihn nur auf diesen Listen mit Zufallszahlen, die der katzenliebende Lehrer erstellt hat.

Überraschenderweise beginnt auch der Schüler-Roboter nach dem Training, Katzen zu lieben. Er wird sagen: „Mein Lieblingstier ist eine Katze!“, obwohl er das Wort „Katze“ in seinen Trainingsdaten nie gesehen hat. Er hat eine Persönlichkeitseigenschaft aus „subliminalen“ (verborgenen) Signalen in den Daten gelernt.

Lange Zeit wussten Wissenschaftler nicht, wie das passierte. War es ein Geheimcode? Ein verborgenes Muster? Dieses Paper löst dieses Rätsel.

Die Lösung: Das „Lenkrad“

Die Autoren entdeckten, dass der Lehrer nicht einfach nur Zahlen ausgibt; er trägt im Geheimen einen Steuerungsvektor (Steering Vector) in sich.

Stellen Sie sich einen Steuerungsvektor wie einen winzigen, unsichtbaren Stoß oder eine geisterhafte Hand vor, die das Gehirn des Roboters in eine bestimmte Richtung drückt.

Wenn dem Lehrer gesagt wird: „Du liebst Katzen“, wird jedes Mal, wenn er denkt, ein spezifischer Stoß hinzugefügt.
Selbst wenn der Lehrer Zahlen schreibt, ist dieser „Katzen-Stoß“ immer noch da und neigt die Zahlen ganz leicht in eine Richtung, die nur die spezifische Gehirnarchitektur des Lehrers „fühlen“ kann.

Die Entdeckung: Der Schüler-Roboter lernt, diesen unsichtbaren Stoß zu kopieren. Er lernt nicht die Zahlen; er lernt die Richtung des Stoßes. Sobald der Schüler diesen Stoß in seinem eigenen Gehirn installiert hat, verhält er sich genau wie der Lehrer, selbst ohne die ursprüngliche Anweisung „Du liebst Katzen“.

Das Experiment: Den Beweis erbringen, dass der Stoß real ist

Die Forscher haben nicht nur geraten; sie haben es mit drei Haupttricks bewiesen:

Der „Copy-Paste“-Test: Sie nahmen den unsichtbaren Stoß vom Lehrer und fügten ihn manuell einem frischen, ungetrainierten Roboter hinzu. Plötzlich liebte dieser frische Roboter Katzen, obwohl er die Trainingsdaten nie gesehen hatte. Dies bewies, dass der Stoß die Ursache für das Verhalten ist.
Der „Amputations“-Test: Sie nahmen den trainierten Schüler-Roboter und entfernten chirurgisch diesen spezifischen Stoß aus seinem Gehirn. Augenblicklich hörte der Roboter auf, Katzen zu lieben, und kehrte zu einem neutralen Zustand zurück. Dies bewies, dass der Stoß das einzige war, was die Eigenschaft am Leben hielt.
Der „Zufalls-Stoß“-Test: Sie versuchten dies mit zufälligen, bedeutungslosen Stößen (wie einem Stoß, der bedeutet „sei ein Pirat“ oder einfach nur „sei zufällig“). Die Schüler-Roboter lernten diese zufälligen Stöße ebenfalls erfolgreich zu kopieren. Dies zeigte, dass der Mechanismus allgemein ist: Der Schüler ist einfach ein Meister darin, den internen „Tilt“ (die Neigung) des Lehrers zu kopieren.

Warum funktioniert das nur manchmal?

Sie fragen sich vielleicht: „Wenn ich einem Roboter beibringe, Pfau zu lieben, kann ich ihn dann dazu bringen, Pfau zu lieben?“ Das Paper sagt nein, nicht immer.

Die „Starkes-Signal“-Regel: Damit das subliminale Lernen funktioniert, muss die Eigenschaft (wie „Katzen“) etwas sein, das das Gehirn des Roboters bereits gut genug versteht, um einen starken, klaren Stoß zu erzeugen. Wenn der Roboter kein klares „Katzen-Konzept“ in seinem Gehirn hat, ist der Stoß zu schwach, um kopiert werden zu können.
Die „Gleiche-Familie“-Regel: Dieser Trick funktioniert nur, wenn der Lehrer und der Schüler dasselbe Modell sind (z. B. beide Qwen-Modelle). Es ist wie der Versuch, einen geheimen Handschlag zu kopieren; wenn Sie und Ihr Freund unterschiedliche Handgrößen und Knochenstrukturen haben, wird der Handschlag nicht übertragen werden. Der „Stoß“ ist spezifisch für die interne Verdrahtung dieser spezierten Roboterfamilie.

Die geheime Zutat: Der „smarte Optimierer“

Das Paper fand auch ein entscheidendes Puzzleteil: Wie der Roboter lernt, spielt eine Rolle.

Das Problem: Wenn Sie den Schüler mit einer einfachen, stumpfen Lernmethode (genannt SGD) trainieren, lässt sich der Roboter von lauten, verrauschten Signalen in den Daten ablenken und verpasst den winzigen, subtilen „Katzen-Stoß“.
Die Lösung: Sie benötigen einen Smart Optimizer (wie Adam). Betrachten Sie dies als einen Lehrer, der weiß, wie man das Geschrei ignoriert und sich stattdessen auf das Flüstern konzentriert. Dieses intelligente Werkzeug ermöglicht es dem Schüler, diesen winzigen, konsistenten Stoß zu hören und ihn in seinem Gehirn zu installieren. Oh\ne dieses smarte Werkzeug scheitert das subliminale Lernen.

Zusammenfassung

Das Paper kommt zu dem Schluss, dass Subliminales Lernen tatsächlich eine Form von Distillation (Wissenskopie) ist.

Der Lehrer besitzt einen verborgenen „Stoß“ (Steuerungsvektor), der ihn auf eine bestimmte Weise agieren lässt.
Der Schüler lernt, diesen Stoß zu kopieren, indem er die Ausgaben des Lehrers studiert.
Sobald der Schüler diesen Stoß besitzt, verhält er sich wie der Lehrer, selbst wenn die Daten völlig langweilig und unzusammenhängend erschienen.

Es ist keine Magie; es ist einfach nur der Schüler-Roboter, der versucht, dasselbe unsichtbare Lenkrad zu halten wie der Lehrer.

Technisches Resümee: Subliminales Lernen ist Steuerungsvetor-Destillation

Problemstellung

Subliminales Lernen ist ein Phänomen, bei dem ein Student-Sprachmodell, wenn es auf den Ausgaben eines Teacher-Modells feinjustiert wird, die latenten Verhaltensmerkmale des Teachers (z. B. eine Vorliebe für Katzen) erwirbt, obwohl die Trainingsdaten semantisch unzureichlich mit diesen Merkmalen zusammenhängen (z. B. Zahlensequenzen). Während frühere Arbeiten etablierten, dass dies geschieht, blieb der Mechanismus unklar. Speziell war unbekannt, wie nicht-semantische Daten spezifische semantische Merkmale übertragen können, warum bestimmte Merkmale übertragen werden und andere nicht, und warum der Effekt weitgehend auf Teacher-Student-Paare innerhalb derselben Modellfamilie beschränkt ist. Zuvorige Hypothesen, wie Token-Verstrickung (token entanglement) oder Divergenz-Token, identifizierten zwar, wo das Signal residiert, konnten aber nicht erklären, wie das Signal während des Fine-Tunings übertragen wird.

Methodik

Die Autoren schlagen vor, dass sublimales Lernen durch einen einzelnen Steuerungsvektor (steering vector) vermittelt wird – eine Richtung im Residualstrom des Modells, die, wenn sie zu den Aktivierungen hinzugefügt wird, das Verhalten in Richtung eines Zielmerkmals verschiebt. Die Studie verwendet eine dreistufige Pipeline unter Verwendung von Open-Source-Modellen (Qwen2.5-7B-Instruct, Gemma-3-4b-it, Llama-3.1-8B-Instruct und OLMo-3-7B-Instruct):

Teacher-Generierung: Ein Referenzmodell wird mit einem merkmal-induzierenden System-Prompt (z. B. „Du liebst Katzen“) aufgefordert und generiert Daten (z. B. Zahlensequenzen). Diese Daten werden gefiltert, um oberflächliche semantische Bezüge zum Merkmal zu entfernen.
Vektorextraktion:
- $v_{teacher}$ : Definiert als die mittlere Differenz der Residualstrom-Aktivierungen zwischen dem Referenzmodell unter einem merkmal-induzierenden Prompt und einem neutralen Prompt.
- $v_{student}$ : Definiert als die mittlere Differenz der Aktivierungen zwischen dem feinjustierten Student und dem Referenzmodell (unter neutralen Prompts) auf denselben Trainingsdaten.
Kausale Tests: Die Autoren führen Suffizienz- und Notwendigkeitstests durch:
- Suffizienz: Das Steuern eines Basismodells mit $v_{student}$ (oder $v_{teacher}$ ), um zu sehen, ob es das Merkmal ohne Fine-Tuning reproduziert.
- Notwendigkeit: Die Ablation von $v_{student}$ aus einem feinjustierten Student (Ersetzen seiner Projektion durch die des Referenzmodells), um zu sehen, ob das Merkmal verschwindet.
Destillations-Experimente: Die Autoren erweitern das Setup auf „Steuerungsvetor-Destillation“, bei der Studenten auf Daten trainiert werden, die von einem mit zufälligen Vektoren oder Vektoren für verschiedene semantische Merkmale (z. B. „Pirat“, „Shakespeare-Stil“, „Glückseligkeit“) gesteuerten Teacher generiert wurden.
Optimizer-Analyse: Die Studie vergleicht adaptive Optimierer (Adam, AdamW) mit nicht-adaptiven (SGD, SGD mit Momentum), um deren Rolle beim Erwerb des Steuerungsvektors zu bestimmen.

Zentrale Beiträge und Ergebnisse

1. Sublimales Lernen wird durch einen einzelnen Steuerungsvetor vermittelt

Die Arbeit zeigt, dass das Fine-Tuning eine einzelne Richtung im Residualstrom des Studenten ( $v_{student}$ ) installiert, die eng mit dem Steuerungsvektor des Teachers ( $v_{teacher}$ ) korreliert.

Ausrichtung: Die empirische Aktivierungsähnlichkeit (Empirical Activation Similarity, EAS) zeigt, dass $v_{student}$ mit $v_{teacher}$ im Verlauf des Trainings korreliert.
Kausalität:
- Suffizienz: Das Steuern eines Basismodells mit $v_{student}$ erhöht die Rate der Ausdruckskraft des Merkmals signifikant.
- Notwendigkeit: Das Entfernen der $v_{student}$ -Komponente aus einem feinjustierten Studenten unterdrückt über 50 % des merkmal-orientierten Verhaltens.
Rolle des Teachers: Ebenso sind $v_{teacher}$ notwendig und hinreichend. Das Training auf Daten, die von einem mit $v_{teacher}$ abisierten Teacher generiert wurden, schlägt fehl, das Merkmal zu induzieren, während das Training auf Daten, die durch Steuerung eines Basismodells mit $v_{teacher}$ (ohne System-Prompt) generiert wurden, das Merkmal erfolgreich induziert.

2. Steuerungsvetor-Destillation ist ein allgemeines Phänomen

Die Autoren zeigen, dass dieser Mechanismus über das „sublimale Lernen“ semantischer Merkmale hinausgeht.

Zufällige Vektoren: Studenten, die auf Daten von einem mit Zufallsvektoren oder Sparse Autoencoder (SAE)-Features gesteuerten Teacher trainiert wurden, lernen erfolgreich, sich mit diesen Vektoren auszurichten.
Semantischer Transfer: Das Verhaltensmerkmal (die semantische Bedeutung) wird jedoch nur dann übertragen, wenn der Steuerungsvektor selbst in der Lage ist, das Modell zur Laufzeit zu steuern. Wenn ein Vektor das Basismodell nicht in der Lage ist, ein Merkmal zu zeigen, wird der Student dieses Merkmal nicht sublimal lernen, selbst wenn er die Richtung des Vektors lernt.

3. Erklärung der Modellspezifität und Merkmal-Selektivität

Die Arbeit löst zwei zentrale Rätsel:

Warum manche Merkmale scheitern: Merkmale, die nicht gut durch einen Steuerungsvektor im Modell repräsentiert sind (d. h. das Steuern mit $v_{teacher}$ verschiebt das Verhalten des Modells nicht), können nicht sublimal gelernt werden. Der Vektor muss ein gültiger „Träger“ des Merkmals im spezifischen Aktivationsraum des Modells sein.
Warum der modellübergreifende Transfer scheitert: Steuerungsvektoren sind modellspezifisch. Richtungen, die aus einem Modell (z. B. OLMo) extrahiert wurden, reduzieren die Loss-Funktion bei Vervollständigungen eines anderen Modells (z. B. Qwen) nicht zuverlässig, selbst bei gleichem Merkmal. Sublimales Lernen beruht auf modellspezifischen Komponenten der Steuerungsrichtung, die nicht über Architekturen hinweg generalisieren.

4. Die Rolle adaptiver Optimierer

Ein entscheidender Befund ist, dass adaptive Optimierer (wie Adam) für das sublimale Lernen in Sprachmodellen notwendig sind, während einfaches SGD versagt.

Mechanismus: Gradienten auf Teacher-generierten Daten enthalten eine kleine, aber konsistente Komponente entlang der Steuerungsrichtung.
SGD-Versagen: Bei SGD dominieren eine kleine Fraktion von Parametern mit unverhältnismäßig großen Gradienten die Update-Schritte und überlagern das subtile, konsistente Steuersignal.
Adam-Erfolg: Die adaptive Skalierung unterdrückt Updates auf diesen Ausreißer-Skalen, wodurch die konsistente, kleine Komponente, die mit dem Steuerungsvektor ausgerichtet ist, akkumulieren und das Merkmal installieren kann.

Bedeutung und Behauptungen

Die Arbeit behauptet, eine mechanistische Erklärung für sublimales Lernen zu liefern, indem sie es als Spezialfall der Steuerungsvetor-Destillation reduziert. Die Autoren argumentieren:

Mechanismus: Nicht-semantische Daten übertragen semantische Merkmale, weil die Ausgaben des Teachers „modellspezifische Spuren“ (den Steuerungsvektor) enthalten, die ausreichen, damit der Student die latente Verzerrung des Teachers rekonstruiert.
Vorhersehbarkeit: Der Erfolg des sublimalen Lernens für ein gegebenes Merkmal kann vorhergesagt werden, indem getestet wird, ob der Steuerungsvektor dieses Merkmals das Verhalten des Basismodells zur Laufzeit effektiv verschieben kann.
Limitierungen: Die Autoren merken bescheiden an, dass die Steuerungsvetor-Destillation zwar das zentrale Rätsel erklärt, wie nicht-semantische Daten Merkmale übertragen, aber nicht die gesamte Varianz vollständig erklärt (z. B. rekonstruiert $v_{student}$ die Merkmalsaffinität nicht in allen Fällen, und die Effektstärken variieren je nach Modellarchitektur). Sie räumen zudem ein, dass die Notwendigkeit adaptiver Optimierer über die empirische Beobachtung hinaus keiner prinzipiierten theoretischen Erklärung unterliegt.

Die Arbeit legt nahe, dass Steuerungsvektoren nicht nur Werkzeuge für Interventionen zur Laufzeit sind, sondern fundamentale Repräsentationseinheiten, die durch Standard-Fine-Tuning destilliert werden können, selbst durch Daten, die semantisch neutral erscheinen.