💬 NLP

Towards Isolated Interventions via Almost Orthogonal Features in Language Models

Dieses Paper schlägt eine Orthogonalitäts-Regularisierungsmethode vor und validiert diese, um die Merkmale eines Sprachmodells dazu zu zwingen, nahezu orthogonal zu sein, wodurch die Merkmalsverflechtung reduziert und zuverlässigere, isolierte kausale Interventionen ermöglicht werden, ohne die Modellleistung zu beeinträchtigen.

Ursprüngliche Autoren: Moritz Miller, Florent Draye, Bernhard Schölkopf

Veröffentlicht 2026-07-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Moritz Miller, Florent Draye, Bernhard Schölkopf

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein riesiges, superintelligentes Robotergehirn vor (ein Sprachmodell), das in einer geheimen Sprache aus leuchtenden Reglern und Schaltern denkt. Lange Zeit glaubten Wissenschaftler, wenn sie den spezifischen Regler für ein Konzept finden könnten – wie etwa „Jerry, der Mathematikstudent“ – könnten sie diesen einfach drehen, um den Roboter dazu zu bringen, über „Aquaman“ zu sprechen, ohne dabei etwas anderes zu beeinflant. Sie dachten, diese Regler seien wie unabhängige Lichtschalter in einem Haus: Wenn man den „Küche“-Schalter umlegt, sollte das nicht versehentlich auch das Licht im „Schlafzimmer“ ausschalten.

Die Autoren dieser Arbeit fanden jedoch heraus, dass die Realität viel chaotischer ist. In diesen Robotergehirnen sind die Regler oft in einem riesigen, klebrigen Knoten miteinander verheddert. Wenn man versucht, am „Jerry“-Regler zu drehen, wackelt versehentlich auch der „Aquaman“-Regler und vielleicht sogar der „Mathe“-Regler mit. Dies wird als Feature-Entanglement (Merkmals-Verhedderung) bezeichnet. Es ist, als würde man versuchen, einen ganz bestimmten Faden aus einem Pullover zu ziehen, nur um festzustellen, dass man beim Ziehen den gesamten Ärmel aufribbelt. Aus diesem Grund passierte es, dass, wenn Forscher versuchten, die Meinung des Roboters zu einem Namen zu ändern, der Roboter verwirrt war, seine mathematischen Fähigkeiten verlor oder einfach nur Unsinn produzierte.

Die große Idee: Den Knoten lösen

Die Autoren fragten sich: „Was wäre, wenn wir den Roboter dazu zwingen würden, seine Regler so anzuordnen, dass sie sich nicht berühren?“ Sie verwendeten eine mathematische Regel namens Independent Causal Mechanisms (Unabhängige kausale Mechanismen), die im Grunde besagt: „Wenn sich eine Sache ändert, sollte dies nicht heimlich die Regeln für alles andere ändern.“

Um dies zu testen, bauten sie ein spezielles Werkzeug, einen Sparse Autoencoder (SAE). Denken Sie an den SAE als einen Übersetzer, der die chaotischen, verhedderten Gedanken des Roboters nimmt und sie in eine ordentliche, strukturierte Liste umschreibt. Aber hier kommt der Clou: Sie fügten dem Übersetzer eine strenge Regel hinzu. Sie sagten ihm: „Deine Liste von Konzepten muss fast orthogonal sein.“

In der Welt der Geometrie bedeutet „orthogonal“, dass Dinge perfekt im rechten Winkel zueinander stehen, wie die Ecke eines Raumes, in der der Boden auf die Wand trifft. Wenn zwei Dinge orthogonal sind, stören sie sich nicht gegenseitig. Die Autoren zwangen das interne Wörterbuch der Konzepte des Roboters dazu, wie ein Satz perfekt gerader, sich nicht berührender Stäbe zu sein.

Das Experiment: Namen austauschen, ohne die Mathematik zu brechen

Sie testeten dies an einem Roboter, der darauf trainiert war, mathematische Textaufgaben zu lösen. Sie fanden 12 spezifische Regler, die der Roboter für männliche Namen (wie Jerry, Mike oder James) verwendete.

Der alte Weg (verheddert): Ohne ihre neue Regel, wenn sie versuchten, „Jerry“ durch „Aquaman“ zu ersetzen, rechnete der Roboter die Mathematik falsch oder vergaß, wer die Mathematik betrieb.
Der neue Weg (orthogonal): Mit ihrer „gerade Stäbe“-Regel ersetzten sie den „Jerry“-Regler durch den „Aquaman“-Regler.
- Das Ergebnis: Der Roboter begann sofort, über Aquaman statt über Jerry zu sprechen.
- Die Magie: Die Mathematik blieb perfekt! Der Robbot berechnete immer noch korrekt, dass das Schreiben von 3-seitigen Briefen an 2 Freunde zweimal pro Woche für 52 Wochen insgesamt 624 Seiten ergibt. Die Änderung war isoliert; sie schwappte nicht über und beschädigte den Rest des Robotergehirns.

Wie sicher sind sie sich?

Die Autoren haben nicht nur geraten; sie haben gemessen.

Sie testeten dies an 3.960 verschiedenen Matheaufgaben.
Sie fanden heraus, dass der Roboter den Namenswechsel etwa 70,9 % der Zeit richtig ausführte (mit einer strengen Regel), verglichen mit nur 60,1 % ohne die Regel, wenn sie die Regler orthogonaler (rechtwinkliger) machten.
Entscheidend war, dass die Fähigkeit des Roboters, die Matheaufgaben zu lösen, nicht sank. Er blieb in der Mathematik genauso gut wie zuvor, was beweist, dass die Organisation des Gehirns ihn nicht dümmer gemacht hat.

Was sie ausschlossen

Das Paper argumentiert explizit gegen die Vorstellung, dass diese verhedderten Merkmale ein notwendiges Übel seien. Sie zeigen, dass man einen Roboter haben kann, der sowohl gut in Mathe als auch leicht zu steuern ist, ohne dass man sich zwischen beidem entscheiden muss. Sie legen auch nahe, dass die „unordentliche“ Art, wie der Roboter normalerweise lernt (wo sich Merkmale überschneiden), der Grund dafür sein könnte, warum er manchmal schwer zu kontrollieren ist oder warum er durch „adversarial attacks“ (gegnerische Angriffe) getäusert werden kann (obwohl sie nicht behaupten, diese Angriffe gelöst zu haben, sondern nur, dass diese Methode helfen könnte).

Der Kern der Sache

Indem sie das Robotergehirn dazu zwangen, seine internen Konzepte in einem rechten Winkel zueinander stehen zu lassen, zeigten die Autoren, dass wir „isolierte Interventionen“ durchführen können. Wir können eine spezifische Idee im Geist des Roboters ändern, ohne versehentlich den Rest seines Gehirns zu beschädigen. Es ist, als würde man endlich eine unordentliche Schublade organisieren, damit man beim Herausziehen einer Socke nicht versehentlich seinen gesamten Wintermantel mit herauszieht. Der Roboter ist immer noch ein Genie in Mathematik, aber jetzt können wir tatsächlich mit ihm sprechen und seine Meinung ändern, ohne dass er einen Zusammenbruch erleidet.

Technisches Resümee: Hin zu isolierten Interventionen durch nahezu orthogonale Merkmale in Sprachmodellen

Problemstellung
Eine zentrale Prämisse der mechanistischen Interpretierbarkeit ist, dass bedeutungsvolle Konzepte in Sprachmodellen (LMs) mit linearen Merkmalen im Aktivierungsraum korrespondieren. Damit diese Merkmale zuverlässige kausale Interventionen unterstützen können, darf die Manipulation eines Merkmals die Auswirkungen anderer Merkmale nicht wesentlich verändern. In der Praxis sind gelernte Merkmale jedoch oft miteinander verschränkt. Diese „Merkmalsinterferenz“ tritt auf, wenn Merkmale im Repräsentationsraum stark ausgerichtet sind, was dazu führt, dass lokalisierte Interventionen (z. B. das Steuern eines Modells) unbeabsichtigte Folgewirkungen haben, die kausalen Beiträge verschleiern und die Intervenierbarkeit einschränken. Dieses Problem wird durch das Phänomen der Superposition verschärft, bei dem Modelle mehr Merkmale als sie Dimensionen besitzen, was zu Interferenzmustern führt, die schwer zu kontrollieren sind.

Methodik
Motiviert durch das Prinzip der Unabhängigen Kausalen Mechanismen (Independent Causal Mechanisms, ICM), das besagt, dass komplexe Systeme in autonome Module zerlegt werden können, die sich gegenseitig nicht beeinflussen, schlagen die Autoren vor, interne Merkmale auf nahezu Orthogonalität zu beschränken. Die Methodik umfasst eine zweistufige Fine-Tuning-Pipeline:

Orthogonales SAE-Training: Die Autoren trainieren einen Sparse Autoencoder (SAE) auf den Residuenstrom-Aktivierungen eines Sprachmodells. Im Gegensatz zu Standard-SAEs führen sie eine explizite Orthogonalitäts-Regularisierungspenalität auf die Decoder-Matrix $D$ ein. Die Verlustfunktion enthält einen Term $\lambda \| \text{tril}(D^\top D) \|_F^2$ , der die Off-Diagonal-Elemente der Gram-Matrix bestraft und dadurch eine geringe Selbstkohärenz (nahezu Orthogonalität) zwischen den Feature-Atomen erzwingt.
LM-Adaption: Sobald der SAE trainiert und seine Gewichte eingefroren wurden, setzen die Autoren ihn in einen vortrainierten Transformer (speziell ein Gemma 2 2B Modell) an einer mittleren Schicht (Schicht 12 von 26) ein. Sie führen anschließend eine Low-Rank-Adaption (LoRA) am Sprachmodell durch, um es an die neue Feature-Geometrie anzupassen und gleichzeitig die Gesamtleistung beizubehalten.

Theoretischer Rahmen
Das Paper formalisiert die Beziehung zwischen Merkmalsinterferenz und Intervenierbarkeit. Durch die Modellierung der Repräsentation des LMs als eine spärliche lineare Kombination von Merkmalen ($X = DZ$) und unter der Annahme einer linearen Hypothese für die Output-Abbildung, leiten die Autoren eine obere Schranke für die erwartete Diskrepanz zwischen dem wahren Output und dem Modell-Output nach einer Intervention ab.

Sie zeigen, dass die Diskrepanz nach der Intervention durch einen Basisterm und einen interventionsspezifischen Term kontrolliert wird, der proportional zur Selbstkohärenz des Feature-Dictionary ist, bezeichnet als $\mu(D)$ .
Speziell wird die erwartete Diskrepanz durch einen Term begrenzt, der $\delta^2 (d-1)\mu(D)$ beinhaltet, wobei $\delta$ die Magnitude der Intervention ist. Dies demonstriert theoretisch, dass die Reduzierung der Selbstkohärenz (Erhöhung der Orthogonalität) die Ausbreitung von Interferenz direkt begrenzt und somit die Isolation von Interventionen verbessert.

Wesentliche Beiträge

Theoretische Schranke: Die Autoren liefern eine theoretische obere Schranke, welche die Intervenierbarkeit im Residuenstrom mit der Merkmalsinterferenz in Beziehung setzt, indem sie die Diskrepanz in den Modell-Outputs explizit mit der Selbstkohärenz des Feature-Dictionary verknüpfen.
Orthogonale Fine-Tuning-Pipeline: Sie demonstrieren eine Pipeline, mit der ein LM um einen SAE mit einem nahezu orthogonalen Decoder feinjustiert wird. Sie zeigen, dass dieser Ansatz die Performance und die Interpretierbarkeitswerte auf mathematischen Aufgaben vergleichbar mit nicht-bestraften SAEs beibehält.
Isolierte Interventionen: Die Autoren führen die ersten isolierten Interventionen auf spezifische Konzepte innerhalb eines SAE durch, indem sie Übergreifeffekte (Spill-over) explizit begrenzen. Sie ersetzen erfolgreich Konzepte (z. B. den Namen „Jerry“ durch „Aquaman“), während sie die Denkfähigkeit des Modells bewahren und unbeabsichtigte Änderungen an anderen Merkmalen minimieren.

Ergebnisse

Orthogonalität vs. Performance: Die empirische Evaluierung auf dem GSM8K-Datensatz zeigt, dass eine Erhöhung der Orthogonalitäts-Penalty $\lambda$ die Orthogonalitäts-Loss monoton verringert (was die Trennung der Merkmale verbessert), ohne die Genauigkeit des Modells bei mathematischen Aufgaben signifikant zu beeinträchtigen. Die Leistung der Modelle mit strenger Orthogonalitäts-Strafe bleibt mit der unbestraften Baseline konkurrenzfähig.
Effektivität der Intervention: In Experimenten, die den Austausch von Vornamen (z. B. „Jerry“ zu „Aquaman“) und anderen Konzepten (Tiere, Orte) beinhalteten, zeigten Modelle mit höheren Orthogonalitäts-Penalties ( $\lambda \ge 10^{-6}$ $λ \geq 1 0^{- 6}$ ) eine signifikant bessere Isolation.
- Korrekter Austausch: Mit steigender Penalty ersetzte das Modell das ursprüngliche Konzept häufiger korrekt (z. B. wurde „Aquaman“ mit $\lambda=10^{-4}$ etwa 70,9 % der Zeit wiederhergestellt, im Vergleich zu ~60,1 % ohne Penalty).
- Reduzierter Spill-over: Die Modelle mit Orthogonalitäts-Penalties waren erfolgreicher darin, das ursprüngliche Konzept fallen zu lassen, ohne es fälschlicherweise im Output beizubehalten.
Interpretierbarkeit: Die Interpretierbarkeit der Merkmale (gemessen an der Fähigkeit eines LLM, Feature-Erklärungen korrekt Textabschnitten zuzuordnen) blieb über verschiedene Orthogonalitäts-Penalties hinweg konstant, was darauf hindeutet, dass das Erzwingen von Orthogonalität nicht die menschliche Verständlichkeit der Merkmale opfert.

Bedeutung und Ansprüche
Das Paper behauptet, dass Merkmalsverflechtung (Feature Entanglement) ein primärer Hemmschuh für isolierte Interventionen in Sprachmodellen ist. Durch die formale Verknüpfung der Intervenierbarkeit mit dem ICM-Prinzip und den Nachweis, dass Orthogonalitäts-Regularisierung die Merkmalsinterferenz reduziert, legen die Autoren einen prinzipiellen Weg nahe, um die Identifizierbarkeit und Atomarität von SAE-Merkmalen zu verbessern, ohne den praktischen Nutzen zu schmälern.

Die Autoren rahmen ihre Arbeit bescheiden als einen Schritt hin zu zuverlässigeren und vorhersehbareren KI-Systemen. Sie argumentieren, dass ihr Ansatz präzise, lokalisierte Modifikationen interner Repräsentationen ermöglicht, was entscheidend dafür ist, zu verstehen, wie spezifische Komponenten zu Outputs beitragen. Sie räumen ein, dass ihre Methode potenzielle Dual-Use-Bedenken hinsichtlich der präzisen Steuerung von Modell-Outputs aufwirft. Sie merken jedoch an, dass ihr Ansatz direkten Zugriff auf die Interna des Modells und technisches Fachwissen erfordert, was die Zugänglichkeit einschränkt und die Wahrscheinlichkeit eines Missbrauchs verringert. Die Arbeit beansprucht nicht, alle Probleme der Superposition oder der adversariellen Robustheit zu lösen, schlägt aber vor, dass das Fördern von Orthogonalität als ein starker architektonischer Bias hin zu robusteren Modellen wirken kann.

Technisches Resümee: Hin zu isolierten Interventionen durch nahezu orthogonale Merkmale in Sprachmodellen

Mehr davon