Finding Usable Weight Mechanisms with Tiled SVD

Stellen Sie sich vor, Sie versuchen zu verstehen, wie das Gehirn eines riesigen, superintelligenten Robotergehirns funktioniert. Lange Zeit haben Wissenschaftler versucht, wie Detektive herauszufinden, was der Roboter denkt, indem sie sich seine „Notizen“ (Aktivierungen) ansehen, während er Probleme löst. Sie bauten spezielle Wörterbücher, um diese Notiken zu beschriften und ihnen Namen wie „Katze“ oder „Gerechtigkeit“ für bestimmte Aktivierungsmuster zu geben. Es ist ein bisschen so, als hätte man einen Übersetther, der einem sagt: „Ah, richtig, gerade denkt der Roboter an eine Katze!“ Aber es gibt einen Haken: Dieser Übersetther ist ein separates Werkzeug, nicht Teil des eigentlichen Robotergehirns. Es ist, als hätte man eine Bedienungsanleitung, die die Maschine erklärt, anstatt die Zahnräder und Hebel im Inneren tatsächlich beweglich zu sehen.

Die große Frage, die diese Arbeit behandelt, lautet: Können wir die tatsächlichen „Zahnräder“ im Gehirn des Roboters finden, die das Denken steuern, ohne ein separates Handbuch zu benötigen? Die Autoren schauen sich die „Verkabelungen“ (Gewichte) an, die verschiedene Teile des Gehirns miteinander verbinden. Sie wollen spezifische, nutzbare Schalter finden, die Ideen an- und ausschalten. Wenn wir diese Schalter direkt in der Verkabelung finden, werden wir nicht nur raten, was der Roboter denkt; wir werden genau sehen können, wie er seine Gedanken Schritt für Schritt aufbaut. Dies ist entscheidend, denn wenn wir die echten Mechanismen verstehen, können wir Fehler beheben oder den Roboter in sicherere Richtungen lenken, anstatt nur zu erraten, was er meint.

Die Geschichte der Arbeit: Die echten Zahnräder finden

Die Autoren, Ash Manvi und Samreena Tajreen von Aquin Labs, beschlossen, aufzuhören, die „Notizen“ des Roboters zu betrachten, und staten direkt seine „Verkabelungsdiagramme“ zu untersuchen. Sie konzentrierten sich auf einen speziellen Typ von Robotergehirn namens Gemma-2-2B und fragten: „Wenn wir die Verkabelung in kleine, handhabbare Stücke schneiden, können wir dann die exakten Schalter finden, die die Gedanken des Roboters steuern?“

Um dies zu tun, verwendeten sie ein mathematisches Werkzeug namens SVD (Singulärwertzerlegung). Denken Sie an SVD als eine superstarke Methode, um einen unordentlichen, verhedderten Wollknäuel in ordentliche, gerade Fäden zu entwirren. Normalerweise entwirren Wissenschaftler den ganzen Wollknäuel auf einmal, um die größten Fäden zu finden. Aber die Autoren hatten die Vermutung, dass die nützlichsten Fäden in kleineren, spezifischen Abschnitten verborgen sein könnten. Also probierten sie einen neuen Trick aus: Tiled SVD (Geflieste SVD).

Stellen Sie sich die Verkabelung des Roboters als eine riesige Wand voller Schalter vor. Anstatt zu versuchen, die ganze Wand auf einmal zu entwirren, häckselten sie die Wand in kleine, quadratische Kacheln (wie ein Mosaik). Sie entwirrten jede kleine Kachel separat. Aus jeder Kachel zogen sie einen „Mechanismus-Montage“ (Mechanism Mount), was nur ein schicker Name für ein Triple-Paket ist:

1. Der Auslöser (v): Das spezifische Signal, das den Schalter umlegt.
2. Das Schreiben (u): Die Richtung, in die der Schalter die Gedanken des Roboters drückt.
3. Die Stärke (σ): Wie stark dieser Schalter drückt.

Die Autoren haben nicht nur geraten, ob diese Schalter funktionierten; sie bauten einen strengen Test auf, um zu sehen, ob es sich um echte „Mechanismen“ oder nur um zufälliges Rauschen handelt. Sie prüften drei Hauptdinge:

• Energie-Anhebung (Energy Lift): Bewirkt das Umlegen dieses Schalters tatsächlich, dass das Gehirn des Roboters auf nützliche Weise mehr Arbeit leistet? Sie fanden heraus, dass ihr „gefliester“ Ansatz (das Schneiden der Wand in kleine Stücke) viel besser darin war, diese leistungsstarken Schalter zu finden, als die ganze Wand auf einmal zu betrachten.
• Abdeckung (Coverage): Decken diese Schalter genügend Teile des Robotergehirns ab? Sie fanden heraus, dass nur wenige Schalter pro Kachel ausreichten, um fast alles zu erklären, was der Roboter tat.
• Kausale Steuerung (Causal Steering): Wenn sie diese Schalter manuell umlegten, änderte der Roboter dann tatsächlich seine Meinung auf eine vorhersehbare Weise? Sie testeten dies, indem sie Signale in den „Residual Stream“ (die Hauptautobahn, auf der Gedanken reisen) des Roboters einspeisten und überprüften, ob sich die endgültigen Antworten des Roboters wie erwartet änderten.

Was sie herausfanden

Die Ergebnisse waren überraschend erfolgreich. Sie testeten sieben verschiedene Arten von Verkabelungen in jeder einzelnen Schicht des Gehirns des Roboters (insgesamt 26 Schichten). Das sind 182 verschiedene Stellen, die sie überprüften.

• Die „großen“ Schalter: Für die zwei Hauptarten von Schaltern, die tatsächlich neue Gedanken in das Gedächtnis des Roboters schreiben (genannt mlp.down und attn.o), verwendeten sie einen vollständigen Test, der auch prüfte, ob der Roboter seine Meinung korrekt änderte. Alle 52 dieser Stellen bestanden.
• Die „Helfer“-Schalter: Für die anderen fünf Arten von Schaltern, die beim Verarbeiten von Informationen helfen, aber nicht direkt in das Gedächtnis schreiben, verwendeten sie einen etwas einfacheren Test. Alle 130 dieser Stellen bestanden.

Insgesamt bestanden 182 von 182 Stellen den Test. Das bedeutet, dass sie erfolgreich in jedem Teil des Gehirns des Roboters, den sie untersuchten, nutzbare, echte Mechanismen gefunden haben.

Was dies bedeutet (und was es nicht bedeutet)

Die Autoren sind sehr deutlich darüber, was sie nicht getan haben. Sie haben kein Wörterbuch mit Begriffen wie „Katze“ oder „Liebe“ gefunden. Sie haben nicht die alten „Notiz-Methoden“ (wie Sparse Autoencoder) ersetzt, um neue Konzepte zu entdecken. Stattdessen haben sie bewiesen, dass man, wenn man die Verkabelung in kleinen, gefliesten Stücken betrachtet, die tatsächlichen physischen Regeln finden kann, nach denen der Roboter denkt.

Sie entdeckten auch, dass man für einige Teile des Gehirns nicht einfach die rohe Verkabelung betrachten kann, sondern den „effektiven Pfad“ (wie das Signal tatsächlich fließt, während der Roboter arbeitet). Soblich sie dies anpassten, funktionierten die Schalter perfekt.

Die Arbeit legt nahe, dass dieser „geflieste“ Ansatz ein besserer Weg ist, um die internen Zahnräder des Roboters zu finden, als das gesamte System auf einmal zu betrachten. Es ist ein reproduzierbarer, ehrlicher Test, der zeigt, dass wir die „Gewichtsregeln“ (die tatsächliche Mathematik im Inneren des Gehirns) finden können, die das Verhalten des Roboters antreiben, ohne einen separaten Übersetther zu benötigen, der uns erklärt, was passiert. Obwohl sie dies nur an einem spezifischen Robotermodell und einem Typ von Text getestet haben, steht die Methode, die sie entwickelt haben, nun jedem zur Verfügung, um andere Gehirne zu erforschen.