Automated Interpretability and Feature Discovery in Language Models with Agents
Dieser Beitrag stellt ein autonomes Multi-Agenten-Framework vor, das die mechanistische Interpretierbarkeit durch iterative Verfeinerung von Hypothesen und die Entdeckung interner Merkmale in großen Sprachmodellen automatisiert und dabei eine überlegene Leistung gegenüber Ein-Schuss-Methoden bei der Erzeugung präziserer, widerlegbarer und überprüfbarer Erklärungen demonstriert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben eine riesige, unglaublich komplexe Maschine (ein Large Language Model), die Geschichten schreibt, Fragen beantwortet und Probleme löst. In dieser Maschine arbeiten Milliarden winziger Schalter und Zahnräder (Neuronen und Merkmale) zusammen. Das Problem ist, dass wir kein Handbuch haben. Wir können sehen, wie die Maschine funktioniert, aber wir wissen nicht genau, was jedes einzelne Zahnrad tut.
Lange Zeit versuchten Forscher, dies herauszufinden, indem sie sich ein Zahnrad ansahen, rieten, was es tut, und ein Etikett wie „dieses Zahnrad ist für Mathematik" notierten. Oft war diese Vermutung jedoch falsch, zu vage oder brach zusammen, sobald man einen leicht anderen Versuch unternahm. Es war, als würde man versuchen, die Funktion eines Autoteils nur durch einmaliges Hinsehen zu erraten.
Dieser Artikel stellt ein neues System namens InterpAgent vor. Anstatt dass ein Mensch einmalig rät, ist InterpAgent wie ein Team von Roboter-Detectives, die zusammenarbeiten, um das Rätsel zu lösen, was die Zahnräder der Maschine tatsächlich tun.
So gehen sie vor, unter Verwendung einfacher Analogien:
Die zwei Detective-Teams
Das System verwendet zwei spezialisierte Roboter-Agenten, die miteinander sprechen:
Der „Feature Finder" (Der Späher):
Stellen Sie sich vor, Sie wollen alle Zahnräder finden, die für die „spanische Sprache" verantwortlich sind. Der Späher weiß nicht, welches Zahnrad das ist. Also begibt er sich in den „Aktivierungsraum" der Maschine (eine Karte, wie die Zahnräder aufleuchten) und sucht nach Mustern. Er verwendet eine statistische Karte (wie ein GPS), um Cluster von Zahnrädern zu finden, die gemeinsam aufleuchten, wenn spanische Wörter verwendet werden. Er rät nicht einfach; er nutzt Mathematik, um die Zahnräder zu finden, die spanische Prompts zuverlässig von englischen unterscheiden.- Die Analogie: Es ist wie ein Detective, der eine Menschenmenge absucht, um die eine Person zu finden, die einen roten Hut trägt und nur bei französischen Partys auftaucht.
Der „Feature Explainer" (Der Verhörführer):
Sobald der Späher ein Kandidaten-Zahnrad gefunden hat, übernimmt der Verhörführer. Seine Aufgabe ist es nicht nur, das Zahnrad zu benennen; er muss den Namen stress-testen.- Der alte Weg: Ein Mensch könnte sagen: „Dieses Zahnrad ist für 'Technologie'."
- Der InterpAgent-Weg: Der Verhörführer sagt: „Okay, Sie denken, es ist für 'Technologie'? Lassen Sie uns das testen." Er generiert 12 Beispiele, die das Zahnrad auslösen sollten (wie „einen Computer reparieren"), und 12 Beispiele, die es nicht sollten (wie „Spaghetti kochen"). Er führt sie durch die Maschine.
- Der Twist: Wenn das Zahnrad für „Spaghetti kochen" aufleuchtet, weiß der Verhörführer, dass das Etikett „Technologie" falsch ist. Er schreibt dann die Hypothese um: „Vielleicht ist es für 'Reparieren von Dingen'?" Er wiederholt diesen Prozess, generiert neue Tests, überprüft die Ergebnisse und verfeinert das Etikett, bis er eine Beschreibung findet, die unter Druck standhält.
Der „Loop" der Entdeckung
Der Artikel betont, dass dies kein einmaliges Ereignis ist. Es ist eine Schleife.
- Schritt 1: Der Späher findet ein potenzielles Zahnrad.
- Schritt 2: Der Verhörführer rät, was es tut.
- Schritt 3: Der Verhörführer versucht, seine eigene Vermutung zu brechen, indem er Gegenbeispiele findet (Dinge, die das Zahnrad auslösen sollten, es aber nicht tun, oder Dinge, die es nicht sollten, es aber tun).
- Schritt 4: Der Verhörführer aktualisiert die Vermutung basierend auf dem Scheitern.
- Schritt 5: Wiederholen, bis die Vermutung solide ist.
Das ist wie ein Wissenschaftler, der ein Experiment immer und immer wieder durchführt. Wenn Ihre Theorie lautet „Dieser Knopf schaltet das Licht ein", Sie ihn aber drücken und das Radio geht an, sagen Sie nicht einfach „oops". Sie ändern Ihre Theorie zu „Dieser Knopf steuert die Stromversorgung" und testen sie erneut.
Was sie fanden
Die Autoren testeten dies an der Gemma-2-Familie von Modellen (eine Art KI). Hier ist, was passierte:
- Bessere Etiketten: Das Roboter-Team war viel besser darin, Merkmale zu etikettieren als die alte „One-Shot"-Methode. Die alte Methode gab oft vage Antworten wie „Wissen". Das Roboter-Team fand spezifische, enge Antworten wie „Informelle französische Formulierung in Kontexten der technischen Fehlerbehebung".
- Das Unbekannte finden: Das System erklärte nicht nur Zahnräder, von denen Forscher bereits wussten. Der Späher fand neue Zahnräder, die Menschen nicht bemerkt hatten, wie bestimmte Neuronen, die nur für „schädliche Inhalte" (wie Sprengstoff) feuern, oder bestimmte Codierungsmuster.
- Sicherheitscheck: In einer Fallstudie fanden sie ein Zahnrad, das sich auf die Ablehnung gefährlicher Anfragen bezog. Sie konnten die Maschine „steuern", indem sie dieses Zahnrad herunterregelten, und die Maschine hörte auf, die Anfrage abzulehnen. Dies bewies, dass das Zahnrad tatsächlich das Sicherheitsverhalten verursachte und nicht nur zusah, wie es passierte.
- Polysemantie: Manchmal stellten die Roboter fest, dass ein einzelnes Zahnrad zwei völlig unterschiedliche Dinge gleichzeitig tat (wie ein Zahnrad, das sowohl „mathematische Gleichungen" als auch „medizinische Begriffe" verarbeitet). Das System ist intelligent genug zu sagen: „Dieses Zahnrad ist verwirrend; es erledigt zwei Aufgaben", anstatt ein einziges, falsches Etikett zu erzwingen.
Das Fazit
Der Artikel behauptet, dass wir durch die Behandlung der KI-Interpretation als iteratives Experiment (raten, testen, scheitern, reparieren) anstatt als statisches Etikett (anschauen, raten, aufschreiben) viel genauere und zuverlässigere Erklärungen erhalten.
Das System erstellt eine „Papierspur" jeder Vermutung, jedes Tests und jedes Scheiterns, was den Prozess transparent macht. Es zeigt, dass Sie ein viel klareres Bild davon erhalten, wie das Gehirn der Maschine tatsächlich funktioniert, wenn Sie einen KI-Agenten wie einen strengen Wissenschaftler agieren lassen – der ständig versucht, seine eigenen Ideen zu widerlegen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.