Can Language Model Agents be Helpful Circuit Explainers in Mechanistic Interpretability?

Stellen Sie sich eine riesige, komplexe Maschine vor (wie ein riesiges Sprachmodell), die Geschichten schreiben, Matheaufgaben lösen oder Fragen beantworten kann. Wissenschaftler haben herausgefunden, wie man die spezifischen „Zahnräder und Hebel“ innerhalb dieser Maschine findet, die eine bestimmte Aufgabe ausführen. Dies nennt man Lokalisierung eines Schaltkreises (Circuit Localization).

Doch das Finden der Zahnräder allein reicht nicht aus. Wir wissen immer noch nicht genau, was jedes Zahnrad macht oder wie sie zusammenarbeiten. Normalerweise muss ein menschlicher Experte Stunden damit verbringen, die Maschine anzustarren, zu raten, was ein Teil macht, seine Vermutung zu testen und es erneut zu versuchen. Das ist langsam, langweilig und schwer skalierbar.

Diese Arbeit stellt die Frage: Können wir einen Roboter-Detektiv (einen Sprachmodell-Agenten) engagieren, um diese Detektivarbeit für uns zu erledigen?

Hier ist die Aufschlüsselung ihres Experiments, unter Verwendung einfacher Analogien:

1. Das Problem: Das „Black Box“-Rätsel

Stellen Sie sich das Sprachmodell wie einen riesigen, verschlossenen Tresor vor. Wissenschaftler haben bereits spezielle Werkzeuge verwendet, um die spezifischen Schließzylinder (den „Schaltkreis“) zu finden, die den Tresor öffnen. Aber wir wissen nicht, was jeder einzelne Zylinder bewirkt.

• Der alte Weg: Ein menschlicher Detektiv versucht zu raten: „Vielleicht dreht dieser Zylinder das Schloss?“ Er testet es. Wenn es fehlschlägt, rät er erneut. Das dauert lange.
• Die neue Idee: Können wir die Aufgabe einem KI-Detektiv übertragen, der denken, Code schreiben kann, um seine eigenen Theorien zu testen, und der seine Fehler selbst korrigiert?

2. Das Trainingsgelände: Ein „Spielzeug“-Tresor

Um zu testen, ob ihr KI-Detektiv funktioniert, konnten die Forscher keinen echten, chaotischen Tresor (ein echtes, reales Sprachmodell) verwenden, da sie nicht wüssten, was die „richtige“ Antwort ist, um sie zu überprüfen.

Stattdessen bauten sie 84 „Spielzeug-Tresore“ (genannt AGENTICINTERPBENCH).

• Dies sind kleine, künstliche Maschinen, die von Grund auf neu gebaut wurden.
• Die Forscher wissen genau, wie sie funktionieren, weil sie aus einem einfachen Satz von Anweisungen (wie einem Rezept) gebaut wurden.
• Sie wissen genau, was jedes einzelne Zahnrad tun soll. Dies ermöglicht es ihnen, den KI-Detektiv zu bewerten: „Hast du richtig geraten?“

3. Der Detektiv: HYVE (Die „Hypothese, Validierung, Erklärung“-Schleife)

Die Forscher erschufen einen KI-Agenten namens HYVE. HYVE rät nicht einfach nur; es folgt für jedes einzelne Zahnrad in der Maschine einer strengen Detektiv-Routine:

1. Beobachten: HYVE betrachtet das Zahnrad. „Hm, wenn der Input ‚x‘ ist, leuchtet dieses Zahnrad hellrot auf. Wenn es ‚y‘ ist, bleibt es dunkel.“
2. Hypothese aufstellen: HYVE stellt eine Vermutung an. „Ich wette, dieses Zahnrad ist ein ‚Rotlicht-Detektor‘, der nur bei ‚x‘ aktiviert wird.“
3. Validieren (Der Test): Dies ist der wichtigste Teil. HYVE schreibt ein Computerprogramm, um seine Vermutung zu testen. Es könnte sagen: „Lass uns das Zahnrad dazu zwingen, dunkel zu bleiben, selbst wenn der Input ‚x‘ ist, und dann sehen, ob die Maschine aus dem Takt kommt.“
   • Wenn die Maschine exakt wie vorhergesagt reagiert, ist die Vermutung bestätigt.
   • Wenn die Maschine trotzdem normal weiterläuft, ist die Vermutung falsch. HYVE muss zurück zu Schritt 2 gehen und eine neue Vermutung aufstellen.
4. Erklären: Sobald alle Zahnräder getestet wurden, schreibt HYVE eine Zusammenfassung: „Diese Maschine ist ein ‚Bruchrechner‘, der zählt, wie oft ‚x‘ in einem Satz vorkommt.“

4. Die Ergebnisse: Der Detektiv ist gut, aber nicht perfekt

Die Forscher testeten HYVE mit vier verschiedenen „Gehirnen“ (unterschiedlichen großen Sprachmodellen), um zu sehen, welches der beste Detektiv ist.

• Erfolg: Die KI-Agenten waren überraschend gut! Sie konnten die Funktion der Zahnräder etwa 79 % der Zeit korrekt identifizieren und die allgemeine Aufgabe zu etwa 83 % der Zeit beschreiben.
• Der Engpass: Die KI war sehr gut darin, die anfängliche Vermutung (die Hypothese) aufzustellen. Das Problem trat in der Testphase auf.
  • Manchmal entwarf die KI einen Testplan, der zu vage war.
  • Manchmal schrieb die KI Code, um den Test durchzuführen, aber der Code enthielt Fehler (Bugs) (wie ein Detektiv, der einen Testplan schreibt, aber vergisst, die Taschenlampe mitzunehmen).
  • Analogie: Es ist wie ein Detektiv, der eine brillante Theorie darüber hat, wer der Mörder ist, aber wenn er versucht, zum Tatort zu gehen, um ein Alibi zu prüfen, verirrt er sich oder schließt sich selbst vor der Tür aus.

Wer war der Beste?

• Claude-Sonnet war am besten darin, die Tests tatsächlich ohne Absturz durchzuführen (fehlerfreien Code zu schreiben).
• Gemini war am besten darin, die abschließende, leicht verständliche Erklärung zu schreiben.
• GPT-5.4 war großartig beim Planen der Tests, aber sein Code scheiterte oft beim Ausführen.

5. Der Realwelt-Test: Der „Llama“-Fallbeispiel

Um zu sehen, ob dies außerhalb ihrer „Spielzeug-Tresore“ funktioniert, testeten sie HYVE an einem echten, natürlich trainierten Sprachmodell (Llama-3-8B), das Mathematik beherrscht.

• Sie gaben der KI einen Schaltkreis, den andere Menschen gefunden hatten, der dem Modell hilft, drei Zahlen zusammenzuzählen.
• Ergebnis: Der KI-Detektiv konnte erfolgreich herausfinden, dass einige Zahnräder „Transfer-Heads“ sind (die Zahlen hin- und herschieben) und korrekt identifizierte, dass andere Zahnräder lediglich „redundant“ sind (sie sahen wichtig aus, waren aber eigentlich nicht notwendig).
• Dies bewies, dass die Methode auch bei unordentlichen, realen Maschinen funktioniert, nicht nur bei den sauberen Spielzeug-Modellen.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass KI-Agenten vielversprechende neue Werkzeuge sind, um zu erklären, wie KI funktioniert. Sie können die schwere Arbeit des Ratens und Testens übernehmen. Dennoch sind sie noch nicht perfekt. Das Hauptproblem ist die Zuverlässigkeit: Die KI muss besser darin werden, den Code zu schreiben, der ihre eigenen Theorien tatsächlich testet, ohne dabei Fehler zu machen.

Bis die KI besser darin wird, „das Experiment durchzuführen“ (die Validierungsschleife), werden menschliche Experten die Arbeit immer noch nachprüfen müssen. Aber dies ist ein großer Schritt zur Automatisierung des Verständnisses komplexer KI-Gehirne.