Mechanistic Interpretability as Statistical Estimation: A Variance Analysis
Dieses Paper argumentiert, dass mechanistische Interpretierbarkeit fundamental ein statistisches Schätzproblem ist, das von hoher intrinsischer Varianz in kausalen Mediationswerten geplagt wird, was dazu führt, dass Pipelines zur Schaltkreisentdeckung instabile und fragile Ergebnisse produzieren, was eine Verschiebung hin zu statistischer Robustheit und Stabilitätsberichterstattung erforderlich macht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Den Versuch einer Stadt mit einem wackeligen Kompass zu kartieren
Stellen Sie sich vor, Sie versuchen, die Karte einer komplexen Stadt (ein neuronales Netz) zu zeichnen, um zu verstehen, wie sie von Punkt A nach Punkt B kommt (wie sie ein Problem löst). Wissenschaftler auf dem Gebiet der Mechanistic Interpretability sind wie Stadtentdecker. Sie wollen die spezifischen „Straßen“ und „Kreuzungen“ (Neuronen und Verbindungen) finden, die die Stadt nutzt, um Entscheidungen zu treffen. Sie nennen diese speziellen Routen „Circuits“ (Schaltkreise).
Die Arbeit argumentiert, dass diese Entdecker derzeit einen Kompass verwenden, der wild herumwirbelt. Sie glauben, sie fänden die eine wahre Karte, aber in Wirklichkeit zeichnen sie jedes Mal eine andere Karte, je nachdem, wie sich das Wetter minimal ändert oder wie sie den Kompass halten.
Das Kernproblem: Der „wirbelnde Kompass“ (Varianz)
Die Forscher haben entdeckt, dass die Werkzeuge, die zum Finden dieser Circuits verwendet werden, fundamental instabil sind. Sie haben das Problem in drei Ebenen der Instabilität unterteilt:
1. Das Rohsignal ist verrauscht (Intrinsische Variabilität)
Die Analogie: Stellen Sie sich vor, Sie versuchen, die Stärke eines bestimmten Windstroms in einem Sturm zu messen. Wenn Sie die Windgeschwindigkeit zu einem exakten Zeitpunkt messen, erhalten Sie einen Wert. Wenn Sie eine Sekunde später messen, könnte der Wind aufgrund zufälliger Turbulenzen etwas stärker oder schwächer sein.
Die Behauptung der Arbeit: Die „Wichtigkeit“ eines spezifischen Teils der KI ist keine feste Zahl wie das Gewicht eines Steins. Sie ist eher wie die Windgeschwindigkeit. Sie schwankt stark, je nachdem, welchen spezifischen Input (den „Sturm“) man betrachtet. Die Arbeit zeigt, dass selbst wenn man dies perfekt berechnet, der Wert für eine einzelne Verbindung so stark fluktuiert, dass es schwer zu sagen ist, ob sie tatsächlich wichtig ist oder nur eine zufällige Böe.
2. Die Werkzeuge fügen zusätzliches Rauschen hinzu (Approximationsfehler)
Die Analogie: Da das perfekte Messen des Windes zu viel Zeit in Anspruch nehmen würde, nutzen die Entdecker einen billigen, schnellen Sensor (Approximationsmethoden wie EAP), um die Windgeschwindigkeit zu schätzen. Aber dieser billige Sensor ist unruhig. Er fügt statisches Rauschen und Fehler hinzu, die auf dem bereits schwankenden Wind aufbauen.
Die Behauptung der Arbeit: Die schnellen Methoden, die Wissenschaftler nutzen, um Zeit zu sparen (wie Edge Attribution Patching), führen noch mehr Rauschen ein. Sie lassen die Werte oft sogar noch instabiler erscheinen, als sie ohnehin schon waren. Das „Signal-Rausch-Verhältnis“ ist so niedrig, dass die Werkzeuge oft nur statisches Rauschen statt des eigentlichen Signals erfassen.
3. Die Karte ändert sich mit jedem Schritt (Aggregationsinstabilität)
Die Analogie: Um die endgültige Karte zu zeichnen, nehmen die Entdecker 100 verschiedene Messungen und bilden den Durchschnitt. Aber da die Messungen so wackelig sind, sieht die endgültige Karte völlig anders aus, wenn man die Liste der 100 Messungen auch nur geringfügig ändert (z. B. indem man eine durch eine andere ersetzt). An einem Tag zeigt die Karte eine Autobahn; am nächsten Tag zeigt sie einen Feldweg.
Die Behauptung der Arbeit: Wenn Wissenschaftler diese wackeligen Werte kombinieren, um einen „Circuit“ zu bauen, ist das Ergebnis extrem fragil.
- Datenänderung: Wenn sie eine etwas andere Menge an Beispielen verwenden, um ihre Karte zu trainieren, finden sie einen völlig anderen Circuit.
- Methodenänderung: Wenn sie eine Einstellung ändern (z. B. wie sie die Zahlen mitteln), finden sie einen anderen Circuit.
- Perturbationsänderung: Wenn sie die KI auf eine andere Weise „brechen“, um sie zu testen (das Kontrafaktische), verschiebt sich der gefundene Circuit erneut.
Der „Dead Salmon“-Effekt
Die Arbeit erwähnt, dass aktuelle Methoden anfällig für „Dead Salmon“-Artefakte sind.
Die Analogie: In den Neurowissenschaften fanden Forscher einst „Gehirnaktivität“ in einem toten Lachs, nur weil sie nicht für statistisches Rauschen korrigiert hatten. Die Arbeit legt nahe, dass KI-Forscher dasselbe tun könnten: Sie finden „Circuits“, die echt aussehen, die aber eigentlich nur zufälliges Rauschen sind, das rein zufällig übereinstimmend auftrat.
Was die Forscher herausgefunden haben (Die Beweise)
Sie führten Experimente mit verschiedenen KI-Modellen (wie GPT-2 und Llama) und Aufgaben (wie Mathematik oder Grammatik) durch.
- Das Ergebnis: Wenn sie dasselbe Experiment 100 Mal mit leicht unterschiedlichen Daten durchführten, überschnitten sich die gefundenen „Circuits“ kaum. Manchmal lag die Überschneidung bei weniger als 10 %.
- Das Fazit: Es gibt keinen einzelnen „wahren Circuit“, der darauf wartet, entdeckt zu werden. Stattdessen gibt es eine Wolke möglicher Circuits, und die aktuellen Methoden wählen lediglich einen zufälligen Punkt aus dieser Wolke aus und bezeichnen ihn als die Wahrheit.
Der vorgeschlagene Lösungsweg: Aufhören zu raten, anfangen zu messen (Unsicherheit)
Die Autoren sagen nicht: „Gebt die Interpretation von KI auf.“ Stattdessen sagen sie: „Gebt nicht vor, mehr zu wissen, als wir tatsächlich wissen.“
Das neue Regelwerk:
- Varianz angeben: Zeigen Sie nicht nur eine Karte. Zeigen Sie 100 Karten und sagen Sie: „Hier ist der Durchschnitt, und hier ist, wie sehr sie voneinander abweichen.“
- Stabilität prüfen: Bevor Sie behaupten, einen Circuit gefunden zu haben, prüfen Sie, ob er gleich bleibt, wenn Sie die Daten leicht verändern. Wenn der Circuit bei einer winzigen Änderung verschwindet, ist er nicht zuverlässig.
- Unsicherheit akzeptieren: Behandeln Sie diese Ergebnisse wie Wettervorhersagen (z. B. „70 % Regenwahrscheinlichkeit“) und nicht wie absolute Fakten (z. B. „Es wird regnen“).
Zusammenfassung
Die Arbeit argumentt, dass die Mechanistic Interpretability derzeit versucht, Wissenschaft zu betreiben, ohne zuzugeben, dass sie mit Statistik zu tun hat. Es ist, als versuche man, die Höhe eines Berges zu messen, während man auf einem Trampolin steht. Die Autoren möchten, dass das Feld aufhört, nach einem einzigen, perfekten „Ground Truth“-Circuit zu suchen, und stattdessen damit beginnt, zu berichten, wie wackelig und variabel ihre Ergebnisse tatsächlich sind. Nur indem man diese Instabilität anerkennt, kann man den Karten vertrauen, die wir über KI-Geister zeichnen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.