Where You Measure Decides What You Measure: Position Selection in Ablation-Based SAE Evaluation

Stellen Sie sich vor, Sie versuchen zu verstehen, wie eine riesige, magische Bibliothek denkt. Im Inneren dieser Bibliothek besteht das „Gehirn“ aus Millionen winziger, leuchtender Schalter. Wenn die Bibliothek eine Geschichte liest, leuchten bestimmte Schalter auf, um ihr zu helfen, die Bedeutung zu verstehen. Wissenschaftler haben ein spezielles Werkzeug gebaut, das eine Sparse Autoencoder (oder SAE) genannt wird, das als Übersetzer fungieren soll. Dieses Werkzeug beobachtet die leuchtenden Schalter und versucht, ihnen Namen zu geben, wie zum Bezeichnung „Schalter für ‚Katze‘“ oder „Schalter für ‚Zukunftsentwicklung‘“.

Sobald der Übersetzer die Schalter benannt hat, stellt sich die nächste große Frage: Welche davon sind tatsächlich wichtig? Um dies herauszufinden, spielen Wissenschaftler normalerweise ein Spiel namens „Was wäre wenn“. Sie nehmen einen spezifischen benannten Schalter, schalten ihn aus und sehen dann, ob sich die Geschichte der Bibliothek verändert. Wenn die Geschichte seltsam wird, war dieser Schalter wichtig. Wenn die Geschichte gleich bleibt, hat er vielleicht nicht viel bewirkt. Dies nennt man einen Ablationstest. Es ist eine Standardmethmeth, um herauszufinden, was die Bibliothek antreibt. Aber hier liegt der knifflige Teil: Ein einzelner Schalter leuchtet nicht nur einmal auf; er leuchtet tausende Male an verschiedenen Stellen in der Geschichte auf. Wenn Sie also entscheiden, den Schalter auszuschalten, wo schalten Sie ihn aus? Wählen Sie das erste Mal, wenn er aufleuchtet? Das letzte Mal? Oder das Mal, wenn er am hellsten strahlt?

Dieses Paper stellt eine einfache, aber erschütternde Frage: Spielt es eine Rolle, wo man sich entscheidet, den Schalter auszuschalten? Der Autor fand heraus, dass die Antwort ein entschiedenes „Ja“ ist, und dass die Art und Weise, wie Wissenschaftler diesen Test seit Jahren durchführen, sie zu falschen Schlussfolgerungen führen könnte.

Die Falle des „hellsten Funkens“

Lange Zeit galt die Standardregel für diese Tests: „Schalte den Schalter in dem Moment aus, in dem er am hellsten strahlt.“ Das fühlt sich nach einem klugen Instinkt an. Wenn eine Glühbirne an einer Stelle super hell leuchtet, arbeitet sie dort wahrscheinlich am wichtigsten, oder?

Das Problem, wie dieses Paper erklärt, ist, dass „wo sie am hellsten strahlt“, kein fester Fakt über die Bibliothek ist. Es ist ein Fakt über den Übersetzer (die SAE), den Sie verwenden. Stellen Sie sich zwei verschiedene Übersetzer vor, die dieselbe Bibliothek betrachten. Beide sind sich einig, dass Schalter #42 der „Katzen-Schalter“ ist. Aber Übersetzer A denkt, dass der Katzen-Schalter beim Wort „Kätzchen“ am hellsten strahlt, während Übersetzer B denkt, dass er beim Wort „Feline“ am hellsten strahlt.

Wenn Sie der Standardregel folgen, wird Übersetzer A den Schalter bei „Kätzchen“ ausschalten und Übersetler B wird ihn bei „Feline“ ausschalten. Obwohl sie exakt dasselbe Konzept testen, testen sie es an zwei völlig unterschiedlichen Stellen in der Geschichte. Das Paper zeigt, dass dies kein kleines Detail ist; es ist eine massive Quelle der Verwirrung.

Das Große Schalter-Aus-Experiment

Um dies zu beweisen, hat der Forscher nicht nur geraten; er führte ein massives, kontrolliertes Experiment durch. Er baute sechs verschiedene Übersetzer (SAEs), die fast identische Zwillinge waren. Sie starteten mit demselben Bauplan und wurden mit denselben Daten trainiert, wobei nur winzige, harmlose Einstellungen geändert wurden. Da sie gleich starteten, sollte jeder „Schalter #42“ in allen sechs Übersetzern exakt dasselbe bedeuten.

Dann führte er den Standardtest durch:

1. Der alte Weg: Er ließ jeden Übersetzer seinen eigenen „hellsten Punkt“ wählen, um den Schalter auszuschalten.
2. Der neue Weg: Er zwang alle sechs Übersetzer, den Schalter an exakt derselben Stelle in der Geschichte auszuschalten.

Das Ergebnis war schockierend.
Als sie den alten Weg verwendeten (jedem Übersetzer erlaubten, seinen eigenen hellsten Punkt zu wählen), waren die Ergebnisse völlig unterschiedlich. Die Übersetzer schienen wild über die Wichtigkeit des Schalters zu streiten. Einer sagte, er sei super wichtig; ein anderer sagte, er tue gar nichts. Der Forscher berechnete, dass etwa 7,6 % bis 11,9 % der Uneinigkeit zwischen den Übersetzern tatsächlich nur darauf zurückzuführen waren, dass sie an unterschiedlichen Stellen in der Geschichte nachsahen.

Aber als er alle zwang, an der gleichen Stelle zu schauen, verschwand die Uneinigkeit fast vollständig. Die „Uneinigkeit“ sank auf nahezu 0 % für ein Modell und auf 2,4 % für ein anderes.

Es stellt sich heraus, dass die Wissenschaftler meistens nicht darüber stritten, was die Bedeutung des Schalters war, sondern eigentlich nur darüber, wo man suchen sollte. Die Regel des „hellsten Punktes“ sorgte dafür, dass sie an unterschiedlichen Orten suchten, was eine Illusion von Uneinigkeit erzeugte.

Das „Wo“ ist wichtiger als das „Was“

Das Paper enthüllt eine verborgene Wahrheit: Der Ort, an dem man die Wirkung misst, ist wichtiger als das Wörterbuch, das man verwendet.

Tatsächlich fand der Forscher heraus, dass das „Rauschen“, das durch die Wahl unterschiedlicher Orte verursacht wurde, riesig war. In seinen Daten betrug die Variation, die durch das Wo der Messung verursacht wurde, 67,4 % des gesamten Unterschieds. Das bedeutet, wenn Sie die Stelle ändern, an der Sie den Schalter ausschalten, ändern Sie die Antwort stärker, als wenn Sie den gesamten Übersetzer selbst ändern würden.

Das wird noch interessanter, wenn die Bibliothek größer wird. Man könnte denken, dass die Übersetzer besser übereinstimmen würden, wenn man ihnen mehr Text zum Lesen gibt. Aber das Gegenteil geschah. Als die Menge des Textes zunahm, stritten die Übersetzer mehr darüber, wo der „hellste Punkt“ war. Mit mehr Text gibt es mehr Orte, an denen die Übersetzer unterschiedliche Punkte wählen können, was das Problem verschlimmert, statt es zu lösen.

Warum das alles verändert

Der Autor überprüfte fünf bedeutende Paper, die bereits Ergebnisse unter Verwendung dieser Methode veröffentlicht hatten. Er stellte fest, dass keines von ihnen angab, wo sie die Wirkung gemessen hatten. Sie sagten einfach: „Wir haben den Schalter am hellsten Punkt ausgeschaltet.“

Das ist so, als würde ein Wissenschaftler sagen: „Wir haben das Medikament bei der perfekten Temperatur getestet“, ohne jemals zu sagen, welche Temperatur das war. Wenn zwei Wissenschaftler dasselbe Medikament testen, aber der eine bei 37 °C und der andere bei 40 °C testet, könnten sie unterschiedliche Ergebnisse erhalten und das Medikament für unzuverlässig halten. Aber eigentlich haben sie nur bei unterschiedlichen Temperaturen gemessen.

Das Paper kommt zu dem Schluss, dass für ein vertrauenswürdiges und vergleichbares Ergebnis über verschiedene Studien hinweg, Wissenschaftler exakt das Wort (Token) angeben müssen, das sie verwendet haben, um den Schalter auszuschalten. Sie müssen auch angeben, wie sie mit Sonderfällen umgegangen sind, wie zum Beispiel dem allerersten Wort eines Satzes, was die Mathematik durcheinanderbringen kann, wenn es nicht sorgfältig behandelt wird.

Die Lösung ist einfach

Die gute Nachricht ist, dass die Behebung dessen keine neuen Bibliotheken oder neuen Übersetzer erfordert. Der Autor sagt, die Lösung ist nur eine Zeile Code. Anstatt dem Übersetzer zu erlauben, wo er messen soll, sollten Forscher sich auf eine gemeinsame Liste von Messpunkten einigen oder zumindest exakt angeben, welchen Punkt sie gewählt haben.

Durch dies zu tun, verschwindet das „Rauschen“, und wir können endlich sehen, welche Schalter im Gehirn der Bibliothek wirklich wichtig sind und welche nur deshalb hell leuchten, weil wir zufällig an genau dieser Stelle nachgesehen haben. Das Paper behauptet nicht, die Geheimnisse der KI gelöst zu haben, aber es hat eine riesige, unsichtbare Wand entfernt, die uns daran hinderte, die Wahrheit klar zu sehen.