Discovering Cross-Language Reasoning Invariance in LLMs with Geometry-Invariant Sparse Autoencoders

Große Sprachmodelle sind die Motoren hinter vielen der heute fortschrittlichsten Werkzeuge der künstlichen Intelligenz und sind in der Lage, in Dutzenden von Sprachen zu lesen, zu schreiben und Probleme zu lösen. Seit Jahren fragen sich Forscher, wie diese Systeme mit der Komplexität des Mehrsprachigen umgehen. Wenn ein Modell ein mathematisches Problem auf Englisch löst und dann exakt dasselbe Problem auf Chinesisch löst, verwendet es dann dieselbe interne Denkmechanik für beide oder wechselt es für jede Sprache zu einem völlig anderen Satz von Regeln? Diese Frage ist wichtig, denn wenn das Modell eine gemeinsame interne Sprache für das logische Denken nutzt, könnten wir seine Logik einmal verstehen und dieses Verständnis auf jede Sprache anwenden, die es spricht. Wenn es jedoch auf separate, sprachspezifische Pfade zurückgreift, sagt uns das Verständnis einer Version des Modells nur sehr wenig über die anderen aus. Das Feld der mechanistischen Interpretierbarkeit versucht, in diese Modelle hineinzuschauen, um zu sehen, wie sie funktionieren, indem es ihre internen Zustände wie eine komplexe Leiterplatte behandelt, die kartiert und verstanden werden kann.

Ein Team von Forschern machte sich daran, diese Frage zu beantworten, indem es in die inneren Abläufe von fünf verschiedenen großen Sprachmodellen blickte. Sie konzentrierten sich auf eine spezifische Aufgabe: das Lösen von mathematischen Problemen der Grundschule. Sie nahmen einen Datensatz von 250 mathematischen Problemen und baten jedes Modell, diese in sechs verschiedenen Sprachen zu lösen: Englisch, Deutsch, Französisch, Spanisch, Russisch und Chinesisch. Um sicherzustellen, dass sie Äpfel mit Äpfeln verglichen, behielten sie nur die Probleme, bei denen das Modell die richtige Antwort lieferte und einen klaren, schrittweisen Lösungsweg in jeder einzelnen Sprache produzierte. Die Forscher zeichneten dann die interne Aktivität des Modells in verschiedenen Stadien des Prozesses auf und erfassten die spezifischen Muster der elektrischen Signale, die im Computer feuerten, während es über die Lösung nachdachte.

Um diese komplexen Signale verständlich zu machen, verwendeten die Forscher ein Werkzeug namens Sparse Autoencoder. Man kann sich dies als eine Art vorstellen, das chaotische interne Rauschen des Modells in eine Liste von unterscheidbaren, verständlichen Konzepten zu übersetzen. So wie ein Mensch eine Szene beschreiben könnte, indem er deren Schlüsselelemente auflistet – Himmel, Baum, Hund, Auto –, zerlegt der Autoencoder die Aktivität des Modells in eine Menge aktiver Merkmale. Die Forscher trainierten für jede Schicht der Modelle zwei Versionen dieses Werkzeugs. Die erste Version lernte einfach zu beschreiben, was sie in einer Sprache sah. Die zweite Version wurde mit einer speziellen Anweisung trainiert: Sie musste lernen, dasselbe mathematische Problem unter Verwendung desselben Satzes von Merkmalen zu beschreiben, unabhängig davon, ob das Problem auf Englisch oder Chinesisch präsentiert wurde. Diese zweite Version war darauf ausgelegt, das Modell dazu zu zwingen, eine gemeinsame Basis zu finden, eine gemeinsame interne Sprache für das logische Denken.

Die Ergebnisse offenbarten eine überraschende Realität darüber, wie diese Modelle denken. Die Forscher fanden heraus, dass die bloße Tatsache, dass die internen Beschreibungen geometrisch ähnlicher aussah, nicht garantierte, dass das Modell tatsächlich dieselbe Logik verwendete. In einigen Modellen führte das Erzwingen der Ausrichtung der internen Merkmale über Sprachen hinweg dazu, dass das logische Denken des Modells robuster und austauschbarer wurde. In anderen machte es überhaupt keinen Unterschied, und in einem Fall verschlechterte es sogar die Leistung des Modells, als sie versuchten, Teile der Argumentation von einer Sprache auf die andere zu übertragen. Dies geschah, weil die Modelle bereits sehr unterschiedliche Gewohnheiten entwickelt hatten. Eine Familie von Modellen entwickelte ganz natürlich eine gemeinsame Denkweise, während sie tiefer in das Problem eindrang, sodass das neue Training half, diesen gemeinsamen Pfad zu verfeinern. Eine andere Familie hatte bereits eine so starke, gemeinsame Struktur aufgebaut, dass das neue Training nichts mehr hinzuzufügen hatte. Eine dritte Familie hielt ihre Sprachen strikt getrennt, und der Versuch, sie zusammenzuführen, erzeugte eher Verwirrung als Klarheit.

Die Studie untersuchte fünf spezifische Modelle aus vier verschiedenen Familien, deren Größe zwischen 1,7 Milliarden und 4 Milliarden Parametern lag. Sie entdeckten, dass der Erfolg der Erstellung einer gemeinsamen Denkensprache vollständig von der bestehenden Architektur des Modells abhing. In den Modellen, die ein „konvergentes“ Muster zeigten, bei dem die gemeinsamen Merkmale stärker wurden, während das Modell das Problem weiter bearbeitete, funktionierte die neue Trainingsmethode perfekt und verbesserte die Fähigkeit des Modells, über Sprachen hinweg zu denken, in jeder der getesteten Schichten. In Modellen, die bereits mit gemeinsamen Merkmalen „gesättigt“ waren, bot das neue Training keinen Nutzen und störte manchmal den natürlichen Fluss des Modells. In Modellen, die „geringes Teilen“ (low-sharing) beibehielten, wobei die Sprachen weitgehend getrennt blieben, gelang es dem neuen Training nicht, eine funktionale Brücke zu schlagen, obwohl es die internen Signale auf dem Papier ähnlicher aussehen ließ.

Diese Arbeit stellt eine verbreitete Annahme in diesem Bereich infrage: dass zwei Dinge dieselbe Funktion erfüllen müssen, wenn sie auf einem Graphen ähnlich aussehen. Die Forscher bewiesen, dass ein Modell Merkmale haben kann, die geometrisch über Sprachen hinweg ausgerichtet aussehen, aber dennoch nicht austauschbar funktionieren können. Sie zeigten, dass der Weg zum Verständnis mehrsprachiger Modelle keine Einheitslösung ist. Stattdessen ist die interne Logik eines Modells tief mit seinem spezifischen Design verknüpft. Einige Modelle bauen von Natur aus eine universelle Denkmaschine auf, während andere ihre Sprachen in separaten Räumen halten. Die Forscher kamen zu dem Schluss, dass wir, um wirklich zu verstehen, wie eine künstliche Intelligenz über Sprachen hinweg denkt, die spezifische Architektur jedes Modells betrachten müssen, anstatt anzunehmen, dass sie alle denselben verborgenen Regeln folgen.