🤖 AI

Transformers converge to invariant algorithmic cores

Dieses Paper führt die Algorithmic Core Extraction (ACE) ein, um zu demonstrieren, dass unabhängig trainierte Transformer trotz variierender Gewichtungskonfigurationen auf kompakte, invariante algorithmische Subräume konvergieren, welche ihr Verhalten steuern, wodurch eine gemeinsame computergestützte Struktur unter der scheinbaren Komplexität offenbart und ein neuer Weg für mechanistisches Verständnis und Kontrolle aufgezeigt wird.

Ursprüngliche Autoren: Joshua S. Schiffman

Veröffentlicht 2026-07-08

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Joshua S. Schiffman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Unterschiedliche Wege, dasselbe Ziel

Stellen Sie sich vor, Sie versuchen, von Ihrem Haus zu einem bestimmten Café zu gelangen.

Fahrer A nimmt eine Route durch die Vororte, dann über eine Autobahn und schließlich durch eine Gasse.
Fahrer B nimmt eine Route durch das Stadtzentrum, dann durch einen Park und über eine Brücke.
Fahrer C nimmt einen völlig anderen Weg über eine Fähre und einen Zug.

Wenn Sie sich deren Landkarten ansehen (die spezifischen Straßen, die sie gefahren sind), sehen diese sich überhaupt nicht ähnlich. Sie sind völlig verschieden. Wenn Sie jedoch darauf achten, was sie eigentlich tun (das Fahren zum Café), machen alle genau das Gleiche.

Diese Arbeit argumentiert, dass KI-Modelle (speziell „Transformer“) auf die gleiche Weise funktionieren. Wenn wir zwei KI-Modelle trainieren, um dieselbe Aufgabe zu lösen, enden sie mit einer völlig unterschiedlichen internen „Verkabelung“ (Gewichten und Parametern). Aber tief im Inneren nutzen alle denselben verborgenen „Motor“, um die Arbeit zu erledigen.

Die Autoren nennen diesen verborgenen Motor einen Algorithmic Core (algorithmischen Kern).

Das Problem: Das Falsche betrachten

Normalerweise versuchen Wissenschaftler, wenn sie verstehen wollen, wie eine KI funktioniert, die spezifische Verkabelung eines einzelnen Modells zu untersuchen. Die Arbeit sagt, dass dies riskant ist. Es ist, als würde man die Landkarte von Fahrer A studieren und denken: „Ah, also um zum Café zu kommen, muss man die Gasse nehmen.“ Aber das war nur ein Zufall der Route von Fahrer A. Fahrer B hat diese Gasse nicht genommen.

Die Arbeit schlägt vor, dass wir aufhören sollten, die spezifischen Straßen (die chaotischen, einzigartigen Details eines einzelnen Trainingslaufs) zu betrachten, und stattdessen nach dem Invarianten suchen sollten (der unveränderlichen Wahrheit, die alle Fahrer teilen).

Die Lösung: Den „Kern“ finden

Die Autoren entwickelten ein Werkzeug namens ACE (Algorithmic Core Extraction). Stellen Sie sich ACE wie eine spezielle Röntgenbrille vor.

Es filtert das Rauschen heraus: Es ignoriert die Millionen von einzigartigen Details, die ein KI-Modell von einem anderen unterscheiden.
Es findet den Motor: Es isoliert einen winzigen, kompakten „Kern“ innerhalb der KI, der absolut notwendig ist, um die Aufgabe zu erfüllen. Wenn man diesen Kern entfernt, versagt die KI. Wenn man nur diesen Kern behält, funktioniert die KI weiterhin perfekt.
Es beweist, dass sie gleich sind: Selbst wenn die KIs äußerlich unterschiedlich aussehen, zeigt ACE, dass alle denselben mathematischen „Motor“ in sich verbergen.

Drei Experimente: Von einfach bis komplex

Die Arbeit testete diese Idee in drei verschiedenen Szenarien:

1. Das einfache Rätsel (Markov-Ketten)
Sie brachten drei verschiedenen KIs ein einfaches Spiel bei: das Vorhersagen des nächsten Schritts in einer Sequenz.

Ergebnis: Die drei KIs lernten unter Verwendung völlig unterschiedlicher interner Landkarten. Ihre „Verkabelung“ war fast völlig verschieden.
Der Kern: Aber als ACE hineinsah, fand es, dass alle drei eine winzige, dreidimensionale „Kernstruktur“ verbargen, die dieselbe Mathematik ausführte. Es war, als würde man feststellen, dass drei verschiedene Automotoren alle exakt das gleiche 3-Zylinder-Kolbenarrangement nutzen, obwohl der Rest der Autos unterschiedlich aussieht.

2. Das „Grokking“-Rätsel (Modulare Addition)
„Grokking“ ist ein seltsames Phänomen, bei dem eine KI plötzlich von dem Zustand, ein mathematisches Problem nur zu memorieren, zu dem Zustand wechselt, es perfekt zu lösen – oft erst nach einer langen Zeit.

Die Entdeckung: Die Autoren fanden heraus, dass genau in dem Moment, in dem die KI „grokkt“ (plötzlich versteht), sich ein kompakter, kreisförmiger „Kern“ in ihr bildet. Dieser Kern fungt wie eine Uhr, die Zahlen rotiert, um die Mathematik zu lösen.
Die Wendung: Wenn man die KI nach dem Lernen weiter trainiert, wird dieser Kern „aufgebläht“. Er beginnt, viel mehr Platz zu beanspruchen, als er benötigt, und füllt sich mit redundanten Kopien derselben Mathematik.
Die Lehre: Die Arbeit fand heraus, dass es der KI hilft, schneller zu lernen, wenn sie viele redundante Wege hat, ein Problem zu lösen. Es ist wie ein Team von Menschen, die alle dieselbe Antwort schreien; schließlich kommt die richtige Antwort schneller durch.

3. Die reale Welt (Sprachmodelle)
Schließlich betrachteten sie sechs riesige, reale KI-Modelle (wie GPT-2, LLaMA und andere), die für das Schreiben von Texten verwendet werden. Diese Modelle sind riesig und sehr unterschiedlich.

Die Aufgabe: Sie konzentrierten sich auf die Subjekt-Verb-Kongruenz (zu wissen, ob ein Satz „is“ oder „are“ benötigt).
Die Entdeckung: In allen sechs massiven Modellen gibt es eine einzige, unsichtbare „Linie“ (eine eindimensionale Achse) im Gehirn der KI, die steuert, ob ein Satz Singular oder Plural ist.
Der magische Trick: Wenn man diese einzelne Linie nimmt und sie „umdreht“ (die Richtung invertiert), macht die KI sofort Grammatikfehler. Sie ändert „The cat is“ zu „The cat are“.
Die Übereinstimmung: Obwohl diese Modelle von verschiedenen Unternehmen gebaut wurden, auf unterschiedlichen Daten trainiert wurden und unterschiedliche Größen haben, nutzen sie alle exakt dieselbe Linie, um Grammatik zu handhaben. Es ist, als ob jedes menschliche Gehirn, unabhängig von Kultur oder Sprache, denselben neuronalen Schalter nutzt, um zwischen „Ich“ und „Wir“ zu entscheiden.

Warum das wichtig ist

Die Arbeit kommt zu dem Schluss, dass unter der chaotischen, komplexen Oberfläche der KI eine einfachere, gemeinsame Struktur existiert.

Schauen Sie nicht auf die Lackierung: Die spezifischen Farben und Formen der KI (ihre Parameter) sind nur Zufälle dessen, wie sie trainiert wurde.
Schauen Sie auf den Motor: Der „Algorithmic Core“ ist das Wesentliche. Es ist der Teil, der gleich bleibt, egal wer die KI baut oder wie sie baut.

Indem wir diese Kerne finden, können wir KI besser verstehen und kontrollieren. Anstatt zu versuchen, eine Million winziger Drähte zu reparieren, können wir einfach den einen „Schalter“ finden, der das Verhalten steuert, um das es uns geht.

Zusammenfassende Analogie

Stellen Sie sich drei verschiedene Architekten vor, die ein Haus bauen.

Architekt A verwendet Holz.
Architekt B verwendet Ziegel.
Architekt C verwendet Stahl.

Wenn Sie auf die Materialien schauen, sind sie völlig unterschiedlich. Aber wenn Sie den Bauplan für die Treppe betrachten, werden Sie feststellen, dass alle drei Architekten exakt das gleiche 10-stufige Design verwendet haben, weil dies der effizienteste Weg ist, um nach oben zu gelangen.

Diese Arbeit sagt: „Hört auf, über Holz, Ziegel und Stahl zu streiten. Lasst uns die Treppen studieren.“

Technisches Resümee: Transformer konvergieren zu invarianten algorithmischen Kernen

1. Problemstellung

Das zentrale Hindernis für die mechanistische Interpretierbarkeit in neuronalen Netzen ist die Unterdeterminierung. Während das Training die Leistung eines Modells einschränkt (die Abbildung von Eingaben auf Ausgaben), beschränkt es nicht die interne Realisierung dieses Verhaltens. Unabhängig trainierte Modelle zeigen oft eine funktionale Äquivalenz – sie führen dieselbe Aufgabe mit völlig unterschiedlichen Gewichtskonfigurationen und internen Schaltkreisen aus. Dieses Phänomen, das in der Geometrie der Verlustlandschaft, beim Modell-Merging und in biologischen Systemen (z. B. Degenerität und Systemdrift) beobachtet wird, stellt eine fundamentale Herausforderung dar: Wenn Mechanismen nicht über verschiedene Realisierungen hinweg generalisieren, welche Erklärungen sind dann „echt“?

Derzeitige Bemühungen zur Interpretierbarkeit konzentrieren sich oft auf spezifische Implementierungsdetails (z. B. bestimmte Attention-Heads oder spärliche Features), die möglicherweise idiosynkratisch für einen einzelnen Trainingslauf sind. Dieses Paper argumentiert, dass die Forschung, um eine generalisierbare mechanistische Verständlichkeit zu erreichen, den Fokus von der realisierungsspezifischen Schaltung auf Invarianten verlagern muss – stabile computational Strukturen, die über unabhängige Trainingsläufe hinweg geteilt werden.

2. Methodik: Algorithmic Core Extraction (ACE)

Das Paper führt die Algorithmic Core Extraction (ACE) ein, ein Framework, das darauf ausgelegt ist, niedrigdimensionale Subräume zu isolieren, die sowohl notwendig als auch hinreichend für eine Aufgabe und invariant über verschiedene Modellrealisierungen hinweg sind. Die Methode operationalisiert Prinzipien der linearen Systemtheorie (speziell die Kalman-Zerlegung und die balancierte Reduktion) für Transformer.

Die ACE-Pipeline besteht aus drei Stufen:

Extraktion: Für eine gegebene Transformer-Schicht mit Hidden-Dimension $D$ und $N$ Eingängen berechnet die Methode die Interaktion zwischen zentrierten Aktivierungen ( $H$ ) und den Jacobis der aufgabenspezifischen Ausgaben ( $J$ ). Durch Durchführung einer Singulärwertzerlegung (SVD) von $HJ^\top$ identifiziert ACE Richtungen, die gemeinsam aktiv und relevant sind. Die führenden Singulärvektoren definieren einen niedrigdimensionalen Subraum (den „Kern“), der zurück in den Aktivierungsraum abgebildet wird.
Validierung: Der extrahierte Kern wird mittels Ablation kausal validiert. Ein Kern gilt als hinreichend, wenn die Projektion der Aktivierungen auf ihn die Leistung der Aufgabe bewahrt, und als notwendig, wenn das Entfernen desselben (Projektion auf das Komplement) die Leistung auf Zufallsniveau reduziert.
Identifikation: Die computationale Struktur innerhalb des Kerns wird durch das Anpassen linearer Operatoren (z. B. $z_{t+1} \approx Az_t$ ) an die Kern-Koordinaten rekonstruiert, wobei deren Spektraleigenschaften (Eigenwerte) untersucht werden, um die zugrunde liegende Dynamik zu bestimmen.

3. Kernergebnisse

A. Synthetische Markov-Ketten-Aufgaben

In Single-Layer-Transformern, die auf einer vierstufigen Markov-Kette trainiert wurden:

Divergente Parameter, konvergente Kerne: Modelle, die mit unterschiedlichen Random Seeds trainiert wurden, erreichten eine nahezu optimale Genauigkeit, wiesen jedoch eine nahezu verschwindende Kosinus-Ähnlichkeit in ihren Gewichten auf.
Invariante 3D-Subräume: ACE isolierte erfolgreich einen 3-dimensionalen Kern in jedem Modell. Diese Kerne waren notwendig und hinreichend für die Aufgabe.
Geometrische vs. statistische Ausrichtung: Während die Kerne in nahezu orthogonalen Subräumen lagen (Projektionsüberlapp $\approx 0,02$ ), zeigten sie eine nahezu perfekte statistische Ausrichtung (Canonical Correlation Analysis $\approx 0,99$ ).
Rekonstruktion der Dynamik: Innerhalb dieser Kerne angepasste lineare Operatoren rekonstruierten exakt die nicht-trivialen Eigenwerte der zugrunde liegenden Markov-Übergangsmatrix, was zeigt, dass die Modelle dieselben Übergangsdynamiken in unterschiedlichen Koordinatensystemen kodieren.

B. Modulare Addition und Grokking

In Zwei-Layer-Transformern, die auf modularer Addition ( $a + b \equiv c \mod p$ ) trainiert wurden:

Emergenz bei Grokking: Die algorithmischen Kerne kristallisierten (verdichteten sich zu niedrigdimensionalen, notwendigen/hinreichenden Subräumen) zeitgleich mit dem „Grokking“-Phänomen (dem verzögerten Übergang vom Auswendiglernen zum Generalisieren).
Rotationsdynamik: Die automatisierte Anpassung von Operatoren enthüllte, dass die Kern-Operatoren bei Grokking auf den Einheitskreis einschnappten, was die Entstehung zyklischer/rotatorischer Dynamiken anzeigt, die für die modulare Arithmetik erforderlich sind.
Kern-Inflation unter Regularisierung: Unter fortgesetzter Gewichtsbeschränkung (Weight Decay) nach dem Grokking „inflatierten“ die Kerne von ~15 auf ~60 Dimensionen. Diese Inflation wurde durch Redundanz getrieben: Während die Anzahl der für die Leistung hinreichenden Dimensionen stabil blieb, expandierte die Anzahl der notwendigen Dimensionen, um eine Zufallsleistung zu verhindern. Weight Decay wirkte als eine Umverteilungskraft, die die Gewichte über alle funktional äquivalenten Modi verteilte (bis zum theoretischen Maximum von $\lfloor p/2 \rfloor$ ).
Inverse Skalierungsgesetze: Das Paper leitet eine theoretische Verbindung zwischen funktionaler Redundanz, Regularisierung und Grokking-Zeit ab. Es postuliert, dass funktionale Äquivalenz den Übergang zur Generalisierung beschleunigt und liefert ein inverses Skalierungsgesetz für die Grokking-Zeit: $\tau_{grok} \propto 1/(\omega p)$ , wobei $\omega$ die Gewichtsbeschränkung und $p$ die Redundanz ist. Empirische Messungen von $\omega$ und $p$ validierten diese Vorhersage.

C. Large Language Models (LLMs)

ACE wurde auf sechs vortrainierte Modelle aus vier Familien angewendet (GPT-2 Small/Medium/Large, LLaMA-3.1, Gemma-2, Qwen2.5) über zwei Größenordnungen der Skalierung hinweg (117M bis 32B Parameter) bei der Aufgabe der Subjekt-Verb-Numerus-Kongruenz (Subject–Verb Number Agreement):

Universeller 1D-Kern: Eine einzige, eindimensionale kausale Achse wurde in den späten Schichten aller sechs Modelle identifiziert.
Kausale Kontrolle: Diese Achse ist notwendig und hinreichend für die Kongruenz. Die Projektion der Aktivierungen auf diese Achse sagt den Logit-Margin für Singular/Plural voraus. Entscheidend ist, dass das Umkehren des Vorzeichens dieser Achse die grammatikalischen Numerus-Präferenzen während der offenen Generierung invertiert (z. B. die Änderung von „The key... are“ zu „The key... is“).
Architekturübergreifende Ausrichtung: Trotz Unterschieden in Architektur, Tokenisierung und Trainingsdaten korrelierten die Koordinaten dieser 1D-Kerne über Modelle hinweg signifikant (Spearman-Korrelationen bis zu 0,93). Dies deutet auf einen gemeinsamen, invarianten Mechanismus für die grammatikalische Numerus-Kongruenz hin, der unabhängig von Implementierungsdetails ist.

4. Bedeutung und Ansprüche

Das Paper behauptet, dass unter der scheinbaren Komplexität trainierter Transformer eine einfachere, geteilte computationale Struktur liegt. Die primären Beiträge sind:

Ein Paradigmenwechsel in der Interpretierbarkeit: Weg von der Untersuchung spezifischer Schaltkreis-Realisierungen hin zur Untersuchung von Invarianten. Die Autoren argumentieren, dass mechanistische Erklärungen an stabile, implementierungsinvariante Größen gekoppelt sein sollten und nicht an idiosynkratische Details.
Operationalisierung von Invarianten: Das ACE-Framework bietet eine Methode, um diese Invarianten zu isolieren, kausal zu validieren und die von ihnen implementierten Algorithmen zu rekonstruieren, ohne deren Form vorauszusetzen.
Mechanistische Erklärung von Grokking: Das Paper liefert eine Theorie, die funktionale Äquivalenz, Regularisierung und Grokking-Zeit verknüpft, und legt nahe, dass Redundanz durch Weight Decay den Übergang zur Generalisierung beschleunigt, indem sie Gewichte über gültige Modi verteilt.
Evidenz für interne Weltmodelle: Die Rekonstruktion der zugrunde liegenden Aufgabenstrukturen (Markov-Spektren, zyklische Operatoren) deutet darauf hin, dass diese Kerne die Prozesse des datengenerierenden Prozesses intern repräsentieren, was mit dem „Internal Model Principle“ aus der Regelungstechnik übereinstimmt.
Implikationen für das Modell-Merging: Die Beobachtung, dass funktional äquivalente Modelle ihre Kerne in nahezu orthogonalen Subräumen einbetten, erklärt die Schwierigkeit des Modell-Mergings (naive Interpolation schlägt fehl). Dies legt nahe, dass die Ausrichtung algorithmischer Kerne statt der Gewichte ein prinzipieller Ansatz zur Rekombination von Modellen sein könnte.

Das Paper schließt mit der Feststellung, dass die Zielsetzung von Invarianten einen handhabbareren Weg zu mechanistischer Verständlichkeit und Kontrolle bietet, wobei angemerkt wird, dass die Dimensionalität der Kerne für komplexe Denkaufgaben eine offene Frage bleibt, die Stabilität des 1D-Kongruenz-Kerns über massive Skalen hinweg jedoch darauf hindeutet, dass die Kern-Dimensionalität nicht strikt von der Modellgröße abhängen muss.