🤖 machine learning

The Shape of Addition: Geometric Structures of Arithmetic in Large Language Models

Diese Arbeit offenbart, dass die Arithmetikfehler großer Sprachmodelle auf „geometrischen Abweichungen“ innerhalb eines kontinuierlichen latenten Raums namens Iso-Raw-Sum-Trajektorie beruhen, und schlägt ein verrauschtes Quantisierungsmodell vor, um zu erklären, wie neuronales Rauschen die Übertragungsfortpflanzung stört, sowie einen geometrischen Rahmen zur Erkennung und Korrektur dieser Fehler anbietet.

Ursprüngliche Autoren: Liuyuan Wen, Xun Zhu, Lihao Huang, Wenbin Li, Yang Gao

Veröffentlicht 2026-06-03

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Liuyuan Wen, Xun Zhu, Lihao Huang, Wenbin Li, Yang Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Warum scheitern intelligente KI-Modelle an einfacher Mathematik?

Stellen Sie sich einen brillanten Studenten vor, der komplexe Essays schreiben und Logikrätsel lösen kann, aber gelegentlich bei einer einfachen Additionsaufgabe einen Fehler macht, wie etwa zu sagen, dass $123 + 392 + 136 = 652$ statt $651$ ergibt. Dies ist das „Paradoxon“, mit dem die Arbeit beginnt: Large Language Models (LLMs) sind großartig in hochgradigem logischem Denken, aber überraschend fragil bei einfacher Mathematik und machen oft „Off-by-one“-Fehler (sie vertun sich um genau eine Ziffer).

Die Forscher wollten wissen: Wo im „Gehirn“ des Computers passiert der Fehler? Ist das Modell über die Zahlen verwirrt oder ist es nur ein winziges Entgleiten am ganz am Ende?

Die Entdeckung: Die „Digitale Autobahn“ (Geometrische Struktur)

Um die Antwort zu finden, schauten die Forscher in den „Residual Stream“ (den internen Informationsfluss, auf dem Informationen reisen) des Modells. Sie verwendeten eine Technik namens UMAP, um die massive, komplexe 3D- (oder 3000D-) Karte der Gedanken des Modells auf ein 2D-Bild zu schrumpfen, das sie sehen konnten.

Sie fanden heraus, dass die interne Mathematik des Modells nicht wie ein chaotischer Haufen von Daten aussieht. Stattdessen gleicht sie einer hochorganisierten geometrischen Landschaft:

Die Ziffern-Becken (Die Städte): Stellen Sie sich zehn große, tiefe Täler oder „Becken“ vor, eines für jede Ziffer von 0 bis 9. Wenn das Modell an „5“ denkt, befindet sich sein interner Zustand tief im „5-Tal“.
Die Übertrag-Fasern (Die Straßen): Innerhalb jedes Tals verlaufen unsichtbare „Straßen“ oder Fasern. Diese Straßen repräsentieren den Übertrag (die zusätzliche Zahl, die man in die nächste Spalte überträgt, wie bei $7+7=14$ $7 + 7 = 14$ , wobei man die 1 überträgt).
- Eine Straße ist für „Übertrag 0“.
- Eine andere Straße ist für „Übertrag 1“.
- Eine dritte Straße ist für „Übertrag 2“.

Die Analogie: Betrachten Sie den Mathematikprozess des Modells als einen Zug, der auf einem bestimmten Gleis fährt. Das „Gleis“ ist die Rohsumme (die Summe der Ziffern, die Sie gerade addieren). Die „Station“ ist die Ziffer (0–9). Das „Ticket“ ist der Übertrag.

Das Kernkonzept: Die „Iso-Raw-Sum Trajectory“ (IRST)

Die Arbeit benennt eine spezifische Struktur, die sie gefunden haben: die Iso-Raw-Sum Trajectory (IRST).

Was es ist: Ein kontinuierlicher, gewundener Pfad, der verschiedene Ziffern-Täler miteinander verbindet.
Wie es funktioniert: Wenn Sie Zahlen addieren, die eine bestimmte Summe ergeben (sagen wir 11), bewegt sich der interne Zustand des Modells entlang eines einzigen, kontinuierlichen Fadens. Während sich der „Übertrag“ von 0 auf 1 auf 2 ändert, gleitet das Modell sanft entlang dieses Fadens und bewegt sich vom „1-Tal“ zum „2-Tal“ zum „3-Tal“.
Die Erkenntnis: Das Modell springt nicht wahllos zwischen Zahlen hin und her. Es gleitet entlang eines glatten, kontinuierlichen Drahtes.

Das Problem: „Geometrisches Verrutschen“ (Geometric Slippage)

Warum macht das Modell also Fehler?

Die Forscher schlagen vor, dass das Modell die Mathematik die meiste Zeit über korrekt berechnet, aber in dem Moment verwirrt ist, in dem es entscheiden muss, bei welcher „Station“ (Ziffer) es halten soll.

Die Analogie: Stellen Sie sich vor, das Modell ist ein Auto, das auf einer glatten Straße (der IRST) fährt. Die Straße führt direkt zwischen zwei Städten (Ziffer 1 und Ziffer 2) hindurch.
Das Rauschen: Der Motor des Autos hat ein wenig „Statik“ oder Vibration (neuronales Rauschen).
Das Verrutschen: Wenn das Auto genau an der Grenze zwischen den Städten ist, drückt diese winzige Vibration das Auto ein Stück weit in die falsche Stadt.
- Wenn es eigentlich bei Stadt 1 hätte anhalten sollen, drückt das Rauschen es in Stadt 2 (Überschätzung/Halluzination).
- Wenn es eigentlich bei Stadt 2 hätte anhalten sollen, drückt das Rauschen es zurück in Stadt 1 (Unterschätzung/Leakage).

Die Arbeit nennt dies Geometric Slippage. Die mathematische Logik ist vorhanden, aber die „Entscheidungsgrenze“ ist aufgrund internen Rauschens unscharf.

Das „Verrauschte Quantisierungsmodell“ (Noisy Quantization Model)

Die Autoren formalisieren dies mit einer Theorie namens Noisy Quantization Model.

Kontinuierliches Potenzial: Das Modell denkt nicht einfach in ganzen Zahlen (0, 1, 2). Es denkt in einem kontinuierlichen „Druck“ oder „Potenzial“ (wie 1,4, 1,51, 1,9).
Der Schwellenwert: Um eine endgültige Antwort auszugeben, muss das Modell diese kontinuierliche Zahl auf die nächste ganze Ganzahl abrunden (Quantisierung).
Der Fehler: Wenn die kontinuierliche Zahl 1,9 ist und das Rauschen ein winziges bisschen hinzufügt, kann sie die Schwelle zu 2,0 überschreiten, was dazu führt, dass das Modell „2“ ausgibt, obwohl es eigentlich „1“ sein sollte.

Sie fanden heraus, dass Fehler am häufigsten auftreten, wenn der „Druck“ genau in der Mitte zwischen zwei ganzen Zahlen liegt (wie 1,9 oder 2,1), was eine „Badewannen-Form“ der Fehler erzeugt: hohe Fehlerraten an den Rändern, niedrige Fehlerraten in der Mitte.

Die „Magie“ der Sonden (Probes)

Eine der spannendsten Entdeckungen betrifft die Sonden (Probes). Eine Sonde ist ein einfaches Werkzeug, das den internen Zustand des Modells betrachtet und versucht zu erraten, was es denkt.

Die Überraschung: Selbst wenn das Modell die falsche Antwort ausgibt (z. B. sagt es „2“, aber die Antwort ist „1“), kann eine Sonde den internen Zustand betrachten und korrekt sagen: „Hey, das Modell weiß eigentlich, dass die Antwort 1 ist, und es weiß auch, dass der Übertrag 0 ist.“
Die Erklärung: Da der interne Zustand des Modells eine glatte, kontinuierliche Landschaft ist, liegen die „Wahrheit“ und der „Fehler“ direkt nebeneinander. Die Sonde kann die „Wahrheit“ innerhalb des „Fehlers“ sehen, weil sie geometrisch sehr nah beieinander liegen. Es ist, als würde man eine Person sehen, die auf der falschen Seite eines Zauns steht, aber genau wissen, auf welcher Seite des Zauns sie eigentlich sein wollte.

Die Lösung: „Dual-Stream Consistency“

Da das Modell die richtige Antwort intern weiß und nur am Ende „ausrutscht“, haben die Forscher eine Korrektur gebaut.

Stream 1 (Lokal): Ein Werkzeug überprüft die unmittelbare Mathematik (die Summe der aktuellen Spalte).
Stream 2 (Global): Ein Werkzeug überprüft das „Potenzial“ (den Übertrag-Potenzial aus vorherigen Schritten).
Die Prüfung: Wenn die Ausgabe des Modells nicht mit dem übereinstimmt, was diese beiden Werkzeuge als konsistent melden würden, greift das System ein. Es zwingt das Modell, die mathematisch konsistente Ziffer auszuge denn.

Das Ergebnis: Diese Methode reduzierte die Fehler signifikant, ohne das Modell neu trainieren zu müssen. Sie bewies, dass das „Gehirn“ des Modells die korrekte Information die ganze Zeit über hielt; es brauchte nur einen kleinen Stoß, um auf der richtigen Seite der geometrischen Linie zu bleiben.

Zusammenfassung

Das Modell: LLMs führen Mathematik durch, indem sie entlang glatter, kontinuierlicher Pfade (Fasern) in einer geometrischen Landschaft gleiten.
Der Fehler: Fehler passieren, wenn internes „Rauschen“ das Modell über die Linie in das falsche Ziffern-Tal drückt.
Die Wahrheit: Selbst wenn das Modell eine falsche Antwort gibt, ist die korrekte Antwort immer noch in seinem internen Zustand verborgen, nur leicht versetzt.
Die Lösung: Indem man prüft, ob der interne „Druck“ zur lokalen Mathematik passt, kann man diese Ausrutscher abfangen und in Echtzeit korrigieren.

Die Arbeit kommt zu dem Schluss, dass die Fragilität der Mathematik von LLMs nicht ein Mangel an Wissen ist, sondern eine geometrische Instabilität, die durch Rauschen an den Entscheidungsgrenzen verursacht wird.

Technisches Resümee: Die Form der Addition: Geometrische Strukturen der Arithmetik in Large Language Models

1. Problemstellung

Trotz hoher Leistungsfähigkeit bei komplexen mathematischen Denkaufgaben (z. B. GSM8K, MATH) zeigen Large Language Models (LLMs) eine überraschende Fragilität bei grundlegenden algorithmischen Primitiven, insbesondere bei der mehrstelligen Arithmetik. Es existiert ein zentrales Paradoxon: Modelle kodieren die korrekten Informationen oft intern, versäumen es jedoch, diese auszugeben, wobei sie häufig „Off-by-one“-Fehler begehen, wenn die Anzahl der Operanden steigt. Vorherige Forschungsarbeiten haben versucht, dieses Verhalten durch symbolische Manipulation oder geometrische Repräsentationen zu modellieren, doch der präzise Mechanismus, der die interne Aktivierungsgeometrie mit spezifischen Ausgabefehlern (wie etwa Fehlern in der Übertragsfortpflanzung) verknüpft, bleibt unklar. Darüber hinaus konnte die geometrische Struktur, die es ermöglicht, dass Grundwahrheit (Ground Truth) und Halluzination innerhalb eines einzigen Aktivierungsvektors koexistieren, noch nicht vollständig aufgeklärt werden, obwohl leichtgewichtige Probes in scheiternden Modellen die Grundwahrheit dekodieren können.

2. Methodik

Die Autoren untersuchen die feingliedrigen internen Repräsentationen von LLMs bei der Durchführung einer 3-Term-Addition von 10-stelligen Ganzzahlen. Die Studie verwendet einen facettenreichen Ansatz, der Dimensionsreduktion, Probing und kausale Intervention kombiniert:

Datensatz und Setup: Unter Verwendung des Qwen3-4B-Modells konstruierten die Autoren einen Datensatz aus 10.000 Additionsaufgaben. Sie extrahieren die verborgenen Zustandsvektoren ( $h_p^{(L)}$ ) aus der letzten Schicht an jeder generierten Digit-Position, wobei sie sich primär auf eine repräsentative mittlere Position ( $p=4$ ) konzentrieren.
Geometrische Visualisierung: Hochdimensionale Aktivierungsräume werden mittels UMAP (Uniform Manifold Approximation and Projection) unter Verwendung der Cosinus-Distanz in 2D projiziert. Die Visualisierung enthält feste „Anker“-Vektoren für Digit-Token (0–9), um einen semantischen Referenzrahmen zu bieten.
Probing-Framework: Leichtgewichtige Probes (logistische Regression, MLPs) werden auf die Residualstrom-Aktivierungen angewendet, um verschiedene diskrete und kontinuierliche Variablen zu dekodieren, einschließlich der Grundwahrheit (Ground Truth Digits), des Modell-Outputs, des Eingangsübertrags (Input Carry), der Rohsumme (Raw Sum) und einer neu definierten kontinuierlichen Variable namens „Übertragungspotenzial“ (Carry Potential).
Kausale Steuerung (Causal Steering): Um die geometrischen Hypothesen zu validieren, definieren die Autoren Steuerungsvektoren zwischen stabilen Zentroiden auf identifizierten Trajektorien und intervenieren auf die Aktivierungen, um Änderungen der generierten Token zu beobachten.
Inferenzzeit-Korrektur: Eine Dual-Stream-Konsistenzprüfungsmethode wird vorgeschlagen, um Fehler zu erkennen und zu korrigieren, indem eine logische Ausrichtung zwischen dekodierten lokalen (Rohsumme) und globalen (Übertragungspotenzial) Signalen erzwungen wird.

3. Zentrale Erkenntnisse und Beiträge

A. Die Iso-Raw-Sum-Trajektorie (IRST)

Die primäre geometrische Entdeckung ist die Iso-Raw-Sum-Trajektorie (IRST). Die Autoren identifizieren, dass arithmetische Repräsentationen in einer hierarchischen Struktur organisiert sind:

Makroskopisches Rückgrat: Repräsentationen sind in zehn distinkten „Digit-Becken“ (digit basins) gruppiert, die um semantische Anker (0–9) zentriert sind.
Mikroskopische Textur: Innerhalb jedes Beckens ist der Raum in parallele Fasern unterteilt, die durch den Eingangsübertragungszustand ( $c_p \in \{0, 1, 2\}$ ) bestimmt werden.
Trajektorien-Definition: Eine IRST ( $T_r$ ) ist eine kontinuierliche Mannigfaltigkeit, die alle internen Zustände verbindet, die dieselbe Rohsumme ( $r_p$ ) teilen. Diese Trajektorien fungieren als kontinuierliche „Fäden“, die durch benachbarte Digit-Becken führen. Beispielsweise verbindet eine Trajektorie mit $r_p=1$ stabile Knoten, die den Ausgabeziffern 1, 2 und 3 entsprechen, während der Eingangsübertrag steigt.

B. Arithmetische Fehler als geometrische Abgleitfehler (Slippages)

Arithmetische Fehler werden nicht als zufälliges Rauschen charakterisiert, sondern als geometrische Abgleitfehler (Geometric Slippedges).

Korrekte Vorhersagen clustern dicht um stabile Knoten innerhalb der Digit-Becken.
Fehler treten auf, wenn Aktivierungsvektoren entlang einer IRST in die Übergangszonen zwischen Becken oder Fasern driften.
Dieser Drift manifestiert sich als „Off-by-one“-Fehler, bei denen das Modell benachbarte Übertragungszustände verwechselt (z. B. die Verwechslung von $c_p=0$ mit $c_p=1$ ), was dazu führt, dass die Repräsentation von einem Digit-Becken in ein benachbartes gleitet.

C. Das Noisy-Quantization-Modell

Um die Kontinuität dieser Trajektorien zu erklären, schlagen die Autoren das Noisy-Quantization-Modell vor:

Kontinuierliches Übertragungspotenzial ( $\Phi$ ): Das Modell schätzt intern ein kontinuierliches „Übertragungspotenzial“, welches den Schub oder Impuls des Übertragungssignals darstellt, das aus dem Kontext abgeleitet wird. Der diskrete wahre Übertrag ( $c_p$ ) ist das ganzzahlige Floor-Funktions-Ergebnis dieses Potenzials ( $c_p = \lfloor \Phi \rfloor$ ).
Quantisierungsfehler: Die interne Schätzung des Modells wird durch neuronales Rauschen ( $\epsilon$ ) korrumpiert. Fehler treten auf, wenn dieses Rauschen das wahrgenommene Potenzial ( $\hat{\Phi} = \Phi + \epsilon$ ) über eine ganzzahlige Quantisierungsschwelle treibt.
Badewannen-Fehlerverteilung: Dieser Mechanismus sagt eine periodische „Badewannen“-Fehlerverteilung voraus, bei der die Fehlerraten in der Nähe von ganzzahligen Grenzen (Metastabilität) Spitzenwerte erreichen und bei Halb-ganzzahligen Werten (robuste Plateaus) verschwinden. Empirische Daten bestätigen dieses Muster und ermöglichen die Schätzung des internen kognitiven Rauschpegels des Modells ( $\sigma \approx 0,05$ für 3-Term-Addition).

D. Geometrische Ursprünfehler der Probe-Vielseitigkeit

Das Paper liefert eine geometrische Erklärung dafür, warum leichtgewichtige Probes gleichzeitig diverse Signale (Grundwahrheit, Modell-Output, Übertrag) aus einem einzigen Vektor dekodieren können. Diese „Probe-Vielseitigkeit“ ist eine direkte Funktion der topologischen Separabilität der Mannigfaltigkeit. Die hohe Separabilität der Rohsumme und die strukturierte Natur der IRST-Fasern ermöglichen es den Probes, koexistierende latente Signale zu entwirren, selbst wenn der endgültige Output fehlerhaft ist.

E. Selbstkorrektur zur Inferenzzeit

Zur Validierung der beibehaltenen korrekten latenten Signale führen die Autoren ein Dual-Stream-Konsistenzprotokoll ein:

Dekodierung des lokalen Berechnungsstroms (Rohsumme) und des globalen Kontextstroms (Übertragungspotenzial).
Prüfung, ob der Output des Modells konsistent mit einem plausiblen Übertrag ist, der aus der Nachbarschaft des Potenzials abgeleitet werden kann.
Falls inkonsistent, Überschreiben der Output-Logits, um den Zustand zurück auf die korrekte Mannigfaltigkeitsfaser zu projizieren.
Diese Methode verbessert die Leistung signifikant (z. B. Steigerung der Token-Genauigkeit von 86,26 % auf 89,56 % bei Qwen3-4B), was bestätigt, dass das Modell korrekte mathematische Komponenten beibehält, selbst wenn die Auswahl des diskreten Tokens fehlschlägt.

4. Ergebnisse

Visualisierung: UMAP-Projektionen offenbaren eine klare hierarchische Struktur mit Digit-Becken und geschichteten Übertragungsfasern, die konsistent über verschiedene Modelle (Qwen3-4B, Qwen3-8B, Gemma-3-4B-IT) und Aufgabenkomplexitäten (3- bis 5-Term-Addition) hinweg ist.
Fehlermodellierung: Das Noisy-Quantization-Modell passt mit hoher Treue ( $R^2 \approx 0,80$ ) auf die empirische Fehlerverteilung und sagt die periodische Natur der Fehler präzise voraus.
Kausale Validierung: Steuerungsexperimente zeigen, dass das Bewegen von Repräsentationen entlang der IRST-Richtung die generierte Ziffer kausal verändert, wobei Zustände nahe der Grenzen geringere Perturbationen benötigen, um zu kippen, als stabile Zustände.
Korrekturwirksamkeit: Der Dual-Stream-Konsistenzcheck korrigiert effektiv geometrische Abgleitfehler, wobei der Großteil der korrigierten Fehler Off-by-one-Fälle sind. Ablationsstudien bestätigen, dass das lokale Rohsummen-Signal robust bleibt, selbst wenn der Output falsch ist, wodurch der verrauschte Übertragungspotenzial-Aspekt als primärer Engpass isoliert wird.

5. Bedeutung und Ansprüche

Das Paper beansprucht, eine mechanistische geometrische Erklärung für arithmetische Fehler in LLMs zu liefern, die über die Sichtweise der Arithmetik als rein symbolische Manipulation oder diskrete Zustandsübergänge hinausgeht.

Vereinheitlichtes Framework: Es vereint die Beobachtung der Probe-Vielseitigkeit und der arithmetischen Fragilität unter einem einzigen geometrischen Rahmen, in dem Fehler kontinuierliche Drifts auf einer Mannigfaltigkeit sind.
Retention latenter Signale: Es demonstriert, dass LLMs oft korrekte kontinuierliche interne Repräsentationen (Übertragungspotenzial) beibehalten, selbst wenn sie die korrekte diskrete Ausgabe nicht produzieren, was darauf hindeutet, dass Halluzinationen in der Arithmetik oft Quantisierungsfehler und kein Mangel an Wissen sind.
Universalität: Die IRST-Geometrie und die Noisy-Quantization-Dynamik werden über verschiedene Modellarchitekturen und Skalen hinweg beobachtet, was auf einen konvergenten Mechanismus für die arithmetische Repräsentation in State-of-the-Art-LLMs hindeutet.
Praktische Intervention: Die Arbeit validiert, dass Interventionen zur Inferenzzeit, die auf interner Konsistenz basieren, die Leistung wiederherstellen können, was einen Weg zur Verbesserung der LLM-Zuverlässigkeit eröffnet, indem die Abbildung von kontinuierlichen neuronalen Gedanken auf diskrete symbolische Outputs stabilisiert wird.

Die Autoren bleiben bescheiden und merken an, dass ihre derzeitige Evidenz eher eine Kombination aus Visualisierung und Probing als eine vollständige Circuit-Level-Lokalisierung ist und dass der Fokus primär auf der Addition liegt. Sie deuten an, dass BPE-basierte Modelle mit Multi-Digit-Tokens verwickelte Übertragungssignale aufweisen könnten, was eine Grenze für zukünftige Forschung darstellt.