🤖 AI

Arithmetic in the Wild: Llama uses Base-10 Addition to Reason About Cyclic Concepts

Diese Arbeit zeigt, dass Llama-3.1-8B über zyklische Konzepte nicht durch eine modulare Arithmetik rechnet, die spezifisch für die Periode des Konzepts ist, sondern indem es einen auf Fourier-Features basierenden und von einem spärlichen Satz gemeinsamer MLP-Neuronen angetriebenen, aufgabenagnostischen Basis-10-Additionsmechanismus wiederverwendet, um Summen zu berechnen, bevor sie zurück in den zyklischen Bereich abgebildet werden.

Ursprüngliche Autoren: Sheridan Feucht, Tal Haklay, Usha Bhalla, Daniel Wurgaft, Can Rager, Raphaël Sarfati, Jack Merullo, Thomas McGrath, Owen Lewis, Ekdeep Singh Lubana, Thomas Fel, Atticus Geiger

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sheridan Feucht, Tal Haklay, Usha Bhalla, Daniel Wurgaft, Can Rager, Raphaël Sarfati, Jack Merullo, Thomas McGrath, Owen Lewis, Ekdeep Singh Lubana, Thomas Fel, Atticus Geiger

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Wie „denkt" die KI über Zeit?

Stellen Sie sich vor, Sie fragen eine intelligente KI: „Welcher Monat kommt sechs Monate nach August?"
Sie könnten erwarten, dass die KI ein spezielles „Kalender-Gehirn" besitzt, das einen Kreis aus 12 Monaten visualisiert und einfach einen Zeiger um sechs Schritte vorwärts dreht. So denken Menschen oft darüber nach.

Die Forscher haben jedoch festgestellt, dass Llama-3.1-8B (ein bestimmtes KI-Modell) das nicht tut. Stattdessen verwendet es einen „universellen Rechner", der Dezimalzahlen (unser normales Zahlensystem) spricht, selbst wenn die Frage Monate, Tage oder Stunden betrifft.

Die Analogie: Der universelle Übersetzer

Stellen Sie sich die KI als Übersetzer vor, der sehr gut in Mathematik, aber schrecklich in Geografie ist.

Die Eingabe (Die Frage): Sie fragen: „Welcher Monat kommt sechs Monate nach August?"
- Der erste Schritt der KI: Sie ignoriert die Tatsache, dass „August" ein Monat ist. Sie übersetzt „August" in die Zahl 8 und „sechs" in 6.
Die Berechnung (Die Mathematik): Sie führt eine Standardaddition durch: 6 + 8 = 14.
- Sie führt keine „modulare Arithmetik" durch (was 14 minus 12 = 2 bedeuten würde). Sie erhält einfach die rohe Summe, 14.
Die Ausgabe (Die Antwort): Sie nimmt die Zahl 14 und übersetzt sie zurück in die „Monatssprache". Da 14 zwei Stellen nach 12 (dem Ende des Jahres) liegt, sagt sie Februar.

Die Überraschung: Die KI verwendet exakt dieselben mathematischen Neuronen, um „6 + 8 = ?" zu lösen, wie auch um „6 Monate nach August" zu lösen. Sie hat keinen separaten „Monatsrechner"; sie hat nur einen riesigen „Zahlenrechner", den sie für alles wiederverwendet.

Das geheime Rezept: Der „Fourier"-Rhythmus

Wie behält die KI diese Zahlen im Blick? Das Papier zeigt, dass sie etwas namens Fourier-Features verwendet.

Die Analogie: Der Trommelkreis
Stellen Sie sich das innere Gehirn der KI als einen Raum voller Trommeln vor.

Einige Trommeln schlagen alle 2 Sekunden.
Einige schlagen alle 5 Sekunden.
Einige schlagen alle 10 Sekunden.
Einige schlagen alle 100 Sekunden.

Wenn die KI Zahlen addiert, zählt sie nicht einfach „1, 2, 3". Stattdessen lauscht sie dem Rhythmus dieser Trommeln.

Wenn die Summe 14 ist, hat die „10-Sekunden-Trommel" einmal geschlagen und die „2-Sekunden-Trommel" zweimal.
Die KI kombiniert diese Rhythmen, um zu wissen, dass sie die Zahl 14 erreicht hat.

Warum ist das seltsam?
Wenn die KI über Monate (einen Zyklus von 12) nachdenken würde, würde man erwarten, dass sie eine „12-Sekunden-Trommel" verwendet. Aber das tut sie nicht. Sie bleibt bei der 10-Sekunden-Trommel (und 2, 5, 20, 50, 100). Sie behandelt Monate so, als wären sie nur Zahlen auf einer geraden Linie, nicht auf einem Kreis, bis zur allerletzten Sekunde.

Die „Magischen 28"-Neuronen

Die Forscher gruben tief im Code der KI (speziell in Schicht 18) und fanden ein winziges, spezialisiertes Team von Arbeitern, das für diese Mathematik verantwortlich ist.

Das Team: Es gibt nur 28 Neuronen (winzige Verarbeitungseinheiten) von Tausenden in dieser Schicht.
Der Job: Diese 28 Neuronen sind die „Additions-Crew". Sie sind diejenigen, die den Trommelrhythmen lauschen und die Zahlen zusammenaddieren.
Die Effizienz: Dieses winzige Team (etwa 0,2 % der Schicht) leistet fast die gesamte Schwerstarbeit für die Addition, egal ob Sie nach Zeit, Tagen oder tatsächlichen Zahlen fragen.
Die Spezialisierung: Diese 28 Neuronen sind nach ihrem „Trommelrhythmus" gruppiert. Einige sind das „Periode-2"-Team (prüft, ob eine Zahl gerade oder ungerade ist), einige sind das „Periode-5"-Team und einige das „Periode-10"-Team. Alle arbeiten zusammen, um die endgültige Summe zu bilden.

Der „Echo"-Effekt

Das Papier bemerkte auch eine lustige Eigenart. Wenn die KI „6 Monate nach August" berechnet (was 14 ist), gerät sie manchmal in Verwirrung darüber, wie groß die Zahl ist.

Sie weiß, dass die Antwort 14 ist.
Aber weil sie es so gewohnt ist, im Dezimalsystem zu denken, denkt sie manchmal auch, die Antwort könnte 114 sein (14 + 100).
Es ist wie bei einer Person, die weiß, dass es 2:00 Uhr ist, aber für einen splitternden Moment auch denkt, es könnte 102:00 Uhr sein. Die KI wählt schließlich die richtige aus (Februar), aber das „Echo" der größeren Zahl bleibt hängen.

Zusammenfassung der Ergebnisse

Kein spezielles „Kalender"-Gehirn: Die KI dreht keinen Kreis, um den nächsten Monat zu finden. Sie wandelt alles in Zahlen um, addiert sie und wandelt sie zurück.
Dezimalzahlen sind König: Selbst für Zyklen wie 12 Monate oder 7 Tage verwendet die KI ein Dezimalsystem (Perioden von 2, 5, 10 usw.), um die Mathematik zu machen.
Geteilte Mechanik: Dieselben 28 winzigen Neuronen machen die Mathematik für alles. Sie sind eine universelle Additionsmaschine.
Geometrie vs. Berechnung: Nur weil die KI Monate in einem Kreis darstellt (wie ein Zifferblatt), bedeutet das nicht, dass sie mit einem Kreis berechnet. Sie berechnet mit einer geraden Linie von Zahlen und zeichnet den Kreis erst am allerletzten Ende.

Kurz gesagt: Die KI ist ein brillanter Buchhalter, der für alles einen Standardrechner verwendet, selbst wenn Sie sie bitten, ein Rätsel zu lösen, das wie eine Uhr aussieht. Sie „dreht" die Uhr nicht; sie macht einfach die Mathematik und sagt Ihnen, wohin der Zeiger zeigen sollte.

Technische Zusammenfassung: Arithmetik in der Praxis

Problemstellung

Die Arbeit untersucht die algorithmische Rolle der Repräsentationsgeometrie in Large Language Models (LLMs) mit einem spezifischen Fokus darauf, wie Modelle über zyklische Konzepte (z. B. Monate, Wochentage, Stunden) reasoning betreiben. Während frühere Arbeiten etabliert haben, dass LLMs diese Konzepte mittels kreisförmiger Geometrie repräsentieren (Engels et al., 2025) und dass kleine Transformer, die auf modularer Arithmetik trainiert wurden, über periodische Basen operieren (Nanda et al., 2023), bleibt eine kritische Frage offen: Impliziert die kreisförmige Struktur der Eingangsrepräsentation eine kreisförmige Berechnung?

Die Autoren hypothesieren, dass Llama-3.1-8B Antworten auf Fragen wie „Welcher Monat ist sechs Monate nach August?" berechnen könnte, indem es entlang einer kreisförmigen Mannigfaltigkeit rotiert. Sie stellen jedoch fest, dass das Modell keine direkte modulare Arithmetik innerhalb des spezifischen Periodus des Konzepts (z. B. modulo 12 für Monate) durchführt. Stattdessen nutzt das Modell einen generischen, aufgabenunabhängigen Additionsmechanismus zur Basis 10, bevor es das Ergebnis zurück in den zyklischen Raum abbildet.

Methodik

Die Studie kombiniert kausale Analyse und geometrisches Probing, um die internen Mechanismen von Llama-3.1-8B zu zerlegen.

Kausale Abstraktion durch Verteilte Abgleichssuche (DAS):
- Die Autoren verwenden DAS (Geiger et al., 2023), um niederdimensionale Unterräume im Residualstream zu lokalisieren, die kausale Variablen kodieren: das Eingabekonzept, die Verschiebung und das Ausgabekonzept.
- Sie messen die Interchange Intervention Accuracy (IIA), um zu bestimmen, wann und wo diese Variablen kombiniert werden. Dies beinhaltet das Patchen versteckter Zustände aus kontrafaktischen Prompts in originale Prompts, um zu prüfen, ob sich die Ausgabe des Modells vorhersehbar ändert.
- Diese Analyse isoliert die spezifische Schicht und Token-Position, an der die Berechnung stattfindet.
Cross-Task-Patching:
- Um die Hypothese eines gemeinsamen Mechanismus zu testen, führen die Autoren „Patching"-Experimente zwischen Standard-Arithmetikaufgaben ( $a+b=$ ) und zyklischen Aufgaben (z. B. Monate) durch.
- Sie patchen den Residualstream von einem Additions-Prompt in einen zyklischen Prompt (und umgekehrt) innerhalb der gemeinsamen DAS-Unterräume, um zu beobachten, ob das Modell die Summe bzw. das zyklische Konzept ausgibt.
Fourier-Probing und Steuerung:
- Die Autoren trainieren lineare Proben, um Fourier-Features (sinusförmige Repräsentationen) mit spezifischen Perioden $T \in \{2, 5, 10, 20, 50, 100\}$ zu detektieren, von denen bekannt ist, dass sie Zahlen zur Basis 10 repräsentieren (Kantamneni & Tegmark, 2025).
- Sie verifizieren, ob diese Features, die auf Standard-Addition trainiert wurden, in zyklischen Aufgaben vorhanden und kausal sind.
- Sie nutzen diese Proben, um den internen Zustand des Modells zu steuern, indem sie die „vor-modulo-Summe" auf einen kontrafaktischen Wert zwingen, um zu sehen, ob sich die Ausgabe entsprechend verschiebt.
Neuronen-Identifikation und Ablation:
- Die Autoren identifizieren eine spärliche Menge von MLP-Neuronen in Schicht 18, die in die DAS-Ausgangs-Unterräume schreiben.
- Sie analysieren die Aktivierungsmuster dieser Neuronen und unterteilen sie basierend auf ihrer Periodizität in Cluster.
- Sie führen Ablationsstudien durch (Nullsetzen spezifischer Neuronen), um ihren kausalen Beitrag zur Leistung des Modells zu quantifizieren.

Wichtige Ergebnisse

1. Ein gemeinsamer Additionsmechanismus zur Basis 10

Entgegen der Hypothese einer kreisförmigen Berechnung berechnet das Modell zyklische Aufgaben unter Verwendung eines Additionsmechanismus zur Basis 10.

Zweistufiger Prozess: Das Modell berechnet zunächst die Summe der Eingaben im numerischen Raum (z. B. $6 + 8 = 14$ ) und bildet diese Summe erst in späteren Schichten zurück in den zyklischen Konzeptraum ab (z. B. $14 \to \text{Februar}$ ).
Lokalisierung in Schicht 18: Die kausale Analyse zeigt, dass Eingabekonzepte und Verschiebungen im MLP der Schicht 18 an der letzten Token-Position kombiniert werden. Entscheidend ist, dass die kreisförmige Geometrie des Ausgabekonzepts (z. B. der „Wochentage-Kreis") in Schicht 18 nicht vorhanden ist; sie entsteht erst in den Schichten 22–25.
Cross-Task-Patching: Das Patchen von einem Additions-Prompt ( $6+8=$ ) in einen zyklischen Prompt veranlasst das Modell, das zyklische Konzept auszugeben, das der Summe entspricht (z. B. Februar). Umgekehrt veranlasst das Patchen von einem zyklischen Prompt in einen Additions-Prompt das Modell, die vor-modulo-Summe auszugeben (z. B. 14), selbst wenn das Modell in einem sauberen Durchlauf keine korrekte zyklische Antwort liefert.

2. Fourier-Features und Aufgabenunabhängigkeit

Das Modell verwendet aufgabenunabhängige Fourier-Features, um die Addition durchzuführen.

Die internen Repräsentationen respektieren Standard-Periodizitäten zur Basis 10 ( $T \in \{2, 5, 10, 20, 50, 100\}$ ) und nicht den spezifischen Periodus des zyklischen Konzepts (z. B. 12 für Monate oder 7 für Wochentage).
Fourier-Proben, die auf Standard-Addition trainiert wurden, steuern zyklische Aufgaben erfolgreich, was bestätigt, dass dieselben geometrischen Features die Berechnung über verschiedene Domänen hinweg antreiben.

3. Spärliche Neuronenschaltung

Die Autoren identifizieren eine spärliche Menge von 28 MLP-Neuronen in Schicht 18 (ca. 0,2 % des MLP der Schicht), die für diese Addition verantwortlich sind.

Nach Periodizität gruppiert: Diese Neuronen können in disjunkte Cluster unterteilt werden, wobei jedes Cluster die Summe für eine spezifische Fourier-Periode berechnet (z. B. ein Cluster für $T=2$ , ein anderes für $T=5$ usw.).
Mechanismus: Die Neuronen arbeiten verteilt. Einige Neuronen zeigen „gespaltene" Aktivierungsmuster (Lesen des Eingabekonzepts über den Gate-Vektor und der Verschiebung über den Up-Vektor), während andere „gemischt" sind. Ihre Down-Projektionsvektoren summieren sich zu einem Vektor, der auf den korrekten Winkel in der Fourier-Ebene zeigt und die Summe modulo $T$ kodiert.
Auswirkung der Ablation: Das Nullsetzen (Zero-Ablation) dieser 28 Neuronen führt zu einem drastischen Rückgang der Genauigkeit (z. B. von 95 % auf 24 % für Addition), während das Ablation aller anderen Neuronen in Schicht 18 die meisten Leistungen erhält.

Bedeutung und Behauptungen

Die Arbeit beansprucht, ein mechanistisches Verständnis dafür zu liefern, wie Large Language Models Arithmetik über zyklische Konzepte durchführen, und schließt die Lücke zwischen Repräsentationsgeometrie und kausaler Berechnung.

Geometrie vs. Berechnung: Die Arbeit zeigt, dass, obwohl Repräsentationen kreisförmig sein mögen, die zugrundeliegende Berechnung nicht notwendigerweise modulare Arithmetik auf diesem Kreis ist. Stattdessen wiederverwendet das Modell einen generischen Additionskreis zur Basis 10 und bildet das Ergebnis erst nach Abschluss der Berechnung auf die Zieldomäne ab.
Zusammenspiel der Methoden: Die Studie unterstreicht die Kraft der Kombination aus kausaler Abstraktion (um zu lokalisieren, wo Informationen verarbeitet werden) und geometrischer Analyse (um zu verstehen, wie sie repräsentiert werden). Die kausale Analyse lokalisierte die Berechnung auf Schicht 18, während die geometrische Analyse offenbarte, dass die Berechnung auf Fourier-Features zur Basis 10 statt auf aufgabenspezifischen kreisförmigen Strukturen beruht.
Spärliche Schaltungen: Die Identifizierung einer kleinen, wiederverwendbaren Menge von Neuronen (28 Neuronen), die Addition über diverse Aufgaben hinweg durchführen (Monate, Tage, Stunden, Zahlen), legt nahe, dass LLMs hocheffiziente, gemeinsame Unterschaltungen für fundamentale arithmetische Operationen entwickeln, unabhängig vom semantischen Bereich der Eingabe.

Die Autoren bleiben hinsichtlich der Generalisierung bescheiden und stellen fest, dass diese spezifischen Mechanismen in Llama-3.1-8B identifiziert wurden und sich möglicherweise nicht auf alle Modelle oder alle Arten von zyklischem Reasoning verallgemeinern (z. B. waren rückwärts gerichtete Verschiebungen oder Distanzabfragen außerhalb des Geltungsbereichs). Dennoch bieten die Ergebnisse ein konkretes Beispiel dafür, wie „Arithmetik in der Praxis" durch das Zusammenspiel spärlicher Neuronen und Fourier-Geometrie implementiert wird.