💬 NLP

Language Models are Symbolic Learners in Arithmetic

Dieses Paper argumentiert, dass Sprachmodelle nicht den wahren Algorithmus der Arithmetik erlernen, sondern stattdessen als gierige symbolische Lerner fungieren, die Aufgaben durch den hierarchischen Erwerb einer Kaskade einfacher Low-Token-Abkürzungen meistern, ein Mechanismus, der durch ein u-förmiges Genauigkeitsmuster bei der Multiplikation mehrstelliger Zahlen belegt wird, welches die Qualität der einfachsten Input-Output-Abbildungen widerspiegelt.

Ursprüngliche Autoren: Chunyuan Deng, Zhiqi Li, Roy Xie, Ruidi Chang, Hanjie Chen

Veröffentlicht 2026-01-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chunyuan Deng, Zhiqi Li, Roy Xie, Ruidi Chang, Hanjie Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Sind sie Mathe-Genies oder Mustererkenner?

Stellen Sie sich einen Schüler vor, der Ihnen sofort die letzte Ziffer einer riesigen Multiplikationsaufgabe nennen kann (wie $12.345 \times 67.890$ ), aber bei den mittleren Zahlen stecken bleibt. Man könnte sich fragen: Versteht er wirklich, wie die Multiplikation funktioniert, oder rät er nur basierend auf Mustern, die er schon einmal gesehen hat?

Diese Arbeit argumentiert, dass Große Sprachmodelle (LLMs) Letzteres sind. Sie lernen nicht den „Algorithmus“ der Mathematik (die schrittweisen Regeln, die wir in der Schule lehren). Stattdessen agieren sie wie gierige Abkürzungssucher. Sie suchen nach dem einfachsten, simpelsten Weg, um das richtige Ergebnis zu erhalten, indem sie spezifische Symbol-zu-Symbol-Tricks auswendig lernen, anstatt die zugrunde liegende Logik zu begreifen.

Das Detektiv-Werkzeug: „Subgroup Induction“

Um dies zu beweisen, entwickelten die Autoren ein neues Detektiv-Werkzeug namens Subgroup Induction (Untergruppen-Induktion).

Stellen Sie sich eine Multiplikationsaufgabe wie ein riesiges Puzzle vor. Um es zu lösen, müssen Sie normalerweise alle beteiligten Zahlen betrachten. Aber dieses Werkzeug stellt eine einfachere Frage: „Können wir nur einen Teil der Antwort lösen, indem wir uns nur auf ein winziges, spezifisches Stück der Eingabe konzentrieren?“

Die Analogie: Stellen Sie sich vor, Sie versuchen, den Geschmack eines Kuchens zu erraten.
- Der Algorithmus-Weg: Sie probieren den ganzen Kuchen, analysieren Mehl, Zucker, Eier und die Backzeit und berechnen dann den Geschmack.
- Der Abkürzungs-Weg: Sie riechen einfach nur am Vanilleextrakt. Wenn Sie Vanille riechen, raten Sie „Vanillekuchen“. Sie mussten nicht über die Eier oder die Ofentemperatur nachdenken; Sie haben einfach eine schnelle, zuverlässige Abkürzung gefunden.

Die Arbeit bezeichnet diese Abkürzungen als „Subgroups“ (Untergruppen). Eine Untergruppe ist eine winzige Zuordnung, wie zum Beispiel: „Wenn die letzten Ziffern 3 und 4 sind, muss die Antwort auf 2 enden.“

Die Entdeckung der „U-Form“

Die Forscher testeten dies, indem sie Modelle auf Multiplikationsaufgaben trainierten. Dabei entdeckten sie ein seltsames, konsistentes Muster in der Leistung der Modelle, das wie eine U-Form auf einem Graphen aussieht:

Die Enden (Hohe Genauigkeit): Die Modelle waren hervorragend darin, die ersten und letzten Ziffern der Antwort vorherzusagen.
Die Mitte (Niedrige Genauigkeit): Die Modelle waren schlecht darin, die Ziffern in der Mitte vorherzusagen.

Warum passiert das?

Die Enden sind einfache Abkürzungen: Die letzte Ziffer einer Multiplikation hängt nur von den letzten Ziffern der zu multiplizierenden Zahlen ab. Es ist eine perfekte, einfache Abkürzung (wie der Vanillegeruch). Die Modelle lernen dies sofort, da es nur sehr wenige Zahlen erfordert, die betrachtet werden müssen.
Die Mitte ist schwer: Die mittleren Ziffern hängen von einer chaotischen Mischung aus allen anderen Zahlen und den „Überträgen“ ab. Es gibt hier keine einfache, winzige Abkürzung. Um die Mitte richtig zu berechnen, muss man fast alles gleichzeitig betrachten.

Die Arbeit zeigt, dass die Leistungskurve der Modelle perfekt mit der „Qualität“ dieser Abkürzungen übereinstimmt. Sie meistern zuerst die einfachen, mühelosen Abkürzungen. Erst wenn sie durch mehr Training dazu gezwungen werden, beginnen sie, die komplexen, chaotischen Mittelteile zu lernen.

Der „Baum“ des Lernens

Die Autoren visualisieren den Lernprozess als das Erklimmen eines Baumes:

Unten am Baum: Einfache Abkürzungen mit sehr wenigen Zahlen (leicht zu lernen, hohe Genauigkeit für die Enden).
Oben am Baum: Komplexe Abkürzungen mit vielen Zahlen (schwer zu lernen, notwendig für die Mitte).

Die Modelle beginnen unten. Sie schnappen sich zuerst die einfachen Siege. Erst wenn sie mehr Training erhalten, klettern sie langsam den Baum hinauf, um die schwierigeren, komplexeren Muster anzugehen. Sie lernen nicht den „ganzen Baum“ auf einmal; sie lernen ihn Ast für Ast, beginnend mit den einfachsten.

Der „Entropie“-Messwert: Schwierigkeit messen

Die Arbeit führt auch ein zweites Werkzeug namens Subgroup Entropy ein. Betrachten Sie dies als ein „Verwirrungs-Meter“.

Wenn eine Abkürzung eine niedrige Entropie hat, bedeutet das, dass die Antwort sehr vorhersehbar ist (z. B. „3 mal 4 ist immer 12“).
Wenn eine Abkürzung eine hohe Entropie hat, bedeutet das, dass die Antwort chaotisch und ohne die genauen Details schwer vorhersehbar ist.

Die Forscher fanden heraus, dass bei komplexen Denkaufgaben (wie Chain-of-Thought, bei denen ein Modell Schritt für Schritt denkt) die Pfade mit der geringsten Verwirrung (Entropie) diejenigen waren, die die Modelle am häufigsten richtig lösten. Dies bestätigt, dass Modelle den Weg des geringsten Widerstands bevorzugen – sie wollen die einfachsten, vorhersehbarsten Schritte nehmen, um zum Ziel zu gelangen.

Das Fazbeit

Die Arbeit kommt zu dem Schluss, dass Sprachmodelle nicht lernen, im menschlichen Sinne zu „rechnen“. Sie sind Symbolische Lerner, die eine Hierarchie von Abkürzungen aufbauen.

Sie lernen nicht das „Rezept“ für die Multiplikation.
Sie lernen eine riesige Bibliothek von „Wenn-Dann“-Tricks, beginnend mit den einfachsten (wie der letzten Ziffer) und fügen erst mit zunehmender Erfahrung komplexere Regeln (wie die mittleren Ziffern) hinzu.

Kurz gesagt: LLMs sind meisterhafte Mustererkenner, die Abkürzungen lieben, aber keine algorithmischen Denker. Sie lösen Mathematik, indem sie den am einfachsten möglichen Pfad durch die Symbole finden, anstatt die Mathematik so zu betreiben, wie wir es tun.

Technisches Resümee: Sprachmodelle als symbolische Lerner in der Arithmetik

Problemstellung

Die anhaltende Debatte darüber, ob Large Language Models (LMs) tatsächlich arithmetische Berechnungen durchführen oder lediglich oberflächliches Musterabgleichverhalten (Pattern Matching) beherrschen, dreht sich darum, ob diese Modelle echte algorithmische Berechnungen erlernen oder lediglich statistische Muster in den Trainingsdaten meistern. Während Frontmodelle auf Benchmarks wie GSM8K eine Sättigung erreicht haben, bleibt unklar, ob sie über echtes numerisches Denken verfügen oder ob ihr Erfolg eine „ausgeklügelte Illusion“ ist, die aus statistischen Mustern in den Trainingsdaten gewoben wurde. Dieses Paper argumentiert für Letzteres und postuliert, dass LMs als „gierige symbolische Lerner“ agieren, die versuchen, die einfachsten möglichen Abkürzungen zu finden, um die Statistiken des Datensatzes abzubilden, anstatt den abstrakten Algorithmus der Multiplikation zu erlernen.

Methodik: Subgruppen-Induktion

Um diese Hypothese zu untersuchen, führen die Autoren die Subgruppen-Induktion ein, ein praktisches Framework, das aus der Solomonoff-Induktion (SI) adaptiert wurde. SI ist ein theoretisches Framework für optimale Vorhersage, das Berechenbarkeit mit Bayesschen Prinzipien kombiniert und einfachere Hypothesen (Occam's Razor) mittels Kolmogorov-Komplexität bevorzugt.

Die Autoren adaptieren die Prinzipien der SI auf den konkreten Kontext des arithmetischen Lernens, indem sie eine Subgruppe als die Basiseinheit der Analyse definieren. Eine Subgruppe $s$ ist eine minimale Abbildung von einer Teilmenge von Eingabeziffern ( $A, B$ ) auf eine einzelne Ausgabeziffer ( $C$ ). Das Framework analysiert Arithmetikprobleme, indem es diese in Subgruppen zerlegt, um die „Abkürzungen“ zu identifizieren, die LMs nutzen.

Es werden zwei komplementäre Metriken vorgeschlagen, um die Komplexität einer Subgruppe zu messen:

Subgruppen-Qualität ( $Q(s)$ ): Misst die Durchführbarkeit einer Abkürzung, indem die Genauigkeit der Vorhersage einer Ausgabeziffer unter Verwendung nur eines spezifischen Teils der Eingabetoken berechnet wird (wobei andere auf Null maskiert werden). Ein hohes $Q(s)$ deutet auf eine zuverlässige Abkürzung mit wenigen Token hin.
Subgruppen-Entropie ( $H(s)$ ): Misst die inhärente Ambiguität oder Variabilität der Ausgabelabels innerhalb des Labelraums einer Subgruppe. Sie dient als recheneffizientes Werkzeug zur Fehlerschätzung und zur Analyse von Denkpfaden.

Die Autoren betrachten die Wahl der Eingabetoken eines LMs als einen Prozess der Hypothesenselektion. Sie hypothetisieren, dass LMs eine Suche in einem „Token-Budget-Baum“ durchführen, wobei sie zuerst hochqualitative Abkürzungen mit wenigen Token lernen und erst dann progressiv komplexere, Multi-Token-Muster integrieren, wenn sie durch das Lernziel dazu gezwungen werden.

Kernergebnisse

1. Das U-förmige Genauigkeitsmuster

Experimente zur Multi-Digit-Multiplikation (3 bis 5 Stellen) unter Verwendung von Gemma-2-2B und Llama-3.1-8B offenbaren eine distinkte U-förmige Genauigkeitskurve.

Beobachtung: Modelle meistern die ersten (signifikantesten) und die letzten (weniger signifikanten) Ausgabeziffern rasch und erreichen eine Genauigkeit von >95 %. Umgekehrt sinkt die Genauigkeit für die Ziffern in der Mitte der Sequenz drastisch (auf ~10 %).
Korrelation: Diese U-Form ist kein Zufall; sie spiegelt perfekt die Subgruppen-Qualität ( $Q(s)$ ) der einfachsten möglichen Subgruppen wider.
- Ränder: Die am wenigsten signifikante Stelle hängt nur von den letzten Eingabeziffern ab (z. B. $A_2 \times B_2$ ), und die signifikanteste Stelle wird durch Größenordnungsschätzungen basierend auf führenden Ziffern begrenzt. Diese erfordern wenige Token (niedriges $k$ ) und haben ein hohes $Q(s)$ .
- Mitte: Mittlere Ziffern erfordern die Integration von Kreuztermen und Überträgen aus vielen Eingabeziffern. Low-Token-Subgruppen für diese Positionen haben ein niedriges $Q(s)$ , was das Modell dazu zwingt, erst später im Training komplexere High-Token-Mappings zu lernen.

2. Lerndynamik als Baumsuche

Die Autoren interpretieren die Lerndynamik als eine Suche in einem „Token-Budget-Baum“.

Phase 1: Das Modell passt schnell die „einfachen“ Blätter des Baums (Randziffern) unter Verwendung minimaler Token an.
Phase 2-n: Da Residuenfehler in den mittleren Positionen bestehen bleiben, treiben Gradienten das Modell dazu, größere Subgruppen (mehr Token) einzubeziehen, um Ambiguitäten aufzulösen.
Fazit: LMs lernen nicht den Algorithmus der Multiplikation als Ganzes; sie lernen eine Hierarchie von Symbol-zu-Symbol-Abbildungen, beginnend mit dem Pfad des geringsten Widerstands.

3. Subgruppen-Entropie und Chain-of-Thought (CoT)

Das Paper erweitert das Framework auf das Chain-of-Thought-Reasoning:

Fehlerschätzung: Die Subgruppen-Entropie ( $H(s)$ ) korreliert stark mit der Modellleistung. Aufgaben mit niedrigerer aggregierter Entropie (z. B. modulare Arithmetik mit kleineren Moduli) liefern eine höhere Genauigkeit.
CoT-Optimierung: Im CoT-Setting beeinflusst die Zerlegung eines Multiplikationsproblems in Schritte (z. B. ägyptische Multiplikation vs. Standardmultiplikation) die Leistung. Die Studie zeigt, dass CoT-Pfade mit der niedrigsten aggregierten Subgruppen-Entropie konsistent die beste Genauigkeit erzielen. Dies deutet darauf hin, dass LMs Denkstrategien bevorzugen, die aus der einfachsten Sequenz symbolischer Abkürzungen bestehen.

Zentrale Beiträge

Subgruppen-Induktions-Framework: Ein neuartiges, praktisches Framework, abgeleitet von der Solomonoff-Induktion, um die Lernmechanismen von LMs in der Arithmetik durch Zerlegung in minimale Input-Output-Abbildungen zu analysieren.
Entdeckung der U-förmigen Genauigkeit: Identifizierung eines konsistenten U-förmigen Genauigkeitsmusters in der Multi-Digit-Multiplikation, was empirische Belege dafür liefert, dass LMs Schwierigkeiten mit den komplexen Abhängigkeiten mittlerer Ziffern haben, während sie Randziffern über einfache Abkürzungen beherrschen.
Mechanistische Erklärung: Demonstration, dass die U-Form eine direkte Folge der „Token-Budget“-Hierarchie ist, bei der Modelle Priorität auf Low-Token, High-Quality Shortcuts setzen (Occam's Razor), bevor sie komplexe Muster lernen.
Entropie als Metrik: Einführung der Subgruppen-Entropie als berechenbare, effiziente Metrik zur Schätzung von Fehlerschranken und zur Evaluierung der Komplexität von Reasoning-Pfaden in CoT-Settings.

Bedeutung und Behauptungen

Das Paper behauptet, dass der Weg zur Beherrschung der Arithmetik für LMs nicht über die Entdeckung abstrakter Algorithmen führt, sondern über eine Kaskade einfacher, hierarchisch gelernter symbolischer Abkürzungen.

Implikation für die Zuverlässigkeit: Die Ergebnisse legen nahe, dass LMs kein echtes numerisches Denken entwickeln, sondern eine hochentwickelte Mustererkennungsfähigkeit, die gegenüber Out-of-Distribution-Szenarien anfällig ist, in denen einfache Abkürzungen versagen (z. B. Berechnungen mittlerer Ziffern bei komplexen Multiplikationen).
Theoretische Brücke: Die Arbeit verbindet die theoretische universelle Prädiktion (Solomonoff-Induktion) mit modernen neuronalen Architekturen und bietet eine Perspektive darauf, wie LMs lernen, statt nur zu beobachten, was sie erreichen.
Praktischer Nutzen: Das Framework bietet Werkzeuge (Subgruppen-Qualität und Entropie), um Lernengpässe zu diagnostizieren und Trainingsstrategien zu optimieren, wie etwa die Kuratierung von Daten, um die notwendigen Token für mittlere Ziffern offenzulegen, oder das Design von CoT-Pfaden, die die symbolische Komplexität minimieren.

Die Autoren kommen zu dem Schluss, dass das Verständnis von LMs als gierige symbolische Lerner entscheidend für die Entwicklung vertrauenswürdiger KI-Argumentation ist, da es die Grenzen aktueller Modelle bei Aufgaben aufzeigt, die sich nicht in einfache, Low-Token-Abbildungen zerlegen lassen.