💬 NLP

AI-rithmetic

Diese Untersuchung zeigt, dass trotz fortgeschrittener mathematischer Fähigkeiten moderner KI-Modelle bei einfacher Addition mit zunehmender Stellenanzahl scheitern, wobei die Fehler primär auf Tokenisierungsprobleme (Fehlausrichtung der Operanden) oder mangelhaftes Übertragen zurückzuführen sind.

Ursprüngliche Autoren: Alex Bie, Travis Dick, Alex Kulesza, Prabhakar Raghavan, Vinod Raman, Sergei Vassilvitskii

Veröffentlicht 2026-02-12

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alex Bie, Travis Dick, Alex Kulesza, Prabhakar Raghavan, Vinod Raman, Sergei Vassilvitskii

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Warum sind Super-KIs eigentlich so schlecht in Mathe? 🧠➕🔢

Stell dir vor, du hast einen Freund, der die gesamte Weltliteratur auswendig kennt, Quantenphysik auf dem Niveau eines Nobelpreisträgers diskutieren kann und sogar komplexe philosophische Fragen löst. Aber sobald du ihn fragst: „Was ist 456 + 789?“, stammelt er, verliert den Faden und liefert dir ein völlig absurdes Ergebnis.

Genau das ist das Problem, das die Forscher von Google in ihrem neuen Paper „AI-rithmetic“ beschreiben. Sie haben festgestellt: Unsere modernsten KI-Systeme (wie GPT-5 oder Claude) sind zwar „Genies“ in der Theorie, aber „Schulschwächler“ in der Grundrechenart.

Das Problem: Das „Genie-Paradoxon“

Die Forscher haben die KIs mit riesigen Rechenaufgaben getestet – von kleinen Zahlen bis hin zu Zahlen mit 100 Stellen. Das Ergebnis war ernüchternd: Je länger die Zahlen werden, desto eher bricht das System zusammen. Es ist, als würde man einem hochintelligenten Professor ein extrem langes Gedicht vorlesen, bei dem er nach der zehnten Zeile plötzlich vergisst, in welcher Spalte er eigentlich lesen sollte.

Warum passieren diese Fehler? (Die zwei Hauptübeltäter)

Die Forscher haben herausgefunden, dass die Fehler nicht einfach „Zufall“ sind, sondern zwei ganz bestimmte Muster haben. Man kann sie sich wie zwei Arten von Flüchtigkeitsfehlern vorstellen:

1. Der „Verschiebe-Fehler“ (Misalignment) – Das verrutschte Lineal
Stell dir vor, du willst zwei lange Zahlen untereinander schreiben, um sie zu addieren. Aber statt die Einer-Stelle unter die Einer-Stelle zu schreiben, rutschst du mit dem Lineal ein Stück zur Seite. Plötzlich addierst du die Zehner mit den Einern.

Warum passiert das? Die Forscher vermuten, dass das an der Art liegt, wie die KI Text „liest“ (das sogenannte Tokenization). Die KI sieht Zahlen nicht als einzelne Ziffern (1, 2, 3...), sondern oft als „Pakete“ (z. B. 123 als ein Block). Wenn diese Pakete unterschiedlich groß sind, „verrutscht“ die KI beim Rechnen – wie ein Kind, das beim Schreiben der Zahlen die Zeilen nicht sauber hält.

2. Der „Übertrag-Fehler“ (Close Carry) – Das vergessliche Gehirn
Das ist der klassische Fehler aus der Grundschule: Du rechnest $9 + 5 = 14$ und vergisst einfach, die „1“ für die nächste Spalte mitzunehmen.

Warum passiert das? Die KI macht das nicht, weil sie die Mathematik nicht versteht, sondern weil sie wie ein „Wahrscheinlichkeits-Rechner“ arbeitet. Sie rät quasi, welches die nächste Ziffer sein könnte. Bei schwierigen Übergängen (wenn man eine 9 oder eine 10 „übertragen“ muss) verliert sie die Konzentration. Es ist, als würde man beim Kochen ein Rezept lesen und bei einem kritischen Schritt – „Gib jetzt eine Prise Salz dazu“ – kurz abgelenkt werden.

Was bedeutet das für die Zukunft?

Das Paper zeigt eine wichtige Lektion: Größer ist nicht gleich besser. Man kann eine KI nicht einfach nur „schlauer“ machen (mehr Daten, mehr Rechenpower), damit sie plötzlich perfekt rechnet. Das Problem liegt tiefer in ihrer „Bauweise“.

Die KI ist kein Taschenrechner, der nach festen Regeln arbeitet, sondern eher ein extrem begabter Geschichtenerzähler, der versucht, die Mathematik so nachzuahmen, wie sie in Büchern steht. Und ein Geschichtenerzähler ist eben kein Mathematiker.

Fazit: Wenn wir wollen, dass KIs wirklich zuverlässig werden, müssen wir ihnen nicht nur mehr Wissen geben, sondern ihnen ein „stabileres Lineal“ und ein „besseres Gedächtnis“ für die Details einbauen.

Zusammenfassung: AI-rithmetic*

1. Problemstellung

Trotz der beeindruckenden Fähigkeiten moderner Large Language Models (LLMs) in komplexen mathematischen Disziplinen (wie Algebra oder Analysis) zeigen sie eine bemerkenswerte Unzuverlässigkeit bei grundlegender Arithmetik. Während Menschen Arithmetik als fundamentales Fundament der Mathematik betrachten, scheitern KI-Systeme oft schon an der Addition einfacher Zahlen. Das Paper untersucht das Phänomen, warum diese Modelle bei steigender Anzahl von Stellen (Digits) massiv an Genauigkeit verlieren, und versucht, die zugrunde liegenden Fehlerursachen systematisch zu klassifizieren.

2. Methodik

Die Autoren führten systematische Experimente mit einer Reihe von State-of-the-Art-Modellen durch (darunter Claude Opus 4.1, GPT-4o, GPT-5, Gemini 2.5 Pro/Flash und Gemma 3 27B).

Testaufbau: Die Modelle wurden mit Aufgaben der Form „Was ist $A + B$ ?“ konfrontiert, wobei $A$ und $B$ $d$ -stellige Zahlen waren ( $d$ variierte von 1 bis 100).
Evaluierung: Um die Antworten zu bewerten, wurde die Edit-Distanz (Levenshtein-Distanz) zum korrekten Ergebnis genutzt. Ein Modell wurde als korrekt gewertet, wenn die exakte Summe in der Antwort enthalten war.
Fehlerklassifizierung: Die Autoren entwickelten ein Framework, um Fehler in drei Hauptkategorien zu unterteilen:
1. Misalignment (Fehlausrichtung): Ein Operand wird im Vergleich zum anderen um einige Stellen verschoben (Offset).
2. Close Carry Errors (Nahe-Übertrag-Fehler): Fehler beim Umgang mit Überträgen, insbesondere in Grenzbereichen (z. B. wenn die Summe der Ziffern 9 ist, aber ein Übertrag erfolgt, oder wenn die Summe 10 ist, aber kein Übertrag erfolgt).
3. Runaway Errors: Antworten, die extrem viel länger sind als das tatsächliche Ergebnis.

3. Zentrale Ergebnisse und Beiträge

A. Leistungsabfall bei steigender Komplexität:
Die Genauigkeit aller Frontier-Modelle sinkt signifikant, sobald die Anzahl der Stellen zunimmt. Interessanterweise ist der Leistungsabfall nicht immer monoton; die Modelle zeigen teilweise unvorhersehbare Schwankungen in der Genauigkeit je nach Stellenanzahl.

B. Dominanz interpretierbarer Fehler:
Die Mehrheit der Fehler ist nicht zufällig, sondern lässt sich durch die oben genannten Kategorien erklären. Diese erklären:

87,9 % der Fehler von Claude Opus 4.1.
62,9 % der Fehler von GPT-5.
92,4 % der Fehler von Gemini 2.5 Pro.

C. Zusammenhang mit der Tokenisierung (Misalignment):
Das Paper liefert einen starken empirischen Beweis dafür, dass Misalignment-Fehler eng mit der Tokenisierung verknüpft sind.

Modelle wie GPT-5 und GPT-4o nutzen Tokenizer, die Ziffern in 3er-Blöcken gruppieren.
Die Genauigkeit von GPT-5 zeigt eine Periodizität: Sie ist signifikant höher, wenn die Anzahl der Stellen ein Vielfaches von 3 ist. Dies deutet darauf hin, dass die Mischung aus Multi-Digit-Tokens und Single-Digit-Tokens die Ausrichtung der Operanden erschwert.

D. Stochastisches Modell der Übertragfehler (Close Carry):
Die Autoren zeigen, dass Close Carry Errors weitgehend unabhängig voneinander auftreten. Sie können durch ein einfaches stochastisches Modell beschrieben werden: Bei jedem „kritischen“ Übertrag besteht eine Wahrscheinlichkeit $p$ , einen Fehler zu machen. Die Verteilung der erfolgreichen Überträge vor dem ersten Fehler folgt bei vielen Modellen (insbesondere Gemma 3) einer geometrischen Verteilung.

4. Bedeutung der Arbeit (Signifikanz)

Die Arbeit hat weitreichende Implikationen für die Entwicklung von KI-Systemen:

Grenzen des Scaling: Die Ergebnisse legen nahe, dass die bloße Vergrößerung der Modelle (Scaling) das Problem der Arithmetik nicht allein lösen wird, da die Fehler auf strukturellen Designentscheidungen (wie Tokenisierung und autoregressives Generieren) basieren.
Kritik an der „Kompositionalität“: Die Annahme, dass LLMs komplexe Algorithmen durch die Komposition einfacher Schritte perfekt nachahmen, wird in Frage gestellt. Stattdessen nutzen sie fehleranfällige, idiosynkratische Strategien.
Diagnostisches Werkzeug: Das Paper nutzt die Arithmetik als „Sonde“ (Probe), um tiefere, schwer fassbare Schwächen in der Zuverlässigkeit von KI-Systemen aufzudecken. Es verdeutlicht, dass wir noch immer nicht vollständig vorhersagen können, wann ein System in einer scheinbar einfachen Aufgabe versagt.