💬 NLP

LLMs Know More About Numbers than They Can Say

Die Studie zeigt, dass LLMs die Größenordnung von Zahlen in ihren versteckten Zuständen präzise repräsentieren können, obwohl sie diese Informationen oft nicht korrekt verbalisieren, wobei die gezielte Verbesserung dieser internen Darstellungen durch Feinabstimmung die numerische Leistungsfähigkeit der Modelle signifikant steigert.

Ursprüngliche Autoren: Fengting Yuchi, Li Du, Jason Eisner

Veröffentlicht 2026-02-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Fengting Yuchi, Li Du, Jason Eisner

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Warum LLMs Zahlen „sehen", aber nicht „sprechen" können

Stellen Sie sich vor, Sie haben einen sehr klugen Roboter, der Millionen von Büchern gelesen hat. Wenn Sie ihn fragen: „Was ist 5 mal 100?", antwortet er sofort: „500". Er ist ein Genie in Mathe.

Aber dann stellen Sie ihm eine etwas kniffligere Frage: „Was ist größer: 5,7 mal 10 hoch 2 oder 580?"
(Das ist im Grunde 570 vs. 580).

Überraschenderweise stolpert der Roboter hier oft. Er sagt manchmal „570", obwohl 580 eigentlich größer ist. Er macht Fehler, die ein Grundschüler nicht machen würde.

Die Forscher aus diesem Papier haben sich gefragt: „Versteht der Roboter die Zahlen wirklich nicht, oder versteckt er das Wissen nur?"

Die Untersuchung: Der Röntgenblick ins Gehirn

Um das herauszufinden, haben die Wissenschaftler nicht nur auf die Antworten des Roboters geschaut, sondern direkt in sein „Gehirn" (die inneren Datenverarbeitungsschichten) hineingeschaut. Sie nutzten eine Art Röntgenstrahl, den sie „Probing" nennen.

Hier ist das, was sie entdeckt haben:

1. Das Wissen ist da (wie ein versteckter Schatz)
Wenn die Forscher in die inneren Schichten des Roboters schauen, finden sie dort eine perfekte Karte der Zahlen.

Die Analogie: Stellen Sie sich vor, der Roboter hat im Inneren einen riesigen, gut organisierten Schrank. Auf jedem Regal steht genau, wie groß eine Zahl ist. Wenn man den Schrank öffnet (die Daten analysiert), sieht man sofort: „Aha! 580 ist größer als 570."
Das Ergebnis: Mit einem einfachen mathematischen Werkzeug konnten die Forscher die Größe der Zahlen aus dem Gehirn des Roboters fast perfekt herauslesen (mit einer Genauigkeit von über 90 %). Der Roboter weiß also, welche Zahl größer ist.

2. Der Sprach-Verlust (wie ein Stotterer)
Das ist der seltsame Teil: Obwohl das Wissen im Schrank perfekt liegt, scheitert der Roboter, wenn er es laut aussprechen soll.

Die Analogie: Stellen Sie sich vor, Sie haben den perfekten Text in Ihrem Kopf, aber wenn Sie ihn laut vorlesen sollen, stottern Sie oder sagen aus Versehen das Falsche, weil Sie nervös sind oder die falsche Betonung wählen. Der Roboter hat das Wissen, aber er kann es nicht in eine klare Antwort umwandeln.
Das Ergebnis: Wenn man den Roboter einfach nur fragt („Welche Zahl ist größer?"), liegt er oft falsch (nur 50–70 % richtig). Er verhält sich fast so, als würde er raten.

3. Der Zusammenhang (je besser das Wissen, desto besser die Antwort)
Die Forscher haben festgestellt: Je besser das „Röntgenbild" des Gehirns ist (je klarer die Zahlen im Inneren gespeichert sind), desto besser ist auch die mündliche Antwort.

Die Analogie: Wenn Ihr Gehirn die Zahlen klar sieht, ist es wahrscheinlicher, dass Sie sie auch richtig sagen können. Wenn das innere Bild verschwommen ist, wird die Antwort auch schlechter.

Der große Durchbruch: Training als „Gedächtnis-Training"

Das Wichtigste an der Studie ist nicht nur, dass sie das Problem gefunden haben, sondern wie sie es gelöst haben.

Sie haben dem Roboter nicht beigebracht, einfach nur die Antwort zu sagen. Stattdessen haben sie ihm beigebracht, wie er die Zahlen im Inneren besser zu ordnen hat.

Die Analogie: Stellen Sie sich vor, Sie trainieren einen Sportler. Statt ihm nur zu sagen: „Lauf schneller!", helfen Sie ihm, seine Muskeln im Inneren so zu stärken, dass das Laufen leichter wird.
Das Experiment: Die Forscher haben dem Roboter während des Trainings eine extra Aufgabe gegeben: „Achte darauf, dass du im Inneren genau weißt, welche Zahl größer ist."
Das Ergebnis: Als sie das taten, wurde der Roboter plötzlich viel besser darin, die Frage laut zu beantworten! Seine Genauigkeit sprang von ca. 50 % auf fast 95–99 %.

Fazit in einem Satz

Diese Studie zeigt uns, dass moderne KI-Modelle oft mehr über Zahlen wissen, als sie uns sagen können. Sie haben das Wissen tief in ihrem Inneren gespeichert, aber sie brauchen ein bisschen Hilfe (Training), um dieses Wissen auch in klaren Worten auszudrücken.

Kurz gesagt: Der Roboter ist kein Dummkopf, der Zahlen nicht versteht. Er ist eher wie ein Genie, das die Antwort im Kopf hat, aber Schwierigkeiten hat, sie laut und deutlich zu sagen. Wenn man ihm hilft, die Antwort im Kopf klarer zu sehen, spricht er sie auch richtig aus.

1. Problemstellung

Die Studie adressiert ein fundamentales Paradoxon bei Large Language Models (LLMs): Obwohl moderne Modelle mathematische Aufgaben lösen können, scheitern sie häufig bei numerischen Vergleichen mit gemischter Notation (Cross-Notation). Ein typisches Beispiel ist die Frage: „Was ist größer, $5.7 \times 10^2$ oder $580$?".

Die Diskrepanz: Während Modelle einfache Rechenaufgaben oder Vergleiche in einheitlicher Notation (z. B. beide Dezimalzahlen) meist korrekt beantworten, liegen sie bei der Kombination aus wissenschaftlicher Notation und Normalform oft falsch.
Die Kernfrage: Besitzen LLMs überhaupt ein internes Verständnis der Größe dieser Zahlen („Zahlensinn"), oder verarbeiten sie Zahlen lediglich als textliche Zeichenfolgen (Token-Manipulation) ohne semantisches Verständnis?

2. Methodik

Die Autoren untersuchen das interne numerische Wissen von mehreren Open-Source-LLMs (Größe 7B–8B Parameter, z. B. Llama-2, Mistral, Qwen) sowie geschlossenen Modellen (GPT-4.1) durch folgende Schritte:

Datensätze:
- Ein synthetischer Datensatz mit Paaren von Zahlen in gemischter Notation (Dezimal vs. wissenschaftliche Notation).
- Ein realer Datensatz, extrahiert aus arXiv-Papers (peS2o), um die Leistung im wissenschaftlichen Kontext zu testen.
Probing (Abtastung der Hidden States):
- Regressions-Probe: Ein linearer Regressor wird auf den Hidden States der Token trainiert, um den Logarithmus des Betrags ( $\log_2$ ) der Zahlen vorherzusagen. Dies testet, ob die absolute Größe linear kodiert ist.
- Klassifikations-Probe: Ein binärer Klassifikator (logistische Regression) wird auf den Hidden States trainiert, um direkt zu bestimmen, welche der beiden Zahlen in einem Paar größer ist.
Verbalisierungstests: Die Modelle werden mit Few-Shot-Prompts (ein Beispiel) aufgefordert, den Vergleich explizit in Textform zu beantworten.
Fine-Tuning mit Hilfsverlust: Um die Kausalität zu testen, wird ein zusätzlicher Verlustterm (der Verlust des Klassifikations-Probes) während des Fine-Tunings hinzugefügt. Das Ziel ist es, die internen Repräsentationen so zu optimieren, dass sie den Vergleichsaufgaben besser dienen, und zu prüfen, ob dies die verbale Leistung verbessert.

3. Wichtige Ergebnisse

A. Interne Repräsentationen sind präzise

Lineare Kodierung: Die Hidden States enthalten eine hochpräzise, lineare Kodierung der logarithmischen Größenordnungen von Zahlen.
- Auf synthetischen Daten erreichen lineare Regressionen einen relativen Fehler von nur ~2,3 %.
- Auf realen arXiv-Daten liegt der Fehler bei ~19,06 %, was immer noch eine signifikante Korrelation zeigt.
Vergleichsfähigkeit: Ein linearer Klassifikator kann auf den Hidden States (besonders in tieferen Schichten) mit über 90 % Genauigkeit bestimmen, welche Zahl größer ist. Dies gilt selbst dann, wenn die Zahlen sehr nah beieinander liegen und die Regressionsvorhersagen zu verrauscht wären, um einen direkten Vergleich durchzuführen.
Schichtabhängigkeit: Die Fähigkeit, Zahlen zu vergleichen, entwickelt sich in den tieferen Schichten des Transformers (oft erst in den letzten Schichten), während frühe Schichten bereits eine korrelierende, aber schwächere Repräsentation bieten.

B. Das Problem der Verbalisierung

Geringe verbale Leistung: Trotz der präzisen internen Repräsentationen erreichen die Modelle bei der expliziten verbalen Beantwortung der Vergleichsaufgaben nur 50–70 % Genauigkeit (nahe dem Zufallsniveau von 50 %).
Fehleranalyse: Modelle wie Llama-2-7B und Mistral-7B ignorieren die Zahlenwerte oft fast vollständig und antworten basierend auf der Position im Prompt (z. B. immer die zweite Zahl), was auf ein mangelndes Bewusstsein für die numerischen Werte im Generationsprozess hindeutet.

C. Korrelation und Kausalität

Korrelation: Es besteht eine starke Korrelation zwischen der Qualität der internen Repräsentationen (gemessen durch die Genauigkeit der Proben in den ersten 3 Schichten) und der verbalen Leistung über verschiedene Modelle hinweg.
Kausaler Effekt durch Fine-Tuning: Durch das Fine-Tuning mit dem zusätzlichen Hilfsverlust (Probing Loss) konnte die verbale Genauigkeit um durchschnittlich 3,22 % (und in Einzelfällen bis zu 84 % Fehlerreduktion bei verbleibenden Fehlern) gesteigert werden. Dies beweist, dass die Verbesserung der internen numerischen Repräsentationen direkt die Fähigkeit zur verbalen Äußerung verbessert.

4. Hauptbeiträge

Nachweis des „stummen" Wissens: Die Studie zeigt, dass LLMs numerisches Wissen besitzen, das sie jedoch nicht zuverlässig in Sprache übersetzen können. Sie „wissen mehr, als sie sagen können".
Lineare Kodierung von Magnituden: Es wird empirisch belegt, dass numerische Größenordnungen in den Hidden States linear kodiert sind, was die Existenz eines internen „Zahlensinns" untermauert.
Methodik zur Verbesserung: Die Einführung eines auxiliary probing loss während des Fine-Tunings wird als effektive Methode vorgestellt, um die numerische Reasoning-Fähigkeit von LLMs zu verbessern, indem die internen Repräsentationen gezielt optimiert werden.
Analyse von Notationsproblemen: Die Arbeit identifiziert gemischte Notationen als kritische Schwachstelle, bei der das Modell zwar die Werte intern vergleicht, aber im Generationsprozess versagt.

5. Bedeutung und Implikationen

Die Ergebnisse haben weitreichende Konsequenzen für das Verständnis und die Entwicklung von LLMs:

Überwindung von Black-Box-Mythen: Selbst wenn ein Modell eine Aufgabe verbal nicht löst, kann es die Information intern korrekt verarbeiten. Das Problem liegt oft im „Auslesen" oder der Generierung, nicht im Wissen selbst.
Richtung für zukünftiges Training: Das Paper schlägt vor, dass das gezielte Trainieren auf interne Repräsentationen (nicht nur auf den Textausgang) ein vielversprechender Weg ist, um numerische Fähigkeiten in LLMs zu stärken.
Anwendungsbereich: Da numerische Kompetenz in wissenschaftlichen, finanziellen und technischen Domänen essenziell ist, zeigt diese Arbeit, wie man die Zuverlässigkeit von LLMs in diesen Bereichen durch gezielte Eingriffe in die Repräsentationsebene erhöhen kann.

Zusammenfassend demonstriert das Paper, dass LLMs über eine robuste, aber oft unzugängliche numerische Intelligenz verfügen, die durch lineare Proben sichtbar gemacht und durch gezieltes Fine-Tuning in verbale Fähigkeiten umgewandelt werden kann.