💻 computer science

Value-Aware Numerical Representations for Transformer Language Models

Dieses Paper führt eine wertbewusste numerische Repräsentation ein, die Standard-Token-Inputs durch ein wertbedingtes Präfix-Token ergänzt, um die numerische Größenordnung explizit zu kodieren, was die Robustheit von Transformer-Sprachmodellen bei arithmetischen und numerischen Denkaufgaben signifikant verbessert.

Ursprüngliche Autoren: Andreea Dutulescu, Stefan Ruseti, Mihai Dascalu

Veröffentlicht 2026-01-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Andreea Dutulescu, Stefan Ruseti, Mihai Dascalu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Das Modell ist im Mathematikunterricht „analphabetisch“

Stellen Sie sich einen sehr klugen Studenten (die KI) vor, der Millionen von Büchern gelesen hat. Dieser Student ist großartig darin, Geschichten zu schreiben, Fragen zu beantworten und sogar komplexe Logikrätsel zu lösen. Wenn es jedoch um einfache Mathematik geht, ist dieser Student überraschend schlecht darin.

Wenn Sie den Studenten fragen: „Ist 9,11 größer als 9,9?“, könnte er selbstbewusst mit „Ja“ antworten. Warum? Weil die Zahlen für den Studenten keine Quantitäten sind, sondern lediglich Wörter.

Wie es jetzt funktioniert: Die KI sieht die Zahl „14“ als eine Sequenz von Buchstaben: „1“ und „4“. Sie behandelt sie wie die Wörter „Katze“ und „Hund“. Sie „weiß“ nicht von Natur aus, dass 14 größer als 9 ist. Sie rät nur basierend darauf, wie oft sie „14“ und „9“ in ihren Trainingsbüchern nebeneinander gesehen hat.
Das Ergebnis: Wenn die Zahlen länger oder komplexer werden, wird die KI verwirrt und macht dumme Rechenfehler, weil sie nur das nächste „Wort“ in der Sequenz errät, anstatt den tatsächlichen Wert zu berechnen.

Die Lösung: Das „Wert-Etikett“ (Value Tag)

Die Autoren schlagen eine einfache, aber wirkungsvolle Lösung vor. Sie wollen der KI ein „Spickzettel“ geben, der ihr das tatsächliche Gewicht oder die Größe einer Zahl mitteilt, noch bevor sie die Ziffern überhaupt sieht.

Sie führen ein spezielles, unsichtbares Etikett namens <num> ein, das direkt vor jeder Zahl in einem Satz platziert wird.

Der alte Weg: „Ich habe 14 Äpfel.“ (Die KI sieht: „Ich“, „habe“, „1“, „4“, „Äpfel“.)
Der neue Weg: „Ich habe <num> 14 Äpfel.“

Hier liegt die Magie: Das Embedding (der interne Code) für dieses <num>-Etikett ist kein zufälliges Wort. Es wird mathematisch basierend auf der Zahl 14 berechnet. Es ist, als würde man dem Wort „14“ ein physisches Gewicht anhängen, damit die KI spüren kann, wie schwer es ist.

Wie es funktioniert (Die Koch-Analogie)

Stellen Sie sich die KI als einen Koch vor, der lernt zu kochen.

Während des Trainings (Die Übungsküche):
Der Koch bekommt ein Rezept mit der Anweisung: „Füge 14 Gramm Zucker hinzu.“
- Die KI sieht das Tag <num> und eine spezielle Maschine berechnet sofort das exakte „Geschmacksprofil“ von 14 und reicht es dem Koch.
- Der Koch lernt: „Wenn ich dieses spezifische Geschmacksprofil sehe, weiß ich genau, was '14' bedeutet.“
- Die KI lernt auch, dieses Geschmacksprofil allein durch den Kontext der vorangegangenen Wörter vorherzusagen, sodass sie immer besser darin wird, das Gewicht der Zahl auch ohne die Maschine zu erraten.
Während des Tests (Das echte Restaurant):
Der Koch wird gebeten, ein neues Gericht zu kochen. Er sieht das Tag <num>, aber die Maschine ist nicht da, um ihm das Geschmacksprofil zu geben.
- Da er aber so hart geübt hat, kann der Koch nun erinnern, wie sich der Geschmack von „14“ anfühlt, basierend auf dem Kontext.
- Er nutzt dieses interne Gedächtnis, um korrekt zu verstehen, dass 14 größer als 9 ist, und macht keine Fehler mehr.

Die zwei „Geschmacksrichtungen“ des Etiketts

Die Forscher haben zwei verschiedene Wege ausprobiert, um dieses „Geschmacksprofil“ für die Zahlen zu erstellen:

Das „Feste Gitter“ (MLP): Stellen Sie sich ein Lineal mit festen Markierungen vor. Sie zwingen jede Zahl, in ein bestimmtes Gitter zu passen. Das ist einfach, aber wenn eine Zahl sehr lang oder ungewöhnlich ist, könnte sie „gequetscht“ werden.
Das „Flexible Maßband“ (RNN): Stellen Sie sich ein Maßband vor, das sich an jede Länge anpassen kann. Diese Methode verarbeitet die Zahl Ziffer für Ziffer, so wie ein Mensch eine lange Zahl liest. Dies erwies sich als etwas besser darin, unterschiedliche Größen von Zahlen zu handhaben.

Die Ergebnisse: Funktioniert es?

Die Forscher haben dies mit einer speziellen Mathe-Prüfung (genannt NUPA) getestet, die darauf ausgelegt ist, KIs in grundlegende mathematische Fehler zu locken.

Die Standard-KI: Beantwortete etwa 68 % der Fragen richtig. Sie hatte Schwierigkeiten mit längeren Zahlen und Vergleichen.
Die „Wert-bewusste“ KI: Beantwortete etwa 72 % der Fragen richtig.
Der Unterschied: Während 4 % gering erscheinen mögen, ist dies in der Welt der KI ein riesiger Sprung. Viel wichtiger ist: Die neue KI verstand deutlich besser, dass eine 7-stellige Zahl etwas völlig anderes ist als eine 3-stellige Zahl, während die alte KI oft verwirrt war, sobald die Zahlen länger wurden.

Warum das wichtig ist

Die meisten aktuellen KI-Forschungen versuchen, Mathematikprobleme zu lösen, indem sie die KI dazu bringen, „tiefer nachzudenken“ (lange Ketten von logischen Schlussfolgerungen zu generieren). Dieses Paper argumentiert jedoch, dass das Problem nicht darin besteht, dass die KI nicht genug nachdenkt; das Problem ist, dass die KI nicht weiß, was eine Zahl eigentlich ist.

Indem sie der KI direkt ein „Gefühl“ für den numerischen Wert (die Größenordnung) direkt zu Beginn geben, haben sie die Ursache des Fehlers behoben. Es ist, als würde man einem Kind das Zählen beibringen, indem man ihm echte Bauklötze zum Halten gibt, anstatt ihm nur Bilder von Bauklötzen zu zeigen.

Zusammenfassung

Das Problem: Die KI behandelt Zahlen wie Wörter, was zu mathematischen Fehlern führt.
Die Lösung: Ein spezielles Tag vor den Zahlen hinzufügen, das das tatsächliche mathematische „Gewicht“ der Zahl trägt.
Das Ergebnis: Die KI wird bei grundlegender Mathematik und Vergleichen viel zuverlässiger, ohne dass sie komplett neu trainiert werden muss oder komplexe neue Architekturen benötigt. Es ist ein leichtgewichtiges Upgrade, das die KI dazu bringt, Zahlen als Mengen und nicht nur als Symbole zu „sehen“.

Technisches Resümee: Wertbewusste numerische Repräsentationen für Transformer-Sprachmodelle

Problemstellung

Transformer-basierte Large Language Models (LLMs) zeigen häufig eine starke Leistung in komplexen mathematischen Denkaufgaben, bleiben jedoch anfällig bei der Handhabung grundlegender numerischer Verständnisse und arithmetischer Operationen. Die identifizierte Kernlimitierung besteht darin, dass Standard-LLMs Zahlen als symbolische Token (Sequenzen von Zeichen oder Subwords) verarbeiten, deren Embeddings ausschließlich aus der statistischen Co-Occurrence von Token gelernt werden. Folglich fehlt den Modellen eine explizite, kontinuierliche Repräsentation der numerischen Größenordnung. Dies führt zu systematischen Fehlern bei Aufgaben, die Größenvergleiche, Ordnungen und Arithmetik erfordern, insbesondere wenn die Länge der numerischen Eingaben zunimmt. Das Paper argumentiert, dass aktuelle „reasoning-intensive“ Ansätze (z. B. Chain-of-Thought) diese grundlegenden Schwächen oft durch die Generierung langer Zwischenschritte kaschieren, aber das zugrunde liegende Problem nicht lösen, nämlich dass die Modelle nicht intrinsisch „wissen“, was eine Zahl repräsentiert.

Methodik

Die Autoren schlagen eine wertbewusste numerische Repräsentation vor, die Standard-tokenisierte Eingaben um ein dediziertes Präfix-Token ergänzt, bezeichnet als <num>, welches unmittelbar vor den Oberflächenform-Zahlentoken eingefügt wird.

Architektur und Mechanismus

Wertbedingtes Embedding: Im Gegensatz zu Standard-Token ist das Embedding des <num>-Tokens nicht fixiert. Stattdessen wird es als Funktion $f(x)$ des zugrunde liegenden numerischen Wertes $x$ berechnet.
- Trainingsphase: Der wahre numerische Wert $x$ ist verfügbar. Ein lernbares Embedding-Modul (entweder ein MLP-basierter Fixed-Point-Encoder oder ein RNN-basierter rekurrenter Encoder) berechnet $f(x)$ . Dieses Embedding wird zusammen mit den Standard-Token-Embeddings in die Eingabesequenz des Modells injiziert.
- Inferenzphase: Der wahre Wert $x$ ist nicht verfügbar. Ein Projektionskopf bildet den verborgenen Zustand (hidden state) $h$ , der dem <num>-Token vorausgeht, auf einen Embedding-Raum ab, der das wertbasierte Embedding approximiert ( $proj(h) \approx f(x)$ ). Dieses projektierte Embedding konditioniert die Generierung der nachfolgenden numerischen Token.
Varianten des Embedding-Moduls:
- MLP-basiert: Repräsentiert Ganzzahl- und Bruchteile als Fixed-Length-Dezimalvektoren, die mit Hilfsmerkmalen (Vorzeichen, Anzahl der Ziffern, Nachkommastellen) konkateniert und durch eine Feed-Forward-Schicht projiziert werden.
- RNN-basiert: Verarbeitet Ganzzahl- und Bruchteile unabhängig voneinander mittels Gated Recurrent Units (GRUs), was variable Längen und beliebige Präzision ermöglicht, gefolgt von einer Konkatenation mit Hilfsmerkmalen und einer linearen Projektion.
Trainingsziel: Um die Diskrepanz zwischen Training und Test (bei der das Modell während des Trainings durch das Sehen des wahren Wertes „schummelt“, diesen aber während der Inferenz vorhersagen muss) zu adressieren, verwenden die Autoren eine zusammengesetzte Verlustfunktion:
- Standardmäßige Sprachmodellierungs-Loss ( $L_{LM}^{emb}$ ): Trainiert das Modell unter Verwendung des wahren wertbasierten Embeddings $f(x)$ .
- Projektierte Sprachmodellierungs-Loss ( $L_{LM}^{proj}$ ): Trainiert das Modell unter Verwendung des projizierten verborgenen Zustands $proj(h)$, um die Inferenzbedingungen zu simulieren.
- *Rekonstruktions-Loss ( $L_{rec}$ ): Minimiert die Kosinus-Distanz zwischen dem projizierten verborgenen Zustand und dem wahren wertbasierten Embedding, um die Ausrichtung (Alignment) zu erzwingen.
- Der Gesamtverlust ist eine gewichtete Summe: $L = L_{LM}^{emb} + L_{LM}^{proj} + \lambda L_{rec}$ .

Zentrale Beiträge

Neuartiger Kodierungsmechanismus: Der Vorschlag eines wertbewussten Präfix-Tokens, dessen Embedding explizit vom numerischen Wert abhängig ist, wodurch die Darstellung der Größenordnung von der Oberflächen-Tokenisierung entkoppelt wird.
Empirische Validierung: Demonstration, dass dieser Ansatz die Leistung auf einem Benchmark, der die arithmetische Kompetenz isoliert, konsistent verbessert und dabei starke Baselines unter identischen Trainings- und Inferenzbedingungen übertrifft.
Architektonische Kompatibilität: Die Methode erfordert minimale Modifikationen und ist direkt auf jede Decoder-only Transformer-Architektur anwendbar, ohne bestehende Tokenizer oder Generierungsmechanismen zu verändern.
Open Source: Die vollständige Implementierung, einschließlich der architektonischen Änderungen, des Trainingscodes und der Evaluierungsskripte, wird zur Unterstützung der Reproduzierbarkeit veröffentlicht.

Experimentelle Ergebnisse

Der Ansatz wurde auf dem NUPA-Benchmark (Yang et al., 2024) evaluiert, der grundlegende numerische Fähigkeiten über Ganzzahlen, Fließkommazahlen, Brüche und wissenschaftliche Notation hinweg isoliert.

Baselines: Vergleich gegen einen Standard-Transformer (autoregressiv, nur Token) und Numerologic (Schwartz et al., 2024), eine Methode, die natürliche Sprachbeschreibungen der Größenordnung (z. B. Anzahl der Ziffern) als Hilfsinput verwendet.
Leistung:
- Die vorgeschlagenen NumValue-RNN und NumValue-MLP Modelle erreichten eine Exact-Match-Genauigkeit von 0,724 bzw. 0,720, im Vergleich zu 0,687 für den Standard-Transformer und 0,633 für Numerologic.
- Verbesserungen wurden über alle numerischen Formate, Aufgabentypen (Arithmetik, Vergleich, Konvertierung) und Operandenlängen (bis zu 7 Ziffern) hinweg beobachtet.
- Die RNN-basierte Variante zeigte leicht höhere Exact-Match-Scores, was auf ihre Fähigkeit zur Handhabung variabler Sequenzen zurückzuführen ist, während die MLP-Variante eine geringfügig bessere Leistung bei der ziffernbasierten Ausrichtung und Längenschätzung zeigte.
Robustheit: Die Leistungslücke zwischen der vorgeschlagenen Methode und den Baselines blieb konsistent oder vergrößerte sich mit zunehmender Anzahl an Ziffern, was auf eine verbesserte Robustheit gegenüber der Eingabeskala hindeutet.

Bedeutung und Behauptungen

Das Paper behauptet, dass die explizite Kodierung des numerischen Wertes ein effektiver und effizienter Weg ist, um die grundlegende numerische Robustheit von Sprachmodellen zu verbessern. Durch die Injektion von Größenordnungsinformationen direkt in den Eingaberaum adressiert der Ansatz die Ursache numerischer Fehler, anstatt sie lediglich durch verlängerte Reasoning-Ketten zu kompensieren.

Die Autoren betonen, dass ihre Methode eine leichtgewichtige Alternative zu intensiven Reasoning-Strategien darstellt. Sie argumentieren, dass numerische Kompetenz eine eigenständige Fähigkeit ist, die eine explizite Repräsentation erfordert und nicht bloß ein Nebenprodukt verbesserten Reasonings ist. Die Ergebnisse legen nahe, dass die Behandlung von Zahlen als kontinuierliche Messwerte statt als diskrete symbolische Token die Fähالkeit eines Modells, über numerische Größen zu argumentieren, signifikant verbessert.

Von den Autoren angemerkt werden auch Limitationen:

Die Evaluierung erfolgt auf Prototyp-Niveau unter Verwendung von Modellen, die von Grund auf auf einem begrenzten Benchmark trainiert wurden; die Ergebnisse spiegeln möglicherweise nicht vollständig die Leistung großer, vortrainierter Modelle in komplexen Szenarien der Instruktionsbefolgung wider.
Die Methode verursacht höhere Trainingskosten aufgrund der Anforderung von zwei Vorwärtsläufen pro Beispiel (einer für die Projektion, einer für das Dekodieren), was jedoch die Inferenzlatenz nicht beeinflusst.
Es wurde kein dediziertes Hyperparameter-Tuning durchgeführt, was die absolute Performance-Metrik beeinflussen könnte, aber die relativen Vergleiche nicht verändert.