💬 NLP

DEL: Digit Entropy Loss for Numerical Learning of Large Language Models

Dieser Beitrag stellt den Digit Entropy Loss (DEL) vor, ein neuartiges Trainingsziel, das die unüberwachte Entropieoptimierung in ein überwachtes, distanzfreies Framework umformuliert, um die Genauigkeit großer Sprachmodelle bei der Vorhersage sowohl ganzer als auch fließkommazahliger Zahlen in mathematischen Schlussfolgerungs- und Codegenerierungsaufgaben zu verbessern.

Ursprüngliche Autoren: Zhaohui Zheng, Chenhang He, Shihao Wang, Yuxuan Li, Ming-Ming Cheng, Lei Zhang

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhaohui Zheng, Chenhang He, Shihao Wang, Yuxuan Li, Ming-Ming Cheng, Lei Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr intelligenten, aber leicht verwirrten Roboter in Mathematik. Der Roboter ist hervorragend darin, Geschichten zu schreiben und zu plaudern, doch wenn es um Zahlen geht, verwechselt er oft die Ziffern. Er könnte „12" sagen, wenn die Antwort „13" ist, oder er könnte „14" raten, anstatt „12".

Diese Arbeit aus dem Visual Computing Lab der Hong Kong Polytechnic University stellt eine neue Methode vor, um diesem Roboter beizubringen, besser mit Zahlen umzugehen. Sie nennen ihre neue Methode Digit Entropy Loss (DEL).

Hier ist die Geschichte davon, wie sie die Mathe-Fähigkeiten des Roboters mit einfachen Analogien korrigiert haben:

1. Das Problem: Die Angewohnheit des Roboters, die „beste Schätzung" zu wählen

Traditionell verwenden wir beim Training dieser KI-Roboter (genannt Large Language Models) eine Methode namens Maximum Likelihood Estimation (MLE).

Die Analogie: Stellen Sie sich vor, der Roboter macht einen Multiple-Choice-Test. MLE sagt dem Roboter: „Wählen Sie einfach die Antwort aus, von der Sie glauben, dass sie am wahrscheinlichsten ist."
Der Fehler: Der Roboter ist zu höflich. Er denkt: „Nun, '12' ist die beste Antwort, aber '13' und '11' sind irgendwie nah dran, also gebe ich ihnen auch ein winziges bisschen Wahrscheinlichkeit."
Das Ergebnis: Der Roboter wird unentschlossen. Er schwebt zwischen Zahlen hin und her, was zu Fehlern führt, wie zum Beispiel „12,4" zu sagen, wenn die Antwort eine ganze Zahl sein muss, oder einfach die falsche Ziffer zu wählen, weil er nicht sicher genug war.

2. Die alten Lösungen: Die „Distanz"-Falle

Forscher versuchten, dies zu beheben, indem sie ein „Strafsystem" hinzufügten.

Die Analogie: Sie sagten dem Roboter: „Wenn die Antwort 5 ist und Sie 4 raten, ist das okay, es ist nah dran. Aber wenn Sie 9 raten, ist das schrecklich!" Sie erstellten eine Karte, auf der Zahlen in einer Linie angeordnet sind, und der Roboter wird bestraft, je weiter seine Schätzung von der Wahrheit entfernt ist.
Das Problem: Die Arbeit argumentiert, dass diese „Distanzkarte" künstlich ist. In der realen Welt sind Zahlen nicht nur Punkte auf einer Linie; sie sind Symbole mit eigenen Bedeutungen. Manchmal lernt der Roboter, dass die Zahl „2" mehr wie der Buchstabe „Z" aussieht als wie die Zahl „3". Den Roboter zu zwingen, einer strengen Distanzregel zu folgen, verwirrt ihn und macht seine Schätzungen entweder zu starr (zugespitzt) oder zu vage (abgeflacht).

3. Die neue Lösung: Der „Selbstvertrauens-Trainer" (DEL)

Die Autoren schlagen Digit Entropy Loss (DEL) vor. Anstatt zu messen, wie weit der Roboter von der Antwort entfernt ist, konzentrieren sie sich darauf, wie sicher der Roboter ist.

Die Analogie: Stellen Sie sich einen Trainer vor, dem die Distanz zwischen Ihrer Schätzung und dem Ziel egal ist. Stattdessen sagt der Trainer: „Es ist mir egal, ob Sie nah oder fern sind. Ich möchte nur, dass Sie zu 100 % sicher bei Ihrer Antwort sind. Wenn Sie zu 90 % sicher bei '5' sind und zu 10 % sicher bei '6', sind Sie wankelmütig. Ich möchte, dass Sie zu 100 % sicher bei '5' sind und zu 0 % sicher bei allem anderen."
Wie es funktioniert:
1. Überwachte Gewissheit: Sie bringen dem Roboter bei, jede Ziffer wie eine einfache „Ja/Nein"-Frage zu behandeln. „Ist diese Ziffer eine 5? Ja oder Nein?" Dies zwingt den Roboter, eine scharfe, klare Entscheidung zu treffen, anstatt eine vage Schätzung abzugeben.
2. Keine Distanzregeln: Sie werfen die „Distanzkarte" weg. Sie lassen den Roboter die natürliche Beziehung zwischen Zahlen basierend auf den Daten, die er gesehen hat, lernen, anstatt ihm eine vom Menschen gemachte Regel aufzuzwingen.
3. Umgang mit Dezimalzahlen: Frühere Methoden behandelten ganze Zahlen (wie 10) und Dezimalzahlen (wie 10,5) unterschiedlich, was einen „Abgrund" verursachte, an dem der Roboter stolpern würde. DEL behandelt die ganze Zahl und den Dezimalteil als einen einzigen, fließenden Strom, wie eine einzige lange Zahlenlinie anstatt zwei getrennte Inseln.

4. Die Ergebnisse: Schärfere Mathematik

Die Forscher testeten diesen neuen „Selbstvertrauens-Trainer" an vier verschiedenen Arten von KI-Robotern (CodeLlama, Mistral, DeepSeek und Qwen-2.5) unter Verwendung von sieben verschiedenen Mathematik-Benchmarks.

Das Ergebnis: Die mit DEL trainierten Roboter machten weniger Fehler. Sie erhielten nicht nur öfter die richtige Antwort; wenn sie sich doch irrten, war die falsche Antwort viel näher an der richtigen (z. B. 12 statt 13 zu raten, anstatt 50).
Der visuelle Beweis: In den Beispielen der Arbeit sieht man, dass ältere Methoden oft die Logik richtig hatten, aber die finale Zahl falsch (z. B. die Gesamtkosten eines Einkaufs berechnen, aber den finalen Dollarbetrag falsch bekommen). Die DEL-Methode bekam sowohl die Logik als auch die finale Zahl richtig.

Zusammenfassung

Kurz gesagt, sagt diese Arbeit: Hören Sie auf, KI-Robotern beizubringen, zu raten, wie „nah" eine Zahl ist. Bringen Sie ihnen stattdessen bei, absolut sicher über die genaue Ziffer zu sein, die sie vorhersagen. Durch das Entfernen künstlicher Distanzregeln und den Fokus auf den Aufbau scharfer, selbstbewusster Vorhersagen wurden die Roboter viel besser in Mathematik und Code-Generierung.

Technische Zusammenfassung: Digit Entropy Loss für das numerische Lernen von Large Language Models

1. Problemstellung

Large Language Models (LLMs) haben erhebliche Fähigkeiten im mathematischen Reasoning und bei der Code-Generierung unter Beweis gestellt, doch bleibt die genaue numerische Vorhersage eine fundamentale Herausforderung. Das Standard-Trainingsziel für LLMs, die Maximum-Likelihood-Schätzung (MLE), ist für die Zahlenvorhersage suboptimal. Die Null-vermeidende Eigenschaft der MLE zwingt Modelle dazu, nicht-trivialen Wahrscheinlichkeiten für beobachtete Tokens zuzuweisen, was zu Problemen wie Textdegeneration und einer Überschätzung von Datenlücken führt.

Neuere, durch Strafterme angetriebene Ansätze, insbesondere Number Token Loss (NTL) und Discretized Distance Loss (DIST2Loss), versuchen dies durch die Einführung eines induktiven Bias numerischer Distanz zu adressieren. Diese Methoden weisen jedoch kritische Einschränkungen auf:

Über-Schärfung und Über-Flachung: NTL unterdrückt aggressiv die Wahrscheinlichkeiten nicht-zielgerichteter Tokens auf nahezu Null und erzeugt über-scharfe Verteilungen, während DIST2Loss eine glatte Verteilung erzwingt, die zu über-flachen, unsicheren Ziffernvorhersagen führt.
Abhängigkeit von heuristischer Distanz: Beide Methoden verlassen sich auf manuell definierte Distanzterme (z. B. $L_1$ -Distanz zwischen Ziffern). Analysen zeigen, dass LLMs verflochtene Repräsentationen lernen, bei denen Ziffern sowohl als numerische Werte als auch als symbolische Strings (z. B. Daten, IDs) fungieren. Folglich widersprechen manuell auferlegte geometrische Priors oft den semantischen Repräsentationen, die aus massiven Korpora gelernt wurden.
Fehlendes ganzheitliches Bewusstsein: Bestehende Methoden operieren häufig innerhalb eines Optimierungsparadigmas für einzelne Ziffern oder behandeln Dezimalzahlen als separate ganze Zahlen, wodurch sie die kontinuierliche Natur von Gleitkommazahlen und globale numerische Strukturen nicht erfassen.

2. Methodik: Digit Entropy Loss (DEL)

Die Autoren schlagen Digit Entropy Loss (DEL) vor, eine Umformulierung der konventionellen unüberwachten Entropieoptimierung, die auf das autoregressive numerische Lernen zugeschnitten ist. Die Methodik basiert auf drei grundlegenden Designprinzipien, die das Paradigma von „Kriterium-Distanz" zu „Ziffern-Entropie-Optimierung" verschieben.

A. Von Kriterium-Distanz zur Entropieoptimierung

Bestehende Methoden für numerisches Lernen folgen einer Kriterium-Distanz-Formulierung (Gleichung 4 im Paper):
$\mathcal{L}_N = \mathcal{H}(p, g) + \alpha \sum \mathcal{C}(\hat{p}) \cdot \mathcal{D}(V_d, g_t)$
wobei $\mathcal{C}$ der Kriteriumsterm und $\mathcal{D}$ der Distanzterm ist. Die Autoren argumentieren, dass der Distanzterm $\mathcal{D}$ suboptimal ist, da er einen geometrischen Prior auferlegt, der möglicherweise nicht mit der gelernten semantischen Struktur von Ziffern im LLM übereinstimmt.

B. Drei Schlüsselkonzepte von DEL

Überwachte Entropie via Ziffern-bedingter Wahrscheinlichkeit und BCE:
Anstatt Entropie auf unüberwachte Weise zu minimieren (was triviale One-Hot-Lösungen zulässt), führt DEL ein überwacht Kriterium ein. Es nutzt das Produkt der ziffern-bedingten Wahrscheinlichkeit ( $\hat{p}$ ) und der Binary Cross-Entropy (BCE).
$\mathcal{L}_{DEL} = \mathcal{H}(p, g) + \alpha \sum_{g_t \in V_d} \hat{p}(\cdot|x_{<t}) \cdot \text{BCE}(\bar{p}(\cdot|x_{<t}), y_t)$
Hierbei ist $\bar{p}$ die sigmoid-basierte Wahrscheinlichkeit für die binäre Klassifikation und $y_t$ das One-Hot-Label. Diese Formulierung lenkt die Entropieoptimierung in eine überwachte Richtung und stellt sicher, dass die Wahrscheinlichkeitsmasse auf die Zielziffern konzentriert wird, ohne die durch den konstanten Strafterm von NTL verursachte „Über-Schärfung".
Abschaffung des Distanzterms:
Die Autoren entfernen den Distanzterm ( $\mathcal{D}$ ) explizit aus der Verlustfunktion. Empirische Analysen von Ziffer-Token-Embeddings (via t-SNE) zeigen, dass die gelernte Ähnlichkeitsstruktur von Ziffern in LLMs den idealen numerischen Distanzen nicht strikt folgt (z. B. kann '0' im Embedding-Raum näher an '8' liegen als an '1'). Durch das Entfernen des Distanzterms vermeidet DEL das Einbringen widersprüchlicher geometrischer Priors und ermöglicht es dem Modell, sich auf seine gelernten semantischen Repräsentationen zu verlassen.
Generalisierung zur Gleitkommazahl-Optimierung:
Um mehrstellige ganze Zahlen und Dezimalzahlen ganzheitlich zu behandeln, führt DEL eine Strategie zur Optimierung von Gleitkommazahlen ein. Im Gegensatz zu früheren Methoden, die Dezimalzahlen als separate ganze Zahlen behandeln (was zu diskontinuierlichen Strafen führt), wendet DEL eine kontinuierliche Straffunktion $u(t)$ an:
- Lineare Strafe für Ganzzahlstellen ( $i \ge 0$ ).
- Exponentieller Abfall für Dezimalstellen ( $i < 0$ ).
  Dies gewährleistet einen glatten Übergang zwischen Ganzzahl- und Dezimalkomponenten und ermöglicht die genaue Vorhersage von Gleitkommazahlen.

3. Hauptbeiträge

Theoretische Analyse: Das Paper liefert eine tiefgehende Analyse, die zeigt, dass state-of-the-art Methoden für numerisches Lernen (NTL, DIST2Loss) ein „Kriterium-Distanz"-Paradigma teilen, das auf heuristischen Distanztermen beruht, die häufig nicht mit den semantischen Repräsentationen von LLMs übereinstimmen.
Neue Verlustfunktion: Die Einführung von Digit Entropy Loss (DEL), die das numerische Lernen durch die Kombination von ziffern-bedingter Wahrscheinlichkeit mit Binary Cross-Entropy neu formuliert und die Entropieminimierung effektiv auf überwachte Weise steuert.
Ganzheitliches Zahlenbewusstsein: Die Erweiterung des numerischen Lernens von der Optimierung einzelner Ziffern hin zur Optimierung von Gleitkommazahlen, wodurch die Diskontinuitätsprobleme bei der Dezimalvorhersage in früheren Arbeiten adressiert werden.
Empirische Validierung: Umfassende Experimente zeigen, dass DEL MLE, MixCE, EMO, NTL und DIST2Loss über mehrere Architekturen und Benchmarks hinweg übertrifft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten DEL auf sieben mathematischen Reasoning-Benchmarks (GSM8K, MATH, SVAMP, SimulEq, AQuA, SAT, MMLU) unter Verwendung von vier repräsentativen LLMs: CodeLlama, Mistral, DeepSeek-Math und Qwen-2.5.

Gesamtgenauigkeit: DEL erzielte konsistent die höchste mittlere Genauigkeit (mACC) über alle Modellarchitekturen und Benchmarks hinweg. Beispielsweise erreichte DEL auf dem Modell Qwen-2.5-7B eine mACC von 70,6 und übertraf dabei die Baseline MLE (68,3) sowie die zweitbeste Methode DIST2Loss (69,2).
Numerische Distanz: DEL reduzierte die numerische Distanz (Mean Absolute Error) zwischen vorhergesagten und Ground-Truth-Zahlen signifikant und demonstrierte eine präzisere Zahlengenerierung, selbst ohne explizite Distanzterme.
Entropie-Analyse: Im Gegensatz zu DIST2Loss, das die digitale Entropie (Unsicherheit) erhöhte, und NTL, das Verteilungen über-scharf machte, bewahrte DEL eine „mäßige" Optimierung der Zahlenunsicherheit und balancierte Bestimmtheit mit Flexibilität.
Ablationsstudien: Experimente bestätigten, dass das Entfernen des Distanzterms und die Integration der Gleitkommazahl-Optimierung entscheidend für die Leistungssteigerung waren. Insbesondere verschlechterte das Hinzufügen des Distanzterms zu DEL die Leistung, was die Entscheidung zur Abschaffung dieses Terms validiert.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass Digit Entropy Loss (DEL) einen bedeutenden Schritt vorwärts im numerischen Lernen für LLMs darstellt, indem er die Einschränkungen heuristischer, distanzbasierter Methoden adressiert.

Paradigmenwechsel: Die Arbeit argumentiert, dass sich das numerische Lernen von manuell definierten geometrischen Priors (Distanztermen) hin zu einer entropiebasierten Optimierung bewegen sollte, die die vom Modell gelernten semantischen Repräsentationen respektiert.
Zuverlässigkeit: Durch die Erzielung hochbestimmter Generierung für numerische Tokens dient DEL als Voraussetzung für den zuverlässigen Einsatz von LLMs in nachgelagerten Aufgaben, die quantitative Analysen und logische Deduktion erfordern.
Bescheidener Umfang: Die Autoren erkennen an, dass DEL zwar die Genauigkeit der Zahlengenerierung verbessert, aber auf Token-Ebene operiert und noch keine komplexen mathematischen Operationen (z. B. Addition, Multiplikation) oder globale numerische Semantiken gemeinsam modelliert. Sie positionieren DEL als grundlegende Verbesserung für die Zahlengenerierung und nicht als vollständige Lösung für alle Aspekte des mathematischen Reasonings.

Zusammenfassend stellt das Paper DEL als eine robuste, theoretisch fundierte Alternative zu bestehenden numerischen Verlustfunktionen vor und zeigt, dass das Entfernen künstlicher Distanzbeschränkungen und die Optimierung auf überwachte Entropie zu überlegener Leistung in mathematischen Reasoning- und Code-Generierungsaufgaben führt.