🤖 machine learning

Teaching Metric Distance to Discrete Autoregressive Language Models

Dieser Beitrag stellt DIST2Loss vor, eine distanzbewusste Zielfunktion für diskrete autoregressive Sprachmodelle, die traditionelle One-Hot-Ziele durch reward-gewichtete Verteilungen ersetzt, um die Dateneffizienz und Leistung bei vielfältigen Aufgaben wie visuellem Grounding, Robotik und Bildgenerierung durch die Nutzung metrischer Beziehungen zwischen Tokens zu verbessern.

Ursprüngliche Autoren: Jiwan Chung, Saejin Kim, Yongrae Jo, Jaewoo Park, Dongjun Min, Youngjae Yu

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiwan Chung, Saejin Kim, Yongrae Jo, Jaewoo Park, Dongjun Min, Youngjae Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter zu sprechen oder zu handeln. Derzeit lernen die meisten großen Sprachmodelle (LLMs) wie ein Schüler, der einen Multiple-Choice-Test macht, bei dem es nur eine richtige Antwort gibt. Wenn der Roboter „4" rät, die Antwort aber „5" ist, sagt der Lehrer: „Falsch! Versuchen Sie es erneut." Er behandelt „4" und „5" als völlig unterschiedliche, unzusammenhängende Dinge, genau so wie er „Apfel" und „Banane" als unzusammenhängend behandelt.

Die Arbeit stellt eine neue Lehrmethode namens DIST2Loss vor. Sie argumentiert, dass für bestimmte Aufgaben – wie Mathematik, Roboterbewegungen oder das Zeichnen von Umrandungen um Objekte – die Antworten nicht nur zufällige Kategorien sind; sie haben einen Abstand zueinander. „4" liegt sehr nahe an „5", aber „4" liegt weit entfernt von „90".

So erklärt die Arbeit dies mit einfachen Analogien:

1. Das Problem: Der „Alles-oder-Nichts"-Lehrer

Auf die alte Art (genannt „One-Hot-Ziele") sagt der Computer, wenn ein Roboter lernt, eine Umrandung um eine Katze zu zeichnen und er eine Umrandung zeichnet, die etwas zu klein ist: „Totaler Misserfolg." Es spielt keine Rolle, ob die Umrandung 1 Pixel oder 100 Pixel daneben liegt; die Strafe ist dieselbe.

Das ist wie ein Lehrer, der einen Mathe-Test korrigiert, bei dem die Antwort „4,9" anstelle von „5,0" eine Null ergibt, genau wie die Antwort „100". Das Modell lernt nicht, dass „4,9" eigentlich fast richtig war.

2. Die Lösung: Die „Belohnungskarte" (DIST2Loss)

Die Autoren entwickelten eine neue Art, den Roboter zu benoten. Anstelle eines einfachen „Richtig/Falsch"-Schalters geben sie dem Roboter eine Belohnungskarte.

Die Analogie: Stellen Sie sich vor, Sie werfen Pfeile auf ein Ziel.
- Alte Methode: Wenn Sie die Mitte treffen, erhalten Sie 10 Punkte. Wenn Sie auch nur einen Millimeter daneben liegen, erhalten Sie 0 Punkte.
- DIST2Loss: Wenn Sie die Mitte treffen, erhalten Sie 10 Punkte. Wenn Sie einen Millimeter daneben liegen, erhalten Sie 9,9 Punkte. Wenn Sie eine Meile daneben liegen, erhalten Sie 0 Punkte.

Das Modell lernt, dass nahe besser ist als weit entfernt. Es nutzt den tatsächlichen Abstand zwischen Zahlen oder Koordinaten, um ein „weiches" Ziel zu erstellen. Wenn die Antwort 5 ist, wird das Modell dazu ermutigt, eine hohe Wahrscheinlichkeit für 4 und 6 anzunehmen und eine niedrigere Wahrscheinlichkeit für 1 oder 10.

3. Warum das besonders ist: Kein „Versuch und Irrtum"

Normalerweise müssen Sie, um einem Roboter beizubringen, „Nähe" zu verstehen, eine Methode namens Bestärkendes Lernen (Reinforcement Learning, RL) verwenden. Das ist wie das Trainieren eines Hundes: Sie lassen den Hund etwas versuchen, sehen, ob es funktioniert, und geben ihm dann eine Leckerbissen oder eine Rüge. Das dauert lange, ist chaotisch und kann instabil sein.

Die Arbeit behauptet, DIST2Loss sei ein Abkürzung. Sie berechnet die „perfekte" Belohnungskarte mathematisch von Anfang an. Es ist, als würde man dem Hund eine Karte geben, wo die Leckerbissen versteckt sind, bevor er überhaupt zu laufen beginnt. Das Modell lernt das Konzept der „Entfernung" sofort, ohne tausende Male raten und scheitern zu müssen.

4. Wo es funktioniert (Die Experimente der Arbeit)

Die Autoren testeten diese „abstandsaware" Lehrmethode in vier spezifischen Bereichen, in denen „Nähe" wichtig ist:

Visuelles Grounding (Objekte finden): Wenn ein Roboter aufgefordert wird, eine Umrandung um ein „rotes Auto" zu zeichnen, hilft DIST2Loss ihm, eine Umrandung zu zeichnen, die geometrisch näher am echten Auto liegt, auch wenn sie nicht perfekt ist.
Robotik (Bewegen von Armen): Wenn ein Roboter seinen Arm zu einer bestimmten Koordinate (x, y, z) bewegen muss, hilft DIST2Loss ihm, die Bewegung schneller und genauer zu lernen, weil es versteht, dass ein leichtes Abweichen besser ist als ein extremes.
Belohnungsmodellierung (Antworten bewerten): Wenn ein Modell bewerten muss, wie gut die Antwort eines Menschen ist (z. B. auf einer Skala von 1 bis 10), hilft DIST2Loss ihm zu verstehen, dass eine „9" viel näher an einer „10" liegt als eine „1", was zu einer besseren Bewertung führt.
Bildgenerierung: Beim Erstellen von Bildern aus Text verwendet das Modell „Tokens" (digitale Bausteine). DIST2Loss hilft ihm zu verstehen, dass das Ersetzen eines Tokens durch ein „nahes" Token das Bild ähnlich aussehen lässt, während das Ersetzen durch ein „fernes" Token das Bild ruiniert.

Das Fazit

Die Arbeit behauptet, dass das Modell, indem man ihm einfach sagt: „Hey, diese Zahlen liegen nahe beieinander", bei Aufgaben mit Zahlen, Koordinaten und Messungen viel besser wird. Es macht das Modell effizienter (benötigt weniger Daten zum Lernen) und genauer, ohne komplexe, instabile Trainingsmethoden zu benötigen. Es verwandelt eine „schwarz-weiße" Welt von Richtig/Falsch in eine Welt der „Grautöne", in der das Nahelegen etwas zählt.

Technische Zusammenfassung: Vermittlung metrischer Distanz diskreten autoregressiven Sprachmodellen

Problemstellung

Large Language Models (LLMs) und andere diskrete autoregressive fundamentale Modelle funktionieren durch die Vorhersage von Tokens aus einem Vokabular, wobei jeder Token als diskrete kategorische Variable behandelt wird, die gegen eine One-Hot-Zielverteilung optimiert wird. Obwohl diese Formulierung die Anpassung von LLMs an diverse Domänen wie Vision, Robotik und multimodales Schlussfolgern ermöglicht hat, ignoriert sie grundsätzlich die metrischen Beziehungen zwischen Tokens.

Bei Aufgaben, die numerisch oder metrisch strukturierte Elemente beinhalten – wie ganze Zahlen beim arithmetischen Schlussfolgern, räumliche Koordinaten bei der Objekterkennung, Rotationswinkel bei der robotischen Manipulation oder quantisierte Embeddings bei der Bildgenerierung – geht die intrinsische Distanzstruktur verloren, wenn Tokens auf One-Hot-Ziele reduziert werden. Das konventionelle Training ignoriert, dass eine Vorhersage von „4" semantisch näher an einem Ground-Truth-Wert von „5" liegt als eine Vorhersage von „2". Diese Einschränkung behindert die Dateneffizienz und die Leistung in Domänen, in denen Distanz aussagekräftig ist.

Methodik: DIST2Loss

Die Autoren stellen DIST2Loss (DIScreTized DISTance Loss) vor, eine distanzbewusste Zielfunktion für diskrete autoregressive Modelle. Die Kernidee besteht darin, die Standard-One-Hot-Zielverteilung durch eine belohnungsgewichtete Verteilung zu ersetzen, die aus vordefinierten Token-Distanzen abgeleitet wird.

Kernformulierung

Gegeben eine Teilmenge des Vokabulars $V_d$ und ein metrischer Raum $(X, d)$ , konstruiert DIST2Loss eine Zielverteilung $p_d(v|x, t)$ für einen Token $v$ zum Zeitpunkt $t$ , gegeben einen Ground-Truth-Token $x$ . Diese Verteilung wird unter Verwendung einer diskretisierten Exponentialfamilie definiert:

$p_d(v|x, t) = \frac{\exp\left(-\frac{d(v, x, t)}{\tau}\right)}{\sum_{v' \in V_d} \exp\left(-\frac{d(v', x, t)}{\tau}\right)}$

Wobei:

$d(v, x, t)$ die Distanz zwischen dem Kandidaten-Token $v$ und dem Ground Truth $x$ ist (z. B. euklidische Distanz für Koordinaten, Winkelabstand für Rotationen oder Embedding-Distanz für VQ-Codes).
$\tau$ ein Temperatur-Hyperparameter ist, der die Glätte der Verteilung steuert.

Das finale Trainingsziel kombiniert den Standard-Cross-Entropy-Verlust ( $L_{CE}$ ) mit der distanzbasierten Regularisierung:
$L = L_{CE} + \alpha L_{dist}$
wobei $L_{dist}$ die KL-Divergenz zwischen der vom Modell vorhergesagten Verteilung und der distanzbewussten Zielverteilung $p_d$ ist und $\alpha$ die beiden Terme ausbalanciert.

Theoretische Interpretation

DIST2Loss wird als geschlossene Lösung für die entropie-regulierte Policy-Optimierung interpretiert. Im Reinforcement Learning (RL) fördert die Entropie-Regularisierung die Exploration, indem sie verhindert, dass die Policy zu früh kollabiert. Die optimale Policy zur Maximierung der erwarteten Belohnung mit Entropie-Regularisierung ist bekanntermaßen proportional zu $\exp(R(a)/\tau)$ . DIST2Loss setzt dies um, indem es Kandidaten-Tokens als Aktionen und den negativen Abstand als Belohnungssignal behandelt. Im Gegensatz zum traditionellen RL, das Sampling, Rollouts und iterative Updates erfordert, bietet DIST2Loss eine stabile, varianzfreie, analytische Zielverteilung und vermeidet die Instabilität, die mit Policy-Gradient-Schätzern verbunden ist.

Umgang mit hohen Dimensionen und Multi-Token-Sequenzen

Das Framework ist flexibel genug, um hochdimensionale kontinuierliche Vektoren (z. B. VQ-Embeddings) zu verarbeiten, indem Distanzmetriken über deren Embeddings definiert werden (z. B. kosinussimilarität). Für Multi-Token-strukturierte Elemente (wie mehrstellige Zahlen) stellen die Autoren fest, dass die direkte Anwendung des Verlusts auf ein „Credit-Assignment-Problem" stößt, bei dem das Modell nicht unterscheiden kann, welcher Token einen Fehler verursacht hat. Um dies zu mildern, schlagen sie praktische Workarounds vor, wie Contrastive Target Augmentation (Sampling negativer Nachbarn) und Place Value Weighting (Gewichtung des Verlusts nach positionsbezogener Signifikanz), obwohl ihre primären Experimente sich auf Aufgaben konzentrieren, bei denen sich Belohnungen natürlich auf Token-Ebene zerlegen lassen.

Hauptbeiträge

DIST2Loss-Framework: Ein Plug-and-Play-Ziel, das metrische Struktur in das diskrete autoregressive Training integriert, ohne zusätzliche Daten oder erheblichen Rechenaufwand zu erfordern.
Theoretische Brücke: Herstellen einer Verbindung zwischen distanzbewusster Überwachung und entropie-reguliertem RL, was eine stabile Alternative zum Reinforcement Learning für Aufgaben mit bekannten Belohnungen pro Token bietet.
Generalisierung: Demonstration, dass die Methode über diverse Domänen hinweg anwendbar ist, von der 1D-skalarer Regression bis zur hochdimensionalen Bildgenerierung, sofern die Tokens eine aussagekräftige Metrik zulassen.

Experimentelle Ergebnisse

Die Autoren evaluierten DIST2Loss über fünf verschiedene Domänen hinweg und zeigten konsistent Verbesserungen in der Dateneffizienz und der downstream-Leistung:

Synthetische Funktionsregression (Beispielaufgabe): In einem Meta-Learning-Setup, bei dem Modelle lineare Regression aus nur 1–10 Beispielen lernen, übertraf DIST2Loss Standard-SFT und vokal-beschränkte Baselines signifikant in Bezug auf den mittleren absoluten Fehler (MAE) und den quadratischen mittleren Fehler (RMSE) und zeigte eine überlegene strukturelle Generalisierung.
Visuelles Grounding: Durch Feinabstimmung von Phi3V auf RefCOCO/RefCOCO+/RefCOCOg ohne Vorab-Training für Objekterkennung erreichte DIST2Loss eine Leistung, die mit State-of-the-Art-Modellen vergleichbar ist, die auf großen Datensätzen für die Detektion vorab trainiert wurden. Bemerkenswerterweise waren selbst in „schwierigen Fällen", in denen beide Modelle das falsche Objekt vorhersagten, die Vorhersagen von DIST2Loss geometrisch näher am Ground Truth (höherer IoU).
Robotische Manipulation: Auf dem VIMABench verbesserte DIST2Loss die Erfolgsquoten bei der Generierung robotischer Aktionen (Gelenkwinkel und Koordinaten). Die Gewinne waren in datenarmen Regimen (1K Beispiele) am ausgeprägtesten, was den Wert metrischer Priors unterstreicht, wenn Daten begrenzt sind.
Generatives Reward-Modeling: Angewendet auf LLM-Alignment (RLHF) verbesserte DIST2Loss die Leistung des Reward-Modelings auf RewardBench und MT-Bench. Der generative Ansatz mit DIST2Loss übertraf sowohl Standard-Binary-Klassifikatoren als auch SFT-Baselines, insbesondere in den Bereichen „Chat Hard" und „Safety".
Bildgenerierung: Unter Verwendung vektoriell quantisierter (VQ) Darstellungen verbesserte DIST2Loss das Lernen von Bildrepräsentationen in autoregressiven Modellen (LlamaGen) und erzielte im Vergleich zu SFT-Baselines über verschiedene Modellgrößen und Trainingsepochen hinweg niedrigere FID-Werte und höhere IS-Werte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass distanzbewusste Überwachung eine einfache und allgemeine Alternative zur One-Hot-Überwachung für diskrete autoregressive Modelle darstellt. Die Bedeutung liegt in der Fähigkeit:

Intrinsische Struktur zu nutzen: Die metrischen Beziehungen auszunutzen, die vielen nicht-textuellen Aufgaben (Koordinaten, Zahlen, Embeddings) inhärent sind und die sonst von der Standard-Cross-Entropy ignoriert werden.
Dateneffizienz zu verbessern: Bessere Leistung mit weniger Trainingsbeispielen zu erzielen, indem induktive Voreingenommenheiten direkt in die Verlustfunktion kodiert werden.
Training zu stabilisieren: Eine geschlossene, stabile Alternative zum Reinforcement Learning für die Reward-Ausrichtung bereitzustellen und die Sampling- und Instabilitätsprobleme von Policy-Gradienten zu vermeiden.

Die Autoren betonen, dass die Methode am effektivsten ist, wenn Tokens eine aussagekräftige Metrik zulassen (z. B. numerische Werte, Koordinaten, quantisierte Embeddings). In Domänen ohne intrinsische Geometrie reduziert sich die Methode naturgemäß auf die Standard-One-Hot-Überwachung. Die Arbeit legt nahe, dass für eine breite Palette von multimodalen und Schlussfolgerungsaufgaben die Integration metrischer Distanz eine entscheidende, jedoch bisher untergenutzte Komponente beim Training diskreter fundamentaler Modelle ist.