💬 NLP

Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

Das Papier stellt LenVM vor, ein skalierbares, annotationsfreies Framework, das die verbleibende Generierungslänge als token-level Wertsignal modelliert, die exakte Längenübereinstimmung erheblich verbessert und eine kontinuierliche Steuerung des Leistungs-Effizienz-Trade-offs in autoregressiven Modellen ermöglicht.

Ursprüngliche Autoren: Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang

Veröffentlicht 2026-05-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten einen Geschichtenerzähler, der eine Geschichte erzählt. Manchmal hält er nach ein paar Sätzen inne; zu anderen Zeiten schwadroniert er stundenlang weiter. In der Welt der Künstlichen Intelligenz (KI) ist dieses „Geschichtenerzählen" der Prozess der Textgenerierung, Token für Token.

Das Problem ist, dass aktuelle KI-Modelle wie Geschichtenerzähler sind, die nicht wissen, wann sie aufhören sollen. Sie könnten zu früh aufhören (die Geschichte unvollendet lassen) oder zu lange weitermachen (Zeit und Geld verschwenden). Bestehende Methoden, um dies zu steuern, sind wie eine unpräzise Anweisung, die dem Erzähler ganz am Anfang gegeben wird: „Erzähle eine 5-minütige Geschichte." Der Erzähler muss die gesamte Länge erraten, bevor er auch nur ein einziges Wort sagt, was oft zu Fehlern führt.

Dieses Papier stellt ein neues Werkzeug namens LenVM (Length Value Model) vor. Betrachten Sie LenVM als einen intelligenten inneren Kompass, den die KI während des Sprechens bei sich trägt.

Die Kernidee: Der Kompass „Entfernung zum Ziel"

Anstatt zu versuchen, die Gesamtlänge der Geschichte zu erraten, beantwortet LenVM an jedem einzelnen Schritt eine einfache Frage: „Wie weit muss ich noch?"

So funktioniert es, anhand einiger Analogien:

1. Die „Mautstraße"-Analogie
Stellen Sie sich vor, die KI fährt auf einer Autobahn. Jedes Mal, wenn sie ein Wort (einen „Token") generiert, muss sie eine winzige Mautgebühr zahlen.

Das Ziel: Die KI möchte das Ziel (das Ende des Satzes) so effizient wie möglich erreichen.
Die Berechnung: LenVM berechnet die „Gesamtmaut", die die KI von diesem exakten Moment bis zum Ende der Fahrt voraussichtlich zahlen wird.
Das Ergebnis: Wenn die KI gerade eine lange Erklärung beginnt, ist die „Gesamtmaut" hoch (eine große negative Zahl). Wenn die KI kurz vor dem Abschluss steht, ist die „Gesamtmaut" sehr niedrig (nahe Null).

2. Die „Thermostat"-Analogie
Normalerweise ist die KI-Generierung wie eine Heizung, die einfach Wärme abstrahlt, bis Sie sie manuell ausschalten. LenVM wirkt wie ein intelligenter Thermostat. Es erfasst ständig, wie nah der Raum an der Zieltemperatur (der Ziellänge) ist.

Wenn die KI bald aufhören muss, signalisiert LenVM: „Wir sind nah dran! Wählen Sie Wörter, die zu einem schnellen Abschluss führen."
Wenn die KI weitermachen muss, signalisiert LenVM: „Wir sind weit entfernt! Wählen Sie Wörter, die mehr Details zulassen."

Was LenVM tatsächlich tut (Die Behauptungen des Papiers)

Die Forscher haben diesen „Kompass" mit einem cleveren Trick trainiert: Sie brauchten keine menschliche Datenbeschriftung. Sie ließen die KI einfach Geschichten generieren, zählten die Wörter und lehrten LenVM, die „verbleibenden Kosten" für das Beenden dieser Geschichten vorherzusagen. Da dies bei jedem einzelnen Wort geschieht, sind die Trainingsdaten massiv und automatisch.

Hier ist, was das Papier beweist, dass LenVM leisten kann:

1. Präzise Längenkontrolle (Der „exakte Schnitt"-Schneider)
Wenn Sie eine KI bitten, genau 500 Wörter zu schreiben, verfehlen Standardmodelle das Ziel oft deutlich. LenVM wirkt wie ein Schneider mit einem Maßband.

Das Ergebnis: In einem Test namens LIFEBench verbesserte ein Standardmodell mit 7 Milliarden Parametern, das LenVM verwendet, seine Fähigkeit, exakte Wortzahlen zu treffen, von einer Punktzahl von 30,9 auf 64,8.
Der Vergleich: Dieses Open-Source-Modell mit LenVM schnitt beim Erreichen exakter Längen sogar besser ab als einige der fortschrittlichsten, proprietären „Black-Box"-Modelle (wie GPT-4o oder Claude), die sich auf einfache Prompts verlassen.

2. Das „Effizienz-Drehregler" (Der Kompromiss zwischen Leistung und Geschwindigkeit)
Manchmal wollen Sie eine perfekte, lange Antwort. Manchmal wollen Sie eine schnelle, „gut genug"-Antwort.

Das Ergebnis: LenVM ermöglicht es Ihnen, einen Regler zu schieben. Sie können der KI sagen: „Gib mir die beste Antwort, die du finden kannst, aber versuche, sie unter 200 Wörtern zu halten."
Die Magie: Ohne LenVM fällt die Genauigkeit bei Matheaufgaben, wenn Sie eine KI zwingen, bei 200 Wörtern aufzuhören, auf 6 % ab. Mit LenVM, das die Wortwahl leitet, bleibt die Genauigkeit hoch bei 63 %. Es findet die „Abkürzungen", die die KI bereits kennt, aber normalerweise ignoriert.

3. Die „Glaskugel" (Die Zukunft vorhersagen)
LenVM kann den allerersten Prompt betrachten (bevor die KI auch nur ein einziges Wort sagt) und vorhersagen, wie lang die Antwort sein wird.

Das Ergebnis: Es kann die Länge einer Lösung für ein Matheproblem oder eines Code-Snippets mit hoher Genauigkeit erraten. Dies hilft Computern, ihren Speicher und ihr Budget zu planen, bevor sie überhaupt mit der Arbeit beginnen.

4. Die „Röntgenvision" (Das Verständnis des KI-Geistes)
Da LenVM an jedem Schritt die „Entfernung zum Ziel" überprüft, offenbart es, wo die KI entscheidet, aufzuhören oder weiterzumachen.

Die Entdeckung: Das Papier fand heraus, dass Wörter wie „Ah", „Warte" oder „Lass uns nachdenken" oft signalisieren, dass die KI sich auf eine längere Reise begibt (ein „positiver Längen-Token"). Wörter wie „Daher", „Perfekt" oder Emojis wie ein Häkchen (✓) signalisieren, dass die KI sich zum Abschluss rüstet (ein „negativer Längen-Token"). Dies gibt uns einen Einblick in den Denkprozess der KI.

Zusammenfassung

LenVM ist eine neue Art, KI beizubringen, ihre eigene „Entfernung zur Ziellinie" zu verstehen. Es verwandelt das vage Konzept der „Länge" in ein präzises, mathematisches Signal, das die KI in Echtzeit nutzen kann.

Es ist annotationsfrei: Es lernt automatisch aus der eigenen Ausgabe der KI.
Es ist skalierbar: Es funktioniert besser, je größer die KI wird.
Es ist praktisch: Es ermöglicht uns, zu steuern, wie lange die KI spricht, ohne das Gehirn der KI zu verändern, sondern einfach, indem wir ihre Wahl Wort für Wort lenken.

Das Papier kommt zu dem Schluss, dass dieses „wertbasierte Signal auf Token-Ebene" ein mächtiges neues Werkzeug ist, um KI effizienter, vorhersehbarer und kontrollierbarer zu machen.

1. Problemstellung

In modernen autoregressiven Modellen (LLMs und VLMs) ist die Generierungslänge eine fundamentale Recheneinheit, die sich direkt auf die Inferenzkosten (Rechenleistung, Speicher, Latenz) und die Reasoning-Leistung auswirkt. Während bestehende Methoden versuchen, die Generierungslänge zu steuern oder vorherzusagen, leiden sie unter erheblichen Einschränkungen:

Grobkörnige Steuerung: Die meisten Ansätze arbeiten auf Sequenzebene (z. B. sequenzweite Strafen während des Trainings oder promptbasierte Anweisungen bei der Inferenz) anstatt die Dynamik der Generierung auf Token-Ebene zu modellieren.
Fehlen feinabgestufter Signale: Es fehlt ein Mechanismus, um den verbleibenden Generierungshorizont zu jedem Zeitpunkt des Dekodierens zu schätzen.
Annotation-Engpass: Traditionelles Reward-Modelling für Länge erfordert oft menschliche Kennzeichnung oder komplexe Reward-Modelle, die nicht gut skalieren.
Rigidität des Trade-offs: Harte Constraints (z. B. „stoppe bei 200 Tokens") verschlechtern häufig die Leistung, während aktuelle Methoden keinen glatten Mechanismus bieten, um zwischen Reasoning-Qualität und Token-Budget abzuwägen.

2. Methodik: Das Length Value Model (LenVM)

Die Autoren schlagen LenVM vor, ein Framework auf Token-Ebene, das die verbleibende Generierungslänge als Value-Schätzproblem innerhalb eines standardmäßigen Reinforcement-Learning-(RL-)Value-Funktions-Frameworks modelliert.

Kernformulierung

Anstatt rohe Token-Zahlen direkt vorherzusagen, formuliert LenVM das Length-Modelling als Problem des diskontierten Returns:

Reward-Struktur: Jeder generierte Token erhält eine konstante negative Reward: $r_t = -(1 - \gamma)$ , wobei $\gamma \in (0, 1)$ ein Diskontfaktor ist. Der terminale Zustand (EOS) hat eine Reward von 0.
Diskontierter Return: Der Zielwert $G_t$ zum Zeitpunkt $t$ für eine Trajektorie der Gesamtlänge $L$ ist definiert als die Summe zukünftiger diskontierter Rewards:
$G_t = \sum_{i=0}^{L-t-1} \gamma^i r_{t+i} = -(1 - \gamma^{L-t})$
Eigenschaften:
- Beschränkt: $G_t \in (-1, 0)$ , wodurch der unbeschränkte dynamische Bereich roher Längen vermieden wird.
- Monoton: Kürzere verbleibende Horizonte ergeben Werte näher an 0; längere Horizonte ergeben Werte näher an -1.
- Bellman-konsistent: Erfüllt die Rekursion $G_t = r_t + \gamma G_{t+1}$ .

Architektur und Training

Head: LenVM fügt einen skalaren Value-Head (ein 2-Schichten-MLP mit SiLU-Aktivierung) an den Hidden-State der letzten Schicht eines Basis-LLMs oder VLMs an.
Ausgabe: Der Head gibt einen Wert $V_\theta(s_t) = -\sigma(z_t)$ aus, wodurch sichergestellt wird, dass die Ausgabe im Bereich $(-1, 0)$ bleibt.
Trainingsziel: Das Modell wird durch annotationsfreies, dichtes, token-level Regression trainiert.
- Datengenerierung: Für einen gegebenen Prompt werden mehrere Completions aus einer festen Rollout-Policy gesampelt.
- Supervision: Der realisierte Return $G_t$ wird deterministisch aus der gesampelten Completion-Länge berechnet.
- Loss: Token-gemittelter Mean Squared Error (MSE) zwischen dem vorhergesagten Wert und dem realisierten Return.
- Skalierbarkeit: Das Supervisionssignal ist dicht (jeder Token ist ein Ziel), unverzerrt (Monte-Carlo-Sample unter fester Policy) und skaliert natürlich mit der Modellgröße, der Anzahl der Prompts und der Anzahl der gesampelten Completions.

3. Hauptbeiträge

Token-Level Length Modeling: LenVM ist das erste Framework, das die verbleibende Generierungslänge als kontinuierliches, token-level Value-Signal modelliert und somit eine feinabgestufte Steuerung und Vorhersage ermöglicht.
Annotationsfreie Skalierbarkeit: Das Trainingssignal wird vollständig aus gesampelten Completions abgeleitet, ohne menschliche Kennzeichnung oder externe Reward-Modelle, was eine hohe Skalierbarkeit über Modellgrößen und Datensätze hinweg ermöglicht.
Inferenzzeit-Steuerung: LenVM bietet einen Mechanismus zur Steuerung der Generierungslänge ohne Änderung der Basis-Modellgewichte und unterstützt sowohl harte Constraints als auch kontinuierliche Trade-offs.
Interpretierbarkeit: Die token-level Werte enthüllen „Length-Tokens", die Verschiebungen in Reasoning-Regimen signalisieren (z. B. Tokens wie „wait" oder „ah", die einen Wechsel zu längerem Reasoning anzeigen, im Gegensatz zu „therefore", das den Abschluss signalisiert).

4. Experimentelle Ergebnisse

Die Autoren evaluierten LenVM an LLMs (Qwen2.5, Qwen3) und VLMs in den Bereichen Mathematik, Code und Instruction-Following.

Length-Controlled Generation (LIFEBench):
- LenVM schneidet bei der exakten Längenübereinstimmung deutlich besser ab als führende geschlossene Modelle (GPT-4o, Claude, Gemini).
- Auf einem 7B-Modell verbesserte sich der Length Score bei der „Equal To"-Constraint von 30,9 auf 64,8, während die Längenabweichung von 71 % auf 44 % reduziert wurde.
Performance–Effizienz-Trade-off:
- Durch exponentielles Tilting basierend auf den vorhergesagten Werten von LenVM kann das Modell Genauigkeit und Token-Budget kontinuierlich ausbalancieren.
- Auf GSM8K mit einem 200-Token-Budget behielt LenVM eine Genauigkeit von 63 % bei, während eine harte Token-Budget-Baseline nur 6 % erreichte. Dies zeigt, dass das Basis-Modell kürzere erfolgreiche Reasoning-Pfade enthält, die LenVM aufdecken kann.
Generierungslängen-Vorhersage:
- LenVM kann den erwarteten Generierungshorizont ab der Prompt-Grenze vorhersagen (bevor überhaupt Tokens generiert wurden).
- Im 32B-Maßstab erreicht es einen Mean Relative Error (MRE) von 9,8 % für Mathematik, 14,9 % für Code und 17,1 % für Instruction-Following.
Skalierbarkeit:
- Der Validierungs-Loss nimmt konsistent ab, wenn die Modellgröße, die Anzahl der Trainings-Prompts und die Anzahl der gesampelten Completions pro Prompt erhöht werden.
Fallstudie (Length-Tokens):
- Die Analyse der Temporal-Difference-Residuen zeigt spezifische Tokens, die als Marker für Längenverschiebungen fungieren (z. B. „ah", „but" zum Verlängern des Reasonings; „therefore", „perfect" zum Beenden).

5. Bedeutung und zukünftige Implikationen

Allgemeines Framework: LenVM zeigt, dass die Generierungslänge effektiv als token-level Value-Signal modelliert werden kann, und bietet eine prinzipielle Alternative zu grobkörnigen Strafen.
RL-Fundament: Das Paper hebt hervor, dass LenVM als natürlicher, lizenspezifischer Value-Baseline für PPO-artiges RL dient. Es kann entweder als direkte Zielkomponente (zur Optimierung der Effizienz) oder als potentialbasiertes Reward-Shaping-Signal (zur Verbesserung des Credit Assignment ohne Änderung des Aufgabenziels) verwendet werden.
Praktischer Nutzen: Die Fähigkeit, Längen vorherzusagen und die Generierung dynamisch zu steuern, bietet unmittelbare Vorteile für die Inferenzplanung, das Speichermanagement und die Kostensenkung in produktiven LLM-Systemen.
Interpretierbarkeit: Durch die Visualisierung, wie spezifische Tokens den vorhergesagten Horizont verschieben, bietet LenVM eine neue Perspektive auf die internen Dynamiken von Reasoning-Modellen.

Zusammenfassend transformiert LenVM das Problem der Längenkontrolle von einer sequenzweiten Constraint in eine dichte, skalierbare, token-level Value-Schätzungsaufgabe und ermöglicht so präzise Steuerung, effiziente Inferenz und eine tiefere Interpretierbarkeit der autoregressiven Generierung.