Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

1. Probleemstelling

In moderne autoregressieve modellen (LLM's en VLM's) is de generatielengte een fundamentele eenheid van berekening die direct van invloed is op de inferentiekosten (rekenkracht, geheugen, latentie) en de redeneerprestaties. Hoewel bestaande methoden proberen de generatielengte te controleren of te voorspellen, lijden ze onder aanzienlijke beperkingen:

• Grofkorrelige Controle: De meeste benaderingen werken op sequentieniveau (bijvoorbeeld sequentie-level straffen tijdens training of prompt-gebaseerde instructies tijdens inferentie) in plaats van de dynamiek van generatie op token-niveau te modelleren.
• Gebrek aan Fijnkorrelige Signalen: Er ontbreekt een mechanisme om de overige generatiehorizon bij elke decodestap te schatten.
• Annotatie-瓶颈: Traditionele beloningsmodellering voor lengte vereist vaak menselijke labeling of complexe beloningsmodellen, die niet goed schalen.
• Rigiditeit van Trade-offs: Harde constraints (bijvoorbeeld "stop bij 200 tokens") degraderen vaak de prestaties, terwijl huidige methoden geen soepel mechanisme bieden om te wisselen tussen redeneerkwaliteit en token-budget.

2. Methodologie: Het Length Value Model (LenVM)

De auteurs stellen LenVM voor, een token-level framework dat de resterende generatielengte modelleert als een waarde-schatting probleem binnen een standaard Reinforcement Learning (RL) waarde-functie framework.

Kernformulering

In plaats van ruwe token-aantallen direct te voorspellen, formuleert LenVM lengtemodellering als een afgepaste terugkeerprobleem:

• Beloningsstructuur: Elke gegenereerde token krijgt een constante negatieve beloning: $r_t = -(1 - \gamma)$, waarbij $\gamma \in (0, 1)$ een afkoppelfactor is. De terminale staat (EOS) heeft een beloning van 0.
• Afgepaste Terugkeer: De doelwaarde $G_t$ op stap $t$ voor een traject van totale lengte $L$ wordt gedefinieerd als de som van toekomstige afgepaste beloningen:
  $$G_t = \sum_{i=0}^{L-t-1} \gamma^i r_{t+i} = -(1 - \gamma^{L-t})$$
• Eigenschappen:
  • Begrensd: $G_t \in (-1, 0)$, wat de onbegrensde dynamische reikwijdte van ruwe lengtes vermijdt.
  • Monotoon: Kortere resterende horizons leveren waarden dichter bij 0 op; langere horizons leveren waarden dichter bij -1 op.
  • Bellman-consistent: Voldoet aan de recursie $G_t = r_t + \gamma G_{t+1}$.

Architectuur en Training

• Kop: LenVM koppelt een scalair waardehoofd (een 2-laags MLP met SiLU-activatie) aan de verborgen toestand van de laatste laag van een basis-LLM of VLM.
• Output: Het hoofd geeft een waarde $V_\theta(s_t) = -\sigma(z_t)$ uit, waarbij ervoor wordt gezorgd dat de output binnen het bereik $(-1, 0)$ blijft.
• Trainingsdoel: Het model wordt getraind via annotatie-vrije, dichte, token-level regressie.
  • Data-generatie: Voor een gegeven prompt worden meerdere voltooiingen gesampled uit een vaste rollout-beleid.
  • Supervisie: De gerealiseerde terugkeer $G_t$ wordt deterministisch berekend uit de gesamplede voltooiingslengte.
  • Verlies: Token-gemiddelde Mean Squared Error (MSE) tussen de voorspelde waarde en de gerealiseerde terugkeer.
  • Schalbaarheid: Het supervisie-signaal is dicht (elk token is een doel), onbevooroordeeld (Monte Carlo steekproef onder vast beleid) en schaalt op natuurlijke wijze met modelgrootte, aantal prompts en aantal gesamplede voltooiingen.

3. Belangrijkste Bijdragen

1. Token-Level Lengtemodellering: LenVM is het eerste framework dat de resterende generatielengte modelleert als een continue, token-level waardesignaal, wat fijnkorrelige controle en voorspelling mogelijk maakt.
2. Annotatie-vrije Schalbaarheid: Het trainingssignaal is volledig afgeleid van gesamplede voltooiingen zonder menselijke labeling of externe beloningsmodellen, waardoor het zeer schaalbaar is over modelgroottes en datasets.
3. Controle tijdens Inferentie: LenVM biedt een mechanisme om de generatielengte te controleren zonder de gewichten van het basismodel aan te passen, en ondersteunt zowel harde constraints als continue trade-offs.
4. Interpreteerbaarheid: De token-level waarden onthullen "lengte-tokens" die verschuivingen in redeneerregimes signaleren (bijvoorbeeld tokens zoals "wacht" of "ah" die een verschuiving naar langere redenering aangeven, versus "daarom" die afsluiting aangeeft).

4. Experimentele Resultaten

De auteurs hebben LenVM geëvalueerd op LLM's (Qwen2.5, Qwen3) en VLM's in domeinen voor wiskunde, code en instructie-opvolging.

• Lengte-gestuurde Generatie (LIFEBench):
  • LenVM presteert aanzienlijk beter dan geavanceerde gesloten-bronmodellen (GPT-4o, Claude, Gemini) in exacte lengte-overeenkomst.
  • Op een 7B-model verbeterde de Lengtescore van 30,9 naar 64,8 op de "Gelijk aan"-constraint, terwijl de lengte-afwijking werd verlaagd van 71% naar 44%.
• Prestatie–Efficiëntie Trade-off:
  • Met behulp van exponentiële kanteling op basis van de voorspelde waarden van LenVM, kan het model continu nauwkeurigheid en token-budget in evenwicht brengen.
  • Op GSM8K met een budget van 200 tokens behield LenVM 63% nauwkeurigheid, terwijl een harde token-budget baseline slechts 6% behaalde. Dit toont aan dat het basismodel kortere succesvolle redeneerpaden bevat die LenVM kan blootleggen.
• Voorspelling van Generatielengte:
  • LenVM kan de verwachte generatiehorizon voorspellen vanaf de promptgrens (voordat er tokens zijn gegenereerd).
  • Op schaal van 32B bereikt het een Mean Relative Error (MRE) van 9,8% voor wiskunde, 14,9% voor code en 17,1% voor instructie-opvolging.
• Schalbaarheid:
  • De validatieverlies neemt consistent af naarmate de modelgrootte, het aantal trainingsprompts en het aantal gesamplede voltooiingen per prompt toenemen.
• Case Study (Lengte-tokens):
  • Analyse van temporal-difference-residuen onthult specifieke tokens die fungeren als markers voor lengte-verschuivingen (bijvoorbeeld "ah", "maar" voor het verlengen van redenering; "daarom", "perfect" voor het beëindigen).

5. Betekenis en Toekomstige Implicaties

• Algemeen Framework: LenVM stelt vast dat generatielengte effectief kan worden gemodelleerd als een token-level waardesignaal, wat een principiële alternatief biedt voor grofkorrelige straffen.
• RL-fundering: Het paper benadrukt dat LenVM dient als een natuurlijke, lengte-specifieke waarde-basislijn voor PPO-stijl RL. Het kan worden gebruikt als een direct doelcomponent (om efficiëntie te optimaliseren) of als een potentieel gebaseerd beloningsvormingssignaal (om credit assignment te verbeteren zonder het taakdoel te veranderen).
• Praktische Nut: Het vermogen om lengte te voorspellen en generatie dynamisch te controleren biedt directe voordelen voor inferentieplanning, geheugenbeheer en kostenreductie in productie-LLM-systemen.
• Interpreteerbaarheid: Door te visualiseren hoe specifieke tokens de voorspelde horizon verschuiven, biedt LenVM een nieuwe lens op de interne dynamiek van redeneermodellen.

Kortom, LenVM transformeert het probleem van lengtecontrole van een sequentie-level constraint naar een dichte, schaalbare, token-level waarde-schattingstaak, waardoor precieze controle, efficiënte inferentie en diepere interpreteerbaarheid van autoregressieve generatie mogelijk worden.