Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

1. Enunciato del Problema

Nei modelli autoregressivi moderni (LLM e VLM), la lunghezza di generazione è un'unità fondamentale di calcolo che impatta direttamente il costo dell'inferenza (calcolo, memoria, latenza) e le prestazioni di ragionamento. Sebbene i metodi esistenti tentino di controllare o prevedere la lunghezza di generazione, soffrono di limitazioni significative:

• Controllo a Grana Grossa: La maggior parte degli approcci opera a livello di sequenza (ad esempio, penalità a livello di sequenza durante l'addestramento o istruzioni basate su prompt all'inferenza) piuttosto che modellare la dinamica di generazione a livello di token.
• Mancanza di Segnali a Grana Fine: Manca un meccanismo per stimare l'orizzonte di generazione rimanente ad ogni passo di decodifica.
• Colli di Bottiglia nell'Annotazione: La modellazione tradizionale della ricompensa per la lunghezza richiede spesso etichettatura umana o modelli di ricompensa complessi, che non scalano bene.
• Rigidità del Trade-off: I vincoli rigidi (ad esempio, "fermati a 200 token") spesso degradano le prestazioni, mentre i metodi attuali mancano di un meccanismo fluido per bilanciare la qualità del ragionamento e il budget di token.

2. Metodologia: Il Modello di Valore della Lunghezza (LenVM)

Gli autori propongono LenVM, un framework a livello di token che modella la lunghezza di generazione rimanente come un problema di stima del valore all'interno di un framework standard di funzione di valore per l'Apprendimento per Rinforzo (RL).

Formulazione Principale

Invece di prevedere direttamente i conteggi grezzi dei token, LenVM formula la modellazione della lunghezza come un problema di ritorno scontato:

• Struttura della Ricompensa: Viene assegnata una ricompensa negativa costante per ogni token generato: $r_t = -(1 - \gamma)$, dove $\gamma \in (0, 1)$ è un fattore di sconto. Lo stato terminale (EOS) ha una ricompensa di 0.
• Ritorno Scontato: Il valore target $G_t$ al passo $t$ per una traiettoria di lunghezza totale $L$ è definito come la somma dei futuri premi scontati:
  $$G_t = \sum_{i=0}^{L-t-1} \gamma^i r_{t+i} = -(1 - \gamma^{L-t})$$
• Proprietà:
  • Limitato: $G_t \in (-1, 0)$, evitando l'intervallo dinamico illimitato delle lunghezze grezze.
  • Monotono: Orizzonti rimanenti più brevi producono valori più vicini a 0; orizzonti più lunghi producono valori più vicini a -1.
  • Consistente con Bellman: Soddisfa la ricorsione $G_t = r_t + \gamma G_{t+1}$.

Architettura e Addestramento

• Testa (Head): LenVM attacca una testa di valore scalare (un MLP a 2 livelli con attivazione SiLU) allo stato nascosto dell'ultimo livello di un LLM o VLM di base.
• Output: La testa produce un valore $V_\theta(s_t) = -\sigma(z_t)$, garantendo che l'output rimanga nell'intervallo $(-1, 0)$.
• Obiettivo di Addestramento: Il modello è addestrato tramite regressione densa a livello di token, senza annotazioni.
  • Generazione dei Dati: Per un dato prompt, vengono campionate multiple completazioni da una policy di rollout fissa.
  • Supervisione: Il ritorno realizzato $G_t$ è calcolato deterministicamente dalla lunghezza della completazione campionata.
  • Perdita: Errore quadratico medio (MSE) mediato sui token tra il valore previsto e il ritorno realizzato.
  • Scalabilità: Il segnale di supervisione è denso (ogni token è un target), non distorto (campionamento Monte Carlo sotto policy fissa) e scala naturalmente con la dimensione del modello, il numero di prompt e il numero di completazioni campionati.

3. Contributi Chiave

1. Modellazione della Lunghezza a Livello di Token: LenVM è il primo framework a modellare la lunghezza di generazione rimanente come un segnale di valore continuo a livello di token, abilitando controllo e previsione a grana fine.
2. Scalabilità senza Annotazioni: Il segnale di addestramento è derivato interamente dalle completazioni campionate senza etichettatura umana o modelli di ricompensa esterni, rendendolo altamente scalabile attraverso dimensioni del modello e dataset.
3. Controllo all'Inferenza: LenVM fornisce un meccanismo per controllare la lunghezza di generazione senza modificare i pesi del modello di base, supportando sia vincoli rigidi che trade-off continui.
4. Interpretabilità: I valori a livello di token rivelano "token di lunghezza" che segnalano cambiamenti nei regimi di ragionamento (ad esempio, token come "aspetta" o "ah" che indicano un passaggio a un ragionamento più lungo, rispetto a "quindi" che indica la chiusura).

4. Risultati Sperimentali

Gli autori hanno valutato LenVM su LLM (Qwen2.5, Qwen3) e VLM in domini di matematica, codice e follow-up di istruzioni.

• Generazione Controllata per Lunghezza (LIFEBench):
  • LenVM supera significativamente i modelli closed-source all'avanguardia (GPT-4o, Claude, Gemini) nella corrispondenza esatta della lunghezza.
  • Su un modello da 7B, il Punteggio di Lunghezza è migliorato da 30,9 a 64,8 sul vincolo "Uguale a", riducendo contemporaneamente la deviazione di lunghezza dal 71% al 44%.
• Trade-off Prestazioni-Efficienza:
  • Utilizzando l'inclinazione esponenziale basata sui valori previsti da LenVM, il modello può bilanciare continuamente accuratezza e budget di token.
  • Su GSM8K con un budget di 200 token, LenVM ha mantenuto un'accuratezza del 63%, mentre una baseline con budget rigido di token ha raggiunto solo il 6%. Questo dimostra che il modello di base contiene percorsi di ragionamento di successo più brevi che LenVM può scoprire.
• Previsione della Lunghezza di Generazione:
  • LenVM può prevedere l'orizzonte di generazione atteso dal confine del prompt (prima che venga generato qualsiasi token).
  • Alla scala di 32B, raggiunge un Errore Relativo Medio (MRE) del 9,8% per la matematica, del 14,9% per il codice e del 17,1% per il follow-up di istruzioni.
• Scalabilità:
  • La perdita di validazione diminuisce costantemente all'aumentare della dimensione del modello, del numero di prompt di addestramento e del numero di completazioni campionati per prompt.
• Studio di Caso (Token di Lunghezza):
  • L'analisi dei residui di differenza temporale rivela token specifici che agiscono come marcatori per gli spostamenti di lunghezza (ad esempio, "ah", "ma" per estendere il ragionamento; "quindi", "perfetto" per terminare).

5. Significato e Implicazioni Future

• Framework Generale: LenVM stabilisce che la lunghezza di generazione può essere modellata efficacemente come un segnale di valore a livello di token, fornendo un'alternativa principiale alle penalità a grana grossa.
• Fondamento RL: Il paper evidenzia che LenVM funge da baseline di valore naturale e specifica per la lunghezza per il RL di tipo PPO. Può essere utilizzato sia come componente diretta dell'obiettivo (per ottimizzare l'efficienza) sia come segnale di rimodellamento della ricompensa basato su potenziali (per migliorare l'assegnazione del credito senza cambiare l'obiettivo del compito).
• Utilità Pratica: La capacità di prevedere la lunghezza e controllare la generazione dinamicamente offre benefici immediati per la pianificazione dell'inferenza, la gestione della memoria e la riduzione dei costi nei sistemi LLM di produzione.
• Interpretabilità: Visualizzando come specifici token spostano l'orizzonte previsto, LenVM offre una nuova lente sulle dinamiche interne dei modelli di ragionamento.

In sintesi, LenVM trasforma il problema del controllo della lunghezza da un vincolo a livello di sequenza in un compito di stima del valore denso, scalabile e a livello di token, abilitando un controllo preciso, un'inferenza efficiente e una maggiore interpretabilità della generazione autoregressiva.