LLM REgression with a Latent Iterative State Head

1. Il Problema: Adattare gli LLM alla Regressione

Nel paradigma attuale "text-to-text" dei Large Language Models (LLM), la maggior parte dei compiti NLP viene trattata come generazione di testo. Tuttavia, i compiti di regressione (prevedere valori numerici continui) presentano una sfida fondamentale:

• Disallineamento Obiettivo: Gli LLM sono pre-addestrati per prevedere il prossimo token (obiettivo di entropia incrociata), che tratta i numeri come token discreti. La regressione richiede invece di minimizzare l'errore numerico (es. MSE), dove 0.9 è molto più vicino a 1.0 rispetto a 0.1.
• Limiti delle Approcci Esistenti:
  • Decodifica Autoregressiva: Genera stringhe numeriche come testo. È inefficiente e sensibile al formato, poiché non ottimizza direttamente l'errore numerico.
  • Inferenza Consapevole della Regressione (RAIL): Cerca di correggere il disallineamento calcolando la media a posteriori delle distribuzioni di output, ma richiede campionamento multipli o enumerazione, aumentando drasticamente i costi computazionali all'inferenza.
  • Teste Predittive (Predictive Heads): Evitano la generazione di testo mappando direttamente le rappresentazioni interne dell'LLM a un numero. Tuttavia, le soluzioni attuali si basano su semplici tecniche di pooling (es. media dei token), che possono perdere informazioni fini e specifiche per la regressione presenti nelle rappresentazioni token-level.

L'obiettivo del lavoro è creare un metodo che mantenga l'efficienza delle teste predittive (inferenza in un singolo passaggio) ma ne superi le prestazioni, avvicinandosi a quelle dei metodi consapevoli della regressione senza il loro costo computazionale.

2. Metodologia: RELISH

RELISH (REgression with a Latent Iterative State Head) è una nuova architettura leggera e potente progettata per estrarre valori scalari direttamente dalle rappresentazioni di un LLM "congelato" (frozen).

Architettura Chiave

A differenza dei metodi tradizionali che riducono la sequenza di token a un vettore fisso tramite pooling statico, RELISH introduce un meccanismo di affinamento iterativo:

1. Stato Latente Iniziale: Parte da uno stato latente appreso $r^{(0)}$.
2. Raffinamento Iterativo tramite Cross-Attention: Lo stato latente viene aggiornato iterativamente ($L$ volte) attraverso un meccanismo di cross-attention. In ogni passo, lo stato latente agisce come query per interrogare le rappresentazioni dei token dell'input ($H(x)$) che fungono da key e value.
   • Formula: $r^{(i)} = \text{Refine}(r^{(i-1)}, H(x))$
   • Questo permette al modello di aggregare dinamicamente le informazioni rilevanti dalla sequenza, invece di una semplice media statica.
3. Predizione Lineare: Lo stato finale $r^{(L)}$ viene mappato a una previsione scalare tramite un regressore lineare semplice: $\hat{y} = w^\top r^{(L)} + b$.

Efficienza e Addestramento

• LLM Congelato: L'architettura principale dell'LLM rimane congelata; solo i parametri della testa RELISH (proiezione, stato latente, blocchi di raffinamento, regressore) vengono addestrati.
• Obiettivo: Utilizza la Loss di Huber su target normalizzati per garantire stabilità durante l'addestramento.
• Parametri: Richiede solo circa 3.4–3.7 milioni di parametri aggiuntivi, indipendentemente dalle dimensioni dell'LLM sottostante (a differenza di LoRA che scala con le dimensioni del modello).

3. Contributi Chiave

1. Nuova Architettura Predittiva: Propone RELISH, che sostituisce il pooling statico con un meccanismo di sintesi iterativa basato su attenzione, permettendo un'estrazione più robusta di informazioni rilevanti per la regressione.
2. Confronto Unificato: Fornisce un confronto concettuale ed empirico completo tra le tre famiglie principali di regressione con LLM (decodifica autoregressiva, inferenza consapevole della regressione, teste predittive) su cinque dataset e quattro backbones diversi.
3. Efficienza Parametrica: Dimostra che è possibile ottenere prestazioni di punta con un overhead di parametri estremamente basso (0.01–0.04% rispetto al modello base), superando di gran lunga le soluzioni basate su LoRA (0.26–0.42%).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su:

• Dataset: 5 dataset (STS-B, SICK-R, e tre varianti di WMT per la stima della qualità della traduzione).
• Backbone: 4 LLM (Llama 3.1 8B, Qwen3 8B/32B, Gemma 3 27B).
• Regimi: Modelli congelati e modelli con fine-tuning LoRA.

Prestazioni:

• RELISH ha superato costantemente tutti i baselines (inclusi i metodi autoregressivi, RAIL, RAFT e le teste predittive lineari/MLP).
• Miglioramenti: Rispetto al secondo metodo migliore (RAFT), RELISH ha migliorato la correlazione di Pearson del 6.7%, Spearman del 7.2% e l'NRMSE (errore quadratico medio normalizzato) del 19.9%.
• Robustezza: Le prestazioni sono state superiori sia su modelli congelati che su modelli con LoRA, dimostrando che il guadagno deriva dall'architettura della testa e non solo dall'adattamento del backbone.
• Efficienza: Mentre LoRA richiede fino a 134M di parametri per modelli grandi (32B), RELISH rimane stabile a ~3.7M, rendendolo ideale per scenari con risorse limitate.

5. Significato e Implicazioni

Il lavoro di RELISH è significativo perché risolve il "collo di bottiglia della verbalizzazione" (la difficoltà di convertire rappresentazioni interne in numeri precisi) e il "collo di bottiglia del riassunto" (la perdita di informazioni nel pooling statico) senza i costi computazionali dell'inferenza multi-campione.

• Applicazioni Pratiche: L'architettura è ideale per compiti come la Reward Modeling (modelli di ricompensa), LLM-as-a-Judge (valutazione di risposte LLM con punteggi scalari) e la stima della confidenza, dove è richiesta una previsione numerica precisa e rapida.
• Futuro: RELISH apre la strada a un'interazione più diretta tra le rappresentazioni semantiche profonde degli LLM e compiti di regressione numerica, suggerendo che l'informazione numerica è già presente nei modelli pre-addestrati e necessita solo di un meccanismo di estrazione più sofisticato rispetto al semplice prompting o pooling.

In sintesi, RELISH dimostra che per la regressione testuale, l'architettura della testa di lettura è più critica della quantità di parametri addestrati nel backbone, offrendo un nuovo standard di efficienza e precisione.