Riepilogo Tecnico: Insegnare la Distanza Metrica ai Modelli Linguistici Autoregressivi Discreti

Enunciato del Problema

I Large Language Models (LLM) e altri modelli fondazionali autoregressivi discreti operano prevedendo token da un vocabolario, trattando ogni token come una variabile categorica discreta ottimizzata contro una distribuzione target one-hot. Sebbene questa formulazione abbia permesso l'adattamento degli LLM a domini diversificati come visione, robotica e ragionamento multimodale, essa ignora fondamentalmente le relazioni metriche tra i token.

In compiti che coinvolgono elementi numericamente o metricamente strutturati—come interi nel ragionamento aritmetico, coordinate spaziali nella rilevazione di oggetti, angoli di rotazione nella manipolazione robotica o embedding quantizzati nella generazione di immagini—la struttura intrinseca della distanza viene persa quando i token sono ridotti a target one-hot. L'addestramento convenzionale ignora il fatto che una previsione di "4" è semanticamente più vicina a un ground truth di "5" rispetto a una previsione di "2". Questa limitazione ostacola l'efficienza dei dati e le prestazioni in domini in cui la distanza è significativa.

Metodologia: DIST2Loss

Gli autori introducono DIST2Loss (DIScreTized DISTance Loss), una funzione obiettivo consapevole della distanza per modelli autoregressivi discreti. L'idea centrale è sostituire la distribuzione target one-hot standard con una distribuzione ponderata per la ricompensa derivata da distanze tra token predefinite.

Formulazione Principale

Dato un sottoinsieme di vocabolario $V_d$ e uno spazio metrico $(X, d)$, DIST2Loss costruisce una distribuzione target $p_d(v|x, t)$ per un token $v$ al passo temporale $t$, dato un token ground truth $x$. Questa distribuzione è definita utilizzando una famiglia esponenziale discretizzata:

$$p_d(v|x, t) = \frac{\exp\left(-\frac{d(v, x, t)}{\tau}\right)}{\sum_{v' \in V_d} \exp\left(-\frac{d(v', x, t)}{\tau}\right)}$$

Dove:

• $d(v, x, t)$ è la distanza tra il token candidato $v$ e il ground truth $x$ (ad esempio, distanza euclidea per le coordinate, distanza angolare per le rotazioni, o distanza di embedding per i codici VQ).
• $\tau$ è un iperparametro di temperatura che controlla la regolarità della distribuzione.

L'obiettivo finale di addestramento combina la perdita di cross-entropy standard ($L_{CE}$) con la regolarizzazione basata sulla distanza:
$$L = L_{CE} + \alpha L_{dist}$$
dove $L_{dist}$ è la divergenza KL tra la distribuzione prevista dal modello e il target consapevole della distanza $p_d$, e $\alpha$ bilancia i due termini.

Interpretazione Teorica

DIST2Loss è interpretato come la soluzione in forma chiusa per l'ottimizzazione della policy regolarizzata per entropia. Nell'apprendimento per rinforzo (RL), la regolarizzazione per entropia incoraggia l'esplorazione prevenendo il collasso prematuro della policy. È noto che la policy ottimale per massimizzare la ricompensa attesa con regolarizzazione per entropia è proporzionale a $\exp(R(a)/\tau)$. DIST2Loss istanzia questo trattando i token candidati come azioni e la distanza negativa come segnale di ricompensa. A differenza del RL tradizionale, che richiede campionamento, rollout e aggiornamenti iterativi, DIST2Loss fornisce una distribuzione target analitica, stabile e priva di varianza, evitando l'instabilità associata agli stimatori del gradiente della policy.

Gestione di Alte Dimensioni e Sequenze Multi-Token

Il framework è sufficientemente flessibile da gestire vettori continui ad alta dimensionalità (ad esempio, embedding VQ) definendo metriche di distanza sui loro embedding (ad esempio, similarità coseno). Per elementi strutturati multi-token (come numeri multi-cifra), gli autori notano che applicare la perdita direttamente incontra un "problema di assegnazione del credito" in cui il modello non può distinguere quale token abbia causato un errore. Per mitigare ciò, propongono soluzioni pratiche come Contrastive Target Augmentation (campionamento di vicini negativi) e Place Value Weighting (pesatura della perdita in base al significato posizionale), sebbene i loro esperimenti principali si concentrino su compiti in cui le ricompense si decompongono naturalmente a livello di token.

Contributi Chiave

1. Framework DIST2Loss: Un obiettivo plug-and-play che integra la struttura metrica nell'addestramento autoregressivo discreto senza richiedere dati aggiuntivi o un sovraccarico computazionale significativo.
2. Ponte Teorico: Stabilisce una connessione tra supervisione consapevole della distanza e RL regolarizzato per entropia, offrendo un'alternativa stabile al reinforcement learning per compiti con ricompense per-token note.
3. Generalizzazione: Dimostra che il metodo è applicabile attraverso domini diversificati, dalla regressione scalare 1D alla generazione di immagini ad alta dimensionalità, a condizione che i token ammettano una metrica significativa.

Risultati Sperimentali

Gli autori hanno valutato DIST2Loss attraverso cinque domini distinti, mostrando costantemente miglioramenti nell'efficienza dei dati e nelle prestazioni a valle:

1. Regressione di Funzioni Sintetiche (Compito Finto): In una configurazione di meta-apprendimento in cui i modelli apprendono la regressione lineare da soli 1–10 campioni, DIST2Loss ha superato significativamente gli SFT standard e le baseline vincolate al vocabolario in termini di Errore Assoluto Medio (MAE) e Radice dell'Errore Quadratico Medio (RMSE), dimostrando una generalizzazione strutturale superiore.
2. Grounding Visivo: Affinando Phi3V su RefCOCO/RefCOCO+/RefCOCOg senza pre-addestramento sulla rilevazione di oggetti, DIST2Loss ha raggiunto prestazioni comparabili a modelli state-of-the-art pre-addestrati su dataset di rilevazione su larga scala. Notabilmente, anche nei "casi difficili" in cui entrambi i modelli prevedevano l'oggetto sbagliato, le previsioni di DIST2Loss erano geometricamente più vicine al ground truth (IoU più alto).
3. Manipolazione Robotica: Su VIMABench, DIST2Loss ha migliorato i tassi di successo nella generazione di azioni robotiche (angoli delle giunture e coordinate). I guadagni sono stati più pronunciati in regimi con scarsità di dati (1K campioni), evidenziando il valore dei prior metrici quando i dati sono limitati.
4. Modellazione della Ricompensa Generativa: Applicato all'allineamento degli LLM (RLHF), DIST2Loss ha migliorato le prestazioni di modellazione della ricompensa su RewardBench e MT-Bench. L'approccio generativo con DIST2Loss ha superato sia i classificatori binari standard che le baseline SFT, in particolare nei domini "Chat Hard" e "Safety".
5. Generazione di Immagini: Utilizzando rappresentazioni quantizzate vettorialmente (VQ), DIST2Loss ha potenziato l'apprendimento delle rappresentazioni di immagini nei modelli autoregressivi (LlamaGen), producendo FID più bassi e punteggi IS più alti rispetto alle baseline SFT attraverso diverse dimensioni del modello ed epoche di addestramento.

Significato e Affermazioni

Il documento afferma che la supervisione consapevole della distanza offre un'alternativa semplice e generale alla supervisione one-hot per i modelli autoregressivi discreti. Il significato risiede nella capacità di:

• Sfruttare la Struttura Intrinseca: Sfruttare le relazioni metriche intrinseche in molti compiti non testuali (coordinate, numeri, embedding) che altrimenti vengono ignorate dalla cross-entropy standard.
• Migliorare l'Efficienza dei Dati: Ottenere prestazioni migliori con meno campioni di addestramento codificando bias induttivi direttamente nella funzione di perdita.
• Stabilizzare l'Addestramento: Fornire un'alternativa in forma chiusa e stabile al reinforcement learning per l'allineamento delle ricompense, evitando i problemi di campionamento e instabilità dei gradienti della policy.

Gli autori sottolineano che il metodo è più efficace quando i token ammettono una metrica significativa (ad esempio, valori numerici, coordinate, embedding quantizzati). In domini senza geometria intrinseca, il metodo si riduce naturalmente alla supervisione one-hot standard. Il lavoro suggerisce che per un'ampia gamma di compiti multimodali e di ragionamento, incorporare la distanza metrica è un componente cruciale, ma finora sottoutilizzato, dell'addestramento di modelli fondazionali discreti.