Riepilogo Tecnico: La Verità si Trova da qualche Parte nel Mezzo (dei Token Generati)

Enunciato del Problema

Nei modelli linguistici autoregressivi (LLM), gli stati nascosti sono generati in sequenza sotto mascheramento causale, il che significa che la rappresentazione di ogni token dipende dal prompt e da tutti i token generati precedenti. Sorge una domanda metodologica critica: come dovrebbero essere compressi questi stati nascosti distribuiti temporalmente in un'unica rappresentazione vettoriale che rifletta accuratamente lo stato semantico interno del modello?

I lavori precedenti sugli encoder bidirezionali impiegano tipicamente il pooling medio o il pooling dell'ultimo token. Tuttavia, in contesti autoregressivi, è stato dimostrato che la semplice media funziona male perché mescola stati nascosti calcolati in contesti disuguali. Di conseguenza, gli approcci esistenti spesso si basano sulla selezione di un singolo token (ad esempio, l'ultimo token) o sull'addestramento di modelli con obiettivi specifici per migliorare la qualità degli embedding. Rimane incerto se le informazioni semantiche nei modelli autoregressivi standard pre-addestrati siano localizzate in una specifica posizione del token o distribuite lungo la traiettoria di generazione, e se il pooling medio possa produrre rappresentazioni semantiche superiori senza ulteriore addestramento.

Metodologia

Gli autori valutano la qualità semantica delle rappresentazioni derivate dai token generati misurandone l'allineamento a spazi di riferimento in tre domini distinti: visione-linguaggio, ragionamento e strutture proteiche.

Metrica di Valutazione: Allineamento del Kernel

La metrica fondamentale è l'Allineamento del Kernel Centrato (CKA), specificamente la versione debiased per evitare artefatti di inflazione. Gli autori confrontano la struttura di similarità (kernel) indotta dagli embedding del modello linguistico con un kernel di riferimento costruito a partire da strutture semantiche ground-truth:

• Visione-Linguaggio: I kernel di riferimento sono derivati da embedding di immagini (utilizzando DINOv2) corrispondenti alle didascalie delle immagini. Un alto allineamento implica che il modello collochi le didascalie di immagini visivamente simili più vicine tra loro.
• Ragionamento: I kernel di riferimento sono derivati dalle soluzioni standard di riferimento per problemi di matematica e scienze.
• Proteine: I kernel di riferimento sono derivati da embedding di strutture proteiche (utilizzando ESM-3).

Configurazione Sperimentale

• Modelli: Gli esperimenti principali utilizzano Qwen3-14B (un Transformer solo-decodificatore). Vengono effettuate comparazioni con OLMo3-7B-Think e gpt-oss-20B.
• Strategie di Pooling: Gli autori confrontano il pooling dell'ultimo token (selezione dello stato finale della traiettoria) con il pooling medio dei token (media degli stati nascosti lungo l'intera sequenza generata).
• Analisi di Miscelazione: Per determinare se le informazioni semantiche siano localizzate o distribuite, gli autori costruiscono combinazioni convesse di embedding da segmenti di token distinti (ad esempio, primo, medio e ultimo terzo della generazione) e valutano l'allineamento attraverso il risultante simpleisso.
• Condizioni di Controllo: Gli esperimenti includono la mescolatura degli ordini dei token, la mescolatura delle coppie immagine-testo e l'embedding di testo generato da un modello utilizzando lo spazio di embedding di un altro, per isolare gli effetti delle dinamiche di generazione.

Contributi e Risultati Chiave

1. Il Pooling Medio dei Token Generati Supera la Selezione di un Singolo Token

Contrariamente ai limiti osservati negli embedding lato prompt, il pooling medio sui token generati produce un allineamento semantico significativamente superiore rispetto a qualsiasi singolo token, incluso l'ultimo token.

• Nei compiti visione-linguaggio, le rappresentazioni generate con pooling medio hanno raggiunto un punteggio di allineamento di 0,410, rispetto a 0,291 per il miglior singolo token e 0,184 per i token del prompt.
• Questo miglioramento è coerente tra diversi semi di decodifica, indicando che la struttura semantica sottostante è stabile nonostante la variazione del testo.
• Il beneficio si mantiene attraverso diversi metodi di pooling (il pooling medio supera l'attention, il max e il pooling sul miglior token).

2. Le Informazioni Semantiche sono Distribuite lungo la Generazione

Il documento dimostra che le informazioni semantiche non sono localizzate in una singola posizione ma sono distribuite lungo la traiettoria dei token.

• Effetto di Miscelazione: Le combinazioni convesse di embedding da diversi segmenti di token (ad esempio, miscelando il primo, il medio e l'ultimo terzo) raggiungono costantemente un allineamento superiore rispetto a qualsiasi singolo segmento da solo.
• Granularità: Questo beneficio della "miscelazione" persiste anche quando i segmenti di token sono suddivisi ricorsivamente, suggerendo che diverse parti della generazione portano informazioni semantiche complementari.
• Generalizzazione del Dominio: Questo fenomeno è osservato non solo nei compiti visione-linguaggio ma anche nel ragionamento (Math-500, GPQA) e nei compiti sulle strutture proteiche, indicando che è una proprietà generale della generazione autoregressiva.

3. Token Generati vs Token del Prompt

Una scoperta controintuitiva è che le rappresentazioni derivate dai token generati sono meglio allineate rispetto a quelle dei token del prompt, anche quando il prompt contiene l'intero contenuto semantico.

• Le rappresentazioni dei token del prompt non beneficiano del pooling medio; la loro media spesso diluisce le informazioni a causa delle limitazioni del mascheramento causale.
• La generazione sembra "rendere più facile recuperare lo stesso contenuto semantico" nello spazio degli stati nascosti. Mentre il modello produce un'estensione, i suoi stati interni diventano meglio allineati con la struttura di riferimento legata al prompt originale.

4. Fasi Rappresentazionali e Dinamiche dello Stato Interno

La traiettoria di allineamento attraverso i token generati rivela fasi interpretabili del comportamento del modello:

• Fasi: Il processo di generazione esibisce fasi distinte: preambolo generico, ripetizione del prompt, richiamo e risposta specifica alla didascalia. L'allineamento aumenta mentre la generazione passa da testo generico a descrizioni specifiche del contenuto.
• Sonde Causali: Frasi generiche specifiche (ad esempio, "Lascia che io ricordi ciò che so") inducono picchi netti nell'allineamento, anche prima che appaiano contenuti rilevanti per la scena. Ciò suggerisce che tali token corrispondono a spostamenti nello stato interno del modello verso la struttura di riferimento.
• Specificità del Modello: Queste strutture di fase scompaiono quando un modello incorpora testo generato da un modello diverso. Ad esempio, la traiettoria di allineamento di Qwen3 si degrada quando elabora le generazioni di OLMo3 se OLMo3 allucina fatti (ad esempio, identificando erroneamente la posizione di una centrale elettrica). Ciò indica che le dinamiche osservate sono legate al calcolo interno e alla coerenza del modello specifico, non solo al testo stesso.

5. Profondità del Livello vs Dimensione del Token

Mentre il pooling medio lungo la dimensione del token migliora l'allineamento, il pooling medio lungo la profondità del livello non lo fa. La media attraverso i livelli produce prestazioni comparabili al miglior singolo livello (tipicamente l'ultimo livello) ma non lo supera. Ciò contrasta con gli embedding lato prompt, dove spesso i livelli intermedi funzionano meglio.

Significato e Affermazioni

Il documento afferma che gli stati nascosti formati durante la generazione autoregressiva sono meglio compressi in una rappresentazione vettoriale mediante pooling medio sui token, piuttosto che selezionando un singolo token. Ciò sfida la visione prevalente secondo cui il mascheramento causale rende il pooling medio inefficace per i modelli solo-decodificatore.

Gli autori sostengono che:

1. Generazione come Contesto: La continuazione del modello agisce come una fonte di contesto che rende il contenuto semantico dell'input più accessibile nello spazio degli stati nascosti.
2. Rappresentazione Basata sulla Traiettoria: Le informazioni semantiche nei modelli autoregressivi dovrebbero essere viste come distribuite lungo la traiettoria di generazione piuttosto che localizzate in un singolo stato nascosto.
3. Interpretabilità: L'allineamento del kernel funge da sonda causale per gli stati interni del modello, rivelando che specifici output di token (come frasi di "pensiero" o "richiamo") corrispondono a spostamenti misurabili nella geometria rappresentazionale del modello.

Il lavoro suggerisce che per compiti che richiedono embedding di testo di alta qualità da modelli autoregressivi, generare un'estensione e applicare il pooling medio agli stati nascosti risultanti è un metodo semplice, efficace e privo di addestramento che supera gli embedding standard basati sul prompt. Tuttavia, gli autori notano dei limiti: questo approccio comporta un costo computazionale proporzionale alla lunghezza della generazione e produce rappresentazioni che sono sonde dello stato interno piuttosto che "token soft" utilizzabili per un'ulteriore generazione.