Riepilogo Tecnico: Allineamento Distribuzionale come Criterio per la Progettazione di Vettori di Attività nell'Apprendimento in Contesto

Enunciato del Problema

L'Apprendimento in Contesto (ICL) consente ai Modelli Linguistici di Grande Formato (LLM) di adattarsi a nuovi compiti anteponendo dimostrazioni etichettate alla query di input. Sebbene efficace, l'ICL comporta costi di inferenza crescenti e sovraccarichi di memoria all'aumentare della lunghezza del contesto, ostacolandone l'utilità pratica in condizioni di risorse limitate. Per ovviare a ciò, ricerche recenti hanno proposto i Vettori di Attività (TV): rappresentazioni compatte degli stati nascosti estratte dalle attivazioni interne di un LLM durante l'ICL. Questi vettori racchiudono le informazioni sul compito inferite dalle dimostrazioni, permettendo al modello di eseguire l'adattamento al compito durante l'inferenza zero-shot senza rielaborare le dimostrazioni.

Tuttavia, i metodi esistenti per l'estrazione dei vettori di attività mancano di un criterio di progettazione fondato su principi. Attualmente, la qualità di un metodo di estrazione dei vettori di attività viene valutata esclusivamente attraverso l'accuratezza nel compito downstream. Questa metrica indiretta offre scarse intuizioni sul perché un metodo superi un altro o su come progettare meccanismi di estrazione più efficaci. È necessario un criterio diretto e teoricamente fondato per valutare e ottimizzare la qualità dei vettori di attività.

Metodologia

1. Il Criterio Proposto: Allineamento Distribuzionale

Gli autori ipotizzano che l'obiettivo primario di un vettore di attività sia condensare l'effetto delle dimostrazioni in modo tale che la distribuzione predittiva risultante si allinei strettamente a quella dell'ICL standard. Per quantificare tale allineamento, introducono il dNTP (discrepanza nella Probabilità del Prossimo Token).

• Definizione: Il dNTP misura la divergenza di Kullback-Leibler (KL) tra la distribuzione predittiva del prossimo token sotto ICL ($P_{icl}$) e la distribuzione sotto inferenza basata su vettore di attività ($P_{tv}$).
  $$dNTP(f; Z) = \mathbb{E}_{x \sim D} \left[ D_{KL} \left( P_{icl}(\cdot | x, Z) \parallel P_{tv}(\cdot | x, f(Z)) \right) \right]$$
  dove $f$ è la funzione di estrazione e $Z$ rappresenta le dimostrazioni.
• Validazione: L'analisi empirica su molteplici modelli e benchmark rivela una forte correlazione negativa tra dNTP e accuratezza downstream. Un dNTP più basso prevede coerentemente un'accuratezza più elevata, stabilendo il dNTP come un valido proxy per la qualità del vettore di attività che non richiede etichette del set di test.

2. Metodo Proposto: Vettore di Attività Lineare (LTV)

Motivati dall'obiettivo di minimizzare il dNTP, gli autori propongono il Vettore di Attività Lineare (LTV). Il metodo è derivato da un problema di ottimizzazione proxy.

• Razionale: Minimizzare direttamente il dNTP è intrattabile poiché manca di una soluzione in forma chiusa e richiede aggiornamenti iterativi. Gli autori dimostrano che minimizzare l'Errore Quadratico Medio (MSE) tra gli stati nascosti dell'ICL ($h_{icl}$) e lo stato nascosto zero-shot più il vettore di attività ($h_{zs} + v$) funge da limite superiore per il dNTP.
  $$LMSE(f) = \mathbb{E} \left[ \| h_{icl} - (h_{zs} + f(Z)) \|_2^2 \right]$$
• Mappatura Lineare: Per preservare il vantaggio "senza addestramento" dell'ICL (evitando aggiornamenti dei parametri del modello), l'LTV vincola la funzione di estrazione $f$ a una mappatura lineare. Il vettore di attività $v$ è stimato come una trasformazione lineare dello stato nascosto zero-shot $h_{zs}$:
  $$v = W h_{zs}(x)$$
• Soluzione in Forma Chiusa: La mappatura lineare ottimale $W^*$ è calcolata tramite regressione ridge su un insieme di query di addestramento non etichettate. La regressione ha come obiettivo la differenza tra lo stato nascosto ICL e lo stato nascosto zero-shot ($h_{icl} - h_{zs}$).
  $$W^* = \arg\min_W \left( \| Y - W H \|_F^2 + \lambda \| W \|_F^2 \right)$$
  dove $H$ contiene gli stati nascosti zero-shot e $Y$ contiene le differenze target. Ciò produce una soluzione in forma chiusa, garantendo efficienza.

Contributi Chiave

1. Metrica dNTP: Introduzione di una metrica che quantifica la discrepanza tra le distribuzioni di inferenza basate su TV e quelle basate su ICL. Il documento dimostra che il dNTP è un forte proxy delle prestazioni, correlato negativamente con l'accuratezza downstream.
2. Vettore di Attività Lineare (LTV): Sviluppo di un metodo di estrazione dei vettori di attività che minimizza il dNTP tramite una mappatura lineare in forma chiusa. Questo approccio evita l'ottimizzazione iterativa e il fine-tuning del modello.
3. Superiorità Empirica: Estesi esperimenti che mostrano come l'LTV superi i baseline esistenti senza addestramento (Function Vector, Task Vector, State Vector, I2CL) su otto benchmark di classificazione e cinque LLM.
4. Trasferimento Cross-Modello: Dimostrazione che i vettori di attività estratti da un modello più grande (es. 72B) possono essere trasferiti a un modello più piccolo (es. 7B) per migliorare le prestazioni, affrontando scenari in cui il modello di inferenza ha capacità o lunghezza del contesto limitate.

Risultati Sperimentali

• Prestazioni di Classificazione: Su cinque LLM (inclusi varianti di LLaMA-2/3 e Qwen) e otto benchmark (es. SST-2, AGNews, DBPedia), l'LTV ha raggiunto la massima accuratezza media. Nello specifico, su LLaMA-2-13B, l'LTV ha migliorato l'accuratezza media del 9,2% rispetto al miglior baseline (State Vector), raggiungendo il 79,46%.
• Efficienza: L'LTV mantiene una latenza di inferenza comparabile all'inferenza zero-shot (circa 0,0226s per campione), significativamente più veloce dell'ICL. Sebbene l'estrazione richieda un costo di pre-calcolo una tantum, questo viene ammortizzato sul set di test.
• Compiti di Regressione: L'LTV è stato valutato anche su compiti di regressione lineare e ReLU, ottenendo il minimo Errore Quadratico Medio (MSE) tra tutti i baseline dei vettori di attività.
• Robustezza: Il metodo rimane robusto alle variazioni degli iperparametri (numero di query di addestramento $N$ e regolarizzazione $\lambda$) e al numero di dimostrazioni ($k$).
• Trasferibilità: Il trasferimento dell'LTV da un modello Qwen-2.5-72B a un modello Qwen-2.5-7B ha migliorato l'accuratezza media di classificazione del modello più piccolo del 6,43%, eguagliando in alcuni casi le prestazioni dell'LTV del modello più grande stesso.

Significato e Affermazioni

Il documento afferma che l'allineamento distribuzionale è un criterio fondamentale e utile per progettare metodi di estrazione dei vettori di attività. Spostando il focus della valutazione dall'accuratezza downstream indiretta alla discrepanza distribuzionale diretta (dNTP), gli autori forniscono un quadro fondato su principi per comprendere e migliorare i vettori di attività.

Il significato dell'LTV risiede nella sua capacità di:

1. Colmare il divario tra l'obiettivo teorico dell'ICL (inferenza bayesiana implicita) e l'implementazione pratica (vettori compatti) senza richiedere aggiornamenti del modello.
2. Offrire un'alternativa computazionalmente efficiente all'ICL, riducendo la latenza di inferenza mantenendo al contempo un'alta accuratezza.
3. Abilitare il trasferimento cross-modello, suggerendo che le rappresentazioni di attività estratte da modelli più grandi e capaci possono servire come risorsa per modelli più piccoli con contesto o capacità limitati.

Gli autori concludono che l'LTV offre un quadro più efficiente ed efficace per la compressione dei compiti negli LLM, validando l'ipotesi che la minimizzazione della discrepanza tra le distribuzioni TV e ICL porti a un adattamento al compito superiore.