DeCoVec: Building Decoding Space based Task Vector for Large Language Models via In-Context Learning

1. Il Problema

I Task Vector (vettori di compito) sono direzioni nello spazio dei modelli o delle attivazioni che codificano comportamenti specifici per un compito, permettendo di guidare i Large Language Models (LLM). Tuttavia, le approcci esistenti presentano due limiti principali:

• Costo computazionale e invasività: I metodi tradizionali richiedono spesso il fine-tuning completo del modello o manipolazioni invasive degli stati interni (attivazioni nascoste), il che li rende poco scalabili e flessibili per il deployment reale.
• Dipendenza da parametri: Molti metodi operano nello spazio dei pesi ($\Delta\theta$) o degli stati di attivazione ($\Delta h$), richiedendo aggiornamenti dei parametri o modelli ausiliari complessi.

L'obiettivo è trovare un metodo senza training (training-free) e non invasivo che possa guidare l'LLM verso prestazioni migliori senza modificare i pesi del modello né richiedere costi aggiuntivi significativi.

2. Metodologia: DeCoVec

Il paper propone DeCoVec (Decoding Space based Task Vector), un framework che costruisce vettori di compito direttamente nello spazio di decodifica (output logits), sfruttando l'Apprendimento in Contesto (ICL - In-Context Learning).

Il processo si articola in tre fasi principali:

A. Formalizzazione dei Contesti

Vengono definiti due contesti per lo stesso compito $T$:

1. Contesto Zero-Shot ($C_{zs}$): Solo l'istruzione del compito e la query, senza esempi (rappresenta la capacità intrinseca del modello).
2. Contesto Few-Shot ICL ($C_{icl}$): La query accompagnata da $k$ esempi (dimostrazioni) estratti dal dataset, che attivano la capacità emergente del modello per quel compito specifico.

B. Costruzione del Vettore di Compito

Invece di calcolare la differenza tra pesi o attivazioni interne, DeCoVec calcola la differenza tra le distribuzioni di logit (probabilità di output) generate dai due contesti sopra descritti.
Per un passo di decodifica $t$, il vettore di compito $v^t_T$ è definito come:
$$v^t_T = z^t_{icl} - z^t_{zs}$$
Dove:

• $z^t_{icl}$ sono i logit ottenuti con il contesto few-shot.
• $z^t_{zs}$ sono i logit ottenuti con il contesto zero-shot.

Questa differenza cattura l'"essenza" del compito (le caratteristiche specifiche apprese dagli esempi) in modo puramente differenziale.

C. Guida alla Decodifica (Steering)

Durante la generazione del testo, il vettore viene iniettato online, token per token:

1. Si calcolano i logit base $z^t_{de}$ usando un contesto few-shot di base.
2. Si aggiunge il vettore di compito scalato da un fattore $\lambda$:
   $$\tilde{z}^t = z^t_{de} + \lambda \cdot v^t_T$$
3. I logit modificati $\tilde{z}^t$ vengono utilizzati per selezionare il token successivo.

Questo approccio è plug-and-play, non richiede aggiornamenti dei pesi e funziona su qualsiasi modello LLM congelato.

3. Contributi Chiave

• Nuovo Spazio Operativo: Spostamento dalla manipolazione di pesi o attivazioni interne allo spazio di decodifica (logit), rendendo il metodo non invasivo e indipendente dall'architettura interna del modello.
• Efficienza e Scalabilità: Essendo training-free, elimina il costo del fine-tuning. Non richiede modelli ausiliari né gradienti.
• Robustezza: Il metodo dimostra di essere robusto rispetto all'ordine delle dimostrazioni (sequenziale, inverso, casuale) e alla qualità della selezione degli esempi.
• Riduzione della Degenerazione: L'analisi degli errori mostra che il metodo riduce significativamente le fallacie logiche e la degenerazione della generazione, spingendo il modello verso strategie di problem-solving più rigorose.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 7 LLM (da 0.5B a 9B parametri, inclusi Qwen2, Yi, Llama-2/3, Gemma-2) su tre benchmark:

• TruthfulQA: Valutazione della veridicità.
• Math-500: Ragionamento matematico.
• AQUA-RAT: Problemi di algebra con ragionamento.

Punti salienti:

• Miglioramenti Costanti: DeCoVec supera costantemente le baseline few-shot standard, con guadagni di accuratezza media fino a +5.50 punti.
• Indipendenza dalla Dimensione: Il metodo funziona efficacemente sia su modelli piccoli (es. Qwen2-0.5B) che grandi, suggerendo che estrae rappresentazioni di compito intrinseche alla capacità del modello.
• Gestione del Rumore: Anche quando il contesto di base è rumoroso (es. esempi selezionati casualmente), DeCoVec riesce a distillare la direzione del compito corretta, migliorando le prestazioni rispetto alla baseline.
• Efficienza di Token: Il metodo riduce la lunghezza media della generazione (fino a 40 token in meno su Math-500) riducendo la ripetitività e la generazione irrilevante, mitigando i costi di inferenza.

5. Significato e Implicazioni

DeCoVec rappresenta un passo avanti significativo nell'interazione con gli LLM:

1. Accessibilità: Offre una soluzione per guidare i modelli senza bisogno di risorse computazionali pesanti per il training o l'accesso ai pesi interni.
2. Interpretabilità: Dimostra che le informazioni semantiche di alto livello necessarie per un compito possono essere estratte e manipolate direttamente nello spazio di output, senza toccare la "scatola nera" interna.
3. Versatilità: Si applica a compiti di conoscenza (veridicità) e ragionamento complesso, adattandosi a diverse strategie di recupero degli esempi (KATE, BM25, Random).

In sintesi, DeCoVec trasforma l'ICL da una semplice tecnica di prompting in un meccanismo di controllo dinamico e preciso, aprendo la strada a sistemi di guida degli LLM più leggeri, flessibili e privi di costi di addestramento.