IA2: Alignment with ICL Activations Improves Supervised Fine-Tuning

1. Il Problema

Il paper affronta le limitazioni intrinseche del Supervised Fine-Tuning (SFT) e del Learning in Context (ICL) quando utilizzati per adattare i Large Language Models (LLM) a compiti specifici.

• SFT: Sebbene efficiente in fase di inferenza (una volta addestrato, non richiede esempi nel prompt), l'SFT richiede grandi quantità di dati etichettati per generalizzare bene. In scenari con pochi dati (few-shot), l'SFT tende a soffrire di shortcut learning (imparare scorciatoie superficiali) e sovrapposizione, portando a risposte meno calibrate e a una minore capacità di generalizzazione su nuovi dati.
• ICL: Offre una migliore generalizzazione e calibrazione in scenari con pochi dati, sfruttando esempi nel prompt. Tuttavia, comporta un alto costo computazionale durante l'inferenza (ogni query richiede il passaggio degli esempi nel contesto) e consuma spazio di contesto prezioso.
• Il Gap Funzionale: Gli autori ipotizzano che, sebbene SFT e ICL possano produrre output simili, i meccanismi interni attraverso cui adattano il modello siano fondamentalmente diversi. L'SFT modifica i pesi per minimizzare la perdita sull'output, mentre l'ICL sfrutta le dinamiche interne del modello (attivazioni) per estrarre pattern generalizzabili dal contesto. Finora, non è stato sfruttato il potenziale delle "informazioni ricche" contenute nelle attivazioni dell'ICL per migliorare l'SFT.

2. Metodologia: IA2 (ICL Activation Alignment)

Gli autori propongono IA2, una tecnica di self-distillation (distillazione automatica) progettata per allineare il comportamento funzionale dei modelli SFT a quello dell'ICL. Il processo si articola in due fasi principali:

Fase 1: Allineamento delle Attivazioni (Priming con IA2)

L'obiettivo è modificare i pesi del modello in modo che le sue attivazioni interne, quando processa una query, assomiglino a quelle che si otterrebbero se la query fosse processata in un contesto ICL (con esempi).

• Raccolta dei dati: Per ogni campione di addestramento $X_i$, si genera una risposta utilizzando il modello in modalità ICL (con gli altri campioni come dimostrazioni nel prompt). Si raccolgono le attivazioni target ($A_{ICL}$) prodotte dal modello durante questo processo.
• Addestramento: Si presenta al modello la stessa query $X_i$ (senza le dimostrazioni nel prompt, ma eventualmente con la risposta generata dall'ICL attaccata) e si calcolano le attivazioni attuali ($A$).
• Funzione di Perdita: Si minimizza l'errore quadratico medio (MSE) tra le attivazioni attuali e quelle target dell'ICL:
  $$L_{IA2} = \sum ||A - A_{ICL}||^2$$
  Questo step "innesca" (primes) il modello, spostando i suoi pesi in uno spazio funzionale che imita il ragionamento interno dell'ICL, senza necessariamente allineare ancora l'output finale ai target corretti.

Fase 2: Supervised Fine-Tuning (SFT)

Dopo il priming con IA2, si esegue un addestramento SFT standard utilizzando la funzione di perdita a entropia incrociata sui token di risposta corretti (ground truth).

• L'obiettivo è allineare l'output del modello (che ora ha già acquisito una struttura interna simile all'ICL) con le risposte desiderate.
• Il flusso completo è: IA2 (Priming) $\rightarrow$ SFT.

3. Contributi Chiave

1. Dimostrazione della Disallineamento Funzionale: Gli autori mostrano empiricamente che i modelli addestrati solo con SFT producono pattern di attivazione significativamente diversi da quelli dell'ICL, specialmente negli strati intermedi della rete (dove avviene l'elaborazione astratta degli esempi).
2. Introduzione di IA2: Propongono un nuovo metodo di addestramento che utilizza le attivazioni dell'ICL come segnale di distillazione per guidare l'SFT. Questo permette di "internalizzare" la capacità di ragionamento contestuale dell'ICL direttamente nei pesi del modello.
3. Analisi dello Spazio dei Pesi: Attraverso l'analisi della sovrapposizione degli spazi dei sottospazi (subspace overlap) dei pesi LoRA, dimostrano che l'SFT standard e l'IA2 esplorano direzioni ortogonali. Il modello ibrido (IA2 $\rightarrow$ SFT) eredita una porzione significativa dello spazio dei pesi esplorato dall'IA2, che è inaccessibile all'SFT puro.
4. Validazione Estensiva: Il metodo è stato testato su 12 benchmark popolari (classificazione, QA, matematica) e su due famiglie di modelli (Llama-3.2 e Qwen3), addestrando oltre 13.000 modelli.

4. Risultati Sperimentali

I risultati confermano che il pipeline IA2 $\rightarrow$ SFT supera costantemente l'SFT tradizionale e, in molti casi, si avvicina o supera le prestazioni dell'ICL, mantenendo il vantaggio computazionale dell'SFT (nessun contesto extra in inferenza).

• Accuratezza e Calibrazione:
  • In compiti a token singolo (es. sentiment analysis, classificazione), IA2 $\rightarrow$ SFT mostra miglioramenti significativi sia nell'accuratezza che nell'Errore di Calibrazione Atteso (ECE). Ad esempio, su SST2 con $N=4$, l'accuratezza sale dal 59.4% (SFT solo) al 71.4% (IA2 $\rightarrow$ SFT), con una calibrazione molto migliore.
  • In compiti a multi-token (es. matematica GSM8K), il metodo supera l'SFT puro, sebbene in alcuni casi di matematica avanzata l'ICL rimanga leggermente superiore (probabilmente dovuto alla pre-addestramento specifico del modello su dati STEM).
• Robustezza: Il metodo migliora la generalizzazione su dataset fuori distribuzione (OOD) e riduce la tendenza all'overfitting tipica dell'SFT in scenari few-shot.
• Analisi delle Attivazioni: Esiste una correlazione positiva tra la similarità delle attivazioni con l'ICL e la calibrazione del modello. Tuttavia, una similarità estrema (solo IA2) può non massimizzare l'accuratezza, confermando la necessità della fase SFT finale per allineare l'output.

5. Significato e Implicazioni

Il lavoro di IA2 ha diverse implicazioni importanti per il campo dell'adattamento dei LLM:

• Superamento del Compromesso Calcolo-Prestazioni: Permette di ottenere le prestazioni di generalizzazione dell'ICL (che richiede molto contesto) con l'efficienza dell'SFT (che non richiede contesto in inferenza).
• Nuova Prospettiva Meccanicistica: Suggerisce che l'adattamento non è solo una questione di allineamento degli output, ma richiede l'allineamento dei processi interni (attivazioni). L'ICL non è solo un trucco di prompt, ma rivela una modalità di elaborazione che può essere codificata nei pesi.
• Efficienza dei Dati: Rende l'adattamento SFT molto più efficace in scenari con dati scarsi (few-shot), riducendo la dipendenza da grandi dataset etichettati.
• Futuro della Distillazione: Propone un paradigma di distillazione che va oltre la semplice corrispondenza delle probabilità dei token (soft labels), utilizzando le rappresentazioni interne (attivazioni) come segnale di insegnamento più ricco.

In sintesi, IA2 dimostra che è possibile "insegnare" a un modello a pensare come farebbe in un contesto ICL, trasformando la capacità di adattamento contestuale in una competenza interna permanente, migliorando drasticamente l'affidabilità e la qualità delle risposte in scenari reali con dati limitati.