Activation-Based Active Learning for In-Context Learning: Challenges and Insights

Sintesi Tecnica: Apprendimento Attivo Basato sulle Attivazioni per l'In-Context Learning

Definizione del Problema
L'apprendimento in-context (ICL) è emerso come un metodo primario per potenziare le prestazioni dei Large Language Model (LLM) senza ricorrere al fine-tuning, affidandosi invece alla selezione di esempi di alta qualità all'interno del prompt. Sebbene l'active learning profondo sia stato applicato all'ICL utilizzando tecniche come l'incertezza del modello, la diversità dei dati e le metriche di similarità, rimane una lacuna nell'utilizzo dei recenti progressi nella comprensione delle attivazioni interne dei transformer. Nello specifico, non è chiaro se i pattern di attivazione grezzi degli strati Multi-Layer Perceptron (MLP) — che sono cruciali per la memorizzazione della conoscenza — possano servire come segnale fine per ottimizzare la selezione degli esempi in-context. Questo articolo investiga l'ipotesi secondo cui le attivazioni del modello siano correlate alla qualità degli esempi e alle prestazioni del task.

Metodologia
Gli autori hanno condotto uno studio empirico esaustivo utilizzando due modelli base, Llama-3.2-3B e Qwen2.5-3B, su quattro dataset diversificati: BoolQ, ARC-Challenge, OpenBookQA (task di classificazione) e GSM8K (ragionamento matematico generativo).

La metodologia ha previsto i seguenti passaggi:

1. Strategie di Masking: Per catturare le relazioni complesse tra gli esempi candidati e i campioni di test, gli autori hanno sperimentato quattro configurazioni di masking dell'attenzione:
   • Causal Mask: L'impostazione predefinita che blocca l'attenzione verso i token futuri.
   • No Mask: Rimozione del causal masking per consentire l'elaborazione bidirezionale.
   • Row Test-Based: Masking applicato solo ai token della query di test.
   • Col Test-Based: Masking applicato solo ai token key del test.
2. Meccanismo di Scoring: Per ogni esempio candidato, il modello ha eseguito un forward pass con prompt 1-shot (esempio + delimitatore + campione di test). Gli autori hanno estratto le matrici di attivazione da tutti i $L$ strati MLP.
3. Metriche: Per ridurre le matrici di attivazione a un singolo punteggio, gli autori hanno utilizzato:
   • I primi quattro momenti statistici: media (assoluta), varianza, skewness (asimmetria) e kurtosis (curtosi).
   • La "massima attivazione": il valore di attivazione assoluta più grande all'interno della matrice.
   • Il "per-vector max": la media delle massime attivazioni attraverso i vettori dei token.
4. Valutazione: Gli autori hanno calcolato uno shot_score per ogni esempio mediando i punteggi del prompt attraverso il set di test. Hanno poi calcolato il coefficiente di correlazione di Spearman tra questi punteggi e le effettive prestazioni del task (accuratezza o corrispondenza esatta) degli esempi selezionati.

Risultati Chiave
Lo studio ha prodotto un risultato negativo definitivo riguardo all'ipotesi iniziale:

• Mancanza di Correlazione: Non esiste una correlazione affidabile tra i punteggi basati sulle attivazioni MLP e le prestazioni degli esempi in-context. Il coefficiente di correlazione di Spearman assoluto è stato al massimo di 0.33 in tutti i task e i modelli testati.
• Significatività Statistica: Molti esperimenti hanno mostrato bassi valori p ($p < 0.001$), indicando una mancanza di correlazione statisticamente significativa.
• Disallineamento delle Prestazioni: La selezione di esempi basata su massimi, mediani o minimi non ha prodotto gli esempi con le migliori prestazioni. In alcuni casi, le selezioni "ottimali" basate su tali metriche hanno causato cali di prestazione al di sotto dei baseline zero-shot.
• Robustezza: Questa mancanza di correlazione è persistita indipendentemente dalla strategia di masking (causal, no mask o specifica per il test) o dalla specifica metrica utilizzata (momenti o massime attivazioni).

Significatività e Contributi
Il contributo primario del paper è l'analisi più completa ad oggi dell'active learning profondo basato sulle attivazioni MLP per l'ICL, fornendo un critico "risultato negativo" che guida le direzioni della ricerca futura.

• Evidenza Empirica: Gli autori dimostrano che le attivazioni MLP grezze, anche quando osservate attraverso massicce attivazioni o momenti statistici, non fungono da proxy per la qualità dell'esempio.
• Ipotesi sulla Superposizione: Il paper ipotizza che il fallimento di queste metriche sia dovuto alla superposizione (superposition), dove i modelli rappresentano più feature di quante le loro dimensioni permettano, causando l'intreccio delle feature tra le dimensioni. Ciò suggerisce che le metriche lineari o statistiche semplici non possano disaggregare queste complesse interazioni non lineari.
• Direzione Futura: Di conseguenza, gli autori sostengono che i professionisti non debbano utilizzare le attivazioni MLP grezze per il campionamento di esempi in-context senza un ulteriore processo di disaggregazione dell'MLP. Propongono gli Autoencoder Sparsi (SAE) come una direzione futura promettente per isolare le feature interpretabili prima di applicare strategie di active learning.

In conclusione, sebbene lo studio non validi l'uso del campionamento basato sulle attivazioni per l'ICL, fornisce intuizioni essenziali escludendo una specifica classe di metodi e indicando le tecniche di disaggregazione delle feature, come gli SAE, come necessarie per il progresso futuro in questo dominio.