Riepilogo Tecnico: I Modelli di Output Distribuiti Guidano l'Apprendimento in Contesto

Enunciato del Problema

Comprendere come i Modelli Linguistici su Larga Scala (LLM) codifichino l'identità del compito a partire da dimostrazioni few-shot rimane un problema aperto centrale nell'interpretabilità meccanica. La ricerca precedente si è basata prevalentemente sul linear probing per localizzare le rappresentazioni del compito, riportando elevate percentuali di accuratezza nella classificazione a specifici livelli e posizioni. Tuttavia, esiste un divario critico tra decodificabilità (la capacità di un probe di estrarre informazioni) e rilevanza causale (se tali informazioni guidano il comportamento del modello). Questo articolo indaga se l'elevata accuratezza di probing osservata nei lavori precedenti si traduca in un controllo causale sull'identità del compito nell'apprendimento in contesto (ICL).

Metodologia

Gli autori impiegano esperimenti di intervento sulle attivazioni su Llama-3.2-3B-Instruct e replicano i risultati su altri tre modelli (Llama-3.2-1B, Qwen2.5-1.5B, Gemma-2-2B). Lo studio distingue tra tre tipi di posizioni in un prompt ICL: input delle dimostrazioni, output delle dimostrazioni e query.

1. Probing: Classificatori basati sul centroide più vicino vengono addestrati su ogni coppia (livello, posizione) per misurare la decodificabilità dell'identità del compito.
2. Intervento a Singola Posizione: Il vettore di attivazione a una singola coppia (livello, posizione) in un prompt target viene sostituito con l'attivazione media proveniente da un compito sorgente. Ciò verifica se l'identità del compito è localizzata.
3. Intervento a Più Posizioni: Le attivazioni di tutti i token di output delle dimostrazioni vengono sostituite simultaneamente. Ciò verifica se l'identità del compito è distribuita.
4. Tracciamento Causale: Viene iniettato rumore gaussiano in posizioni specifiche per misurare la necessità (tasso di interruzione), mentre il trapianto misura la sufficienza (tasso di trasferimento).
5. Analisi della Compatibilità del Formato: Lo studio crea varianti di compiti con operazioni identiche ma formati di output diversi (ad esempio, "PAROLA" vs "PAROLA.") per determinare se il trasferimento si basa su regole astratte o modelli superficiali.

Contributi e Risultati Chiave

1. Il Fallimento dell'Intervento a Singola Posizione

Nonostante il raggiungimento di un'accuratezza di probing del 100% alle posizioni delle dimostrazioni e dell'83% alla posizione della query attraverso tutti i 28 livelli, l'intervento a singola posizione ottiene un trasferimento del compito dello 0% a ogni livello. Esperimenti di controllo (ablazione a zero e casuale) confermano che nessuna singola posizione è causalmente necessaria; il modello ignora completamente le perturbazioni a singola posizione. Ciò dimostra che la codifica del compito è fondamentalmente distribuita e tollerante ai guasti.

2. La Svolta dell'Intervento a Più Posizioni

Gli autori rivelano che l'identità del compito può essere trasferita causalmente solo attraverso un intervento simultaneo a più posizioni.

• Finestra Ottimale: Il trasferimento raggiunge il picco al Livello 8 (circa 30% della profondità della rete) per modelli a 28 livelli, ottenendo un trasferimento del 96% (IC 95%: [87%, 99%]) per coppie compatibili nel formato.
• Specificità della Posizione: Sostituire i token di output delle dimostrazioni produce un trasferimento del 94%, mentre la sostituzione dei token di input produce lo 0%. Sostituire tutti i token delle demo (input + output) produce il 96%, indicando che i token di output trasportano il segnale primario.
• Effetti di Soglia: Il trasferimento non è graduale. Sostituire 1–3 posizioni produce lo 0% di trasferimento; sostituire ~10 posizioni produce il 10%; sostituire tutte le posizioni produce ~90%. Analogamente, 1–3 dimostrazioni sorgente producono lo 0% di trasferimento, mentre 5 producono il 93%.

3. Asimmetria Causale: Query vs. Demostrazioni

Il tracciamento causale tramite iniezione di rumore rivela una marcata asimmetria:

• Posizione Query: Strettamente necessaria (53–100% di interruzione quando viene iniettato rumore nei livelli 0–14) ma non sufficiente (0% di trasferimento quando trapiantata).
• Posizioni delle Demostrazioni: Individualmente non necessarie (0% di interruzione quando viene iniettato rumore) ma collettivamente sufficienti (96% di trasferimento quando tutte vengono sostituite).
  Ciò suggerisce una pipeline a stadi: i livelli iniziali codificano modelli distribuiti, i livelli intermedi aggregano queste informazioni alla query e i livelli finali si impegnano nella generazione dell'output.

4. L'Ipotesi del Modello Distribuito

Il trasferimento dipende dalla compatibilità delle rappresentazioni interne, non dalla similarità superficiale.

• Sensibilità al Formato: Compiti con operazioni identiche ma formati di output diversi (ad esempio, "PAROLA" vs "PAROLA.") mostrano lo 0% di trasferimento. Al contrario, compiti con modelli strutturalmente simili (ad esempio, "parola parola" vs "parola, parola") mostrano il 90% di trasferimento.
• Compatibilità del Numero di Token: Il trasferimento è guidato dalla compatibilità del numero di token di output. Ad esempio, MAIUSCOLE (1 token) si trasferisce su lineare 2x (1 token) al 100%, ma ripeti parola (2 token) non riesce a trasferirsi su ripeti n (3 token).
• Prevedibilità: Solo 7 coppie di compiti su 56 (13%) raggiungono un trasferimento ≥50%. Queste formano un cluster di compiti procedurali con strutture di output rigide, a token singolo o ripetuti. I compiti semantici mostrano un trasferimento incrociato tra compiti vicino allo zero.

Significato e Affermazioni

Il paper stabilisce l'Ipotesi del Modello Distribuito: l'identità del compito nell'ICL non è codificata come un vettore localizzato o una regola astratta, ma come modelli di output distribuiti attraverso i token delle dimostrazioni.

• Insight Meccanico: I risultati risolvono l'ambiguità tra decodificabilità e rilevanza causale, mostrando che un'elevata accuratezza di probing non implica un controllo causale.
• Specificità Architetturale: La finestra di intervento ottimale a circa il 30% di profondità sembra essere una caratteristica universale tra le architetture LLaMA, Qwen e Gemma, suggerendo una fase di elaborazione generale dei transformer in cui i modelli vengono codificati prima dell'aggregazione.
• Implicazioni per il Steering: Lo steering efficace delle attivazioni per l'ICL richiede una sostituzione coordinata a più posizioni nei livelli medio-iniziali, piuttosto che la modifica di singoli vettori.
• Natura dell'ICL: I risultati suggeriscono che per molti compiti, il modello opera abbinando modelli di output piuttosto che inferendo relazioni astratte input-output, in particolare per i compiti procedurali.

Gli autori concludono che, sebbene il meccanismo sia generale, un trasferimento di successo è vincolato da una stretta compatibilità strutturale tra i formati di output sorgente e target, escludendo spiegazioni banali basate sulla similarità superficiale o su artefatti di iniezione casuale.