They Infer What You Meant: Models Represent Communicative Intent More Reliably Than They Act On It

Sintesi Tecnica: "Inferiscono ciò che intendi: i modelli rappresentano l'intento comunicativo in modo più affidabile di quanto non agiscano su di esso"

Definizione del Problema
I modelli linguistici distribuiti spesso falliscono nel comprendere l'intento comunicativo di un mittente — ovvero ciò che il mittente cerca di ottenere inviando un messaggio — rispondendo invece solo al contenuto letterale superficiale. Ad esempio, quando un utente condivide un progetto creativo finito senza richiedere una critica, un modello può per impostazione predefinita offrire un feedback non richiesto; quando un utente condivide un'espressione pura di stanchezza, il modello può eseguire una valutazione del rischio. Questo fallimento è inquadrato come un breakdown della competenza pragmatica (il "cosa è stato detto" vs. il "cosa si intendeva" di Grice). Sebbene esistano benchmark comportamentali, il meccanismo interno di questo fallimento rimane inesplorato: nello specifico, se l'intento sia rappresentato nei vettori latenti (hidden states) del modello e, in caso affermativo, perché la lettura (readout) predefinita fallisca nell'agire su di esso.

Metodologia
Lo studio impiega un design sperimentale con accoppiamento superficiale (surface-matched) per isolare l'intento comunicativo dal contenuto lessicale.

• Stimoli: Gli autori hanno costruito contrasti binari (ad es., riconoscere vs. valutare) dove il suffisso dell'ultimo messaggio è identico a livello di byte, ma il prefisso precedente stabilisce l'intento (ad es., "Sono orgoglioso di questo" vs. "Sii brutale, preferirei sentire i difetti").
• Probing: Sono stati addestrati dei probe lineari (regressione logistica con PCA) sui vettori latenti del passaggio predefinito (lo stato immediatamente prima della generazione) per decodificare l'intento. I controlli includono:
  • Baseline bag-of-words per garantire che il probe non stia leggendo indizi lessicali superficiali.
  • Validazione incrociata leave-one-phrasing-out per testare la generalizzazione attraverso diverse formulazioni.
  • Test di intento inferito dove l'intento non è mai dichiarato ma inferito pragmaticamente dal contesto (ad es., "regalo di compleanno" vs. "pezzo del portfolio").
• Steering (Manipolazione dell'Attivazione): Per testare la causalità, gli autori estraggono una direzione discriminante (vettore di peso logistico) dai vettori latenti e la aggiungono al flusso residuo (residual stream) in specifici strati del decoder durante la generazione. Misurano se questo "steering" recupera il comportamento inteso (onorando l'intento) senza un prompting esplicito.
• Modelli: Gli esperimenti coprono sei modelli appartenenti a quattro famiglie (Qwen, Llama, Mistral, Phi) e dimensioni che variano da 3B a 32B, inclusi checkpoint base (pre-instruction) e istruiti (instruct-tuned).

Risultati Chiave

1. Rappresentazione Robusta: L'intento comunicativo del mittente è robustamente rappresentato nei vettori latenti del modello. I probe lineari decodificano l'intento con un'accuratezza elevata (fino a 1.00) in tutti i sei modelli, anche quando l'intento è inferito piuttosto che dichiarato e disgiunto dal sentimento (calore vs. neutro). Questa rappresentazione esiste nei checkpoint base, indicando che è appresa durante il pretraining, non durante l'instruction tuning.
2. Il Ritardo della Lettura (Scarto): Nonostante l'intento sia chiaramente rappresentato, l'output predefinito spesso non riesce ad agire su di esso. In tre dei sei modelli (Qwen-3B, Qwen-7B, Llama-8B), la risposta predefinita onora un intento di "riconoscimento" solo circa il 60% delle volte, scivolando verso un feedback non richiesto.
3. Stratificazione della Profondità: All'interno di un modello, l'intento è decodificabile in diversi strati prima dello strato in cui avviene la lettura (readout) su cui agisce. Ad esempio, in Qwen-3B, l'intento è completamente decodificabile allo strato 24, ma lo steering a quello strato non recupera il comportamento; lo steering efficace richiede uno strato successivo (strato 30).
4. Stratificazione Modello-Specifica: Il fallimento nell'agire sull'intento non è una legge di scala universale, ma una stratificazione specifica del modello. I modelli più piccoli o meno maturi nell'istruzione (≤8B) mostrano il comportamento di "scarto", mentre i modelli più grandi o maturi (≥14B) spesso onorano già l'intento alla base.
5. Recupero Causale: Lo steering del flusso residuo lungo la direzione dell'intento discriminante al corretto strato recupera il comportamento inteso (ad es., aumentando l'onorare il "riconoscimento" da 0.65 a 0.98 in Qwen-3B) senza alcun prompt. Questa direzione è quasi ortogonale agli assi generici di offerta di feedback, suggerendo che indirizzi un intento rappresentato specifico piuttosto che agire come un generico controllo di verbosità.
6. Generalizzazione: La rappresentazione si generalizza a un secondo contrasto di intento lessicalmente distinto (supporto vs. aiuto), sebbene i risultati dello steering causale per questo asse siano stati meno conclusivi (un risultato nullo per la specificità dello steering).

Contributi Chiave

• Caratteristica di Interpretabilità di Primo Livello: Il paper tratta l'intento comunicativo del mittente come una caratteristica lineare e causale, distinta dagli attributi dell'utente o dalle credenze del personaggio.
• Decomposizione Rappresenta-Poi-Leggi (Represent-Then-Readout): Stabilisce una dissociazione meccanicistica: i modelli rappresentano l'intento in modo robusto e universale, ma la lettura (agire su di esso) è un processo separato, fragile e specifico del modello.
• Handle Causale senza Prompt: Dimostra che una direzione legata all'intento rappresentato può servire come handle causale per recuperare il comportamento inteso, performando quanto un'istruzione esplicita ma senza richiedere un prompt.
• Controlli Rigorosi: Lo studio riporta i risultati nulli e i test pre-registrati inconcludenti (ad es., il test geometrico per le leggi di scala, la specificità dello steering per l'asse supporto/aiuto) con la stessa chiarezza con cui riporta le conferme.

Significatività e Rivendicazioni
Il paper riformula la comune osservazione secondo cui "il modello non capisce". L'evidenza suggerisce che il modello capisce; l'intento è presente nella rappresentazione interna. Il fallimento risiede nel meccanismo di lettura (readout) che non riesce a instradare tale rappresentazione nell'output finale.

• Ambito Modesto: Gli autori dichiarano esplicitamente di non sostenere che "onorare" l'intento sia sempre il comportamento normativo corretto (un modello potrebbe giustamente offrire una critica gentile). La rivendicazione riguarda la instradabilità: il modello rappresenta l'intento ma scivola su un comportamento diverso.
• Insight Meccanicistico: Le scoperte suggeriscono che la "competenza pragmatica" non è una capacità monolitica, ma un processo a strati dove la rappresentazione precede l'azione. Il divario tra rappresentazione e azione è dove gli strumenti di interpretabilità (come lo steering) possono intervenire.
• Trasferibilità: Sebbene il divario comportamentale sia specifico del modello, gli autori ipotizzano che la mappa "rappresenta-poi-instra" sia universale e possa trasferirsi ai sistemi a circuito chiuso (closed-frontier systems), anche se il fallimento comportamentale specifico non lo fa.

Il paper conclude che la separazione tra rappresentare un intento e agire su di esso è una proprietà fondamentale delle attuali architetture, osservabile tramite probe lineari e steering causale, e che questa separazione è il luogo primario del fallimento pragmatico in specifiche configurazioni di modelli.