💬 NLP

Linear Probes Detect Task Format, Not Reasoning Mode in Language Model Hidden States

Questo articolo dimostra che, sebbene le sonde lineari sugli stati latenti dei LLM ottengano un'elevata accuratezza nel distinguere tra compiti di ragionamento deduttivo, induttivo e abduttivo, tale separazione è interamente guidata da confondimenti del formato del compito piuttosto che da distinte rappresentazioni computazionali delle modalità di ragionamento stesse.

Autori originali: Subramanyam Sahoo, Vinija Jain, Aman Chadha, Divya Chaudhary

Pubblicato 2026-06-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Subramanyam Sahoo, Vinija Jain, Aman Chadha, Divya Chaudhary

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

La Grande Domanda: I Cervelli dell'IA Hanno Diversi "Modi"?

Immaginate di cercare di capire come cucina uno chef. Notate che quando prepara un'insalata indossa un grembiule verde, e quando griglia una bistecca indossa un grembiule rosso. Potreste ipotizzare: "Ah! Il grembiule verde significa che sta usando una 'strategia per l'insalata', e il grembiule rosso significa che sta usando una 'strategia per la bistecca'".

È esattamente ciò che i ricercatori hanno fatto con i Large Language Models (LLM). Osservano gli "stati nascosti" dell'IA (la sua attività cerebrale interna) e utilizzano un test semplice chiamato sonda lineare per vedere se l'IA passa tra diversi "modi di ragionamento" (come Deduttivo, Induttivo e Abduttivo), proprio come uno chef cambia grembiule.

Per molto tempo, i dati sono sembrati perfetti. Il "grembiule verde" (compiti deduttivi) e il "grembiule rosso" (compiti induttivi) si trovavano in parti completamente diverse del cervello dell'IA. I ricercatori hanno pensato: "Ottimo! L'IA ha costruito circuiti interni distinti per diversi tipi di pensiero".

Questo articolo dice: "Aspetta un attimo. Non stai vedendo il pensiero; stai vedendo l'uniforme".

L'Indagine: Cosa Sta Succedendo Davvero?

I ricercatori hanno esaminato più da vicino l'IA (specificamente un modello chiamato Qwen3-14B) utilizzando tre diversi tipi di enigmi logici:

Deduttivo: Enigmi di logica (come una dimostrazione matematica).
Induttivo: Domande scientifiche (trovare schemi).
Abduttivo: Risoluzione di misteri (indovinare la spiegazione migliore).

Hanno scoperto che l'attività cerebrale dell'IA sembrava effettivamente molto diversa per ogni tipo. Ma sospettavano un trucco.

La Confusione dell' "Uniforme"

Pensatelo in questo modo:

I puzzle Deduttivi provenivano da un sito web dove ogni domanda ha 4 possibili risposte e una storia lunga.
I puzzle Induttivi provenivano da un altro sito web dove ogni domanda ha anche 4 possibili risposte ma usa termini scientifici.
I puzzle Abduttivi provenivano da un terzo sito web dove ogni domanda ha solo 2 possibili risposte ed è molto breve.

I ricercatori si sono resi conto che l'IA non stava necessariamente cambiando il suo stile di pensiero. Inveve, stava solo reagendo al formato della domanda. Era come se lo chef indossasse il grembiule verde non perché sta facendo un'insalata, ma perché la cucina dove si fa l'insalata è dipinta di verde.

I Tre Test (Il "Lavoro da Detective")

Per dimostrare la loro teoria, i ricercatori hanno eseguito tre test specifici:

1. Il Test "Togli l'Uniforme" (Analisi Residua)
Hanno preso l'attività cerebrale dell'IA e hanno matematicamente "lavato via" i dettagli del formato (come il numero di risposte, la lunghezza del testo e il sito web da cui proveniva la domanda).

Risultato: Una volta rimossi l' "uniforme" (il formato), il "grembiule verde" e il "grembiule rosso" sono scomparsi. L'attività cerebrale per tutti e tre i compiti appariva esattamente la stessa. La separazione perfetta era svanita, scendendo al livello del caso.
Analogia: Se togliete il grembiule verde e rosso, lo chef appare esattamente uguale sia che stia preparando l'insalata che la bistecca.

2. Il "Controllo del Comportamento" (Accordo Trace-Mode)
Hanno osservato le parole effettive che l'IA scriveva mentre risolveva i problemi. L'IA agiva davvero in modo diverso risolvendo un puzzle di logica rispetto a un mistero?

Risultato: No. L'IA ha risolto tutti e tre i tipi di problemi correttamente (accuratezza dell'86%), ma il modo in cui spiegava la soluzione era quasi identico per tutti. Non cambiava strategia; usava una "super-strategia" per tutto.
Analogia: Lo chef usa esattamente le stesse tecniche di taglio e lo stesso movimento di mano sia che stia tagliando un pomodoro o una carota. Non sta usando una "tecnica del pomodoro" contro una "tecnica della carota".

3. Il Test della "Spinta" (Guida Causale)
I ricercatori hanno cercato di "spingere" il cervello dell'IA in una direzione specifica per costringerlo ad agire come se fosse in "Modalità Deduttiva" o "Modalità Induttiva". Hanno confrontato questo con il tentativo di spingerlo in una direzione casuale.

Risultato: Spingerlo nella direzione "Deduttiva" non ha funzionato meglio che spingerlo casualmente. La geometria del cervello non controllava effettivamente lo stile di pensiero.
Analogia: Cercare di forzare lo chef a cambiare grembiule spingendolo non ha cambiato ciò che cucinava. Il colore del grembiule era solo una coincidenza, non la causa dello stile di cucina.

La Conclusione

L'articolo conclude che un'alta accuratezza in questi test non prova che l'IA possieda diversi circuiti di ragionamento interni.

Quando i ricercatori utilizzano dataset differenti per diversi tipi di ragionamento (una pratica standard), l'IA impara a riconoscere il formato del dataset (l' "uniforme") piuttosto che la logica del compito. La "geometria distinta" che i ricercatori vedono nel cervello dell'IA è solo un riflesso del formato della domanda, non un riflesso di un modo speciale di pensare.

Il Messaggio Chiave:
Solo perché il cervello di un'IA appare diverso per compiti diversi, non significa che stia pensando in modo diverso. Potrebbe semplicemente indossare un'uniforme diversa. Per capire veramente come ragiona l'IA, dobbiamo togliere il formato e vedere se il pensiero cambia effettivamente. In questo caso, l'IA sembra usare una singola, potente e uniforme strategia per risolvere ogni tipo di problema logico, invece di passare tra modalità specializzate.

(i blocchi sono rimossi). La pipeline consiste in cinque fasi:

Sondaggio Lineare per Livello (Layer-wise Linear Probing): Un probe di regressione logistica viene addestrato su ogni livello per predire la modalità di ragionamento a partire dagli stati latenti. La geometria del manifold (dimensionalità intrinseca, curvatura, contaminazione dell'inviluppo convesso) viene analizzata al livello con le prestazioni migliori.
Decomposizione del Confondimento del Formato (Format Confound Decomposition): Viene introdotta una pipeline di analisi residua in quattro fasi:
- Predizione della Sorgente: Sondaggio dell'identità della sorgente del dataset per verificare l'equivalenza con la predizione della modalità.
- Probe del Conteggio Opzioni: Test per verificare se il numero scalare di opzioni (2 vs 4) separi da solo le modalità.
- Confronto Controllato dal Formato: Restrizione dell'analisi ai soli compiti a 4 opzioni (LogiQA + ARC).
- Analisi Residua: Utilizzo della regressione Ridge per predire gli stati latenti da un vettore di caratteristiche del formato (sorgente one-hot, conteggio opzioni, lunghezza della risposta) e rimozione di questa informazione lineare. Il probe viene poi rivalutato sui residui.
Accordo Traccia-Modalità (Trace-Mode Agreement): Le tracce di ragionamento generate dal modello vengono incorporate (embedded) e confrontate con descrizioni ancora (anchor descriptions) create manualmente per ogni modalità. I tassi di accordo vengono misurati per determinare se il comportamento osservabile del modello si adatti al tipo di compito.
Guida Causale con Controlli Casuali (Causal Steering with Random Controls): La guida delle attivazioni (activation steering) viene applicata utilizzando vettori derivati dalle differenze tra i centroidi delle modalità. Fondamentalmente, questo viene confrontato con controlli a direzione casuale ( $N=20$ ) di uguale magnitudo per testare se la struttura geometrica abbia un legame causale funzionale con il ragionamento o se qualsiasi perturbazione di tale magnitudo produca effetti simili.

Contributi Chiave

Decomposizione del Confondimento del Formato: Il paper introduce una pipeline di analisi residua che dimostra come, quando le caratteristiche del formato (identità della sorgente, conteggio opzioni, lunghezza della risposta) vengono rimosse tramite regressione, l'accuratezza del probe crolli ai livelli del caso.
Analisi dell'Accordo Traccia-Modalità: Gli autori mostrano che, mentre il modello raggiunge un'accuratezza complessiva elevata (86%), le sue tracce di ragionamento presentano solo un accordo del 42,5% con le modalità intese (rispetto al 33,3% del caso), suggerendo una mancanza di adattamento della strategia.
Controlli Causali con Baseline Casuali: Lo studio implementa controlli a direzione casuale per gli esperimenti di steering, un metodo spesso assente nelle opere precedenti, per stabilire che gli spostamenti geometrici osservati non siano legati causalmente al ragionamento.
Raccomandazioni Metodologiche: Il paper propone che il deconfondimento del formato e i controlli a direzione casuale diventino pratiche standard nella interpretabilità basata su probing.

Risultati

1. Apparente Separazione Perfetta

Al livello 32 (80% della profondità della rete), i probe lineari raggiungono un'accuratezza in cross-validazione del 100% nel distinguere le tre modalità di ragionamento. La geometria del manifold a questo livello mostra cluster distinti con dimensionalità intrinseche variabili (20,6 per il deduttivo, 28,5 per l'induttivo, 33,6 per l'abduttivo) e una minima contaminazione dell'inviluppo convesso ( $\le 1,5\%$ ).

2. La Separazione è Interamente Guidata dal Formato

L'analisi residua ribalta il risultato iniziale:

Equivalenza della Sorgente: Un probe che predice la sorgente del dataset raggiunge un'accuratezza del 100%, identica alla predizione della modalità.
Conteggio Opzioni: Un probe che utilizza solo il numero di opzioni raggiunge un'accuratezza del 33,3% (il prior per la classe a 2 scelte), confermando che le caratteristiche strutturali sono sfruttabili.
Collasso dei Residui: Dopo la rimozione dell'informazione lineare del formato, l'accuratezza del probe sia per la modalità di ragionamento che per la sorgente del dataset scende a $\approx 33,5\%$ , indistinguibile dal caso. La "geometria della modalità di ragionamento" è interamente un artefatto del formato del compito.

3. Strategia di Ragionamento Uniforme

Il modello raggiunge un'accuratezza dell'86% in tutti i tipi di compito, ma presenta solo un accordo traccia-modalità del 42,5%. Ciò indica che il modello non altera sostanzialmente la sua strategia di ragionamento passando tra compiti deduttivi, induttivi e abduttivi; probabilmente impiega un meccanismo general-purpose.

4. Nessun Legame Funzionale nella Geometria

Gli esperimenti di causal steering rivelano che guidare lungo la direzione della differenza tra i centroidi non produce risultati significativamente diversi rispetto alle perturbazioni casuali di uguale magnitudo. Il p-value empirico è 0,286, e l'iniezione di conflitto causa un collasso della coerenza sia per le coppie target che per quelle casuali. Questo conferma che la separazione geometrica non ha un ruolo causale funzionale nella selezione delle modalità di ragionamento.

Significatività e Rivendicazioni

Il paper sostiene che un'elevata accuratezza del probe lineare non è sufficiente prova di una struttura computazionale interna quando le etichette di ragionamento sono confondute con le sorgenti dei dataset. Le "rappresentazioni distinte" osservate nella letteratura precedente sono probabilmente artefatti del design di valutazione multi-sorgente standard piuttosto che prova di circuiti di ragionamento specializzati.

Gli autori affermano che il modello ragiona bene in tutti e tre i tipi, ma sembra farlo utilizzando una strategia ampiamente uniforme piuttosto che modalità computazionali distinte. Di conseguenza, il paper richiede un cambiamento nelle pratiche di interpretabilità meccanicistica:

I ricercatori devono riportare l'accuratezza della predizione della sorgente insieme all'accuratezza della predizione della modalità.
L'analisi residua per rimuovere le caratteristiche del formato dovrebbe diventare uno standard di controllo.
Gli esperimenti di steering devono includere controlli a direzione casuale per verificare la direzionalità.
I futuri benchmark dovrebbero imporre formati superficiali identici attraverso i tipi di ragionamento per isolare le reali differenze di ragionamento.

Lo studio conclude che, sebbene i LLM possiedano capacità di ragionamento, l'assunto che utilizzino geometrie interne distinte per diverse modalità di ragionamento non è supportato quando i confondimenti del formato sono opportunamente controllati.