💬 NLP

Mechanistic Interpretability of Cognitive Complexity in LLMs via Linear Probing using Bloom's Taxonomy

Questo studio dimostra che i Large Language Models codificano i livelli di complessità cognitiva definiti dalla Tassonomia di Bloom in un sottospazio linearmente separabile delle loro rappresentazioni interne, raggiungendo un'elevata accuratezza di classificazione e suggerendo che la difficoltà cognitiva venga risolta precocemente durante il passaggio in avanti.

Autori originali: Bianca Raimondi, Maurizio Gabbrielli

Pubblicato 2026-07-20

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Bianca Raimondi, Maurizio Gabbrielli

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di capire come pensa un robot super intelligente. Per molto tempo, gli scienziati hanno trattato questi robot, chiamati Large Language Models (LLM), come scatole nere magiche. Digiti una domanda e spunta fuori una risposta perfetta, ma nessuno sa come il robot ci sia arrivato. È come guardare uno chef cucinare un pasto gourmet senza mai vedere la cucina o gli ingredienti. Recentemente, un campo chiamato "interpretabilità meccanicistica" ha iniziato a sbirciare dentro la cucina, cercando di mappare i circuiti cerebrali del robot. Una grande domanda che si pongono è: il robot comprende davvero la difficoltà di un compito, o sta solo indovinando in base alle parole che vede? Per rispondere a questo, i ricercatori usano un famoso strumento educativo chiamato "Tassonomia di Bloom". Immaginala come una scala di abilità di pensiero. Il primo gradino è la memoria semplice (ripetere un fatto), e l'ultimo è la creatività di alto livello (progettare qualcosa di nuovo). Se un robot è davvero intelligente, i suoi segnali cerebrali interni dovrebbero cambiare mentre sali su questa scala, proprio come fa il cervello umano quando passa dal memorizzare una data al risolvere un mistero complesso.

Questo articolo prende una lente d'ingrandimento sul cervello del robot per vedere se organizza i suoi pensieri secondo questa scala di difficoltà. I ricercatori, Bianca Raimondi e Maurizio Gabbrielli, non si sono limitati a porre domande al robot; hanno osservato i segnali elettrici (attivazioni) all'interno del cervello del robot mentre stava pensando. Hanno testato quattro diversi cervelli robot popolari (Llama, Qwen, Gemma e DeepSeek) usando 1.128 domande che spaziavano da compiti semplici come "definisci questo" a sfide complesse come "progetta un nuovo sistema". Volevano sapere: possiamo tracciare una semplice linea retta attraverso i dati del cervello del robot per capire se sta svolgendo un compito di memoria semplice o un compito creativo complesso?

La risposta è un sì risonante, e accade sorprendentemente in fretta. Il team ha scoperto che non appena il robot inizia a elaborare una frase (nei primi livelli del suo cervello), sa già quanto è difficile il compito. Chiamano questo momento "Cognitive Separability Onset" (Inizio della Separabilità Cognitiva). È come se il robot avesse un speciale "interruttore di difficoltà" che si attiva quasi immediatamente. Al quinto livello (su 30 o 36 livelli in questi modelli), i segnali cerebrali del robot per "Ricordare" sono così chiaramente diversi da quelli per "Creare" che un semplice strumento matematico può distinguerli con circa il 90% di precisione. È come se il robot smistasse i suoi pensieri in pile ordinate e separate in base a quanto è difficile il lavoro, e lo faccia prima ancora di iniziare a scrivere la risposta.

Ancora più interessante, il robot commette errori in modo molto umano. Quando il robot si confonde, di solito scambia passaggi che si trovano uno accanto all'altro sulla scala. Ad esempio, potrebbe confondere l' "Analisi" con la "Valutazione", ma quasi mai confonde il "Ricordare" con il "Creare". Questo suggerisce che il robot non sta solo memorizzando etichette casuali; ha costruito una mappa mentale dove i livelli di difficoltà sono disposti in una linea fluida e ordinata, proprio come previsto dalla teoria educativa.

Per assicurarsi che il robot non stesse barando guardando indizi semplici (come notare che "progetta" di solito significa "difficile" e "elenca" significa "facile"), i ricercatori hanno eseguito dei test di controllo. Hanno cercato di indovinare la difficoltà usando solo le parole sulla pagina, senza guardare il cervello del robot. Quei metodi semplici di conteggio delle parole sono falliti miseramente, ottenendo solo circa il 73% di precisione e commettendo errori casuali e sparsi. Questo prova che il robot sta facendo qualcosa di più profondo rispetto alla semplice lettura del prompt; sta costruendo una rappresentazione interna complessa della difficoltà del compito.

Infine, il team ha provato a "guidare" il cervello del robot. Hanno trovato una direzione specifica nei segnali del cervello del robot che punta verso una "maggiore difficoltà". Quando hanno dato una spinta al cervello del robot in quella direzione, le risposte del robot sono effettivamente cambiate. Se spingevano una domanda semplice verso la direzione "creativa", il robot iniziava a dare risposte più complesse e analitiche. Tuttavia, se spingevano troppo forte o troppo tardi nel processo, il robot iniziava a balbettare e a ripetere le parole, mostrando che questa "direzione di difficoltà" è una parte reale e funzionale di come il robot pensa, non solo un modello passivo.

In breve, questo articolo suggerisce che questi modelli di IA hanno un senso intrinseco e misurabile della complessità cognitiva. Non si limitano a elaborare parole; organizzano i loro pensieri interni secondo una scala di difficoltà, smistando fatti semplici da idee complesse in modo strutturato e lineare, che rispecchia l'apprendimento umano. Questa scoperta ci offre un nuovo modo per guardare dentro la scatola nera e capire che, almeno in alcuni modi, questi modelli organizzano i loro "pensieri" molto come facciamo noi.

Sintesi Tecnica: Interpretabilità Meccanicistica della Complessità Cognitiva negli LLM tramite Linear Probing utilizzando la Tassonomia di Bloom

Definizione del Probleo

I Large Language Models (LLM) hanno dimostrato capacità di ragionamento e generazione complessa, eppure i loro meccanismi interni rimangono una "scatola nera". Gli attuali framework di valutazione si affidano pesantemente a metriche di prestazione superficiali (ad esempio, la correttezza della risposta), che non riescono a distinguere tra la memorizzazione mnemonica e il vero ragionamento multi-step. Questo articolo affronta la necessità di valutare la profondità cognitiva degli LLM investigando se le loro rappresentazioni neurali interne codifichino una struttura gerarchica di complessità cognitiva, specificamente allineata alla Tassonomia di Bloom (Ricordare, Comprendere, Applicare, Analizzare, Valutare, Creare). Le domande di ricerca centrali si concentrano su se questi livelli cognitivi siano linearmente separabili all'interno dei residual stream del modello, a quale profondità emergano e se tali rappresentazioni siano causalmente attive durante la generazione.

Metodologia

Lo studio impiega un approccio di interpretabilità meccanicistica utilizzando il linear probing sulle attivazioni del residual stream di quattro modelli open-weight allo stato dell'arte: Llama-3.1-8B-Instruct, Qwen3-4B-Instruct-2507, gemma-3-4b-it e DeepSeek-R1-Distill-Llama-8B.

Costruzione del Dataset: È stato curato un dataset bilanciato di 1.128 domande in linguaggio naturale, con 188 domande per ogni livello della Tassonomia di Bloom (0–5). Le fonti includono query di corsi di Informatica e il dataset EduQG. Il dataset è stato sottocampionato per garantire l'equilibrio delle classi e prevenire che i priori statistici influenzassero l'accuratezza del probe.
Estrazione delle Attivazioni: Per ogni modello, gli autori hanno eseguito un forward pass senza fine-tuning, estraendo il vettore dello stato nascosto ( $x_l$ ) nella posizione dell'ultimo token per ogni livello $l$ nel residual stream.
Linear Probing: Un classificatore di regressione logistica è stato addestrato in ogni livello per predire il livello di Bloom ( $y \in \{0, \dots, 5\}$ ) a partire dai vettori di attivazione estratti. L'uso di un linear probe assicura che la classificazione riuscita rifletta informazioni che sono linearmente decodificabili dalle rappresentazioni, piuttosto che fare affidamento sulla capacità espressiva di classificatori non lineari.
Esperimenti di Controllo: Per escludere la possibilità che l'accuratezza del probe fosse guidata esclusivamente da indizi lessicali superficiali (ad esempio, verbi specifici come "definisci" rispetto a "progetta"), gli autori hanno confrontato i loro risultati con:
- Analisi della Lunghezza: Verifica dell'assenza di differenze significative di lunghezza tra i livelli.
- Baseline Superficiali: Addestramento della regressione logistica su vettori TF-IDF e embedding di frasi del testo grezzo.
Validazione Causale (Steering delle Attivazioni): Per testare se queste rappresentazioni siano causalmente attive, gli autori hanno definito i vettori di steering come la differenza tra le attivazioni medie del livello cognitivo più alto (Creare) e i livelli inferiori. Questi vettori sono stati iniettati nel residual stream in vari livelli con diverse intensità ( $\alpha$ ) per osservare i cambiamenti nel livello cognitivo predetto dal modello e nella natura qualitativa degli output generati.

Risultati Chiave

1. Separabilità Lineare e Onset della Separabilità Cognitiva (CSO)

I linear probe hanno raggiunto un'alta accuratezza (avvicinandosi alle prestazioni di ceiling) in tutti i modelli, indicando che la complessità cognitiva è codificata in un sottospazio linearmente accessibile del residual stream.

Profondità di Emergenza: La profondità cognitiva non è linearmente separabile al livello di input o di embedding. Inveve, un Onset della Separabilità Cognitiva (CSO) si verifica costantemente intorno al Livello 5 attraverso diverse architetture.
Stabilità: Una volta raggiunto il CSO, l'accuratezza del probe rimane stabile o migliora leggermente nei livelli più profondi, suggerendo che la rappresentazione della complessità cognitiva venga stabilita precocemente e preservata, piuttosto che ricalcolata ad ogni step.

2. Struttura Geometrica e Pattern di Errore

Analisi dei Centroidi: La distanza euclidea tra i centroidi di livelli di Bloom adiacenti aumenta monotonicamente con la profondità, mostrando un progressivo disimpegno geometrico dei livelli cognitivi.
Errori Strutturati: Le matrici di confusione rivelano che le classificazioni errate avvengono prevalentemente tra livelli di Bloom adiacenti (ad esempio, Analizzare vs Valutare). Gli errori a lungo raggio (ad esempio, Ricordare vs Creare) sono rari. Ciò suggerisce che il modello codifichi la profondità cognitiva come un manifold continuo e ordinato, piuttosto che come classi discrete arbitrarie, rispecchiando la struttura ordinale della teoria educativa umana.

3. Esperimenti di Controllo

Le baseline testuali superficiali (TF-IDF e sentence embeddings) hanno ottenuto un'accuratezza significativamente inferiore (~~61–73%) rispetto ai residual stream probe (~~90%). Inoltre, i pattern di errore nelle baseline superficiali erano rumorosi e non ordinali, mentre gli errori del residual stream erano strettamente adiacenti. Ciò conferma che la struttura cognitiva osservata non è una mera riflessione di indizi lessicali superficiali, ma rappresenta un'organizzazione interna più profonda dello spazio latente del modello.

4. Validazione Causale tramite Steering

Gli esperimenti di steering delle attivazioni hanno dimostrato che perturbare il residual stream lungo la direzione cognitiva identificata induce uno spostamento sistematico nel comportamento del modello:

Dipendenza dal Livello: Lo steering nei livelli iniziali/intermedi (ad esempio, Livello 5) ha prodotto cambiamenti coerenti nello stile di ragionamento (ad esempio, passare dall'elencare fatti all'analizzare relazioni). Lo steering nei livelli più profondi ha spesso portato alla degradazione della fluidità e alla ripetizione, senza cambiamenti significativi nel ragionamento.
Dipendenza dalla Forza: Intensità moderate di steering hanno prodotto transizioni interpretabili nel framing cognitivo, mentre intensità elevate hanno causato instabilità.
Entità dello Spostamento: Le interazioni hanno indotto uno spostamento medio di +1 o +1.5 nel livello cognitivo predetto dal probe.

Significato e Rivendicazioni

L'articolo sostiene di fornire prove meccanicistiche dirette che gli LLM organizzano spontaneamente le loro rappresentazioni interne per codificare una domanda cognitiva gerarchica, astratta dal contenuto specifico del dominio.

Oltre le Metriche Superficiali: I risultati suggeriscono che la complessità cognitiva non è solo un output comportamentale, ma una proprietà strutturale dello spazio latente del modello, che emerge precocemente nel forward pass.
La Tassonomia di Bloom come Lente: Lo studio valida la Tassonomia di Bloom come un framework utile non solo per l'educazione umana, ma anche per analizzare la meccanica interna dell'IA, rivelando che i modelli allineano la loro geometria interna con le gerarchie cognitive definite dall'uomo.
Rilevanza Causale: Dimostrando che lo steering di queste rappresentazioni altera l'output del modello, gli autori sostengono che queste rappresentazioni cognitive siano componenti causalmente attive del processo di generazione, e non semplici artefatti correlazionali.

Gli autori mantengono un ambito modesto, notando che la loro analisi è attualmente limitata ai transformer decoder-only e alle domande educative in inglese. Essi ipotizzano che questi risultati pongano le basi per lavori futuri volti a monitorare e regolare i setting cognitivi dell'IA tramite i loro correlati neurali, muovendosi verso standard di valutazione comparabili all'intelligenza umana.