Sintesi Tecnica: NeuroCogMap Rivela l'Organizzazione Cognitiva dei Large Language Models

Problema

Sebbene i Large Language Models (LLM) esibiscano ampi comportamenti di tipo cognitivo, la loro organizzazione cognitiva interna rimane opaca. Gli attuali approcci di interpretabilità sono frammentati: le valutazioni comportamentali rivelano cosa i modelli possono fare, ma non come le funzioni siano implementate; gli studi meccanicistici identificano neuroni o circuiti isolati, ma mancano di coerenza a livello di sistema; e le analisi rappresentazionali rivelano ampie strutture semantiche senza collegarle a unità funzionali specifiche o all'organizzazione gerarchica. Esiste un vuoto critico nella comprensione di come i componenti distribuiti negli LLM formino unità funzionali coerenti, interagiscano attraverso livelli di astrazione e sostengano capacità di ordine superiore, e come questi si interrompano durante comportamenti patologici (ad esempio, allucinazione, bias, fallimento del rifiuto). Inoltre, non è chiaro se queste strutture artificiali possano fornire intuizioni verificabili sulla cognizione biologica o migliorare la predizione delle risposte neurali umane.

Metodologia: Il Framework NeuroCogMap

Gli autori introducono NeuroCogMap, un framework ispirato ai principi delle neuroscienze cognitive (parcellizzazione funzionale, mappatura rappresentazionale, astrazione gerarchica) per mappare la struttura cognitiva interna degli LLM. Il framework opera attraverso quattro fasi collegate:

1. Costruzione dell'Atlante Funzionale (Parcelle):

   • Estrazione delle Caratteristiche: Le attivazioni degli Sparse Autoencoder (SAE) vengono estratte dai residual stream di LLM (Gemma2-2B, Gemma2-9B-IT, Llama-3.1-8B) attraverso diversi dataset. Gli SAE vengono utilizzati per decomporre le attivazioni dei neuroni polisemantici in direzioni di caratteristiche separabili e interpretabili.
   • Clustering: Le caratteristiche SAE vengono raggruppate in base ai loro profili di risposta evocati dai task e alla distribuzione degli strati. La granularità ottimale è determinata da un punteggio congiunto che bilancia la qualità del clustering, la qualità della descrizione funzionale e la non-ridondanza, portando a 270 parcelle funzionali.
   • Annotazione: A ogni parcella viene assegnata una descrizione funzionale in linguaggio naturale (ad esempio, "Analisi della Contraddizione", "Recupero della Conoscenza Geografica") basata sugli esempi ad alta attivazione e sull'estrazione di parole chiave.

2. Atlante Cognitivo e Mappatura delle Capacità:

   • Inventario delle Capacità: Viene stabilito uno spazio curato di 45 capacità cognitive (ad esempio, robustezza, ragionamento, sicurezza) derivato dalla letteratura.
   • Collegamento: Le parcelle sono collegate alle capacità utilizzando tre flussi di evidenza: correlazioni di attivazione evocata dal task, effetti di intervento causale (steering delle attivazioni delle parcelle) e coerenza semantica tra le descrizioni delle parcelle e le definizioni delle capacità.

3. Gerarchia Cognitiva:

   • Le capacità sono organizzate in una gerarchia a quattro livelli ispirata alla tassonomia di Bloom: Percezione, Rappresentazione, Astrazione e Applicazione.
   • Il framework valida questa gerarchia dimostrando che le parcelle all'interno di un livello sono semanticamente più simili alla descrizione del proprio livello rispetto ad altre, e che le capacità di livello inferiore servono come prerequisiti per il ragionamento di ordine superiore.

4. Connettoma Strutturale:

   • Le connessioni dirette tra le parcelle sono stimate in base alle relazioni cross-layer delle loro caratteristiche SAE costituenti, creando un connettoma strutturale a livello di modello per analizzare coordinazione e interruzione.

Risultati Chiave

1. Emergenza di Unità Cognitive Stabili e Interpretabili

NeuroCogMap identifica che l'attività interna degli LLM forma unità funzionalmente significative e stabili piuttosto che cluster arbitrari.

• Stabilità: L'atlante delle 270 parcelle mostra un'alta coerenza semantica interna (similarità intra-parcella > similarità inter-parcella) e una parziale coerenza cross-model tra diverse architetture di LLM.
• Interpretabilità: Le descrizioni funzionali derivate dai profili di attivazione predicono con successo i ranking di attivazione delle parcelle su dati non visti, superando i baseline basati su neuroni o solo su parole chiave.
• Causalità: Interventi mirati (steering) su specifiche parcelle spostano gli output del modello in direzioni coerenti con le loro funzioni assegnate, confermando i legami causali tra parcelle e comportamento.

2. Analisi di Sistema delle Patologie

NeuroCogMap rivela che i fallimenti del modello non sono errori uniformi, ma interruzioni distinte in specifici sistemi cognitivi:

• Allucinazione:
  • In TruthfulQA, le allucinazioni derivano da un fallimento del controllo valutativo di ordine superiore (ad esempio, ridotta attivazione di "Verifica della Veridicità" e "Verifica del Fatto Binario") sul recupero fuorviante.
  • In NQ-Open, le allucinazioni derivano da una coordinazione frammentata tra i sistemi di recupero fattuale (ad esempio, indebolimento del coupling tra "Conoscenza Geografica" e "Core di Recupero dei Fatti").
  • Rilevamento e Mitigazione: Le firme derivate da queste interruzioni consentono il rilevamento delle allucinazioni (AUROC fino a 0.840) e l'intervento mirato, migliorando significativamente l'accuratezza fattuale sopprimendo le parcelle di recupero sovra-reclutate e potenziando le parcelle valutative sotto-reclutate.
• Fallimento del Rifiuto:
  • I fallimenti del rifiuto (conformità a istruzioni dannose) riflettono uno spostamento dai sistemi di controllo/monitoraggio (ad esempio, "Valutazione Legale-Morale") verso i sistemi di esecuzione procedurale (ad esempio, "Pianificazione dell'Azione").
  • Lo steering guidato da NeuroCogMap migliora sostanzialmente l'accuratezza del rifiuto (ad esempio, dal 38.3% al 98.6% su AdvBench per Gemma2-2B).

3. Allineamento con la Funzione Corticale Umana

Il framework stabilisce una corrispondenza funzionale tra l'organizzazione degli LLM e l'attività cerebrale umana:

• Predizione Neurale: Le attivazioni delle parcelle di NeuroCogMap predicono le risposte BOLD della corteccia umana durante l'ascolto di storie naturalistiche (dataset LeBel) con un'accuratezza maggiore ($r=0.407$) rispetto agli embedding standard (BERT, Word2Vec) o agli stati nascosti generici degli LLM.
• Localizzazione: Il vantaggio della predizione è localizzato nelle cortecce associative di ordine superiore (reti del Default Mode, Frontoparietale di Controllo, Salienza), specificamente nelle regioni coinvolte nel recupero semantico e nell'integrazione del contesto.
• Corrispondenza Funzionale: Le parcelle degli LLM che meglio predicono una parcella corticale umana condividono descrizioni funzionali simili (ad esempio, "Recupero della Memoria Episodica" negli LLM si allinea con le regioni della memoria del default-mode umano). L'Analisi della Similarità Rappresentazionale (RSA) conferma che la geometria interna delle parcelle allineate degli LLM preserva la struttura delle reti corticali umane.

4. Guida alla Scoperta di Modelli Cognitivi

NeuroCogMap espone strategie latenti negli LLM che possono raffinare i modelli cognitivi classici:

• Fit Comportamentale: Le firme di NeuroCogMap predicono quanto bene un LLM simula il comportamento umano attraverso diversi compiti cognitivi (ad esempio, decision-making a due fasi, scelta intertemporale).
• Raffinamento del Modello: Analizzando le firme interne degli LLM che meglio si adattano ai dati umani, gli autori hanno identificato meccanismi latenti (ad esempio, arbitraggio dinamico, perseverazione sensibile alla storia, switching di policy di tipo rule-like). L'incorporazione di questi meccanismi in un modello classico a Sistemi Duali ha migliorato significativamente il suo fit ai dati comportamentali umani non visti (AIC più basso) rispetto ai modelli raffinati usando solo tracce comportamentali.

Significato e Rivendicazioni

Il paper sostiene di stabilire NeuroCogMap come un framework di livello di sistema che colma il divario tra l'interpretabilità meccanicistica locale e l'analisi comportamentale di alto livello negli LLM. I suoi contributi primari sono:

1. Un Nuovo Livello Esplicativo: Definisce una scala "mesoscopica" di organizzazione funzionale (parcelle e capacità) che è sufficientemente grossolana da rivelare regolarità cross-model, ma abbastanza specifica da supportare l'intervento causale e l'interpretazione comportamentale.
2. Intervento Guidato dal Meccanismo: Dimostra che le patologie del modello (allucinazione, fallimento del rifiuto) possono essere diagnosticate e mitigate mirando a interruzioni specifiche nell'architettura cognitiva interna, andando oltre il filtraggio a livello di output.
3. Rilevanza Biologica senza Equivalenza: Fornisce una base strutturata per relazionare i sistemi artificiali alla cognizione umana. Il framework mostra che gli LLM possono servire come sistemi sperimentali per generare ipotesi sull'organizzazione cognitiva, validate contro dati neurali e comportamentali umani, senza sostenere che gli LLM siano repliche meccanicistiche del cervello.
4. Avanzamento della Scienza Cognitiva: Offre un percorso per raffinare i modelli cognitivi classici (ad esempio, teorie del decision-making) sfruttando la "black box" degli LLM per scoprire strategie latenti che spiegano il comportamento umano in modo più accurato.

Gli autori posizionano questo lavoro come un passo verso una "neuroscienza cognitiva dell'intelligenza artificiale", dove l'organizzazione cognitiva diventa un oggetto sperimentalmente trattabile sia nei sistemi artificiali che in quelli biologici.