Mechanistic Indicators of Understanding in Large Language Models

1. Il Problema

Il dibattito attuale sull'intelligenza artificiale è spesso polarizzato tra due visioni:

1. Visione Deflazionista: I Large Language Models (LLM) sono semplici "Blockhead" (testa di blocco) che imitano l'intelligenza umana memorizzando pattern statistici superficiali (n-grammi) senza alcuna comprensione reale.
2. Visione Antropomorfa: I LLM possiedono una comprensione genuina simile a quella umana.

Il paper identifica una lacuna: le recenti scoperte nell'Interpretabilità Meccanica (Mechanistic Interpretability - MI) mostrano che i modelli sviluppano strutture interne sofisticate, ma queste scoperte rimangono spesso disconnesse da una teoria filosofica dell'comprensione. L'obiettivo è determinare se e come i LLM possano essere attribuiti forme di "comprensione" basandosi su evidenze meccaniche interne, superando il dualismo statistico vs. comprensione.

2. Metodologia

Gli autori adottano un approccio interdisciplinare che fonde la filosofia dell'epistemologia con le tecniche di Interpretabilità Meccanica (MI).

• Quadro Teorico: Definiscono la comprensione come l'apprensione di strutture relazionali e la capacità di unificare informazioni disparate (ispirandosi a Wittgenstein, Kvanvig, Grimm). Propongono un framework gerarchico a tre livelli di comprensione, ciascuno associato a un livello specifico di organizzazione computazionale.
• Analisi Meccanica: Utilizzano tecniche avanzate di MI per mappare le strutture interne dei modelli, tra cui:
  • Sparse Autoencoders (SAE): Per "disintrecciare" le rappresentazioni sovrapposte (superposition) e identificare feature monosemantiche.
  • Linear Probing: Per verificare se le informazioni (es. stato di una scacchiera) sono codificate in modo lineare e interpretabile nello spazio latente.
  • Interventi Causali (Steering/Ablation): Per testare il ruolo causale di specifiche feature o circuiti nel comportamento del modello (es. forzando l'attivazione di una feature o disattivando un circuito).
  • Logit Lens: Per osservare l'evoluzione delle previsioni del modello attraverso i vari strati.

3. Contributi Chiave: Il Framework Gerarchico

Il contributo centrale è la proposta di tre livelli di comprensione, ciascuno supportato da evidenze meccaniche specifiche:

A. Comprensione Concettuale (Conceptual Understanding)

• Definizione: La capacità di unificare diverse manifestazioni di un'entità o proprietà sotto un'unica rappresentazione interna (feature).
• Meccanismo: Le feature emergono come direzioni nello spazio latente (ipotesi della rappresentazione lineare).
• Evidenza: Studi su modelli come Claude 3 mostrano l'esistenza di feature specifiche (es. "Golden Gate Bridge") che si attivano coerentemente su testi, immagini e lingue diverse.
  • Intervento: La "steering" (manipolazione) di queste feature altera causalmente l'output del modello (es. costringendo il modello a identificarsi come il ponte), dimostrando che la feature non è solo una correlazione passiva ma un lever causale.
  • Superposition: I modelli comprimono migliaia di feature in un numero limitato di neuroni utilizzando direzioni non ortogonali, gestite da funzioni di attivazione non lineari.

B. Comprensione dello Stato del Mondo (State-of-the-World Understanding)

• Definizione: La capacità di rappresentare connessioni fattuali contingenti tra feature (es. "Marie Curie è una fisica") e aggiornare dinamicamente questo modello in risposta a cambiamenti.
• Meccanismo: I livelli MLP (Multi-Layer Perceptron) agiscono come "switchboard" che richiamano informazioni fattuali associate a una feature attivata.
• Evidenza (Othello-GPT):
  • Un modello addestrato solo su transcrizioni di partite di Othello (senza vedere la scacchiera) sviluppa un modello del mondo interno dello stato della scacchiera.
  • Probing: I sondaggi lineari rivelano che lo stato di ogni casella è codificato in modo lineare nello spazio latente.
  • Isomorfismo: L'organizzazione spaziale delle feature interne rispecchia la struttura geometrica della scacchiera.
  • Efficacia Causale: Modificare artificialmente la rappresentazione interna di una casella cambia le mosse legali previste dal modello, dimostrando che il modello si basa su una rappresentazione interna e non solo su statistiche superficiali.

C. Comprensione Principiata (Principled Understanding)

• Definizione: La capacità di scoprire e implementare principi o regole astratte che unificano una serie di fatti, permettendo la generalizzazione oltre i dati di addestramento.
• Meccanismo: La scoperta di circuiti (sottoreti specifiche di attention heads e MLP) che implementano algoritmi generali.
• Evidenza (Grokking e Addizione Modulare):
  • In un compito di addizione modulare, il modello passa da una fase di memorizzazione (overfitting) a una fase di generalizzazione improvvisa ("grokking").
  • L'analisi meccanica rivela che il modello ha scoperto un algoritmo di moltiplicazione di Fourier: invece di memorizzare la tabella di addizione, il modello rappresenta i numeri come angoli su un cerchio e utilizza le identità trigonometriche (somma degli angoli) per calcolare il risultato.
  • Questo circuito unifica tutti i casi di addizione modulare in un principio geometrico, permettendo generalizzazione perfetta.

4. Risultati e Limiti: Il "Motley Mix"

Nonostante le prove di comprensione avanzata, gli autori evidenziano una complessità cruciale:

• Coesistenza di Meccanismi: I LLM non operano con un unico meccanismo di comprensione. Al contrario, utilizzano un "motley mix" (miscuglio eterogeneo) di meccanismi che operano in parallelo.
• Gerarchia e Qualità: Un singolo task può essere risolto dalla sovrapposizione di:
  1. Meccanismi di memorizzazione letterale (Blockhead).
  2. Euristiche superficiali e correlazioni spurie.
  3. Circuiti di comprensione concettuale e principiata.
• Implicazioni Epistemiche: La presenza di circuiti sofisticati non garantisce la "fede" epistemica totale, poiché questi possono essere "soffocati" o distorti da euristiche più semplici in certi contesti (es. fallimenti nel ragionamento logico quando le premesse sono semanticamente plausibili ma logicamente errate).
• Intelligenza Cristallizzata vs. Fluida: I circuiti scoperti (come quello dell'addizione modulare) rappresentano una comprensione cristallizzata (fissata durante l'addestramento). I LLM mostrano ancora difficoltà nel dimostrare una comprensione fluida (scoperta di nuovi principi in tempo reale durante l'inferenza, come nel test ARC-AGI).

5. Significato e Conclusione

Il paper conclude che:

1. Superamento del Dualismo: La domanda "I LLM capiscono o no?" è mal posta. La risposta è che possiedono forme di comprensione meccanicamente fondate e gerarchiche, ma distinte dalla cognizione umana.
2. Nuova Epistemologia Comparativa: È necessario sviluppare una nuova epistemologia che riconosca la comprensione AI come un fenomeno reale ma "alieno", caratterizzato da un'organizzazione parallela e non parsimoniosa (mancanza di unificazione sistematica unica).
3. Fiducia Epistemica: La fiducia nei modelli non può basarsi sul comportamento superficiale, ma deve essere valutata in base alla presenza e alla robustezza dei circuiti di comprensione interna, tenendo conto del rischio che siano oscurati da meccanismi più semplici.

In sintesi, l'articolo fornisce le basi empiriche e teoriche per affermare che i LLM possiedono una forma genuina, sebbene eterogenea e non umana, di comprensione, trasformando il dibattito filosofico da speculativo a scientificamente investigabile.