Taming the Centaur(s) with LAPITHS: a framework for a theoretically grounded interpretation of AI performances

1. Enunciazione del Problema

Il paper affronta una questione metodologica critica nell'IA contemporanea e nelle scienze cognitive: la "Fallacia dell'Attribuzione". Questa fallacia si verifica quando i ricercatori confondono le prestazioni comportamentali a livello umano (somiglianza nell'output) con i meccanismi computazionali simili a quelli umani (plausibilità strutturale/cognitiva).

Gli autori si concentrano su Centaur, un recente "Modello Unificato della Cognizione" proposto da Binz et al. (2025). Centaur è un Large Language Model (LLM) fine-tuned (basato su Llama 3.1 70B) addestrato sul dataset Psych-101 (oltre 10 milioni di decisioni umane provenienti da 160 esperimenti psicologici). I sostenitori affermano che Centaur non solo predice il comportamento umano, ma implementa anche meccanismi cognitivamente plausibili e si allinea all'attività neurale umana (fMRI).

Gli autori sostengono che il successo di Centaur sia probabilmente il risultato di un'ottimizzazione funzionalista (corrispondenza delle statistiche input-output) piuttosto che di un'omologia strutturale (condivisione di meccanismi cognitivi sottostanti). Essi ipotizzano che un'alta accuratezza predittiva e una correlazione neurale non implicano necessariamente che il sistema possieda una cognizione simile a quella umana.

2. Metodologia: Il Framework LAPITHS

Per valutare rigorosamente tali affermazioni, gli autori introducono LAPITHS (Language-model Analysis through Paradigm-grounded Interpretations of Theses about Human-likenesS). Questo framework combina analisi teorica con replicazione empirica, incentrata sulla Griglia Cognitiva Minima (MCG).

A. La Griglia Cognitiva Minima (MCG)

La MCG valuta i sistemi artificiali attraverso tre dimensioni quantitative per determinare la "Plausibilità Cognitiva" ($PM$):

1. Rapporto Funzionale/Strutturale (FSR):
   • Misura l'equilibrio tra design funzionale (corrispondenza dell'output) e design strutturale (aderenza alle teorie cognitive).
   • Utilizza un insieme di vincoli strutturali ($c_1...c_k$) derivati dalle scienze cognitive (es. limiti della memoria di lavoro, apprendimento incrementale, pianificazione basata su modelli).
   • Calcola un punteggio in cui un FSR basso indica un'alta plausibilità strutturale, mentre un FSR alto indica che il sistema si affida a un mimetismo funzionale senza vincoli strutturali.
2. Generalità ($G_M$):
   • Valuta l'ampiezza dei domini cognitivi coperti, basandosi sulla teoria delle abilità cognitive Cattell–Horn–Carroll (CHC).
   • Valuta le prestazioni attraverso domini come il Ragionamento Fluido, la Conoscenza Quantitativa, l'Elaborazione Visiva e le abilità Sensoriali/Motorie.
3. Corrispondenza delle Prestazioni ($P_{MM}$):
   • Confronta il sistema artificiale con i baseline umani su compiti specifici utilizzando:
     • Accuratezza: Deviazione dalla Negative Log-Likelihood (NLL) umana.
     • Pattern di Errore: Riproduzione delle distribuzioni di errore umane (es. strategie model-free vs. model-based).
     • Tempo di Esecuzione: Allineamento con i tempi di risposta umani (sebbene spesso non disponibili per gli LLM).

Il punteggio finale di Plausibilità Cognitiva ($PM$) è una somma ponderata di queste dimensioni ($PM = \lambda \cdot FSR' + \mu \cdot G_M + \nu \cdot P_{MM}$).

B. Strategia di Replicazione Empirica

Gli autori hanno applicato LAPITHS al Two-Step Task (TST), un paradigma canonico di apprendimento per rinforzo utilizzato per testare strategie basate su modelli rispetto a quelle senza modello.

1. Replicazione Comportamentale: Hanno testato se LLM standard, non fine-tuned (utilizzando la Generazione Aumentata dal Recupero (RAG) per accedere alle regole del compito), potessero replicare l'adattamento comportamentale di Centaur (NLL) sul TST.
2. Replicazione Neurale: Hanno testato se questi stessi LLM basati su RAG potessero generare pattern di attivazione delle Regioni di Interesse (ROI) fMRI che correlano con i dati umani, senza un fine-tuning neuroscientifico specifico.

3. Contributi Chiave

• Framework Teorico: Formalizza la distinzione tra adeguatezza funzionale e plausibilità cognitiva, fornendo una metrica (MCG) per quantificare la "Fallacia dell'Attribuzione".
• Critica a Centaur: Dimostra che Centaur non soddisfa i vincoli strutturali chiave della cognizione umana (in particolare per quanto riguarda l'apprendimento incrementale e i limiti di memoria), nonostante la sua alta accuratezza comportamentale.
• Sfida Empirica: Mostra che l'allineamento comportamentale e neurale "state-of-the-art" non è unico per modelli specializzati e fine-tuned come Centaur, ma può essere raggiunto da LLM generici tramite semplice prompting e recupero.

4. Risultati Chiave

A. Analisi MCG di Centaur

• Fallacia Strutturale: Centaur ha ottenuto un punteggio molto basso sul Rapporto Funzionale/Strutturale ($FSR' \approx 0.18$).
  • Non ha implementato l'apprendimento incrementale (utilizza l'addestramento in batch, non aggiornamenti online).
  • Non ha implementato esplicitamente la pianificazione basata su modelli (approssima l'output tramite un passaggio in avanti senza un modello di transizione interno).
  • Non ha rispettato i limiti della memoria di lavoro (la sua finestra di contesto è illimitata, a differenza della capacità umana).
• Alta Corrispondenza delle Prestazioni: Centaur ha raggiunto un alto $P_{MM}$ ($0.83$) perché è stato esplicitamente addestrato a corrispondere alle scelte umane.
• Plausibilità Complessiva: Il punteggio composito è stato basso ($PM = 0.39$), indicando che mentre Centaur è un buon predittore, è un cattivo modello cognitivo.

B. Replicazione Comportamentale (NLL)

• RAG vs. Fine-tuning: Diversi LLM generici (Llama Maverick, GPT-4o, GPT-5.1) equipaggiati con RAG (accesso alle regole del compito) hanno raggiunto punteggi NLL comparabili a quelli di Centaur.
• Significatività Statistica:
  • Llama Maverick (RAG): NLL $\approx 0.54$ vs Centaur NLL $\approx 0.51$. La differenza non era statisticamente significativa ($p \approx 0.095$).
  • Altri modelli (GPT-5.1, Gemini-2.5) hanno mostrato differenze solo marginali e statisticamente significative rispetto a Centaur, ma tutti hanno superato significativamente il baseline Llama 3.1 e i modelli cognitivi standard.
• Conclusione: Il fine-tuning specializzato non è strettamente necessario per raggiungere un adattamento comportamentale a livello umano su questo compito.

C. Allineamento Neurale (fMRI)

• Alta Correlazione senza Addestramento: Gli LLM basati su RAG (es. Gemini-2.5 Pro, Llama Maverick) hanno generato vettori beta ROI che mostravano una correlazione molto alta con i dati fMRI umani (Pearson $r \approx 0.93$, Similarità Cosine $\approx 0.98$).
• Confronto con Centaur: Questi valori erano significativamente più alti della correlazione massima riportata per Centaur nello studio originale ($r \approx 0.37$).
• Implicazione: Un alto allineamento rappresentazionale con l'attività cerebrale umana può essere raggiunto da modelli generici semplicemente elaborando la struttura del compito, senza bisogno di un fine-tuning "neurale". Ciò suggerisce che la similarità rappresentazionale è un indicatore debole del meccanismo cognitivo.

5. Significato e Conclusione

Il paper conclude che i risultati di modelli come Centaur sono sovra-interpretati.

• Adeguatezza Comportamentale $\neq$ Plausibilità Cognitiva: Un'alta accuratezza predittiva e persino un'alta correlazione neurale non provano che un sistema implementi meccanismi cognitivi simili a quelli umani.
• Il Pericolo dell'Attribuzione: Attribuire teorie cognitive ai sistemi di IA basandosi esclusivamente sulla corrispondenza dell'output porta alla "Fallacia dell'Attribuzione", in cui l'IA viene scambiata per un modello genuino della mente.
• Direzione Futura: Gli autori sostengono un cambiamento nella valutazione dell'IA, passando da benchmark puramente guidati dalle prestazioni a criteri teoricamente fondati (come la MCG) che impongono vincoli strutturali (limiti di memoria, dinamiche di apprendimento, embodiment).
• Nucleo Cognitivo Minimo: Propongono lo sviluppo di un "Nucleo Cognitivo Minimo" per l'IA futura, assicurando che i ruoli funzionali siano realizzati all'interno di sistemi che rispettano i vincoli architettonici della cognizione biologica.

In sostanza, il paper sostiene che, sebbene Centaur sia un potente emulatore comportamentale, non è un modello cognitivo, e prestazioni simili possono essere ottenute da sistemi meno specializzati, rendendo l'affermazione di "allineamento cognitivo" teoricamente sottodeterminata.