Do Language Models Align with Brains? Prediction Scores Are Not Enough

Riepilogo Tecnico: "I Modelli Linguistici si Allineano ai Cervelli? I Punteggi Predittivi Non Sono Sufficienti"

Enunciato del Problema
Il documento affronta un'ambiguità critica nel NeuroAI: la confusione tra utilità predittiva e allineamento strutturale o meccanicistico. Sebbene i grandi modelli linguistici (LLM) siano utilizzati di routine per prevedere le risposte neurali a stimoli linguistici naturalistici, un alto punteggio predittivo non implica necessariamente che le rappresentazioni interne del modello catturino computazioni rilevanti per il cervello. Una caratteristica del modello potrebbe prevedere dati neurali semplicemente perché condivide proprietà statistiche di basso livello con lo stimolo (ad esempio, autocorrelazione temporale, frequenza lessicale o tempistica dello stimolo) piuttosto che riflettere l'organizzazione strutturale del cervello. Gli autori sostengono che le attuali pratiche di valutazione interpretano spesso eccessivamente i punteggi di codifica positivi come prove di allineamento biologico, senza controlli sufficienti per escludere queste spiegazioni aspecifiche.

Metodologia: Il Framework L-PACT
Per risolvere questa ambiguità, gli autori introducono L-PACT (Test Language Predictive, Alignment-pattern, Causal, and Turing-bounded). L-PACT non è un singolo punteggio di benchmark, ma una gerarchia strutturata a quattro livelli e a cancelli, progettata per separare prove predittive deboli da affermazioni forti di allineamento. Il framework opera su un set bloccato di artefatti neurali e derivati dal modello provenienti da dataset primari (Brain Treebank, Podcast ECoG, MEG-MASC) e applica una regola decisionale congiuntiva: una riga del modello deve superare tutti e quattro i livelli simultaneamente per essere considerata un candidato all'allineamento.

I quattro livelli di evidenza sono:

1. Adeguatezza Predittiva (Livello 1): Determina se le caratteristiche reali del modello migliorano la previsione neurale su dati tenuti da parte rispetto sia alle linee di base di disturbo che ai controlli severi. I controlli severi includono caratteristiche casuali con dimensionalità abbinata, caratteristiche casuali abbinata all'autocorrelazione, spostamenti circolari, caratteristiche di reset della frase, caratteristiche di contesto invertito, permutazioni delle etichette dei livelli e mescolamenti dell'ordine dei token.
2. Adeguatezza Relazionale (Livello 2): Verifica se i profili di allineamento modello-cervello riproducono i modelli di allineamento cervello-cervello. Invece di abbinare semplicemente un singolo target, il modello deve replicare l'organizzazione relazionale tra le unità neurali (ad esempio, come l'Unità A si relaziona all'Unità B) meglio di quanto facciano i profili di controllo severo.
3. Adeguatezza di Spoliazione Meccanicistica Controfattuale (Livello 3): Valuta se la rimozione di un meccanismo candidato (ad esempio, sorpresa, transizione semantica, confine sintattico) dalla rappresentazione del modello produce un deficit selettivo nel corrispondere ai target neurali. Questo testa la necessità specifica del meccanismo all'interno del predittore, distinguendo il degrado specifico dalla perdita generica della qualità delle caratteristiche.
4. Adeguatezza Limitata dall'Affidabilità (Livello 4): Normalizza l'evidenza del modello rispetto ai tetti cervello-cervello (ad esempio, affidabilità split-half, run-to-run o soggetto-soggetto). I punteggi del modello devono avvicinarsi alla variabilità osservata tra le misurazioni cerebrali stesse per essere considerati affidabili.

Contributi Chiave

• Framework L-PACT: Un'architettura di valutazione rigorosa e verificata nella fonte che separa i punteggi predittivi da affermazioni relazionali, specifiche del meccanismo e limitate dall'affidabilità. Definisce esplicitamente l'"allineamento" come un'affermazione qualificata dal cancello che richiede robustezza rispetto ai controlli, organizzazione relazionale e specificità del meccanismo, distinta dalla mera "corrispondenza".
• Idoneità del Dataset Verificata nella Fonte: Lo studio implementa un audit rigoroso della catena degli artefatti, classificando i dataset come primari, secondari, diagnostici o solo di validazione in base alla disponibilità di serie temporali cerebrali, eventi di parole, caratteristiche del modello, controlli severi e stime di affidabilità. In particolare, il popolare dataset NaturalStories è escluso dall'inferenza primaria a causa di catene di artefatti incomplete.
• Controlli di Sensibilità dell'Assaggio: Per garantire che i risultati negativi non siano dovuti a fallimenti dell'assaggio, gli autori hanno implementato controlli positivi che non alterano le decisioni reali del modello. Questi includono:
  • Controlli di affidabilità cervello-cervello: Verifica di una struttura stabile nei dati cerebrali split-half o run-to-run.
  • Controlli cervello-come-modello: Verifica se un profilo cerebrale da una esecuzione/soggetto può prevederne un'altra, superando il cancello relazionale.
  • Cancelli neurali di basso livello e di involucro acustico: Verifica del rilevamento di segnali di inizio parola, velocità delle parole e involucro acustico.
  • Simulazione deterministica di segnale impiantato: Un controllo sintetico in cui viene iniettato un segnale noto, dimostrando che i cancelli L-PACT possono essere superati quando è presente una struttura.

Risultati
L'analisi ha coperto un set bloccato di 146 righe decisionali integrate derivate da 414 righe di controllo predittivo, 2.304 relazionali, 4.320 di spoliazione meccanicistica e 420 di tetti cervello-cervello.

• Nessun Superamento Integrato: Zero righe di modello reali hanno superato la regola decisionale integrata L-PACT. Tutte le 146 righe integrate sono state classificate come spiegate dai controlli.
• Svalutazione dei Positivi Apparenti: Sotto regole meno stringenti, a criterio singolo, sono emersi molti positivi apparenti (ad esempio, 35 righe con punteggi Pearson grezzi positivi, 1.224 righe con similarità di profilo grezza positiva). Tuttavia, L-PACT ha svalutato questi risultati perché non sono sopravvissuti ai controlli severi, non hanno riprodotto la struttura relazionale, non hanno mostrato necessità specifica del meccanismo o non si sono avvicinati ai tetti di affidabilità cervello-cervello.
• Sensibilità dell'Assaggio Confermata: I controlli positivi hanno avuto successo. I controlli di affidabilità cervello-cervello hanno mostrato una struttura stabile; i controlli cervello-come-modello hanno superato il cancello relazionale per Brain Treebank (744/864 righe); i cancelli neurali di basso livello e acustici hanno rilevato i segnali attesi; e la simulazione sintetica di segnale impiantato ha superato tutti e quattro i cancelli. Ciò conferma che l'assaggio è capace di rilevare la struttura quando presente, validando il risultato negativo per i modelli linguistici reali.
• Fallimenti Specifici:
  • Predittivi: I punteggi dei modelli reali sono stati frequentemente abbinati o superati dai controlli severi (ad esempio, spostamenti circolari o caratteristiche casuali abbinata all'autocorrelazione).
  • Relazionali: I profili modello-cervello non hanno riprodotto i modelli di allineamento cervello-cervello meglio dei profili mescolati o di controllo.
  • Spoliazione Meccanicistica: La spoliazione dei meccanismi non ha prodotto deficit selettivi; i cali osservati erano aspecifici o non supportati dai cancelli a monte.
  • Affidabilità: L'evidenza del modello non si è avvicinata al tetto di affidabilità cervello-cervello.

Significato e Affermazioni
L'affermazione centrale del documento è che i punteggi predittivi da soli sono prove insufficienti per un allineamento strutturale o specifico del meccanismo tra modelli linguistici e cervelli. Gli autori sottolineano che questo è un vincolo sulla forza dell'evidenza, non un verdetto universale secondo cui i modelli non potranno mai allinearsi ai cervelli.

• Distinzione delle Affermazioni: Lo studio distingue tra corrispondenza (associazione statistica riproducibile utile per la previsione) e allineamento (un'affermazione più forte che richiede robustezza rispetto ai controlli, organizzazione relazionale e specificità del meccanismo).
• Risultati Negativi Azionabili: Convertendo i positivi apparenti in una "tassonomia verificabile spiegata dai controlli", L-PACT fornisce uno standard chiaro per il lavoro futuro. Una futura affermazione positiva deve essere localizzata al cancello specifico che soddisfa di nuovo, piuttosto che essere affermata da un punteggio aggregato.
• Posizione Conservativa: Gli autori dichiarano esplicitamente di non affermare che tutti i possibili confronti modello-cervello siano negativi, né affermano che i modelli attuali non si allineeranno mai. La conclusione è limitata al set derivato di artefatti analizzato, ai modelli specifici testati (inclusi DistilGPT-2, GPT-2, Pythia e varianti Qwen) e ai controlli configurati. Il framework è progettato per giudicare affermazioni forti, il che significa che scambia sensibilità con interpretabilità per prevenire un'interpretazione eccessiva dell'utilità predittiva.

In sintesi, il documento sostiene che senza controlli severi, test di profili relazionali, spoliazione meccanicistica e limitazione dell'affidabilità, i punteggi di previsione neurale positivi rischiano di far apparire i modelli computazionali più informativi dal punto di vista biologico di quanto non supporti l'evidenza. L-PACT fornisce l'infrastruttura metodologica per separare queste affermazioni.