On the use of foundation models in cognitive science

Sintesi Tecnica: Sull'uso dei modelli di fondazione nelle scienze cognitive

Problema
Studi recenti hanno dimostrato che i Modelli di Fondazione (FM) — inclusi i grandi modelli linguistici, i modelli multimodali e le varianti vincolate come i BabyLM — possono riprodurre le firme comportamentali della cognizione umana in domini quali il ragionamento matematico, la comprensione del linguaggio e il ragionamento analogico. Tuttavia, gli autori sostengono che l'uso degli FM come modelli cognitivi esplicativi presenti significative sfide metodologiche e concettuali. Il problema centrale è che l'allineamento comportamentale (la corrispondenza statistica tra gli output del modello e i dati umani) non identifica intrinsecamente i meccanismi che generano tali comportamenti. Senza un quadro inferenziale strutturato, le somiglianze osservate rischiano di essere accidentali, e trattare gli FM come modelli cognitivi senza vincoli rigorosi può portare a "proxy comportamentali" piuttosto che a modelli esplicativi. Il saggio pone la domanda: In quali condizioni l'allineamento comportamentale giustifica il trattamento degli FM come modelli esplicativi della cognizione?

Metodologia: Un quadro inferenziale in quattro fasi
Il saggio propone un quadro strutturato in quattro fasi per valutare gli FM come modelli cognitivi e di sviluppo. Questo quadro separa l'adattamento del compito, il collegamento delle ipotesi, la valutazione comportamentale e il confronto contrastivo tra modelli per vincolare l'interpretazione dell'allineamento.

1. Adattamento degli stimoli e dei compiti sperimentali: I materiali sperimentali umani devono essere tradotti in modalità di input-output compatibili con gli FM. Ciò assicura che il modello e i partecipanti umani eseguano compiti funzionalmente equivalenti. Ad esempio, le matrici progressive di Raven visive vengono convertite in "matrici di cifre" simboliche per preservare la struttura relazionale pur adattandosi alla modalità testuale degli FM.
2. Specificazione delle ipotesi di collegamento: I ricercatori devono definire esplicitamente come gli output del modello si mappano sugli aspetti misurabili del comportamento umano. Questa fase è critica poiché determina cosa costituisce una prova di allineamento. Il saggio analizza quattro comuni ipotesi di collegamento:
   • Similarità: Mappare la geometria dello spazio rappresentazionale di un modello (ad esempio, le distanze di embedding) sulle giudizi umani di tipicità o sui tempi di risposta.
   • Sorprisal (Sorpresa): Utilizzare il logaritmo negativo della probabilità dei token per predire i tempi di risposta umani o la difficoltà di elaborazione.
   • Prompting: Istruire il modello a seguire gli stessi protocolli dei partecipanti umani per confrontare direttamente le distribuzioni di generazione o le probabilità di scelta.
   • Collegamento della traccia di processo: Mappare le proprietà delle tracce di generazione intermedie (ad esempio, il conteggio dei token di ragionamento, la lunghezza dei passaggi) sulla dinamica di elaborazione umana o sullo sforzo cognitivo.
3. Valutazione della corrispondenza: Le prestazioni del modello sono confrontate con i dati umani utilizzando misure statistiche di bontà di adattamento (goodness-of-fit). Fondamentalmente, l'allineamento deve essere valutato non solo in modo aggregato, ma attraverso variazioni teoricamente diagnostiche (ad esempio, attraverso condizioni, individui o stimoli) per garantire che il modello catturi meccanismi cognitivi specifici piuttosto che tendenze generali.
4. Confronto tra modelli: Dimostrare l'allineamento in un singolo modello fornisce solo una "prova di possibilità". Il valore esplicativo deriva dalla valutazione contrastiva: confrontare diverse architetture, regimi di addestramento, scale o varianti ablate per identificare quali componenti computazionali siano necessari per riprodurre una specifica firma comportamentale.

Contributi principali
Il saggio apporta tre contributi primari al campo delle scienze cognitive:

• Delineazione strutturale: Presenta un quadro in quattro fasi (Figura 1) che separa il ciclo di allineamento interno (Fasi 1–3: adattamento, collegamento, valutazione) dal ciclo di confronto esterno (Fase 4: confronto). Questa struttura chiarisce come ogni fase vincoli l'interpretazione dell'allineamento.
• Ruolo teorico delle ipotesi di collegamento: Articola il ruolo interpretativo delle ipotesi di collegamento, sottolineando che esse non sono mappature neutrali ma impegni teorici che definiscono come il comportamento del modello viene interpretato. Il saggio dimostra che un forte adattamento sotto un'ipotesi di collegamento (ad esempio, il prompting) può indebolirsi o scomparire sotto un'altra (ad esempio, la similarità rappresentazionale), suggerendo che l'allineamento è una proprietà del modello valutato sotto specifiche assunzioni, non del modello stesso.
• Linee guida per la valutazione esplicativa: Distilla il quadro in principi operativi per progettare valutazioni che diano priorità al valore esplicativo rispetto alla somiglianza descrittiva. Queste linee guida enfatizzano i contrasti di misurazione diagnostica, la preservazione della struttura del compito, la triangolazione tra le assunzioni di collegamento e la valutazione comparativa rispetto a baseline e varianti manipolate.

Risultati e analisi delle sfide
Il saggio non presenta nuovi risultati empirici, ma sintetizza la letteratura esistente per identificare quattro sfide inferenziali chiave che sorgono nell'uso degli FM come modelli cognitivi:

1. Sottodeterminazione teorica: Un alto adattamento (goodness-of-fit) aggregato può mascherare fallimenti su critici contrasti diagnostici. Le affermazioni di allineamento sono rafforzate solo quando i modelli spiegano un ampio insieme di fenomeni e contrasti diagnostici teoricamente correlati, piuttosto che singole regolarità empiriche isolate.
2. Opacità meccanicistica: Gli FM possono risolvere compiti a livello computazionale pur divergendo a livello algoritmico (facendo affidamento su rappresentazioni o strategie di ricerca differenti). Il saggio nota che i componenti interni del modello (layer, teste di attenzione) non si mappano chiaramente sui costrutti cognitivi (ad esempio, la memoria di lavoro), rendendo difficile l'inferenza tra diversi livelli. L'interpretabilità meccanicistica e le intervezioni causali (Fase 4) sono proposte come percorsi necessari per validare se un modello implementi specifici costrutti cognitivi.
3. Discrepanza tra addestramento e sviluppo: Le differenze tra l'addestramento degli FM (predizione del prossimo token su corpora statici) e l'apprendimento umano (interattivo, supportato, biologico) complicano le affermazioni di allineamento evolutivo. Sebbene i checkpoint intermedi dell'addestramento offrano opportunità per tracciare traiettorie di sviluppo, tali corrispondenze rimangono correlazionali a meno che non vengano testate manipolazioni causali dei regimi di addestramento o dell'ordine dei dati.
4. Variabilità e allineamento a livello di popolazione: Gli FM sono tipicamente addestrati su dati aggregati, spesso ignorando le differenze individuali. Il saggio sostiene che le affermazioni di allineamento rischiano di sopravvalutare la generalità se ignorano la variazione strutturata tra individui, gruppi o contesti. La variabilità dovrebbe essere trattata come un obiettivo da spiegare piuttosto che come rumore.

Significatività e rivendicazioni
Il saggio sostiene che il solo adattamento comportamentale è insufficiente per stabilire gli FM come modelli esplicativi della cognizione. L'allineamento diventa scientificamente significativo solo quando inserito all'interno di:

• Impegni teorici espliciti.
• Compiti diagnostici per la teoria.
• Valutazione contrastiva sistematica tra modelli candidati.

Gli autori non raccomandano l'adozione acritica degli FM come modelli cognitivi. Al contrario, sostengono che il loro valore scientifico risieda nel loro potenziale di illuminare quali principi computazionali siano sufficienti (e forse necessari) per riprodurre i pattern caratteristici della cognizione umana. Il quadro proposto non è offerto come una prescrizione fissa, ma come una struttura necessaria per garantire che le affermazioni di allineamento siano sviluppate con appropriati guardrail teorici ed empirici, affinando infine la comprensione della struttura, dei limiti e dello sviluppo del pensiero umano.