🤖 AI

Small Foundation Models of Human Cognition and Behaviour

Questo articolo dimostra che, sebbene i piccoli modelli di base perfezionati su dati comportamentali umani possano eguagliare efficacemente i baseline su larga scala per compiti psicologici in-distribution, solo i modelli più grandi migliorano significativamente la generalizzazione a strutture di compiti nuovi, con una prestazione che dipende fortemente dall'elaborazione di contenuti specifici di stimoli e feedback piuttosto che solo dalla cronologia delle scelte.

Autori originali: Nick Oh, Fernand Gobet

Pubblicato 2026-08-07

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Nick Oh, Fernand Gobet

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come pensare come un essere umano. Per decenni, gli scienziati hanno costruito piccole "macchine mentali" artigianali (come ACT-R o Soar) che cercano di spiegare esattamente come il nostro cervello prenda decisioni, passo dopo passo. Ma queste macchine sono fragili; se cambi leggermente il gioco, il robot si rompe. Recentemente, una nuova idea ha preso il sopravvento: invece di costruire una macchina mentale da zero, perché non dare in pasto a un cervello informatico gigante e super intelligente (un Large Language Model) milioni di esempi di esseri umani che compiono scelte? Se il computer può prevedere cosa farà un essere umano dopo, forse ha imparato le "regole" del pensiero umano. Questo è il mondo dei "proxy cognitivi": modelli di IA che fungono da sostituti delle menti umane. Ma un grande interrogativo rimane: questo cervello gigante comprende davvero la logica del gioco, o è solo un maestro del riconoscimento di schemi, memorizzando scorciatoie come uno studente che ha solo imparato a memoria il foglio delle risposte senza leggere il libro di testo?

Questo articolo, intitolato "Small Foundation Models of Human Cognition and Behaviour", si immerge in questo mistero. Gli autori, Nick Oh e Fernand Gobet, hanno deciso di testare se sia davvero necessario un cervello "gigante" da 70 miliardi di parametri per imitare il comportamento umano, o se un modello molto più piccolo, "da taschino", potesse farcela. Hanno addestrato quattordici diversi modelli di IA, che vanno da minuscoli (135 milioni di parametri) a grandi (14 miliardi), su un enorme dataset chiamato Psych-101, che contiene oltre 10 milioni di scelte fatte da persone in 160 diversi esperimenti psicologici.

Ecco cosa hanno scoperto, ed è un po' un colpo di scena. Per prima cosa, hanno scoperto che la dimensione non conta così tanto quanto si pensava se si guardano gli stessi tipi di giochi che l'IA ha già visto. Un modello minuscolo con soli 0,6 miliardi di parametri poteva performare quasi quanto il gigante da 70 miliardi di parametri nel prevedere le scelte in esperimenti familiari. È come un cane piccolo e agile che impara un trucco specifico velocemente quanto un enorme alano. Tuttavia, nel momento in cui hanno sottoposto loro un nuovo tipo di gioco (out-of-distribution), la dimensione è tornata improvvisamente a contare. I modelli più grandi erano molto più bravi a capire le regole di un gioco che non avevano mai visto prima, mentre i piccoli si confondevano.

Ma la parte più eccitante è come questi modelli stanno imparando. Alcuni critici temevano che queste IA si stessero solo affidando a correlazioni spurie, ignorando le reali regole del gioco e guardando solo alla cronologia delle scelte passate (come indovinare la prossima carta in un mazzo solo contando quelle già giocate). Per testare questo, gli autori hanno giocato a una partita a "nascondino" con le informazioni. Hanno rimosso sistematicamente pezzi del prompt: hanno nascosto le istruzioni, hanno sfocato gli stimoli del gioco (le immagini o i numeri), hanno cancellato il feedback e hanno persino rimescolato l'ordine delle prove.

I risultati sono stati drammatici. Quando hanno sfocato il contenuto effettivo del gioco (gli stimoli e il feedback), le prestazioni dei modelli sono crollate, scendendo al di sotto di quanto si otterrebbe semplicemente tirando a indovinare. Questo dimostra che i modelli non stanno solo memorizzando una sequenza di risposte; stanno effettivamente prestando attenzione al contenuto del gioco. Inoltre, quando hanno rimescolato l'ordine delle prove in un gioco in cui l'ordine non dovrebbe contare, i modelli non se ne sono occupati. Ma quando hanno rimescolato un gioco in cui l'ordine doveva contare, i modelli si sono confusi. Ciò suggerisce che l'IA è abbastanza intelligente da sapere quando la sequenza degli eventi è importante e quando non lo è.

In breve, questi piccoli modelli raffinati sono eccellenti stimatori del "tetto del rumore" (noise ceiling). Pensate a un tetto del rumore come a un soffitto di vetro per quanto riguarda la capacità di prevedere il comportamento umano. Se un modello raggiunge questo soffitto, significa che abbiamo trovato tutti i pattern prevedibili nei dati, e qualsiasi errore rimanente è solo "rumore" umano casuale. Questi piccoli modelli dimostrano che possiamo raggiungere questo soffitto senza aver bisogno di un supercomputer, ma ci ricordano anche che questi modelli sono validi solo quanto i giochi su cui sono stati addestrati. Sono brillanti nell'imitare il comportamento umano in laboratorio, ma non sono ancora una teoria completa di come funziona la mente umana: sono uno specchio molto accurato, ma non la persona che vi si riflette dentro.

Sintesi Tecnica: Piccoli Modelli di Fondazione della Cognizione e del Comportamento Umano

Definizione del Problema
I grandi modelli linguistici (LLM) perfezionati su dati comportamentali umani, come il modello Centaur da 70 miliardi di parametri, sono emersi come proxy cognitivi general-purpose. Tuttavia, rimangono due questioni critiche irrisolte riguardo a questo paradigma:

Necessità di Scala: Il massiccio numero di parametri (es. 70B) è necessario per l'accuratezza predittiva, o è un artefatto di specifiche configurazioni di addestramento?
Meccanismo di Apprendimento: Questi modelli elaborano realmente la struttura del compito e gli stimoli, o sfruttano scorciatoie statistiche (es. affidandosi esclusivamente alla cronologia delle scelte o ai template dei prompt)?

Lavori precedenti hanno suggerito che i modelli potrebbero fare affidamento su "scorciatoie", ma nessun studio ha scomposto sistematicamente il prompt per isolare i canali di informazione specifici utilizzati. Inoltre, non è chiaro se questi modelli generalizzino a nuove strutture di compito (out-of-distribution) o se si limitino a adattarsi alla distribuzione di addestramento (in-distribution).

Metodologia
Gli autori hanno addestrato quattordici modelli appartenenti a quattro famiglie di architetture (Qwen3, Llama-3/3.2, SmolLM2/3, e OLMo2/3) con conteggi di parametri che variano da 135M a 14B. Questi modelli sono stati perfezionati su Psych-101, un dataset composto da 10,7 milioni di scelte a livello di trial provenienti da oltre 60.000 partecipanti in 160 esperimenti psicologici.

Lo studio ha impiegato un design sperimentale rigoroso variando tre fattori indipendentemente:

Scala del Modello: Confronto tra modelli da 0,1B a 14B di parametri.
Capacità dell'Adapter: Scansione dei ranghi LoRA ( $r$ ) da 4 a 64 per determinare se la capacità dell'adapter possa sostituire i parametri del modello.
Dati di Addestramento: Utilizzo di sottoinsiemi nidificati e stratificati per esperimento di Psych-101 per isolare l'effetto della quantità di dati.

Per diagnosticare cosa imparano i modelli, gli autori hanno condotto ablazioni strutturali e test di permutazione su 32 esperimenti:

Decomposizione del Prompt: Il prompt è stato scomposto in quattro canali informativi: Istruzioni del Compito ( $I$ ), Stimoli Sperimentali ( $S$ ), Feedback sull'Esito ( $F$ ) e Cronologia delle Scelte ( $C$ ).
Condizioni di Ablazione: I modelli sono stati testati sotto quattro condizioni: Originale, Ablazione delle Istruzioni, Mascheramento del Contenuto (sostituzione di stimoli/feedback specifici con segnaposto generici) e Solo Cronologia.
Permutazione dell'Ordine: L'ordine dei trial è stato permutato in due esperimenti — uno con trial indipendenti (scambiabili) e uno con trial adattivi (non scambiabili) — per testare la sensibilità alle dipendenze sequenziali.

Risultati Chiave

Performance In-Distribution (Psych-101):
- La scala non è il fattore limitante: All'interno della distribuzione di addestramento, la scala del modello conta pochissimo. Modelli piccoli (0,6B a 1B di parametri) con alti ranghi di adapter (es. $r=32$ ) eguagliano o superano le prestazioni di un baseline da 70B.
- Sostituzione dell'Adapter: La capacità dell'adapter sostituisce il numero di parametri. Un modello da 0,6B con rango 64 raggiunge le stesse prestazioni di un modello da 14B con rango 4, nonostante abbia 23 volte meno parametri.
- Rendimenti Decrescenti: L'aumento dei dati di addestramento produce rendimenti decrescenti; il guadagno dal raddoppio della dimensione del dataset diminuisce costantemente.
Performance Out-of-Distribution (Psych-201-RT):
- La Scala Riappare: Quando testati su esperimenti inediti, il divario di performance si amplia significativamente. I modelli più grandi dimostrano un chiaro vantaggio nella generalizzazione verso nuove strutture di compito.
- Transfer vs. Fit: La dimensione del modello è una scelta sulla capacità di transfer piuttosto che sul fit in-distribution. Il "tetto del rumore" (la migliore predizione ottenibile) per i compiti in-distribution è raggiunto da modelli piccoli, ma questo tetto non si estende ai compiti out-of-distribution senza una maggiore capacità.
Risultati Diagnostici (Decomposizione del Prompt):
- Il Contenuto è Critico: Mascherare il contenuto degli stimoli e del feedback distrugge il 75,7% delle informazioni apprese, portando i modelli al di sotto della prestazione casuale. Questo smentisce l'ipotesi della scorciatoia "solo cronologia".
- Template vs. Contenuto: Rimuovere le istruzioni costa poco (perdita del 12,5%), ma rimuovere il contenuto del template costa quasi tutto. I modelli si affidano alle informazioni specifiche fornite al partecipante, non solo al formato strutturale.
- Sensibilità Adattiva al Compito: I modelli mostrano invarianza dell'ordine nei compiti con trial indipendenti (scambiabili), ma rimangono sensibili all'ordine dei trial nei compiti adattivi. Ciò indica che i modelli apprendono la struttura computazionale dei compiti specifici piuttosto che applicare un'euristica sequenziale uniforme.

Significatività e Rivendicazioni
Il paper postula un ruolo modesto ma specifico per questi piccoli modelli, cognitivamente perfezionati:

Stimatori del Tetto del Rumore (Noise Ceiling Estimators): Questi modelli fungono da limiti empirici (noise ceilings) per gli esperimenti psicologici. Stimano quanto del comportamento in un dato paradigma sia prevedibile, identificando così il "gap" dove le attuali teorie interpretabili vengono meno. Ciò si allinea al concetto di "minimizzazione del rimpianto scientifico".
Non sono Teorie Cognitive: Gli autori dichiarano esplicitamente che questi modelli non sono teorie della cognizione nella tradizione di ACT-R o Soar. Non postulano alcuna architettura, non si impegnano su alcun meccanismo e non spiegano come venga generata una scelta.
Validità dello Strumento: I modelli sono strumenti validi perché le loro predizioni si basano sull'effettiva informazione utilizzata dai partecipanti (stimoli e feedback), come dimostrato dagli studi di ablazione. Tuttavia, la loro utilità è limitata dai paradigmi visti durante l'addestramento; non generalizzano in modo affidabile oltre l'ambito di Psych-101 senza una scalabilità significativa.

In conclusione, lo studio dimosta che 70 miliardi di parametri non sono necessari per adattarsi ai dati comportamentali umani entro paradigmi noti, ma scale maggiori sono necessarie per il transfer verso nuove strutture. I modelli piccoli risultanti offrono un punto di riferimento basato sui dati per valutare e migliorare le teorie cognitive di processo, purché il loro ambito sia inteso come un estimatore di prevedibilità piuttosto che una spiegazione meccanicistica.

Articoli simili