Riepilogo Tecnico: Ragione di Gioco: Allineamento Comportamentale e Cerebrale tra LRM all'Avanguardia e Apprendenti Umani di Giochi

Enunciato del Problema

La cognizione umana si distingue per la capacità di apprendere rapidamente strutture astratte in ambienti nuovi e di dispiegare flessibilmente tale conoscenza per guidare azioni intelligenti. Sebbene i moderni sistemi di intelligenza artificiale, in particolare i Modelli di Ragionamento di Grande Dimensione (LRM), abbiano dimostrato capacità impressionanti in compiti di ragionamento statico, non è chiaro se possano apprendere e pianificare in modo interattivo in ambienti dinamici con la stessa efficienza e flessibilità degli esseri umani. I benchmark esistenti spesso non riescono a catturare le rappresentazioni interne degli agenti durante l'apprendimento interattivo, e gli agenti tradizionali di apprendimento per rinforzo profondo (RL), pur avendo successo in domini specifici, richiedono spesso ordini di grandezza di dati superiori rispetto agli esseri umani e mancano di modelli interni trasferibili. Inoltre, le neuroscienze computazionali hanno faticato a trovare modelli che prevedano l'attività cerebrale umana durante la cognizione interattiva, poiché i modelli addestrati da zero su compiti specifici producono spesso segnali di codifica fragili.

Questo studio affronta la domanda: I LRM all'Avanguardia possono apprendere e pianificare in modo da allinearsi sia alle traiettorie comportamentali umane che all'attività cerebrale umana durante la scoperta e l'esecuzione di regole di videogiochi nuove?

Metodologia

Dataset e Compito

Gli autori hanno utilizzato il dataset VGDL-fMRI, che contiene registrazioni fMRI concorrenti e traiettorie di gioco da 32 partecipanti adulti sani che imparavano a giocare a 12 videogiochi distinti definiti dal Video Game Description Language (VGDL).

• Struttura del Compito: I partecipanti hanno giocato a 6 giochi in 6 sessioni di scansione. Ogni gioco consisteva in 9 livelli con complessità crescente, introducendo progressivamente nuovi tipi di oggetti e regole di interazione.
• Ambiente: I giochi richiedevano la scoperta di regole, la revisione di ipotesi e la pianificazione multi-step (ad esempio, spingere scatole, evitare pericoli, guida cooperativa).
• Vincoli di Input: I modelli ricevevano osservazioni simboliche anonime per colore (posizioni della griglia, colori, inventario) identiche a quelle dei partecipanti umani, senza etichette semantiche privilegiate.

Classi di Modello

Lo studio ha valutato una serie di agenti attraverso tre paradigmi:

1. Modelli di Ragionamento di Grande Dimensione (LRM) all'Avanguardia: Otto modelli delle famiglie Qwen 3.5 e DeepSeek (da 9B a 397B parametri). Questi modelli sono stati valutati in un formato di dialogo multi-turno in cui ricevevano osservazioni e generavano azioni. Sono stati testati due condizioni:
   • Ragionamento Copiato: La catena di pensiero nascosta del modello era inclusa nel contesto per i turni successivi.
   • Solo Azioni: Venivano fornite solo le azioni, isolando il contributo delle tracce di ragionamento esplicite.
2. Baseline di Apprendimento per Rinforzo Profondo (RL):
   • Senza Modello: Double DQN (DDQN) con esteso tuning degli iperparametri per gioco e addestramento basato su curriculum.
   • Basato su Modello: EfficientZeroV2 (EZV2), che apprende un modello di dinamiche latente per la pianificazione tramite Monte Carlo Tree Search.
3. Baseline Simbolica: L'Agente Esplora-Modello-Pianifica (EMPA), un agente basato su teoria che esegue inferenza bayesiana su un'ontologia codificata a mano delle regole di gioco.

Metriche di Valutazione

1. Allineamento Comportamentale:
   • Efficienza di Scoperta: Passi cumulativi fino alla prima vittoria per livello (misurati tramite Distanza del Trasportatore di Terra, EMD, rispetto alle distribuzioni umane).
   • Capacità: Livello medio raggiunto entro un budget fisso di passi (curriculum bloccato che richiede due vittorie consecutive per avanzare).
2. Codifica Cerebrale:
   • Protocollo: I LRM sono stati eseguiti come osservatori passivi, fornendo loro lo stesso flusso di osservazioni visto dai partecipanti umani senza generare azioni o tracce di ragionamento. Le caratteristiche degli stati nascosti sono state estratte all'ultimo token di input.
   • Analisi: È stata utilizzata la regressione ridge a bande per prevedere le risposte BOLD (Dipendenti dal Livello di Ossigeno nel Sangue) dalle caratteristiche del modello. Le prestazioni sono state misurate come correlazione di Pearson ($r$) tra l'attività BOLD prevista e osservata attraverso sei regioni di interesse (ROI) anatomiche: Frontale, Motoria, Parietale, Visiva, Visiva Precoce e Striatale.
   • Controlli: I confronti includevano controlli con inizializzazione casuale, controlli con mescolamento delle traiettorie e regressori di disturbo (premi dei pulsanti, identità del gioco, tempo).

Contributi Chiave

1. Valutazione Sistematica dei LRM nell'Apprendimento Interattivo: Questa è la prima valutazione sistematica dei LRM all'Avanguardia sull'apprendimento interattivo di giochi simile a quello umano su 12 giochi e 32 partecipanti umani. Rispetto a lavori precedenti che utilizzavano prompt a singolo passo o LLM più vecchi, questo studio impiega dialoghi multi-step con tracce di ragionamento esplicite.
2. Parità Comportamentale con gli Umani: Lo studio dimostra che i LRM all'Avanguardia corrispondono alle traiettorie di apprendimento umano sia nell'efficienza di scoperta che nella progressione delle capacità, mentre le baseline di RL profondo richiedono ordini di grandezza di esperienza in più e raggiungono un plateau precocemente.
3. Superiore Allineamento Cerebrale: I LRM prevedono l'attività cerebrale umana con un ordine di grandezza migliore rispetto alle baseline di RL profondo (DDQN, EfficientZero) e all'agente simbolico EMPA in tutte le regioni corticali e sottocorticali. Questo allineamento è robusto ai controlli di permutazione ed è ottenuto fuori dallo scaffale senza fine-tuning o strumenti specifici per il dominio.
4. Insight Meccanicistico: Lo studio isola che il segnale di allineamento cerebrale riflette la rappresentazione in contesto dello stato di gioco del modello piuttosto che i suoi processi di pianificazione o ragionamento a valle. Ciò è dimostrato dal fatto che l'accuratezza della codifica rimane elevata anche quando il modello è eseguito come osservatore passivo senza generare tracce di ragionamento.
5. Rilascio di Risorse: Gli autori rilasciano un materiale supplementare interattivo contenente oltre 100.000 tracce di ragionamento, tutti i dati di replay, le caratteristiche degli stati nascosti estratti e l'intera pipeline di analisi.

Risultati

Prestazioni Comportamentali

• Efficienza di Scoperta: I LRM all'Avanguardia si sono raggruppati strettamente attorno alla distribuzione umana dei passi fino alla prima vittoria. Il miglior modello, DeepSeek V4-Pro, ha raggiunto un EMD di scoperta di 0,28, rispetto a 3,07 per DDQN e 3,22 per EfficientZero. Ciò rappresenta una riduzione di 5–11 volte della distanza rispetto al comportamento umano rispetto alle baseline RL.
• Capacità: I LRM hanno progredito attraverso il curriculum di 9 livelli a ritmi comparabili a quelli umani (raggiungendo livelli medi 4–6 entro un budget di 1600 passi), mentre le baseline RL raramente avanzavano oltre il livello 1–2.
• Divario Scoperta-Esecuzione: È stata trovata una divergenza notevole nell'esecuzione. Mentre gli umani accorciavano significativamente i propri passi dopo la prima vittoria (mediana di 32 passi), i LRM tendevano a "perseverare", riproducendo la traiettoria esatta della loro prima vittoria anche quando percorsi più brevi erano articolati nel loro ragionamento. Questo divario si è ridotto con la scala del modello ed era in gran parte assente nei modelli DeepSeek.

Codifica Cerebrale

• Magnitudine dell'Allineamento: I LRM hanno previsto l'attività BOLD con una correlazione di Pearson $r$ di circa 0,07–0,10 nelle regioni visive e visive precoci, e valori inferiori ma significativi nelle regioni frontali, motorie e striatali. Questo è circa un ordine di grandezza superiore rispetto alle migliori baseline RL (che oscillavano sotto $r=0,015$).
• Addestramento vs. Architettura: I LRM addestrati hanno superato significativamente le versioni inizializzate casualmente della stessa architettura (miglioramento di 6,4–6,9 volte), confermando che l'allineamento deriva da rappresentazioni apprese e non da prior architetturali.
• Scala vs. Allineamento: A differenza delle prestazioni comportamentali, che generalmente scalavano con la dimensione del modello, l'accuratezza della codifica cerebrale non scalava in modo monotono con il numero di parametri. Il modello Qwen3.5-35B-A3B (MoE) ha raggiunto la massima accuratezza di codifica, superando modelli più grandi come DeepSeek V4-Pro.
• Specificità della Rappresentazione: Il segnale di codifica era bloccato alla sequenza momento per momento del gameplay. Permutare l'ordine temporale degli embedding o troncare la storia del contesto ha ridotto significativamente l'accuratezza della codifica, indicando che il segnale cattura la struttura rappresentazionale immediata piuttosto che l'integrazione della memoria a lungo termine.

Significato e Affermazioni

Il paper afferma di stabilire i LRM all'Avanguardia come resoconti computazionali convincenti dell'apprendimento umano e del processo decisionale in ambienti complessi e naturalistici.

• Novità dell'Allineamento: A conoscenza degli autori, questo è il primo allineamento comportamentale e neurale congiunto tra umani e LRM durante il gameplay interattivo.
• Meccanismo di Allineamento: I risultati suggeriscono che le ricche rappresentazioni trasferibili acquisite dai LRM attraverso l'addestramento preesistente su testi permettono loro di approcciare giochi nuovi con una "ampia conoscenza a priori" simile a quella umana. Ciò contrasta con gli agenti RL profondi che devono apprendere da zero, risultando in rappresentazioni fragili che non riescono ad allinearsi con l'attività cerebrale umana.
• Limitazioni: Gli autori notano modestamente che il loro paradigma rende difficile la stima del soffitto di rumore per voxel a causa dell'unicità di ogni traiettoria umana. Riconoscono inoltre che i LRM mantengono prior generali dai loro corpus di addestramento che non possono essere completamente controllati.
• Direzione Futura: Il paper ipotizza che, mentre i LRM attuali catturano la struttura rappresentazionale della cognizione umana, mancano del segnale associato all'apprendimento attivo e alla pianificazione stessa. Il lavoro futuro richiede architetture cognitive più ricche e protocolli di coinvolgimento attivo per allineare i modelli alle traiettorie umane individuali.

Lo studio conclude che i LRM offrono una strada avanti per le neuroscienze computazionali, fornendo modelli che non solo risolvono compiti ma riflettono anche gli stati computazionali interni del cervello umano durante l'apprendimento interattivo.