Sintesi Tecnica: Utilizzare l'Apprendimento per Rinforzo per Addestrare Grandi Modelli di Linguaggio a Spiegare le Decisioni Umane

Definizione del Problema

Una sfida centrale nella modellazione cognitiva è lo sviluppo di sistemi che non solo prevedano il comportamento umano con alta precisione, ma forniscano anche intuizioni interpretabili sui meccanismi cognitivi sottostanti. Sebbene i modelli di reti neurali addestrati su dati comportamentali su larga scala spesso raggiungano prestazioni predittive elevate, essi funzionano tipicamente come "scatole nere" (black boxes), offrendo una comprensione teorica limitata dei processi cognitivi che catturano. Sebbene lavori recenti (ad esempio, il modello Centaur) abbiano dimostrato che i Grandi Modelli di Linguaggio (LLM) possono essere perfezionati per prevedere efficacementamente il comportamento umano, questi modelli spesso mancano della capacità di generare spiegazioni esplicite in linguaggio naturale sul perché tali previsioni vengano effettuate. Questo articolo affronta il dilemma del bilanciamento tra accuratezza predittiva e interpretabilità, esplorando se gli LLM possano fungere da modelli cognitivi a duplice scopo, capaci sia di predizione che di spiegazione.

Metodologia

Gli autori propongono un framework per addestrare gli LLM a generare tracce di ragionamento esplicite (Chain-of-Thought, o CoT) che spieghino le scelte rischiose umane. Lo studio si concentra sul dominio della scelta rischiosa umana (decisioni tra opzioni sicure e rischiose) utilizzando il dataset choices13k (Peterson et al., 2021).

Configurazione Sperimentale

Il modello di base utilizzato è Qwen-2.5-7B-Instruct. Gli autori confrontano tre distinte strategie di post-addestramento applicate a moduli di Low-Rank Adaptation (LoRA):

1. Supervised Fine-Tuning (SFT): Addestramento autoregressivo standard su dati di scelta umana formattati come JSON.
2. SFT in stile Centaur: Una variante in cui solo i token corrispondenti alle proporzioni delle scelte umane (racchiusi in parentesi speciali) contribuiscono alla perdita (loss), mascherando i token di ragionamento durante l'addestramento.
3. Reinforcement Learning (RL): Gli autori impiegano la Group Relative Policy Optimization (GRPO) con ricompense basate sull'esito (outcome-based rewards).

L'Approccio RL

Nell'impostazione RL, il modello genera molteplici completamenti candidati (inclusi il ragionamento CoT e una previsione finale in formato JSON) per un dato problema. La funzione di ricompensa è strettamente basata sull'esito e collegata alla verità fondamentale (ground truth) del comportamento umano:

• Ricompensa di Correttezza: Definita come $1 - |o_B - p_B|$, dove $o_B$ è la probabilità predetta dal modello per l'Opzione B e $p_B$ è la proporzione empirica di umani che scelgono l'Opzione B.
• Ricompensa di Formato: Un bonus (fino a 0.5) per la generazione di un output JSON strutturalmente valido in cui la previsione segue il ragionamento.
• Vincoli di Coerenza: Il modello viene penalizzato se le sue probabilità predette non sommano a 1 o cadono al di fuori dell'intervallo [0, 1].

L'addestramento RL utilizza una dimensione di gruppo di 12 candidati per prompt e impiega l'algoritmo "GRPO Done Right", che omette la normalizzazione della ricompensa per deviazione standard per evitare bias verso la difficoltà del quesito.

Esperimenti di Controllo

Per validare l'adattabilità delle tracce di ragionamento, gli autori hanno condotto:

• Controllo dei Dati: Sostituzione dei dati umani con dati sintetici generati da un modello di massimizzazione del valore atteso per vedere se la CoT si adatta alla nuova struttura dei dati.
• Controllo del Modello: Replicazione dell'esperimento con un modello di base più piccolo e debole (Gemma-2-2B-Instruct) per testare la dipendenza dalla capacità del modello.

Risultati Chiave

Prestazioni Predittive

• Accuratezza Comparabile: Ai checkpoint finali, il modello addestrato con RL ha raggiunto un'accuratezza predittiva (Errore Quadratico Medio sul set di test) comparabile sia all'SFT standard che all'SFT in stile Centaur ($M \approx 0.0148$ per RL vs. $0.0144$ per SFT). I test statistici non hanno rivelato differenze significative tra i metodi.
• Efficienza di Apprendimento: L'RL ha ottenuto una riduzione più rapida dell'errore di predizione rispetto al numero di esempi di addestramento elaborati rispetto all'SFT, sebbene abbia comportato costi computazionali più elevati a causa della generazione di molteplici candidati per ogni step.
• Dipendenza dalla Capacità del Modello: Quando applicato al modello più debole Gemma-2-2B, l'RL è stato significativamente peggiore dei metodi SFT. Il modello più debole non è riuscito a generare il meccanismo cognitivo critico del "calcolo del valore atteso", portando a una scarsa prestazione predittiva.

Qualità del Ragionamento (CoT)

• Emergenza del Ragionamento: A differenza dei modelli SFT e Centaur (che non sono stati esplicitamente addestrati a generare ragionamento), il modello RL ha prodotto costantemente un ragionamento CoT dettagliato prima della sua previsione finale.
• Meccanismi Cognitivi: L'analisi delle CoT generate dall'RL ha rivelato l'emergenza di specifici meccanismi cognitivi, in particolare il calcolo del Valore Atteso e l'Avversione al Rischio, che hanno rappresentato circa il 29–36% dei token di ragionamento. Altri meccanismi identificati includono l'Avversione alle Perdite, l'Effetto Certezza e la Ponderazione delle Probabilità.
• Adattabilità: Nell'esperimento di controllo dei dati, quando addestrato su dati sintetici di valore atteso, il modello RL ha spostato il suo ragionamento concentrandosi pesantemente sui calcoli del valore atteso, dimostrando che la CoT si adatta alla struttura dei dati di addestramento piuttosto che rimanere statica.
• Influenza Causale: Un esperimento di "scambio di CoT" (CoT swapping) ha dimostrato che l'uso della CoT del modello RL per guidare il modello di base ha ridotto significativamente l'errore di predizione, mentre l'uso della CoT originale del modello di base con il modello RL ha aumentato l'errore. Ciò suggerisce che il ragionamento generato dall'RL è causalmente legato alle migliori predizioni.
• Valutazione Umana: In una valutazione umana su piccola scala, gli esperti hanno giudicato le CoT del modello RL come più ragionevoli rispetto a quelle del modello di base nel 61.5% dei casi.

Significato e Rivendicazioni

L'articolo sostiene che l'Apprendimento per Rinforzo con ricompense basate sull'esito (RLVR) può estrarre tracie di ragionamento di alta qualità e interpretabili dai LLM, che fungono da teorie verbali del processo decisionale umano.

• Modellazione a Duplice Scopo: Il lavoro stabilisce che gli LLM possono fungere da modelli cognitivi capaci simultaneamente di predire il comportamento umano e fornire spiegazioni in linguaggio naturale dei meccanismi cognitivi che guidano tali comportamenti.
• Razionalità vs. Euristiche: Le conclusioni suggeriscono che, contrariamente ad alcune letteratura che enfatizza euristiche e bias, le caratterizzazioni razionali (specificamente il calcolo del valore atteso e l'avversione al rischio) possono essere forze dominanti nello spiegare le scelte rischiose umane quando viste attraverso la lente di questi modelli.
• Ipotesi dell'Elicitazione: I risultati supportano l' "ipotesi dell'elicitazione", suggerendo che l'RL non insegna necessariamente nuove capacità, ma piuttosto fa emergere e amplifica la conoscenza teorica latente già presente nel LLM pre-addestrato. Di conseguenza, il successo di questo approccio dipende fortemente dalla capacità del modello di base; i modelli più deboli non riescono a estrarre i necessari meccanismi di ragionamento.
• Scalabilità: Il metodo offre un'alternativa scalabile alla modellazione cognitiva manuale o alla scoperta di modelli guidata da esperti, generando automaticamente teorie interpretabili da ampi dataset comportamentali senza richiedere la programmazione simbolica esplicita o il feedback umano per ogni decisione.

Gli autori concludono che, sebbene l'addestramento post-RL sia computazionalmente più costoso dell'SFT, esso fornisce una via unica per sviluppare modelli cognitivi che siano sia quantitativamente accurati che qualitativamente interpretabili.