Post-training makes large language models less human-like

Sintesi Tecnica: Il post-addestramento rende i grandi modelli linguistici meno simili agli esseri umani

Enunciato del Problema
I grandi modelli linguistici (LLM) sono sempre più utilizzati come surrogati per partecipanti umani nella ricerca scientifica e in contesti applicativi, come la simulazione delle risposte dei pazienti in ambito di salute mentale o la previsione delle reazioni a interventi politici. Tuttavia, non è ancora chiaro quali configurazioni di modello catturino meglio il comportamento umano, inclusi i suoi errori intrinseci, la varianza e le caratteristiche individuali. Sebbene alcuni studi suggeriscano una forte allineamento comportamentale, altri riportano divergenze significative. Esiste un divario critico nella comprensione di come specifiche proprietà del modello — in particolare la transizione dal pre-addestramento di base al post-addestramento (instruction-tuning, ragionamento e adattamento visivo) — influenzino la fedeltà della simulazione del comportamento umano.

Metodologia
Per affrontare questo problema, gli autori introducono Psych-201, un nuovo dataset su larga scala composto da trascrizioni in linguaggio naturale provenienti da esperimenti comportamentali.

• Scala e Diversità dei Dati: Psych-201 aggrega dati da 208.021 partecipanti per un totale di 25.906.599 risposte comportamentali, coprendo centinaia di paradigmi sperimentali. È 3,5 volte più grande del suo predecessore (Psych-101) e 13 volte più grande della media degli studi mega. Il dataset include metadati ricchi (età, nazionalità, diagnosi clinica, ecc.) e abbraccia studi sullo sviluppo e transculturali.
• Valutazione del Modello: Lo studio ha valutato modelli di tre grandi famiglie: Qwen3 (open-source), Llama3.X (ecosistema ampio) e Olmo3.X (completamente open/riproducibile).
• Strategia di Confronto: Gli autori hanno confrontato i modelli di base (solo pre-addestrati) con le loro controparti post-addestrate (instruction-tuned, potenziati nel ragionamento o capaci di visione).
• Metriche: L'allineamento comportamentale è stato misurato utilizzando la negativa log-verosimiglianza (NLL) delle risposte umane individuali sotto le previsioni del modello (una NLL più bassa indica un migliore allineamento). L'effetto del post-addestramento è stato quantificato utilizzando le dimensioni dell'effetto di Cohen's d rispetto al corrispondente modello di base.
• Test di Induzione della Persona: Lo studio ha testato sistematicamente l'"induzione della persona" (condizionamento dei modelli su metadati specifici del partecipante tramite prompt in stile intervista) per determinare se ciò migliori le previsioni a livello individuale.

Risultati Chiave

1. Il Post-addestramento Riduce la Somiglianza Umana: In tutte le famiglie di modelli, dimensioni e obiettivi di post-addestramento (instruction-tuning, ragionamento, visione), il post-addestramento ha costantemente ridotto l'allineamento comportamentale con le risposte umane rispetto ai modelli di base.
2. Tendenze Generazionali: Sebbene i modelli di base continuino a migliorare nell'allineamento comportamentale attraverso le nuove generazioni (ad esempio da Qwen2 a Qwen3.5), il divario di disallineamento tra i modelli di base e le loro versioni post-addestrate si amplia nelle generazioni più recenti. Ad esempio, la dimensione dell'effetto di disallineamento per i modelli instruction-tuned è passata da d = 0,02 in Qwen2 a d = 0,16 in Qwen3.5.
3. Specificità di Dominio: Il disallineamento da post-addestramento è un effetto di dominio generale, ma è più pronunciato nei compiti di psicolinguistica e ragionamento. Gli autori suggeriscono che ciò avviene perché i modelli di base, ottimizzati per il linguaggio umano, catturano naturalmente euristiche e bias umani, mentre il post-addestramento (ad esempio RLHF) ottimizza per risposte normativamente corrette, sovrascrivendo questi pattern simili all'uomo.
4. Inefficacia dell'Induzione della Persona: Condizionare i modelli su metadati specifici del partecipante (età, genere, nazionalità, ecc.) non ha migliorato significativamente le previsioni a livello individuale. Le dimensioni dell'effetto sono variate da d = -0,02 a d = 0,02, mettendo in discussione l'utilità dell'induzione della persona per la modellazione di individui specifici.
5. Determinismo vs Disallineamento: Gli autori hanno escluso l'aumento del determinismo dell'output come unico motore del disallineamento, poiché i modelli post-addestrati non hanno mostrato una maggiore accuratezza su sottoinsiemi di scelta discreta, indicando che il disallineamento non è semplicemente una perdita di stocasticità.

Significato e Affermazioni
Il documento sostiene che i processi stessi attualmente impiegati per trasformare gli LLM in assistenti utili e normativamente corretti (post-addestramento) degradano simultaneamente la loro accuratezza come modelli del comportamento umano.

• Implicazione per la Ricerca: Affidarsi a modelli post-addestrati accessibili (come i chatbot standard) come surrogati comportamentali è subottimale per obiettivi scientifici che richiedono una fedeltà simile a quella umana.
• Direzione Futura: I risultati motivano lo sviluppo di nuovi approcci di post-addestramento che preservino l'allineamento comportamentale intrinseco nei modelli di base, mantenendo al contempo l'utilità pratica.
• Utilità della Risorsa: Psych-201 è presentato come una risorsa fondamentale per meta-analisi, scoperta scientifica automatizzata e lo sviluppo di modelli cognitivi su larga scala che simulino accuratamente le traiettorie di apprendimento e decisione umana.

Gli autori concludono che, sebbene i modelli di base mostrino potenziale come modelli descrittivi della cognizione umana, l'attuale traiettoria di ottimizzazione del post-addestramento per la "utilità" crea un "costo di allineamento" riguardo alla simulazione del comportamento umano, rendendo necessaria una rivalutazione di come i modelli vengono preparati per l'uso nelle scienze comportamentali.