Representation Without Control: Testing the Realization Effect in Language Models

Riepilogo Tecnico: Rappresentazione Senza Controllo

Enunciato del Problema
Il documento affronta una lacuna critica nella valutazione dei Modelli Linguistici di Grandi Dimensioni (LLM) utilizzati come simulatori comportamentali. Sebbene gli LLM siano sempre più impiegati per modellare la cognizione umana, non è chiaro se le loro uscite sensibili alle condizioni riflettano una reale implementazione interna dei meccanismi cognitivi umani o semplicemente pattern superficiali sensibili al prompt. Gli autori indagano questo aspetto testando l'"effetto di realizzazione", un fenomeno ben caratterizzato nell'economia comportamentale in cui il comportamento a rischio cambia sistematicamente in base al fatto che i guadagni o le perdite precedenti siano "cartacei" (conto mentale aperto) o "realizzati" (conto mentale chiuso). La domanda fondamentale è se gli LLM non solo mostrino sensibilità comportamentale a questo inquadramento, ma codifichino anche il costrutto sottostante come una rappresentazione causale che guida le decisioni a valle.

Metodologia
Lo studio adotta un disegno sperimentale in tre fasi utilizzando il modello Gemma 3 4B per testare tre affermazioni collegate: sensibilità comportamentale, decodificabilità lineare e controllo causale.

1. Compito Comportamentale Solo Prompt: Gli autori hanno costruito 11 condizioni di vignetta che coprono esiti cartacei e realizzati (finanza, casinò, ecc.) per verificare se le risposte degli LLM (importi delle scommesse e preferenze di rischio) replicano le previsioni direzionali degli effetti di realizzazione umani.
2. Lettura delle Attivazioni: Il team ha analizzato le attivazioni del flusso residuo di Gemma per determinare se lo "stato di realizzazione" sia linearmente decodificabile. Hanno costruito un vettore di direzione della differenza media ($v_{realization} = \mu_{realized\_closed} - \mu_{paper\_open}$) utilizzando un insieme di addestramento di 756 coppie abbinate al livello 18. Questa direzione è stata testata per la generalizzazione su set di validazione tenuti da parte e su un nuovo set di prompt generati da DeepSeek.
3. Intervento di Sterzata Causale: Per verificare se la rappresentazione decodificata governi causalmente il comportamento, gli autori hanno implementato una sterzata del flusso residuo. Hanno aggiunto la direzione di realizzazione scalata e normalizzata alle attivazioni del modello al livello 18 durante la generazione. Hanno testato varie scale di sterzata (da -50 a +150) per vedere se lo spostamento dell'attivazione verso stati "realizzati" o "cartacei" alterasse in modo affidabile le scelte di scommessa e rischio del modello. È stato inoltre eseguito un compito di classificazione di controllo positivo per verificare eventuali spostamenti semantici nei giudizi diretti.

Risultati Chiave
I risultati rivelano una significativa dissociazione tra rappresentazione e controllo:

• Sensibilità Comportamentale (Parziale): Gli LLM sono sensibili alle condizioni, producendo risposte diverse in base all'inquadramento. Tuttavia, il pattern direzionale non corrisponde in modo robusto alle previsioni dell'effetto di realizzazione umano. Ad esempio, le perdite realizzate hanno aumentato l'assunzione di rischi nel modello, contrariamente alla tendenza umana a diminuire il rischio dopo perdite realizzate.
• Lettura Lineare (Successo): Lo stato di realizzazione è linearmente decodificabile dal flusso residuo di Gemma al livello 18. Una direzione addestrata su un insieme di prompt separa con successo i prompt "cartacei" da quelli "realizzati" in insiemi tenuti da parte, inclusi quelli provenienti da una fonte diversa (DeepSeek).
• Controllo Causale (Fallimento): Sterzare lungo la direzione di realizzazione decodificata non sposta in modo affidabile il comportamento di rischio a valle.
  • Scommessa e Rischio: Attraverso scale di sterzata positive e negative, le variazioni medie di scommessa e rischio sono state piccole, e le variazioni mediane sono state costantemente zero.
  • Simmetria: Non è stato osservato il previsto inversione simmetrica per segno (sterzare verso "cartaceo" dovrebbe diminuire il rischio, sterzare verso "realizzato" dovrebbe aumentarlo, o viceversa).
  • Correlazione: Sebbene la forza di proiezione grezza fosse debolmente correlata agli importi delle scommesse a livello di prompt, questa associazione è svanita dopo aver controllato la struttura del prompt. All'interno di coppie abbinate, le variazioni di proiezione non hanno previsto le variazioni comportamentali.
• Controllo Positivo: Un compito di classificazione ha mostrato un debole spostamento direzionale nel giudizio semantico (aumento delle previsioni "realizzate" a scale positive elevate), ma l'accuratezza è rimasta vicina al caso, e lo spostamento è stato asimmetrico.

Contributi Chiave
Il contributo principale del documento è la dimostrazione empirica che la sensibilità comportamentale, la lettura latente e il controllo causale sono tre proprietà distinte che non si verificano automaticamente insieme.

• Stabilisce che una lettura lineare riuscita di una variabile è una prova insufficiente che un modello si basi su quella rappresentazione durante il processo decisionale a valle.
• Fornisce un caso di studio concreto in cui un modello supera i primi due test dell'interpretabilità meccanicistica (sensibilità e decodificabilità) ma fallisce il terzo (controllo causale).
• Mette in discussione l'assunzione secondo cui il comportamento sensibile alle condizioni negli LLM implichi l'implementazione di meccanismi cognitivi simili a quelli umani.

Significato e Affermazioni
Gli autori sostengono che i loro risultati rendano necessario un cambiamento nel modo in cui la ricerca comportamentale sugli LLM viene condotta e interpretata.

• Per la Valutazione Comportamentale: La sola sensibilità alle condizioni è una prova debole di una cognizione simile a quella umana. I modelli potrebbero tracciare caratteristiche superficiali dei prompt (inquadramento) senza codificare i costrutti mentali sottostanti (ad esempio, la contabilità mentale).
• Per l'Interpretabilità Meccanicistica: Lo studio mette in guardia dal trattare la decodificabilità lineare come un proxy per la spiegazione causale. Una rappresentazione può essere leggibile nelle attivazioni e tuttavia essere epifenomenica rispetto alla politica che governa le uscite. Gli autori ipotizzano che "sia necessaria una validazione causale, non solo una decodifica correlazionale, per stabilire che una rappresentazione stia svolgendo un lavoro reale".
• Conclusione: Il documento conclude che stabilire che un modello implementa genuinamente un costrutto decisionale umano richiede di dimostrare che la rappresentazione rilevante è causalmente a monte del comportamento di interesse. Questo è un livello più alto rispetto a quello attualmente applicato nel settore, e gli autori suggeriscono che il controllo causale dovrebbe essere trattato come una condizione necessaria per tali affermazioni meccanicistiche.

Gli autori rimangono modesti riguardo alla portata, notando che il risultato nullo è specifico per la configurazione Gemma 3 4B (livello 18, sterzata sull'ultimo token) e che la dissociazione potrebbe variare tra modelli, livelli o tipi di compito. Tuttavia, la scoperta motiva uno standard più rigoroso per affermare che gli LLM implementano specifici meccanismi cognitivi.