Benchmarking Large Language Model Rationality Using Measurement Axioms

Sintesi Tecnica: Benchmarking della Razionalità dei Large Language Models utilizzando Assiomi di Misura

Problematica
Man mano che i Large Language Models (LLM) vengono sempre più impiegati come decisori in domini ad alto rischio come il rischio di credito, l'assistenza sanitaria e le politiche pubbliche, gli attuali paradigmi di valutazione rimangono insufficienti. I benchmark esistenti danno priorità all'accuratezza e alla fondatezza fattuale, ignorando spesso le proprietà strutturali necessarie per un processo decisionale coerente e interpretabile. In ambienti realistici privi di una chiara "verità fondamentale" (ground truth), l'accuratezza del benchmark non riesce a catturare se il processo decisionale di un modello sia internamente consistente. Nello specifico, manca un quadro formale per determinare se le preferenze generate dagli LLM soddisfino le condizioni strutturali — come la transitività — necessarie per un'agenzia razionale e una rappresentazione dell'utilità. Senza la transitività, le preferenze non possono essere ordinate coerentemente, il che mina l'interpretabilità degli output del modello e complica l'allineamento con i valori umani.

Metodologia
Gli autori introducono un framework di teoria della misurazione basato sulla teoria dell'utilità per valutare il processo decisionale dell'IA. Lo studio definisce un sistema decisionale come razionale se ammette una funzione di utilità, una condizione necessaria data dall'assioma della transitività delle preferenze. Per affrontare la natura non deterministica degli output degli LLM, gli autori utilizzano l'estrazione diretta della log-probabilità del primo token anziché affidarsi alla generazione di testo o alla parsing post-hoc. Ciò consente di recuperare probabilità di scelta deterministiche per ogni dato input.

Lo studio valuta 20 modelli distinti (inclusi la serie Llama di Meta, Qwen di Alibaba, MistralAI e Gemma di Google) attraverso tre manipolazioni sperimentali:

1. Temperatura di Generazione: Testata attraverso 10 impostazioni (da 0.2 a 2.0) per determinare se l'aumento della stocasticità destabilizzi la struttura logica delle preferenze.
2. Memoria Contestuale: Confronta le condizioni "Privo di Memoria" (trial indipendenti) con le condizioni "Con Memoria" (dove il modello riceve un registro delle sue 10 scelte più recenti) per valutare se la cronologia del contesto stabilizzi o degradi la coerenza delle preferenze.
3. Formato della Domanda: Ha variato la presentazione della probabilità (frazione vs. percentuale) e del valore monetario (numerico, prefisso "$" o suffisso "dollari") attraverso sei formati per testare gli effetti di framing sulla coerenza strutturale.

Gli stimoli consistevano in cinque set di scommesse adattati da esperimenti sulla transitività umana (Tversky, 1969; Davis-Stober et al.), comprendenti 20 trial di scelta per set. Gli autori hanno valutato l'aderenza a quattro modelli probabilistici di transitività:

• Transitività Stocastica Debole (WST): La condizione meno restrittiva ($P_{AB} \ge 0.5 \land P_{BC} \ge 0.5 \implies P_{AC} \ge 0.5$).
• Transitività a Certezza Media (MCT): Una condizione più rigorosa ($P \ge 0.75$).
• Transitività ad Alta Certezza (HCT): Una condizione di alta certezza ($P \ge 0.9$), progettata per agenti che producono computazioni di probabilità deterministiche.
• Modello di Miscela di Preferenza Transitiva (MMTP): Permette la scelta stocastica tramite campionamento su preferenze deterministiche transitive.

Risultati Chiave

• Aderenza alla Transitività: L'aderenza al modello meno restrittivo (WST) è stata stabile attraverso le temperature ma è variata significativamente per tipo di modello, con i modelli istruiti (instruction-tuned) che generalmente hanno superato i modelli base. Tuttavia, l'aderenza ai modelli più rigorosi (MCT e HCT) è stata vicina allo zero per quasi tutti i modelli, con solo alcune varianti istruite da 70B che hanno mostrato conteggi non nulli, i quali sono diminuiti all'aumentare della temperatura.
• Effetti della Temperatura: Sebbene l'aderenza al MMTP sia aumentata leggermente con temperature più alte, gli autori sostengono che questo sia probabilmente un artefatto matematico dovuto alla compressione delle probabilità verso lo 0.5 (indovinare casualmente) piuttosto che un miglioramento della coerenza.
• Formato della Domanda: L'aderenza è stata moderatamente più alta quando le probabilità venivano presentate come percentuali piuttosto che come frazioni. La rappresentazione del valore monetario ha avuto un impatto trascurabile.
• Memoria Contestuale: Contrariamente all'ipotesi che il contesto possa stabilizzare le preferenze, fornire una memoria delle scelte precedenti ha diminuito l'aderenza a WST e MMTP. Inoltre, l'ordine specifico delle scelte precedenti ha introdotto una variabilità significativa, con alcuni modelli che mostravano conteggi di aderenza che coprivano l'intero intervallo possibile (da 0 a 30) a seconda della sequenza.
• Pattern di Intransitività: Quando si verificavano violazioni, queste non erano casuali. Molti modelli hanno esibito un' "intransitività allineata all'uomo", replicando i pattern di semi-ordine lessicografico documentati nel decision-making umano (Tversky, 1969). Tuttavia, il tasso di violazione negli LLM è stato sostanzialmente più alto rispetto ai rispondenti umani.

Contributi Chiave

1. Framework Formale: Il paper fornisce un framework di teoria della misurazione che va oltre l'accuratezza per valutare la coerenza strutturale.
2. Rigore Metodologico: Utilizzando l'estrazione diretta della log-probabilità, lo studio evita il rumore della generazione di testo stocastica per misurare le probabilità di scelta intrinseche, offrendo uno standard riproducibile per valutare la coerenza delle preferenze.
3. Benchmarking Sistematico: Lo studio varia sistematicamente i parametri operativi (temperatura, memoria, formato) per dimostrare come questi fattori influenzino la struttura logica delle decisioni degli LLM, rivelando che gli attuali modelli mancano di rappresentazioni di utilità stabili.
4. Analisi Comparativa: Il lavoro offre un confronto strutturale diretto tra LLM e decision-making umano, evidenziando come, sebbene gli LLM possano imitare i pattern intransitivi umani, lo facciano con una frequenza significativamente maggiore e una stabilità minore.

Significatività e Rivendicazioni
Gli autori sostengono che gli assiomi di misura offrano una base complementare per valutare i sistemi di IA, distinta da e necessaria accanto all'accuratezza dei benchmark. Lo studio dimostra che gli attuali LLM non soddisfano le condizioni strutturali richieste per un processo decisionale coerente, in particolare sotto criteri di razionalità più rigorosi (MCT, HCT) e quando esposti alla memoria contestuale.

Il paper afferma con modestia che il suo framework valuta la struttura degli output, non i processi cognitivi interni dei modelli. Conclude che, sebbene gli LLM possano apparire come decisori strutturati, la loro incapacità di mantenere preferenze costanti in condizioni variabili indica l'assenza di una rappresentazione stabile dell'utilità. Gli autori suggeriscono che questo framework possa essere esteso ad altri domini (ad esempio, triage medico, compromessi morali) e ad altri assiomi di scelta (ad esempio, monotonicità), servendo come passo fondamentale verso una valutazione orientata alla misurazione della razionalità degli agenti artificiali.