Benchmarking Large Language Model Rationality Using Measurement Axioms

Technische Samenvatting: Benchmarking van de Rationaliteit van Large Language Models met behulp van Meetaxioma's

Probleemstelling
Nu Large Language Models (LLM's) steeds vaker worden ingezet als besluitvormers in kritieke domeinen zoals kredietrisico, gezondheidszorg en beleidsvorming, blijven huidige evaluatieparadigma's ontoereikend. Bestaande benchmarks geven prioriteit aan nauwkeurigheid en feitelijke gronding, maar negeren vaak de structurele eigenschappen die vereist zijn voor coherente en interpreteerbare besluitvorming. In realistische omgevingen die geen duidelijke "grondwaarheid" (ground truth) kennen, schiet benchmark-nauwkeurigheid tekort in het vastleggen van de vraag of het besluitvormingsproces van een model intern consistent is. Specifiek is er een gebrek aan formele kaders om te bepalen of door LLM gegenereerde voorkeuren voldoen aan de structurele voorwaarden—zoals transitiviteit—die noodzakelijk zijn voor rationele agency en nutsorientatie (utility representation). Zonder transitiviteit kunnen voorkeuren niet coherent worden geordend, wat de interpreteerbaarheid van modeloutputs ondermijnt en de afstemming op menselijke waarden bemoeilijkt.

Methodologie
De auteurs introduceren een op utiliteitstheorie gebaseerd meettheoretisch kader om de besluitvorming van AI te evalueren. De studie definieert een beslissingssysteem als rationeel als het een nutsfunctie toelaat, een voorwaarde die voortvloeit uit het axioma van de transitiviteit van voorkeur. Om de niet-deterministische aard van LLM-outputs aan te pakken, maken de auteurs gebruik van directe extractie van first-token log-waarschijnlijkheden in plaats van te vertrouwen op gegenereerde tekst of post-hoc parsing. Dit maakt het mogelijk om deterministische keuze-waarschijnlijkheden te herstellen voor elke gegeven input.

De studie evalueert 20 verschillende LLM's (waaronder de Llama-serie van Meta, Qwen van Alibaba, MistralAI en Google's Gemma) over drie experimentele manipulaties:

1. Generatietemperatuur: Getest over 10 instellingen (0,2 tot 2,0) om te bepalen of het verhogen van stochasticiteit de logische structuur van voorkeuren destabiliseert.
2. Contextueel Geheugen: Vergeleek "Memory-Less" condities (onafhankelijke proeven) met "Memory-Full" condities (waarbij het model een verslag krijgt van zijn 10 meest recente keuzes) om te beoordelen of de geschiedenis van de context de consistentie van voorkeuren stabiliseert of degradeert.
3. Vraagformaat: Varieerde de presentatie van waarschijnlijkheid (fractie versus percentage) en monetaire waarde (numeriek, "$" prefix, "dollars" suffix) over zes formaten om framing-effecten op structurele coherentie te testen.

De stimuli bestonden uit vijf goksets aangepast van menselijke transitiviteitsexperimenten (Tversky, 1969; Davis-Stober et al.), bestaande uit 20 keuze-proeven per set. De auteurs evalueerden de naleving van vier probabilistische modellen van transitiviteit:

• Weak Stochastic Transitivity (WST): De minst restrictieve voorwaarde ($P_{AB} \ge 0,5 \land P_{BC} \ge 0,5 \implies P_{AC} \ge 0,5$).
• Medium-Certain Transitivity (MCT): Een striktere voorwaarde ($P \ge 0,75$).
• High-Certain Transitivity (HCT): Een voorwaarde met hoge zekerheid ($P \ge 0,9$), ontworpen voor agenten die deterministische waarschijnlijkheidsberekeningen produceren.
• Mixture Model of Transitive Preference (MMTP): Staat stochastische keuze toe via sampling over transitieve deterministische voorkeuren.

Belangrijkste Resultaten

• Naleving van Transitiviteit: De naleving van het minst restrictieve model (WST) was stabiel over verschillende temperaturen, maar varieerde aanzienlijk per modeltype, waarbij instructie-afgestemde modellen over het algemeen beter presteerden dan basismodellen. Echter, de naleving van striktere modellen (MCT en HCT) was bijna nul voor bijna alle modellen, waarbij slechts enkele 70B instructie-afgestemde varianten een niet-nul aantal vertoonden dat afnam naarmate de temperatuur toenam.
• Temperatuur-effecten: Hoewel de MMTP-naleving licht toenam bij hogere temperaturen, stellen de auteurs dat dit waarschijnlijk een wiskundig artefact is van het comprimeren van waarschijnlijkheden naar 0,5 (willekeurige gokken) in plaats van een verbetering van de coherentie.
• Vraagformaat: De naleving was marginaal hoger wanneer waarschijnlijkheden als percentages werden gepresenteerd in plaats van fracties. De representatie van monetaire waarde had een verwaarloosbare impact.
• Contextueel Geheugen: In tegenstelling tot de hypothese dat context voorkeuren zou kunnen stabiliseren, verlaagde het verstrekken van een geheugen van eerdere keuzes de naleving van WST en MMTP. Bovendien introduceerde de specifieke volgorde van eerdere keuzes aanzienlijke variabiliteit, waarbij sommige modellen nalevingstallen vertoonden die het volledige mogelijke bereik besloegen (0 tot 30) afhankelijk van de sequentie.
• Intransitiviteitspatronen: Wanneer schendingen optraden, waren deze niet willekeurig. Veel modellen vertoonden "mens-gealigneerde intransitiviteit", waarbij ze de lexicografische semi-order patronen repliceerden die gedocumenteerd zijn in menselijke besluitvorming (Tversky, 1969). De frequentie van schendingen bij LLM's was echter aanzienlijk hoger dan bij menselijke respondenten.

Belangrijkste Bijdragen

1. Formeel Kader: Het artikel biedt een principieel, meettheoretisch kader voor het evalueren van AI-rationaliteit dat verder gaat dan nauwkeurigheid door de structurele coherentie te beoordelen.
2. Methodologische Rigor: Door gebruik te maken van directe extractie van log-waarschijnlijkheden, omzeilt de studie de ruis van stochastische tekstgeneratie om intrinsieke keuze-waarschijnlijkheden te meten, wat een reproduceerbare standaard biedt voor het evalueren van de consistentie van voorkeuren.
3. Systematische Benchmarking: De studie varieert systematisch operationele parameters (temperatuur, geheugen, formaat) om aan te tonen hoe deze factoren de logische structuur van LLM-beslissingen beïnvloeden, waarbij wordt onthuld dat huidige modellen een gebrek hebben aan stabiele nutsrepresentaties.
4. Vergelijkende Analyse: Het werk biedt een directe structurele vergelijking tussen LLM's en menselijke besluitvorming, waarbij wordt benadrukt dat hoewel LLM's menselijke intransitieve patronen kunnen nabootsen, zij dit doen met een aanzienlijk hogere frequentie en minder stabiliteit.

Betekenis en Claims
De auteurs beweren dat meetaxioma's een complementaire basis bieden voor het evalueren van AI-systemen, die verschillend is van en noodzakelijk naast benchmark-nauwkeurigheid. De studie toont aan dat huidige LLM's er niet in slagen te voldoen aan de structurele voorwaarden die vereist zijn voor coherente besluitvorming, met name onder striktere rationaliteitscriteria (MCT, HCT) en wanneer zij worden blootgesteld aan contextueel geheugen.

Het artikel stelt bescheiden dat het kader de structuur van outputs evalueert, en niet de interne cognitieve processen van de modellen. Het concludeert dat hoewel LLM's lijken te maken van gestructureerde beslissingen, hun onvermogen om consistente voorkeuren te handhaven onder variërende omstandigheden wijst op de afwezigheid van een stabiele nutsrepresentatie. De auteurs suggereren dat dit kader kan worden uitgebreid naar andere domeinen (bijv. medische triage, morele afwegingen) en andere keuze-axioma's (bijv. monotoniciteit), wat dient als een fundamentele stap naar een meetgerichte evaluatie van de rationaliteit van kunstmatige agenten.