Payoff scaling shapes cooperation in LLM agents across languages

Technische Samenvatting: Payoff Scaling vormt de Coöperatie van LLM-agenten over Talen heen

1. Probleemstelling

Nu Large Language Models (LLM's) steeds vaker worden ingezet als autonome agenten in onderhandelings- en coördinatietaken, is het begrijpen van hun strategisch gedrag in multi-agent-omgevingen een cruciaal vraagstuk geworden voor AI-governance. Hoewel empirische studies de coöperatie van LLM's hebben onderzocht vanuit speltheoretische perspectieven, richten de meeste bestaande evaluaties zich op geaggregeerde uitkomsten (bijv. coöperatiegraden) in plaats van de onderliggende gedragsintenties of strategieën die die acties aansturen. Bov�elijke is er een gebrek aan systematische vergelijking tussen LLM-gedrag en theoretische benchmarks onder gecontroleerde omstandigheden waarbij zowel de omvang van de prikkels (payoff stakes) als de linguïstische inkadering variëren.

Dit werk adresseert drie kernvragen:

1. Veranderen LLM-agenten hun coöperatieve gedrag systematisch naarmate de payoff stakes variëren, en hoe verschilt dit tussen modellen en talen?
2. Kunnen de gedragsintenties van LLM's betrouwbaar worden geclassificeerd met behulp van supervised learning, en welke systematische biases komen hierbij naar voren?
3. Hoe verhouden de door LLM's afgeleide strategie-distributies zich tot Evolutionary Game Theory (EGT) baselines onder gematchte payoff- en ruiscondities, en generaliseren deze patronen naar kleinere, open-weight modellen?

2. Methodologie

De studie maakt gebruik van FAIRGAME (Framework for AI Agents Bias Recognition using Game Theory) als computationele infrastructuur om gecontroleerde experimenten uit te voeren.

• Experimenteel Ontwerp: De auteurs hanteren een herhaalde Prisoner's Dilemma (PD) met een eindig horizontaal traject van $N=10$ rondes (uitgebreid naar $N=30$ voor open-weight modellen). De kernmanipulatie is payoff scaling: een scalaire parameter $\lambda \in \{0.1, 1.0, 10.0\}$ (en tot 1000 voor kleine modellen) vermenigvuldigt alle strafwaarden terwijl de strategische structuur van het spel behouden blijft. Dit isoleert het effect van de omvang van de inzet zonder het Nash-evenwicht van het spel te veranderen.
• Variabelen: De experimenten beslaan vijf talen (Engels, Frans, Arabisch, Mandarijn Chinees, Vietnamees), drie propriëtaire frontier-modellen (GPT-4o, Claude 3.5 Haiku, Mistral Large) en drie open-weight kleine modellen (Qwen3 8B, Gemma-3 12B, Llama-3.1 8B). Agent-koppelingen omvatten coöperatieve (C) en egoïstische (S) persoonlijkheidskenmerken.
• Intention Recognition Pipeline: Om verder te gaan dan ruwe actietellingen, trainen de auteurs supervised classifiers om canonieke strategieën af te leiden uit actiesequenties.
  • Trainingsdata: 10.000 synthetische trajecten gegenereerd voor vier canonieke strategieën: Always Cooperate (ALLC), Always Defect (ALLD), Tit-for-Tat (TFT) en Win-Stay–Lose-Shift (WSLS), met geïnjecteerde executieruis.
  • Modelselectie: Een LSTM-gebaseerde classifier werd gekozen als de beste performer (F1 = 0.984) vanwege het vermogen om sequentiële afhankelijkheden in de actiegeschiedenis te vangen, waarmee het Logistic Regression, Random Forests en Hidden Markov Models overtrof.
  • Inference: De getrainde LSTM classificeert door LLM gegenereerde trajecten. High-confidence voorspellingen ($p \geq 0.9$) worden gebruikt om de strategie-distributies te bepalen.
• Theoretische Baseline: Een analytisch Evolutionary Game Theory (EGT) model wordt afgeleid om de stationaire distributie van strategieën te voorspellen onder dezelfde payoff-structuren en ruisniveaus. Dit dient als een "taalblinde" benchmark om het LLM-gedrag mee te contrasteren.

3. Belangrijkste Resultaten

A. Payoff Gevoeligheid en Strategische Verschuivingen
In tegenstelling tot de standaard speltheoretische intuïtie, waarbij hogere inzetten kunnen leiden tot risicomijdende defectie of, omgekeerd, waarbij lage inzetten exploratie stimuleren, vertonen de LLM's een duidelijk coöperatie-naarmate-stakes-stijgen patroon.

• Naarmate $\lambda$ stijgt van 0.1 naar 10, neemt de prevalentie van onvoorwaardelijke defectie (ALLD) scherp af, terwijl voorwaardelijke coöperatie (WSLS) en onvoorwaardelijke coöperatie (ALLC) toenemen.
• Deze trend is modelspecifiek: Claude 3.5 Haiku vertoont een steile klim in coöperatie; GPT-4o verschuift van een hoge-defectie baseline naar een gebalanceerd profiel; Mistral Large blijft relatief ongevoelig voor veranderingen in de inzet.
• In de open-weight replicatie houdt dit directionele effect stand, maar is het niet-monotoon bij extreme inzetten ($\lambda > 100$), waarbij sommige modellen (bijv. Qwen3) een U-vormige respons vertonen, waarbij de coöperatie weer daalt bij de hoogste inzetten.

B. Linguïstische Priming
Linguïstische inkadering vormt de strategische archetypen aanzienlijk, een effect dat de auteurs linguïstische-culturele priming noemen.

• Onvoorwaardelijk versus Voorwaardelijk: Arabische en Chinese prompts lokken een sterke bias uit naar onvoorwaardelijke strategieën (ALLC + ALLD $\approx$ 60%). In contrast hiermee leveren Engelse, Franse en Vietnamese prompts meer gebalanceerde distributies met hogere aandelen adaptieve wederkerigheid (TFT + WSLS).
• Interactie met de Inzet: Frans en Vietnamees vertonen de hoogste gevoeligheid voor de omvang van de inzet, waarbij ze dramatisch verschuiven naar coöperatie naarmate de inzet stijgt. Arabisch vertoont de meest gedempte respons. Bij hoge inzetten convergeren Engels en Frans naar vergelijkbare strategische profielen, wat suggereert dat sterke prikkels de linguïstische variatie kunnen normaliseren.

C. Divergentie van Evolutionary Game Theory (EGT)
Een cruciale bevinding is de systematische onenigheid tussen LLM-gedrag en EGT-voorspellingen.

• EGT Voorspelling: Onder hoge inzetten voorspelt de EGT-baseline een "muur van Always Defect" (ALLD), aangezien de verleiding om te defecteren evolutionair dominant wordt.
• LLM Observatie: LLM's bewegen in de tegenovergestelde richting. Naarmate de inzetten stijgen, worden LLM's meer coöperatief, waarbij de prevalentie van ALLD daalt van ~39% bij lage inzetten naar ~18% bij hoge inzetten.
• Interpretatie: De auteurs stellen dat deze divergentie een signatuur is van alignment training (bijv. RLHF, Constitutional AI) en de absorptie van menselijke gedragspatronen uit trainingsdata, waarbij mensen de neiging hebben de coöperatie op te schalen wanneer de kosten van een fout toenemen. De EGT-baseline, die taalblind en puur door de payoff gedreven is, slaagt er niet in deze "menselijke" redeneerpatronen en culturele priors te vangen.

D. Generalisatie naar Kleine Modellen
De replicatie met open-weight kleine modellen bevestigt dat deze effecten niet uniek zijn voor frontier, propriëtaire modellen. Hoewel specifieke strategieën variëren (bijv. Gemma-3 fungeert als een "strategische generalist", terwijl Llama-3.1 een toegewijde Tit-for-Tat speler wordt bij matige inzetten), blijft de algemene gevoeligheid voor payoff scaling en linguïstische inkadering bestaan.

4. Bijdragen

Het artikel levert vier primaire bijdragen:

1. Payoff-Scaled Protocol: Introductie van een Prisoner's Dilemma-protocol met een eindig horizontaal traject en geschaalde payoffs om de gevoeligheid van LLM's voor de omvang van de prikkel systematisch te isoleren.
2. Supervised Intention Recognition: Ontwikkeling en toepassing van een hybride (regelgebaseerde + LSTM) pipeline om canonieke strategieën af te leiden uit LLM-trajecten, waarmee verder wordt gegaand dan geaggregeerde coöperatiegraden.
3. EGT Benchmarking: Vaststelling van een analytische EGT-baseline onder gematchte condities, wat een normatieve referentie biedt om LLM-specifieke biases en afwijkingen van rationele evenwichten te diagnosticeren.
4. Open-Weight Replicatie: Demonstratie dat effecten van inzet en taal generaliseren over modelgroottes en architecturen heen, inclus\ de kleinere, lokaal inzetbare modellen.

5. Betekenis en Claims

De auteurs positioneren dit werk als een diagnostische toolkit voor AI-governance. De betekenis ligt in het identificeren van payoff design en linguïstische inkadering als krachtige, onderbelichte hefbomen voor het sturen van LLM-gedrag in multi-agent systemen.

Het artikel claimt dat:

• LLM's geen statische agenten zijn; ze moduleren hun strategische toezeggingen op basis van de relevantie van de inzet (incentive salience).
• Linguïstische context systematische biases introduceert die wedijveren met de impact van modelarchitectuur.
• De divergentie tussen LLM-gedrag en EGT-voorspellingen geen fout is, maar een kenmerk van alignment, wat menselijke redeneerpatronen reflecteert die prioriteit geven aan coöperatie bij hoge inzetten.
• Deze bevindingen directe implicaties hebben voor het evalueren en besturen van AI-systemen die worden ingezet in scenario's met hoge inzetten en meertalige omgevingen, wat suggereert dat "alignment" kan manifesteren als een afwijking van klassieke speltheoretische rationaliteit.

De studie blijft bescheiden in haar claims over gedragsmatige equivalentie met mensen, waarbij wordt opgemerkt dat hoewel de patronen menselijke experimentele resultaten weerspiegelen, de afwezigheid van directe menselijke baselines in deze specifieke opzet claims van equivalentie verhindert. In plaats daarvan ligt de focus op het gebruik van intentieclassificatie om de structurele biases te onthullen die inherent zijn aan het huidige strategische gedrag van LLM's.