Technische Samenvatting: Wat Onderdrukt Nash-evenwichtspelen in Large Language Models?

Probleemstelling

Empirische studies hebben vastgesteld dat Large Language Model (LLM)-agenten systematisch afwijken van Nash-evenwichten in strategische interacties, waarbij ze vaak mensachtige gedragsbias vertonen, zoals overmatige samenwerking in situaties van het Gevangenendilemma. Hoewel het gedragsfenomeen gedocumenteerd is, blijven de mechanische redenen voor deze afwijkingen onbekend. Specifiek is het onduidelijk of LLM's de strategische competentie missen om Nash-evenwichten te berekenen, of dat ze deze wel berekenen maar de output onderdrukken vanwege interne bias. Dit artikel adresseert deze lacune door de interne representaties van LLM's tijdens strategische besluitvorming te onderzoeken en te bepalen of deze afwijkingen causaal omkeerbaar zijn.

Methodologie

De studie maakt gebruik van een combinatie van gedragsexperimenten en mechanische interpretabiliteitstechnieken over vier open-source instructie-gefineerde modellen (Llama-3-8B, Llama-3-70B, Qwen2.5-32B en Qwen2.5-72B).

Gedragsexperimenten:

• Spellen: Vier canonieke tweespelersspellen werden gebruikt: Gevangenendilemma (PD), Battle of the Sexes (BoS), Stag Hunt (SH) en Matching Pennies (MP).
• Protocollen: Experimenten omvatten self-play (model versus kopie) en cross-play (heterogene koppelingen van alle 12 geordende combinaties).
• Redeneringsmodi: Drie promptcondities werden getest: Direct (alleen actie), Chain-of-Thought (CoT, zichtbare redenering) en Scratchpad (privéredenering).
• Maatstaf: "Nash-afstand" ($d_{Nash}$) werd berekend als de Euclidische afstand tussen de empirische gemengde strategie en het dichtstbijzijnde Nash-evenwicht over 50 rondes.

Mechanische Analyse (Llama-3-8B):

• Lineaire Probing: Logistische classifiers werden getraind op verborgen toestanden ($h_l$) op elk van de 32 lagen om de geschiedenis van de tegenstander, de neiging tot samenwerking en de Nash-actie te decoderen.
• Logit Lens: De output-inbeddingsmatrix werd toegepast op intermediaire verborgen toestanden om de evoluerende tokenvoorspelling van het model tijdens de forward pass te volgen.
• Head-ablatie: Hoogst scorende attention heads voor het volgen van tegenstanders werden op nul gezet (zero-ablated) om te testen op gelokaliseerde circuits.
• Actiesturing: Een "Nash-richting"-vector werd uit de residustroom geëxtraheerd met behulp van contrastieve prompts (samenwerkende versus defecterende geschiedenissen) en in het model ingebracht om causale verschuivingen in gedrag waar te nemen.
• Conceptklemmen: Het samenwerkende component van de verborgen toestand werd vervangen door een vaste scalair om de causale noodzaak van de geïdentificeerde richting te verifiëren.

Belangrijkste Bijdragen en Resultaten

1. Mechanische Bevindingen: Encoderen en Onderdrukken

De kernmechanische ontdekking is dat LLM's de competentie bezitten om Nash-strategieën te berekenen, maar deze actief onderdrukken in de laatste lagen.

• Encoderen van Tegenstandersgeschiedenis: Informatie over de laatste zet van de tegenstander wordt met bijna perfecte fideliteit (96% probe-nauwkeurigheid) in de allereerste laag (Laag 0) gecodeerd en wordt progressief verbruikt door daaropvolgende lagen.
• Zwakke Nash-encodering: Er bestaat geen dedicated "Nash-module". De lineaire probe-nauwkeurigheid voor de Nash-actie blijft zwak door het hele netwerk heen en overschrijdt nooit 56%.
• Het Onderdrukkingscircuit: Met behulp van de Logit Lens observeerden de auteurs dat voor de eerste ~75% van het netwerk (Lagen 0–23) de interne voorspellingen van het model de Nash-actie bevoordelen (bijvoorbeeld Defecteren in PD). Echter, in het laatste kwart (Lagen 24–30) ontstaat een "prosociale override", die de waarschijnlijkheid verschuift naar samenwerking (piekend op 84% samenwerkingswaarschijnlijkheid in Laag 30). De laatste laag (31) corrigeert dit gedeeltelijk, maar kiest vaak toch voor de niet-Nash-actie.
• Verspreide Aard: Het ablaten van specifieke attention heads die verantwoordelijk zijn voor het volgen van tegenstanders had nul effect op de actieverdeling ($\Delta P(\text{Nash}) = 0.000$). De samenwerkende override is een verspreid effect binnen de residustroom, niet gelokaliseerd tot specifieke heads.

2. Causale Controle via Sturing

De studie toont aan dat strategisch gedrag causaal kan worden gecontroleerd door manipulatie van de residustroom.

• Extraheren van Nash-richting: Een lineaire richting die de samenwerkende bias vertegenwoordigt, werd geëxtraheerd uit Laag 2.
• Bidirectionele Sturing: Het injecteren van deze vector maakte monotoon controleren van gedrag mogelijk.
  • Negatieve Sturing: Het verminderen van de samenwerkende richting ($\alpha = -5$) verhoogde de waarschijnlijkheid van de Nash-actie (Defecteren) tot 99,2%.
  • Positieve Sturing: Het verhogen van de richting ($\alpha = +10$) dreef samenwerking naar 88,7%.
• Conceptklemmen: Het vervangen van het samenwerkende component door een vaste scalair bevestigde een sterke correlatie ($r=0.73$) tussen de scalarwaarde en de samenwerkingswaarschijnlijkheid, wat bewijst dat de richting causaal is en geen toevallig kenmerk.

3. Gedrags- en Cross-play Fenomenen

• Schaal en Redenering: Chain-of-Thought (CoT)-redenering verslechtert Nash-spelen in kleine modellen (bijvoorbeeld Llama-8B, Qwen-32B) door de samenwerkende prior te versterken. Echter, in grote modellen (>70B parameters) maakt CoT bijna perfect Nash-spelen mogelijk, wat wijst op een schaalafhankelijk vermogen om voorbij de bias te redeneren.
• Universele Samenwerkingsvergrendeling: In de Directe modus kiezen alle modellen standaard voor 100% samenwerking in PD, ongeacht de grootte.
• Cross-play Dynamiek:
  • Defectie-Contagie: Een klein model (Llama-8B) kan de samenwerking van elke grote partner "ontwarren" door vroeg te defecteren, waardoor de partner ook defecteert en het Nash-evenwicht wordt bereikt.
  • Samenwerkingsversterking: Twee grote modellen die met elkaar worden gekoppeld, versterken elkaars samenwerkende instincten onbeperkt, waardoor ze het Nash-evenwicht (onderlinge defectie) niet bereiken, zelfs niet wanneer ze individueel in staat zijn om daar naartoe te redeneren.
  • Rolasymmetrie: In coördinatiespellen (BoS) bepaalt de agent die is toegewezen als "Agent A" (die als eerste beweegt) naar welk evenwicht het systeem convergeert.

Betekenis en Beweringen

Het artikel betoogt dat de focus van het veld op waarom LLM's falen in het spelen van Nash, verkeerd is geplaatst. De centrale bevinding is dat LLM's niet de competentie missen om Nash te spelen; ze berekenen het en onderdrukken het vervolgens.

• Diagnose: De afwijking is geen gebrek aan strategische redeneercapaciteit, maar het resultaat van een "prosociale override" geworteld in pretraining op menselijke tekst en gemoduleerd door RLHF. Deze override is geconcentreerd in de laatste lagen van het netwerk.
• Interventie: Omdat de onderdrukking een causaal mechanisme is binnen de residustroom, kan deze tijdens inferentie worden omgekeerd zonder hertraining. Een kleine interventie (sturing) in de vroege lagen kan het model verschuiven van bijna perfecte samenwerking naar bijna perfect Nash-spelen.
• Implicaties voor Implementatie: De resultaten benadrukken dat de samenstelling van de populatie en de toewijzing van agentrollen kritiek zijn. Een enkel klein, defecterend model kan een coöperatieve groep van grote modellen destabiliseren, terwijl twee grote modellen kunnen vast komen te zitten in een samenwerkingsvergrendeling die suboptimaal is voor de spelstructuur.

De auteurs concluderen dat het begrijpen van het onderdrukkingscircuit en de variatie daarvan over schaal en architectuur productiever is dan het simpelweg observeren van gedragsafwijkingen. De studie biedt een causale verantwoording van strategisch falen in LLM's en demonstreert een methode om dit te corrigeren.