💻 computer science

Scaling Inference-Time Computation via Opponent Simulation: Enabling Online Strategic Adaptation in Repeated Negotiation

Deze paper introduceert een methode die inference-time computation schaalt via opponent-simulatie en smooth Fictitious Play om taalmodellen in staat te stellen zich online strategisch aan te passen aan dynamische tegenstanders in herhaalde onderhandelingsgames zonder parameters bij te werken.

Oorspronkelijke auteurs: Xiangyu Liu, Di Wang, Zhe Feng, Aranyak Mehta

Gepubliceerd 2026-02-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiangyu Liu, Di Wang, Zhe Feng, Aranyak Mehta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🎭 De Kunst van het Onderhandelen: Hoe AI Slimmer Wordt door te "Dromen"

Stel je voor dat je een grote onderhandeling moet voeren, bijvoorbeeld over de prijs van een auto of een huis. Je zit tegenover iemand die je niet kent. Je hebt geen idee of die persoon streng is, vriendelijk, of misschien zelfs een beetje gek.

Tot nu toe waren grote taalmodellen (zoals de slimme AI's die we vandaag kennen) geweldig in het oplossen van wiskundepuzzels of het schrijven van code. Maar in een onderhandeling faalden ze vaak. Ze waren te star. Ze hadden een "standaardplan" en probeerden dat plan te volgen, ongeacht wat de tegenstander deed. Het was alsof ze een script uit het hoofd leerden, terwijl de ander het script steeds veranderde.

De auteurs van dit paper vragen zich af: Kunnen we AI niet gewoon slimmer maken door haar meer tijd te geven om na te denken tijdens het gesprek, in plaats van haar van tevoren te trainen?

Het antwoord is: Ja! En ze noemen hun methode "BoN-oppo-simulation". Laten we kijken hoe dit werkt met een paar leuke vergelijkingen.

🧠 Het Probleem: De "Stuck" AI

Stel je een onderhandelaar voor die een vaste rol speelt, bijvoorbeeld "de agressieve verkoper". Als de tegenstander heel vriendelijk is, werkt dit misschien goed. Maar als de tegenstander ook agressief is, botst het plan. Als de tegenstander juist heel zacht is, kan de agressieve AI de deal missen omdat ze te hard duwt.

De AI kan niet snel genoeg schakelen. Ze kan niet zeggen: "Oh, deze persoon is zacht, ik moet mijn strategie aanpassen." Ze blijft vastzitten in haar oude patroon.

💡 De Oplossing: De "Droomwereld" van de AI

De auteurs zeggen: "Laten we de AI niet trainen (dat kost te veel tijd en energie), maar laten we haar tijdens het gesprek simulaties laten doen."

Ze gebruiken twee slimme trucs, die we kunnen vergelijken met een schaken-speler of een acteur.

1. De "Spiegel" (De Tegenstander Modelleren)

Stel je voor dat je tijdens een gesprek een onzichtbare spiegel hebt. In die spiegel zie je niet de echte tegenstander, maar een simulatie van hoe diegene denkt.

Hoe werkt het? De AI kijkt naar alles wat de tegenstander in het verleden heeft gezegd. Ze vraagt een andere AI (een "spiegel-AI"): "Als jij deze persoon was, wat zou jij nu zeggen?"
De Metafoor: Het is alsof je een toneelspeler bent die een rol speelt. Je kijkt naar je tegenspeler en zegt: "Oké, jij bent nu de boze klant. Als ik jou was, zou ik boos reageren op dit aanbod." Zo bouwt de AI een beeld op van hoe de ander denkt.

2. De "Droomwereld" (Best-of-N met Simulatie)

Nu komt het magische deel. Voordat de AI een antwoord geeft, doet ze alsof ze in een droom of een video-game zit.

Stap 1: Ze bedenkt 5 verschillende manieren om te reageren (bijvoorbeeld: "Ik ben boos", "Ik ben vriendelijk", "Ik doe een tegenaanbod").
Stap 2: Ze speelt elk van deze 5 scenario's in haar hoofd uit tot het einde van het gesprek. Ze gebruikt haar "spiegel-AI" om te zien hoe de tegenstander zou reageren op elk van haar 5 ideeën.
Stap 3: Ze kijkt naar de uitkomsten. "Als ik boos ben, breekt de deal af. Als ik vriendelijk ben, krijgen we een goede prijs."
Stap 4: Ze kiest het beste idee en zegt dat in het echte gesprek.

De Vergelijking:
Het is alsof je een schaakpartij speelt. In plaats van direct een zet te doen, denk je: "Als ik hierheen ga, gaat hij daarheen, en dan kan ik..." Je speelt 5 verschillende toekomstige spellen in je hoofd en kiest de zet die leidt tot de beste winst.

🚀 Waarom is dit zo cool?

Geen Nieuwe Training: Normaal gesproken moet je een AI maanden laten trainen om beter te worden. Hier hoeft de AI niets te veranderen. Ze is al slim, maar ze gebruikt haar rekenkracht op het juiste moment (tijdens het gesprek) om na te denken.
Aanpasbaar: De AI kan zich aanpassen aan elke soort tegenstander. Is de ander slim? Dan denkt de AI dubbel zo hard na. Is de ander dom? Dan pakt de AI de kans snel.
Winst voor iedereen: In hun tests bleek dat als beide onderhandelaars deze methode gebruikten, ze vaak tot een eerlijke en winstgevende deal kwamen. Het was alsof ze samen een betere oplossing vonden in plaats van tegen elkaar te vechten.

🎯 Samenvatting in één zin

In plaats van een AI te trainen om een vaste strategie te volgen, geven we haar de kracht om tijdens het gesprek in haar hoofd verschillende toekomstige scenario's te spelen (tegen een gesimuleerde versie van de tegenstander) en vervolgens de slimste keuze te maken.

Het is het verschil tussen een robot die een script afleest, en een mens die tijdens het gesprek echt nadenkt: "Hm, als ik dit zeg, wat doet hij dan? En als hij dat doet, wat doe ik dan?"

Dit maakt de AI niet alleen slimmer, maar ook flexibeler en menselijker in complexe situaties.

1. Het Probleem

Grote Taalmodellen (LLM's) hebben zich bewezen als krachtige besluitvormers in statische, single-agent omgevingen (zoals wiskunde of codering). Echter, in herhaalde strategische interacties met onbekende of dynamische tegenstanders (zoals onderhandelingen) blijken bestaande methoden tekort te schieten.

Beperkingen van bestaande aanpakken: Methoden die vertrouwen op offline pre-training of fine-tuning (zoals zelfspel of Nash-evenwichten) zijn vaak te conservatief. Ze zijn ontworpen om robuust te zijn tegen worst-case tegenstanders, maar falen om online te profiteren van feedback uit eerdere rondes om een specifiek tegenstander te exploiteren.
Het adaptatie-probleem: LLM's hebben moeite om zich van nature aan te passen aan de hand van geschiedenis in herhaalde spellen. Zelfs wanneer ze expliciet worden gevraagd om te leren, blijven hun prestaties vaak stagneren.
De kernvraag: Kan men online strategische adaptatie voor LLM's mogelijk maken door inference-time computation (rekenkracht tijdens het uitvoeren van de inferentie) te schalen, in plaats van modelparameters bij te werken?

2. Methodologie: BoN-oppo-simulation

De auteurs stellen een raamwerk voor dat de principes van Smooth Fictitious Play (sFP), een klassiek leerconcept uit de speltheorie, integreert in de inferentie van LLM's. De methode, genaamd BoN-oppo-simulation, splitst de inferentie-tijd berekening op in twee gekoppelde modules:

A. Believvorming (In-Context Opponent Modeling)

In plaats van een statische frequentietabel bij te houden (wat onmogelijk is in een oneindige natuurlijke taalruimte), gebruikt de methode een auxiliary opponent model ( $\pi^{oppo}_2$ ).

In-Context Learning: Dit model leert in-context om het tijdsgemiddelde gedrag van de tegenstander na te bootsen op basis van de volledige geschiedenis van eerdere onderhandelingen.
Strategische Samenvatting: Het model vat eerst de gedragspatronen van de tegenstander samen.
Optimisme: Om exploratie te stimuleren, is het model bij onzekerheid "optimistisch": het voorspelt uitkomsten die gunstig zijn voor de eigen agent (Agent 1), wat helpt bij het vermijden van lokale optima.

B. Best Response (Best-of-N met Simulatie)

Voor het kiezen van de beste actie gebruikt de agent een Best-of-N (BoN) strategie, maar dan verrijkt met simulatie:

Strategisch Brainstormen: In plaats van willekeurige (i.i.d.) voorbeelden te genereren, genereert de basis-LLM eerst $N$ hoog-level strategieën (bijv. "wreed", "rationeel", "tit-for-tat") en deviseert daar concrete acties voor. Dit zorgt voor een bredere verkenning van de strategie-ruimte.
Roll-out Simulatie: Voor elke kandidaat-actie simuleert de agent de volledige toekomstige trajecten van de onderhandeling. Hierbij wordt de tegenstander vervangen door het opponent model ( $\pi^{oppo}_2$ ) om te voorspellen hoe deze zou reageren.
Selectie: De agent berekent de gesimuleerde beloningen voor elke traject en kiest de actie met de hoogste verwachte opbrengst.

Dit proces vormt een feedbacklus die vergelijkbaar is met één iteratie van Policy Iteration, waarbij de inferentie-kosten worden omgezet in strategische adaptatie zonder de modelparameters aan te passen.

3. Belangrijkste Bijdragen

Formalisatie van het probleem: De auteurs tonen theoretisch en empirisch aan dat er geen enkele dominante strategie bestaat die optimaal is tegen alle mogelijke tegenstanders in herhaalde onderhandelingen. Ze bewijzen dat LLM's zonder inference-time interventies niet van nature leren om zich aan te passen.
Een nieuw raamwerk: Ze introduceren een algemeen, principieel raamwerk voor het schalen van inference-time computation via opponent simulatie en strategisch brainstormen.
Theoretische garanties: Ze analyseren de foutpropagatie en tonen aan dat de optimaliteitskloof lineair schaalt met de fouten in het opponent model, wat de robuustheid van de methode onderstreept.
Uitgebreide empirische evaluatie: Ze testen hun methode op twee complexe onderhandelingsgames (Buyer-Seller en Resource Exchange) en vergelijken deze met diverse baselines.

4. Resultaten

De experimenten tonen aan dat BoN-oppo-simulation aanzienlijk beter presteert dan bestaande methoden:

Superieure Adaptatie: De methode toont een duidelijke stijging in beloningen over de tijd (episodes), terwijl baselines (zoals "zero-shot" of "thinking" prompts) vaak stagneren.
Vergelijking met Baselines: Het systeem overtreft methoden zoals:
- BoN-eval: BoN met een evaluatiemodel (zonder simulatie).
- BoN-simulation: BoN met simulatie maar zonder opponent model (CoT).
- Externe adaptatiemethoden: Methoden die vertrouwen op AI-feedback of selectieve ervaringsreflectie.
Robuustheid: De methode presteert goed tegen zowel algemene dynamische agents als gespecialiseerde, sterk adaptieve tegenstanders. Het is ook robuust tegen veranderingen in de omgeving (bijv. willekeurige budgetten).
Sociaal Welzijn: In games met meer samenwerking (Resource Exchange) leidt de methode tot een hogere totale sociale welvaart, wat suggereert dat het efficiëntere evenwichten kan vinden.
Model-onafhankelijkheid: De prestatieverbetering is consistent over verschillende model families (Gemini, Claude, Qwen, Llama).

5. Betekenis en Impact

Dit werk is significant omdat het een nieuwe richting aangeeft voor strategische AI:

Van Training naar Inferentie: Het beweegt de focus van het trainen van nieuwe modellen (wat data-hongerig en traag is) naar het maximaliseren van de rekenkracht tijdens het gebruik. Dit maakt online adaptatie mogelijk zonder de latentie van gradient updates.
Schalen van Compute: Het bevestigt dat het "schalen" van inference-time computation (meer denken, meer simuleren) effectiever kan zijn voor strategische taken dan het simpelweg groter maken van het model of het toevoegen van meer parameters.
Toepassing: De methode biedt een schaalbare en principiële aanpak voor complexe multi-agent systemen, zoals onderhandelingen, diplomatie en marktdynamiek, waar adaptatie aan een specifieke tegenstander cruciaal is voor succes.

Kortom, de paper demonstreert dat LLM's door slim gebruik te maken van inference-time simulatie en opponent-modellering, kunnen evolueren van statische besluitvormers naar dynamische, lerende strategische agents.