Interactive Benchmarks

Deze paper introduceert 'Interactive Benchmarks', een nieuw evaluatiekader dat de intelligentie van modellen meet door hun vermogen om actief informatie te verwerven en te redeneren binnen interactieve scenario's zoals bewijzen en spelletjes, waardoor de beperkingen van traditionele benchmarks worden overwonnen.

De kern

Stel je voor dat je een groot examen doet voor een slimme computer. Tot nu toe waren die examens vrij saai: je kreeg een vraag, de computer gaf een antwoord, en je keek of het goed was. Denk aan een meerkeuzetoets of een wiskundepuzzel waar je direct het antwoord moet raden.

Het probleem? De computers zijn zo goed geworden dat ze deze toetsen uit hun hoofd hebben geleerd. Ze weten het antwoord niet omdat ze het begrijpen, maar omdat ze het ergens op internet hebben gezien. Het is alsof een student de antwoorden van het examen heeft gestolen in plaats van te leren.

De auteurs van dit paper (Interactive Benchmarks) zeggen: "Hé, laten we het examen veranderen!" Ze willen niet zien of een computer iets kan zeggen, maar of het kan doen en leren terwijl het bezig is.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het oude probleem: De "Stille Lezer"

Stel je voor dat je een detective bent die een moord moet oplossen.

• De oude manier: Je krijgt een dossier met alle feiten op een vel papier. Je moet direct zeggen wie de dader is. Als je het fout hebt, is het klaar.
• Het probleem: Als je het antwoord al kent (van een andere detective), maak je het fout niet. Maar als je echt moet nadenken, faal je omdat je niet mag vragen: "Was de dader links of rechts?" of "Kijkte hij naar het raam?"

Deze paper zegt: "Echte intelligentie is niet het antwoord geven, maar het vragen stellen om het antwoord te vinden."

2. De nieuwe manier: "Interactieve Benchmarks"

De auteurs hebben een nieuw soort examen bedacht dat bestaat uit twee soorten spellen. Het is alsof je de computer niet laat zitten, maar laat spelen.

Spel 1: Het "20 Vragen" Raadsel (Interactive Proofs)

Stel je voor dat je een raadsel hebt, maar je mag niet direct raden. Je moet een "rechter" (een slimme, alleswetende computer) vragen stellen.

• De regels: Je mag maar 20 vragen stellen. Elke vraag kost tijd.
• Het doel: Je moet slimme vragen stellen om het antwoord te vinden.
  • Slecht: "Is de dader een man?" (Te breed).
  • Goed: "Was de dader in de kamer toen het licht uitging?" (Slim, want dit sluit veel mogelijkheden uit).
• De les: De paper laat zien dat veel slimme computers hier slecht in zijn. Ze proberen het antwoord te raden zonder te vragen, of ze stellen domme vragen. De slimste modellen leren pas het antwoord als ze actief informatie gaan "jagen".

Voorbeeld uit het paper: Een raadsel over een man die zijn broer doodt.

• Zonder vragen: De computer raadt totaal verkeerd.
• Met vragen: De computer vraagt: "Sliepen ze in hetzelfde bed?" -> "Ja." -> "Was de middelste broer de enige die overleefde?" -> "Ja." -> "Ah! Hij wilde weer tussen twee broers slapen!" -> Oplossing gevonden!

Spel 2: Het Poker- en Vertrouwensspel (Interactive Games)

Hier is er geen rechter die het antwoord kent. De computer moet spelen tegen andere computers in een spel waar je niet alles ziet.

• Poker: Je moet bluffen, risico's nemen en bedenken wat de ander denkt. Het is alsof je een pokerspeler bent die niet alleen naar zijn eigen kaarten kijkt, maar ook naar de houding van de tegenstander.
• Vertrouwensspel: Je moet beslissen of je samenwerkt of verraadt. Als je te vaak verraadt, stoppen de anderen met samenwerken. Als je te vaak samenwerkt, worden ze je uitbuiten.
• De les: De paper laat zien dat zelfs de slimste computers moeite hebben om een lange strategie te bedenken. Ze zijn vaak te kortzichtig of te agressief.

3. Wat zeggen de resultaten?

De auteurs hebben de slimste computers van de wereld (zoals GPT-5, Gemini, Grok, etc.) op deze nieuwe examens getest.

• Het nieuws: De computers zijn nog niet zo slim als we denken.
• De vergelijking: Het is alsof je een Formule 1-auto hebt die op een rechte weg (de oude toetsen) razendsnel is, maar zodra je hem op een kronkelend bergpad zet (de interactieve spellen), begint hij te slippen en weet hij niet waar hij moet sturen.
• Conclusie: Er is nog heel veel ruimte voor verbetering. De computers moeten leren om actief te zijn: te vragen, te twijfelen, te bluffen en hun strategie aan te passen.

Samenvatting in één zin

Deze paper zegt: "Stop met testen of computers antwoorden kunnen opzeggen; test in plaats daarvan of ze kunnen nadenken terwijl ze informatie verzamelen, net als een echte detective of een pokerspeler."

Het is een oproep om de AI niet langer te zien als een antwoordmachine, maar als een speler die moet leren spelen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Interactive Benchmarks" in het Nederlands.

Titel: Interactive Benchmarks: Een Unificatie van Evaluatie voor Actieve Informatie-acquisitie

1. Het Probleem

Bestaande benchmarks voor Large Language Models (LLMs) worden steeds onbetrouwbaarder door verzadiging, subjectiviteit en gebrek aan generalisatie.

• Statische benchmarks (zoals GSM8K, MMLU) zijn vaak verouderd, gevoelig voor data-verontreiniging en meten voornamelijk passieve respons op gegeven input.
• Voorkeursgebaseerde arena's (zoals ChatBot Arena) zijn subjectief en niet ideaal voor het meten van redeneervermogen.
• Agent-benchmarks (zoals AgentBench, SWE-bench) testen dynamisch redeneren, maar zijn vaak afhankelijk van zware omgevingen en testen niet of een model actief kan beslissen welke informatie het moet ophalen.

De kern van intelligentie wordt vaak over het hoofd gezien: het vermogen om te beslissen welke informatie nodig is, wanneer deze moet worden opgehaald, en hoe dit efficiënt kan gebeuren binnen beperkte middelen.

2. Methodologie: Het Interactive Benchmarks Framework

De auteurs stellen een nieuw evaluatieparadigma voor: Interactive Benchmarks. Dit modelt evaluatie als een sequentiële besluitvormingsprocess waarbij een model (de "Agent" of "Prover") moet interageren met een omgeving of een "Judge" (verificator) onder strikte budgetbeperkingen.

Het framework wordt geïmplementeerd in twee hoofdregimes:

A. Interactive Proofs (Convergent Regime)

• Doel: Het vinden van een objectieve waarheid of oplossing (minimale onzekerheid).
• Setup: Een "Judge" bezit een verborgen grondwaarheid (ground truth). De Agent moet deze waarheid afleiden door gerichte vragen te stellen.
• Beperkingen: Elke interactie kost een "budget" (bijv. aantal rondes of tokens).
• Toepassingen:
  1. Logica (Situation Puzzles): De Agent lost paradoxale verhalen op door ja/nee-vragen te stellen aan een Judge. De Judge geeft beperkt feedback ({ja, nee, beide, irrelevant}). Dit test abductief redeneren en strategisch vragen stellen.
  2. Wiskunde: In plaats van statische pass@k sampling (waarbij een fout in de eerste stap de rest van de berekening verspilt), mag de Agent tussenstappen verifiëren bij de Judge. Dit staat toe om fouten vroeg te corrigeren en de zoekruimte te verkleinen.

B. Interactive Games (Divergent Regime)

• Doel: Het maximaliseren van lange-termijn nut (utility) tegen onzekere tegenstanders.
• Setup: Er is geen centrale Judge; de Agent interacteert met andere agenten of een stochastische omgeving.
• Toepassingen:
  1. Texas Hold'em Poker: Een imperfecte-informatie spel dat redeneren onder onzekerheid, risicomanagement en "Theory of Mind" (het modelleren van de tegenstander) vereist.
  2. Trust Game (Iterated Prisoner's Dilemma): Een herhaald spel dat de capaciteit test om strategieën aan te passen op basis van het gedrag van de tegenstander en samenwerking versus verraad af te wegen.

3. Belangrijkste Bijdragen

1. Unificatie van Evaluatie: Het introduceert een theoretisch onderbouwd raamwerk dat zowel waarheidsvinding (proofs) als strategische optimalisatie (games) onder één noemer brengt, gebaseerd op budget-gedwongen interactie.
2. Actieve Informatie-acquisitie: Het verschuift de focus van passieve antwoordgeneratie naar actief beslissen welke informatie nodig is om een taak te voltooien.
3. Nieuwe Datasets:
   • Een dataset van 46 hoogwaardige "Situation Puzzles" die niet op oppervlakkige kennis kunnen worden opgelost.
   • Een aanpassing van wiskundige problemen voor interactieve verificatie.
   • Robuuste implementaties van Poker en Trust Games voor LLM-evaluatie.
4. Methodologische Innovatie: Het toont aan dat statische benchmarks (zoals pass@k) het vermogen van modellen systematisch onderschatten wanneer het budget beperkt is, omdat ze geen gebruik maken van iteratieve correctie.

4. Resultaten

De auteurs evalueerden zes state-of-the-art LLMs (Grok-4.1, Gemini-3, GPT-5, Kimi, DeepSeek, Qwen3).

• Logica (Situation Puzzles): Zonder interactie scoorden alle modellen 0% juistheid. Met interactie bereikte Gemini-3-flash de hoogste nauwkeurigheid (30,4%), gevolgd door GPT-5-mini (17,4%). Dit bevestigt dat interactie essentieel is voor deze taak.
• Wiskunde: Onder een gelijk budget (gematcht in tokens) presteerde interactieve evaluatie 20-50% beter dan de traditionele pass@k methode. Grok-4.1-fast behaalde 76,9% nauwkeurigheid, terwijl pass@k aanzienlijk lager scoorde. Dit toont aan dat modellen beter kunnen redeneren als ze feedback kunnen gebruiken om hun zoekpad te corrigeren.
• Poker: Gemini-3-flash domineerde met de hoogste gemiddelde winst en de beste stabiliteit. GPT-5-mini toonde het meest agressieve spel (hoge VPIP), maar met hogere variatie in resultaten.
• Trust Game: Qwen3-max en GPT-5-mini presteerden het beste, met scores die hoger lagen dan traditionele heuristische baselines zoals "Grim Trigger" en "Tit-for-Tat". Ze toonden een hoge coöperatiegraad met een lage verraadsgraad. Andere modellen bleven vaak onder de heuristische baselines, wat aangeeft dat adaptief spelend vermogen nog sterk verbeterd moet worden.

5. Betekenis en Conclusie

Het paper concludeert dat er nog aanzienlijke ruimte is voor verbetering in interactieve scenario's voor huidige AI-modellen.

• Betrouwbaarheid: Interactive Benchmarks bieden een robuustere en eerlijkere maatstaf voor intelligentie dan statische datasets, omdat ze minder vatbaar zijn voor "lekkage" van trainingsdata en meer lijken op real-world taken.
• Toekomst: De auteurs plannen om het benchmark-omvang uit te breiden en onderzoek te doen naar trainingsmethoden die modellen specifiek optimaliseren voor interactieve prestaties.

Kortom, dit werk markeert een verschuiving van het testen van "wat een model weet" naar "hoe een model leert en redeneert door actief informatie te zoeken en strategisch te handelen".