Technische Samenvatting: Evaluatie van Interactief Redeneren in Large Language Models

Probleemstelling

Huidige evaluaties van het redeneervermogen van Large Language Models (LLM's) zijn overwegend statisch; ze presenteren modellen volledige problemen en vereisen een antwoord in één stap (single-shot). Dit paradigma faalt in het beoordelen van redeneren als een actief proces van informatieverwerving en het bijwerken van overtuigingen (belief updating). Bovsamen conflateren statische benchmarks vaak twee verschillende foutmodi: een kennisgebrek (gebrek aan noodzakelijke feiten) en een redeneergebrek (het onvermogen om beschikbare informatie correct te gebruiken). Bestaande multi-turn benchmarks mengen redeneren vaak met wereldkennis, dialoogvaardigheden of instructieopvolging, en missen vaak de schaal of structurele diversiteit om specifieke redeneercapaciteiten te ontrafelen. Er is behoefte aan een framework dat redeneren behandelt als sequentiële bewijsverwerving onder partiële observeerbaarheid, redeneren isoleert van feitelijke herinnering, en hogere-orde capaciteiten zoals robuustheid en metacognitie onderzoekt.

Methodologie

De auteurs stellen een hiërarchisch framework voor de evaluatie van interactief redeneren voor, geïnstantieerd als een benchmark van 474 uitvoerbare games.

1. Interactieve Redeneer-backbone

De kern van het framework formuleert redeneren als een state-search probleem onder partiële observeerbaarheid.

• Setup: De LLM ontvangt alleen de spelregels en een verborgen omgevingstoestand. Het moet iteratief gerichte queries uitbrengen om partiële bewijslast te verzamelen, zijn overtuigingen bij te werken en te beslissen wanneer het een definitief antwoord indient.
• Structuur: Games zijn gebouwd vanuit minimale structurele primitieven om de afhankelijkheid van wereldkennis te vermijden. Ze omspannen vier canonieke datastructuren (sets, sequenties, bomen, grafen) en drie inferentiemodi (deductief, inductief, abductief).
• Protocol: De interactie volgt een gestructureerd actieformaat (bijv. <submit>antwoord</submit>) om betrouwbare parsing te garanderen. De omgeving reageert op queries of evalueert inzendingen.
• Moeilijkheidsgraad: Elke game wordt geëvalueerd onder vijf vaste configuratie-zoekruimtes, overeenkomend met vijf moeilijkheidsgraden gedefinieerd door de grootte van de latente zoekruimte (bijv. cardinaliteit van sets, diepte van bomen).

2. Hogere-orde Evaluatielagen

Naast de basis interactieve zoektocht introduceert het framework twee lagen om geavanceerde capaciteiten te onderzoeken:

• Contextuele Robuustheid: Test of redeneren behouden blijft onder:
  • Isomorfe Perturbatie: Semantisch verrijkte varianten (bijv. het veranderen van graafknopen naar patiënten) die de onderliggende logica behouden maar de oppervlakkige vorm wijzigen.
  • Intra-game Ruisinjectie: Het toevoegen van irrelevante tekst aan regels of reacties.
  • Inter-game Grenscontrole: Het introduceren van een nieuwe game zonder de interactiegeschiedenis te resetten om contextwisseling te testen.
• Metacognitieve Adaptatie: Test het vermogen van het model om zijn interne redeneertoestand te beheren:
  • Counterfactual Revisie: De omgeving corrigeert halverwege een game een eerdere observatie, wat het model dwingt zijn overtuigingen bij te werken en zijn zoekstrategie te herzien.
  • Noodzakelijkheidsoordeel: Het model krijgt volledige bewijslast, wordt gevraagd het probleem op te lossen, en wordt vervolgens gevraagd om overbodige observaties te identificeren en te verwijderen om een minimale ondersteunende set te vormen.

3. Benchmark Constructie

De benchmark bestaat uit 474 games (totaal 2.370 instanties over moeilijkheidsgraden heen). Om kwaliteit en schaalbaarheid te waarborgen, gebruikten de auteurs een hybride mens-LLM constructiestrategie:

• Regelgeneratie: Frontier-modellen genereerden kandidaat-regels onder strikte beperkingen met betrekking tot verborgen toestanden, query-types en oplosbaarheid.
• Programmageneratie: Een getempt interface werd gebruikt om uitvoerbare omgevingen te generen, waarbij LLM's alleen de game-specifieke logica implementeerden.
• Filtering: Games werden gefilterd op basis van voorlopige modelprestaties om games te verwijderen die te makkelijk waren (>90% succes), te moeilijk (<10% succes) of ambigu. Handmatige review verfijnde de set verder.

Belangrijkste Resultaten

De auteurs evalueerden een brede set frontier-modellen (inclusief Qwen3-max, Deepseek-3.2, Claude-4.5, GPT-5.4 en diverse Gemini-versies) op de benchmark.

• Discriminatief Vermogen: De benchmark differentieert modellen effectief. Succespercentages varieerden van ~43% tot ~74%. Gemini-3.1-pro behaalde het hoogste succespercentage (74,21%) en de hoogste efficiëntie, terwijl Claude-4.5 een vergelijkbare nauwkeurigheid vertoonde maar bijna twee keer zoveel beurten nodig had, wat duidt op een lagere interactie-efficiëntie.
• Redeneerregimes:
  • Deductief redeneren was consistent het makkelijkst voor alle modellen, waarschijnlijk door de nadruk in trainingsdata.
  • Abductief redeneren en set-gebaseerde taken waren het meest uitdagend, waarbij sets moeilijker bleken dan bomen of grafen vanwege het gebrek aan expliciete structurele aanwijzingen.
• Contextuele Robuustheid:
  • Isomorfe Perturbatie: Veroorzaakte een matige maar consistente daling in prestaties (bijv. Gemini-3.1-pro daalde ~5-6%), wat wijst op moeite met het behouden van abstract redeneren onder semantische verschuivingen.
  • Ruisinjectie: Verminderde consequent de prestaties, wat suggereert dat modellen moeite hebben met het filteren van irrelevante inhoud terwijl ze actieve bewijslast bijhouden.
  • Grenscontrole: Verrassend genoeg bleven de prestaties stabiel of verbeterden ze licht wanneer nieuwe games werden geïntroduceerd zonder geschiedenisreset, wat suggereert dat modellen taalgrenzen kunnen herkennen.
• Metacognitieve Adaptatie:
  • Counterfactual Revisie: Veroorzaakte significante dalingen in prestaties (bijv. Gemini-3.1-pro daalde van 74,21% naar 57,56%), wat een kwalitatieve zwakte onthult in het bijwerken van interne redeneertoestanden wanneer bewijs verandert.
  • Noodzakelijkheidsoordeel: Modellen verwijderden vaak een groot deel van de observaties (62–83%) maar faalden in het behouden van het juiste antwoord na het inkorten. Succespercentages kelderden na het inkorten (bijv. van 70,76% naar 48,87% voor Gemini-3.1-pro), wat aangeeft dat modellen beter zijn in het gebruiken van bewijs wanneer het aanwezig is, dan in het identificeren van onmisbaar bewijs.
• Foutmodi: De dominante foutmodus was FormatError (falen in het volgen van het gestructureerde protocol), in plaats van timeouts, wat de uitdaging benadrukt van het handhaven van protocolcompliance over meerdere beurten.

Betekenis en Claims

Het artikel claimt een contaminatie-resistent en diagnostisch rijk framework te bieden voor de evaluatie van LLM-redeneren. Door redeneren te behandelen als actieve bewijsverwerving, isoleert de benchmark redeneergebreken van kennisgebreken.

De auteurs stellen dat hoewel huidige frontier-modellen niet-triviale interactieve redeneervermogens vertonen, ze nog steeds substantieel zwakker zijn in:

1. Robuustheid: Het behouden van prestaties onder semantische perturbaties en ruis.
2. Belief Revision: Het bijwerken van redeneringen wanneer eerder bewijs wordt gecorrigeerd.
3. Evidence Attribution: Het onderscheiden tussen voldoende en noodzakelijke informatie.

Het werk suggereert dat huidige modellen beter zijn in het oplossen van problemen onder vaste bewijslast dan in het bijhouden van een reviseerbaar verslag van waarom een antwoord correct is. De auteurs positioneren deze benchmark als een instrument voor toekomstig werk in redeneerdiagnostiek, interventies tijdens de training en interactief reinforcement learning, waarbij zij opmerken dat de uitvoerbare aard van de omgeving expliciete interactieprotocollen toestaat.

Het paper erkent bescheiden beperkingen, waaronder het onvermogen van vaste configuratieruimtes om de continue aard van real-world redeneeruitdagingen volledig te vatten en de potentiële oversimplificatie van interactiedynamiek door het gestructureerde XML-gebaseerde actieformaat.