Technische Samenvatting: HERO'S JOURNEY

Probleemstelling

Huidige Large Language Model (LLM) agenten worden geconfronteerd met aanzienlijke uitdagingen in inductief redeneren, met name wanneer zij worden gevraagd verborgen regels af te leiden uit demonstraties en deze toe te passen op nieuwe situaties via meerstaps-executie. Bestaande benchmarks falen vaak door drie kritieke tekortkomingen:

1. Gebrek aan Procedurele Context: Inductie wordt zelate voltoetst binnen een doelgerichte, meerstaps-executieomgeving waar de afgeleide regel een sequentie van afhankelijke acties moet aansturen.
2. Oversimplificeerde Regelinteracties: Evaluaties testen doorgaans atomaire mapping in isolatie, in plaats van complexe interacties tussen regels (bijv. conditionele logica of overrides).
3. Identificatieproblemen: Demonstraties laten vaak meerdere regels toe die consistent zijn met het bewijs, waardoor het onduidelijk is of een model de specifieke doelregel heeft afgeleid of slechts een toevallig patroon heeft gevonden.

Het artikel stelt dat voor agenten om werkelijk bekwaam te zijn in inductief redeneren, zij niet alleen een patroon moeten identificeren, maar dit ook correct moeten uitvoeren in een dynamische omgeving waar fouten een herstart vereisen.

Methodologie: HERO'S JOURNEY

De auteurs introduceren HERO'S JOURNEY, een benchmark-suite voor regelinductie in doelgerichte episodische taken, geïnstantieerd als een deterministisch tekstgebaseerd avonturenspel.

Taakstructuur

Het framework bestaat uit 8 taken verdeeld over twee families, die elk vier structurele regelvormen bevatten:

1. Attribuut-inductietaken: De agent moet een verborgen mapping afleiden van entiteit-attributen (bijv. klasse en rol) naar vereiste item-eigenschappen (bijv. wapengrootte en kleur).
   • Additief: Attributen dragen onafhankelijk bij aan een scalaire som.
   • Compositioneel: Attributen controleren onafhankelijk van elkaar afzonderlijke output-dimensies (bijv. de één controleert de grootte, de ander de kleur).
   • Conditioneel: Eén attribuut bepaalt een "regime" dat dicteert welke dimensie het tweede attribuut controleert.
   • Override: Een specifieke waarde van één attribuut overrulet de standaard mapping voor alle waarden van het andere attribuut.
2. Procedurele inductietaken: De agent moet verborgen stappen of ordeningsrestricties afleiden binnen een doelprocedure (bijv. het invoegen van een ritueel of het drinken van een potion op een specifief punt in de sequentie). Deze taken weerspiegelen de vier bovenstaande structurele vormen, maar mappen attributen naar procesvarianten (actietype, ordening en aantal).

Ontwerpprincipes

• Procedurele Executie: Agenten moeten handelen in een omgeving (Ga, Koop, Versla, etc.) in plaats van enkel een antwoord te produceren. Succes vereist het correct uitvoeren van de juiste sequentie van acties.
• Identificatievoorwaarden: De bron-demonstraties zijn gecureerd om een "verbonden bipartiete graaf" te vormen over attribuutwaarden. Dit zorgt ervoor dat de doelregel de enige consistente verklaring voor de data is, wat ambiguïteit voorkomt.
• Lexicale Gronding: Taken kunnen worden uitgevoerd met semantische namen (bijv. "draak", "zwaard") of noncenamen (bijv. "krev_A", "vrel_Z") om structurele inductie te onderscheiden van vooraf getrainde wereldkennis.

Evaluatiemetrieken

Prestaties worden gemeten aan de hand van twee complementaire metrieken:

1. Regel Verbalisatie (RV): Een LLM-judge scoort het vermogen van het model om de verborgen regel expliciet te articuleren op een schaal van 0–2.
2. Efficiency-Calibrated Success Rate (ECSR): Een gedragsmetriek gedefinieerd als $SuccessRate \times NormEff$.
   • NormEff normaliseert het aantal pogingen tegen een brute-force enumeratie-plafond. Een model dat succesvol is bij de eerste poging heeft een score van 1.0; een model dat alle mogelijkheden uitput heeft een score van 0.0. Dit onderscheidt echte regelinductie van trial-and-error gokken.

Belangrijkste Resultaten

De auteurs hebben state-of-the-art propriëtaire en open modellen (inclusief GPT-5, Gemini, Qwen en LLaMA-varianten) geëvalueerd tegen menselijke baselines.

• Prestatiekloof: Mensen presteren consequent beter dan alle modellen, met een marge van 13% op ECSR en 30% op RV. Hoewel de sterkste modellen de menselijke ECSR benaderen op specifieke attribuuttaken, blijven ze aanzienlijk achter op procedurele taken en regelverbalisatie.
• Inductie vs. Executie: Er is een positieve correlatie tussen RV en ECSR, wat suggereert dat modellen die de regel kunnen verbaliseren, deze ook efficiënter kunnen uitvoeren. Deze correlatie is echter zwakker voor procedurele taken.
• De Executie-bottleneck: Een "format gap"-analyse laat zien dat voor veel modellen de nauwkeurigheid in een directe Vraag-Antwoord (QA) setting aanzienlijk hoger is dan in episodische executie. Dit geeft aan dat meerstaps-executie een duidelijke bottleneck vormt die verder gaat dan louter regelidentificatie.
• Oppervlakte-semantiek: Oppervlakte-semantiek (semantische versus noncenamen) heeft minimaal effect op de prestaties, wat suggereert dat modellen niet zwaar leunen op vooraf getrainde associaties met wereldkennis.
• Stuurmethoden (Steering Methods): Specifieke stuurmethoden voor inductie (bijv. ReAct, IDEA, Hypothesis Refinement) laten beperkte winst zien. Ze verbeteren de prestaties op attribuuttaken, maar bieden geen betrouwbare verbeteringen op procedurele taken, wat aangeeft dat de kloof in procedurele inductie een openstaand probleem blijft.
• Contextuele Bias: In sommige conditionele taken slagen modellen erin door voorbeelden uit de context te kopiëren in plaats van de regel te induceren, met name wanneer de demonstratieset klein of onderbepaald is.

Betekenis en Claims

Het artikel claimt dat HERO'S JOURNEY een noodzakelijke stap vormt naar het evalueren van de inductieve redeneerkracht van AI-agenten in realistische, doelgerichte settings.

• Voorbij Statische Patronen: De benchmark toont aan dat het vermogen om een patroon te identificeren niet garandeert dat men er ook op kan handelen. De "executie-bottleneck" legt een kritieke zwakte bloot van huidige LLM's bij het vertalen van abstracte regels naar concrete, meerstaps plannen.
• Procedurele Inductie als Frontier: De resultaten suggereren dat hoewel modellen enige capaciteit tonen voor attribuutinductie, procedurele inductie (het induceren en uitvoeren van complexe actiesequenties) een aanzienlijk onopgelost probleem blijft.
• Methodologische Rigor: Door identificatievoorwaarden af te dwingen en onderscheid te maken tussen regelarticulatie en gedragsefficiëntie, biedt het framework een meer principiële manier om te beoordelen of een model werkelijk een regel heeft geleerd of slechts statistische biases in de trainingsdata of context exploiteert.

De auteurs concluderen dat hoewel LLM's bewijs leveren van regelinductie, de capaciteit beperkt en ongelijkmatig is. Het gat tussen het induceren van een regel en het uitvoeren ervan in een complexe omgeving blijft een primaire hindernis voor de inzet van autonome agenten in de echte wereld, waar regels niet gespecificeerd zijn en uit ervaring moeten worden geleerd.