💬 NLP

OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions

Dit artikel introduceert OdysseyArena, een nieuwe benchmark bestaande uit 120 gestandaardiseerde taken en extreme stresstests die ontworpen zijn om het vermogen van grote taalmodellen om langdurige, actieve en inductieve interacties uit te voeren te evalueren, waarbij wordt onthuld dat zelfs grensverleggende modellen moeite hebben met het autonoom ontdekken van latente overgangswetten in complexe omgevingen.

Oorspronkelijke auteurs: Hang Yan, Fangzhi Xu, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Ben Kao, Qika Li

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hang Yan, Fangzhi Xu, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Ben Kao, Qika Lin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robot leert hoe hij een nieuw, complex bordspel moet spelen.

De Oude Manier (Deductief):
De meeste huidige tests voor AI zijn als het geven van het regelboek aan de robot voordat hij begint te spelen. Je zegt: "Hier zijn de regels: als je op rood landt, ga je twee stappen terug. Als je een zes gooit, ga je vooruit." De robot volgt gewoon deze expliciete instructies op. Het is goed in het opvolgen van bevelen, maar de robot begrijpt niet echt waarom de regels bestaan of hoe hij ze moet ontdekken als het regelboek ontbreeft.

De Nieuwe Manier (Inductief):
Het paper ODYSSEYARENA betoogt dat echte intelligentie niet gaat over het volgen van een regelboek; het gaat over het ontdekken van de regels terwijl je speelt. Stel je voor dat je de robot het bordspel geeft, maar het regelboek verstopt. De robot moet stukken bewegen, zien wat er gebeurt, in de war raken, het opnieuw proberen en langzaam zelf de verborgen logica ontcijferen. Dit wordt "inductief redeneren" genoemd.

Het Probleem

De onderzoekers ontdekten dat zelfs de slimste AI-modellen van vandaag hier erg slecht in zijn. Ze zijn geweldig in het volgen van instructies (deductie), maar hebben moeite met leren van ervaring wanneer de regels verborgen zijn (inductie). Ze blijven hangen in loops, vergeten wat ze hebben geleerd, of geven op wanneer het spel lang en ingewikkeld wordt.

De Oplossing: ODYSSEYARENA

Om dit te testen, heeft het team een nieuwe "gym" gebouwd genaamd ODYSSEYARENA. In plaats van korte, eenvoudige taken, hebben ze vier verschillende "spellen" gemaakt die de AI dwingen om een detective te zijn. Deze spellen zijn ontworpen om lang te zijn (honderden stappen) en vereisen dat de AI actief verkent.

Hier zijn de vier spellen, uitgelegd met eenvoudige analogieën:

Lichten Aan (De Logische Puzzel):
- De Opzet: Je hebt een wand met gloeilampen. Sommige staan aan, sommige staan uit. Je kunt een schakelaar omzetten, maar je weet niet hoe de bedrading loopt.
- De Uitdaging: Het omdraaien van één schakelaar kan een lamp laten branden, maar het kan ook per ongeluk drie andere lampen uitzetten vanwege een verborgen verbinding. De AI moet schakelaars omdraaien, de resultaten bekijken, en de geheime bedradingsdiagram ontcijferen door middel van trial-and-error.
- De Metafoor: Het is als het proberen te repareren van een verwarde snoer van kerstverlichting zonder handleiding, waarbij je raadt welke lamp welke andere lamp aanstuurt.
AI Trading (De Aandelenmarkt):
- De Opzet: De AI is een handelaar met een portefeuille aandelen. Elke dag beweegt de markt op basis van verborgen "factoren" (zoals het weer of nieuws) die de AI niet direct kan zien, alleen hints daarover krijgt.
- De Uitdaging: De AI moet de aandelenkoersen en het nieuws volgen, de verborgen wiskunde achter hen raden, en de toekomst voorspellen om geld te verdienen.
- De Metafoor: Het is als het proberen te voorspellen van het weer door alleen te kijken naar hoe mensen gekleed zijn, zonder ooit de lucht zelf te zien. Je moet het patroon ontdekken tussen "mensen met jassen aan" en "regen".
Energy Dispatch (Het Elektriciteitsnet):
- De Opzet: De AI is een manager van een elektriciteitscentrale. Het moet energie van de zon, wind en kolen in balans houden om een stad draaiende te houden.
- De Uitdaging: De zon en de wind zijn onvoorspelbaar en volgen verborgen cycli (zoals seizoenen). Als de AI drie dagen op rij een fout maakt, stort het hele netwerk in. De AI moet de verborgen ritmes van de natuur leren om de lichten aan te houden.
  Metaphor: Het is als het proberen perfect brandend te houden van een kampvuur tijdens een stormachtige nacht, waarbij de wind elk uur van richting verandert in een patroon dat je moet raden.
Repo System (De Software Fixer):
- De Opzet: De AI is een programmeur die softwarepakketten probeert te installeren.
- De Uitdaging: Het installeren van de ene software kan de andere software kapot maken vanwege verborgen versieconflicten. De AI moet installeren, testen, iets kapot maken, repareren en opnieuw installeren, om zo langzaam het onzichtbare web van afhankelijkheden tussen verschillende programma's in kaart te brengen.
- De Metafoor: Het is als het proberen te bouwen van een huis waarbij het kopen van een nieuwe deur per ongeluk een muur kan omverwerpen die je gisteren hebt gebouwd. Je moet het blauwdruk gaandeweg ontdekken.

Wat Ze Vonden

De onderzoekers hebben meer dan 15 van de slimste AI-modellen ter wereld getest (inclusclusief top commerciële en open-source modellen) op deze spellen.

Het Resultaat: Zelfs de beste modellen faalden spectaculair bij de taken met een lange horizon. Ze bleven hangen in loops (dezelfde fout steeds opnieuw maken), vergaten wat ze eerder hadden geleerd, en konden de verborgen regels niet ontdekken.
De Kloof: Wanneer de onderzoekers de modellen de regels vooraf gaven, presteerden de modellen uitstekend. Maar wanneer ze de regels zelf moesten ontdekken, daalde de prestatie naar bijna nul.
De Conclusie: De huidige AI is als een student die uitblinkt in het uit het hoofd leren van een tekstboek, maar volledig faalt wanneer hij wordt gevraagd een probleem op te lossen zonder het boek. De grootste flessenhals voor het maken van echt autonome agenten is niet het groter of sneller maken van de modellen; het is het leren aan de AI hoe ze uit hun eigen fouten kunnen leren en verborgen patronen in de wereld kunnen ontdekken.

Kortom, ODYSSEYARENA is een nieuwe manier om AI te testen die stopt met de vraag "Kun je bevelen opvolgen?" en begint met de vraag "Kun je zelf ontdekken hoe de wereld werkt?" Het antwoord tot nu toe is: "Niet echt."

Technische Samenvatting: ODYSSEYARENA

Probleemstelling

De huidige evaluaties van Large Language Model (LLM) agenten vertrouwen voornamelijk op een deductief paradigma. In deze settings krijgen agenten expliciete regels, statische doelen en vaak gouden instructies of gedetailleerde API-documentatie. Hoewel dit effectief is voor het beoordelen van instructievolging en planning met een korte horizon, verwaarloost deze aanpak de inductieve noodzaak voor agenten om autonoom latente transitiewetten te ontdekken uit ervaring. De implementatie in de echte wereld vereist dat agenten actief omgevingen verkennen, reageren op feedback en iteratief acties aanpassen door middel van zelfverbetering zonder vooraf gespecificeerde regels. Bovendien beperken bestaande benchmarks de interactiehorizonten vaak tot minder dan 50 stappen, waardoor het onmogelijk is om de uitdagingen van foutaccumulatie en de noodzaak voor strategische coherentie over duizenden stappen te vatten. Er is een kritieke kloof in het evalueren van het vermogen van een agent om verborgen regels en transitiedynamiek af te leiden uit interactieve ervaring in realtime.

Methodologie

Om deze hiaten aan te pakken, introduceren de auteurs ODYSSEYARENA, een suite van interactieve omgevingen die ontworpen zijn om de evaluatie van agenten te centreren op langdurige, actieve en inductieve interacties.

Theoretisch Kader

De auteurs formaliseren interactieve omgevingen als generatieve toestands-transitiefuncties: $(s_{t+1}, r_t) = T(s_t, a_t)$ , waarbij $s_t$ een latente toestand is en $a_t$ een agent-actie. De transitiefunctie $T$ codeert impliciet de regels van de omgeving. Agenten moeten de functionele vorm van $T$ induceren door middel van strategische interactie. De auteurs breken de omgevingsdynamiek af in vier orthogonale structurele primitieven:

Discrete Symbolische Regels: Booleaanse logica over $N$ bits die de ontdekking van latente causale afhankelijkheden vereist.
Continue Stochastische Dynamiek: Evolutie in een continue toestandsruimte die wordt beheerst door latente factoren die door ruis worden vertroebeld, wat statistische inferentie vereist.
Periodieke Temporele Patronen: Cyclische regelmatigheden die identificatie van langetermijn-temporele afhankelijkheden vereisen om multi-objective trade-offs te optimaliseren.
Relationele Graafstructuren: Niet-lokale interacties gedefinieerd door een verborgen graaf $G$ , die relationeel redeneren over topologische beperkingen vereisen.

Instantiatie van de Omgeving

Deze primitieven worden gematerialiseerd in vier diverse omgevingen (Figuur 2):

Turn On Lights: Instantiëert discrete symbolische regels. Agenten schakelen onderling afhankelijke lichten in en uit om een doelconfiguratie te bereiken. Verborgen Booleaanse koppelingen dicteren toestandswijzigingen, wat actieve exploratie vereist om het logische netwerk af te leiden.
AI Trading: Instantiëert continue stochastische dynamiek. Agenten beheren een portefeuille met meerdere activa waarbij prijsovergangen worden gedreven door latente marktfactoren ( $z_t$ ) en een verborgen afhankelijkheidsmatrix ( $W$ ). Succes vereist het onderscheiden van signalen van ruis om handelsstrategieën op lange termijn uit te voeren.
Energy Dispatch: Instantiëert periodieke temporele patronen. Agenten alloceren thermische, wind-, zon- en batterijbronnen onder budget- en vraagbeperkingen. Het systeem beschikt over verborgen, tijdsafhankelijke efficiëntiecycli voor hernieuwbare bronnen, waardoor de agent periodieke fluctuaties moet anticiperen om systeeminstabiliteit te voorkomen.
Repo System: Instantiëert relationele graafstructuren. Agenten configureren een Python-project door pakketten te installeren/verwijderen. De omgeving bevat een verborgen afhankelijkheidsgraaf waarbij acties niet-monotone neveneffecten veroorzaken (bijv. automatische upgrades/downgrades), wat systematische diagnose en relationeel redeneren vereist.

Benchmark Protocollen

De auteurs hebben twee gestandaardiseerde benchmarking-suites vastgesteld:

ODYSSEYARENA-LITE: Een gestandaardiseerde suite van 120 gecureerde taken (30 per omgeving) geoptimaliseerd voor efficiënte evaluatie. De interactiehorizonten zijn computationeel hanteerbaar (bijv. 120–200 stappen), maar voldoende om langdurige planning en actieve inductie noodzakelijk te maken.
ODYSSEYARENA-CHALLENGE: Een stress-test suite met 1.000+ stappen per taak, ontworpen om de grenzen van agent-persistentie, redene-stabiliteit en strategie-behoud over extreme horizonten te testen.

Om reproduceerbaarheid en eerlijke vergelijking te garanderen, zijn alle stochastische elementen (bijv. marktfactoren, efficiëntiecurves) vooraf bepaald als vaste sequenties binnen de taakmetadata, waardoor runtime-randomness wordt geëlimineerd terwijl de inductieve uitdaging behouden blijft.

Belangrijkste Bijdragen

Nieuw Evaluatieparadigma: Het artikel stelt een verschuiving voor van deductieve instructievolging naar autonome ontdekking, met de focus op de inductie van latente wereld-dynamiek door langdurige en actieve interactie.
Betrouwbare en Schaalbare Benchmark: De instantiatie van het inductieve paradigma in ODYSSEYARENA, waarbij ODYSSEYARENA-LITE wordt geboden als een standaard suite voor efficiënte evaluatie en ODYSSEYARENA-CHALLENGE voor stress-testen.
Uitgebreide Evaluaties en Inzichten: Een uitgebreide evaluatie van meer dan 15 leidende LLM's (commercieel en open-source) die de inductieve bottleneck karakteriseert als een fundamentele barrière voor autonome ontdekking.

Experimentele Resultaten

De auteurs evalueerden 15+ modellen, waaronder Gemini 3 Pro Preview, GPT-5, DeepSeek-V3.2, en diverse Llama- en Qwen-series modellen.

Prestatiekloof: Zelfs grensverleggende commerciële modellen (bijv. Gemini 3 Pro Preview) behalen een maximaal succespercentage van 44,17% op ODYSSEYARENA-LITE, wat aanzienlijk lager is dan menselijke prestaties (die 81,67% bereiken op Turn On Lights en 100% op Repo System).
Inductief vs. Deductief: Een cruciale bevinding is de asymmetrie tussen deductieve en inductieve capaciteiten. Wanneer expliciete regels worden verstrekt (de "w/ rules" setting), behalen modellen bijna perfect succes (bijv. 100% op Turn On Lights). Echter, zonder deze regels daalt de prestatie drastisch, wat bevestigt dat de primaire bottleneck de ontdekking van wereld-dynamiek is, en niet de complexiteit van de taaklogica zelf.
Foutmodi: Analyse van fouttrajecten (Tabel 3) laat zien dat de meest voorkomende problemen Exploratiebeperkingen zijn (80,85% van de fouten), waarbij agenten convergeren naar lokale optima zonder systematische hypothesetests, en Geheugenbeperkingen (57,45%), waarbij agenten er niet in slagen sleutelbewijs over lange geschiedenissen op te halen. Planningsonvermogen bleek zeldzaam (4,26%).
Schaalbaarheidslimieten: Hoewel grotere modellen over het algemeen beter presteren dan kleinere, suggereert de universele mislukking in taken die synthese van periodieke patronen vereisen (Energy Dispatch) dat verhoogde schaal alleen onvoldoende is om de inductieve bottleneck voor robuuste wereld-structuur modellering te overwinnen.
Langdurige Verzadiging: Succescurven vertonen vaak een vroege plateau, wat aangeeft dat uitgebreide interactiebudgetten weinig marginale winst opleveren voor modellen die een coherent intern wereldmodel missen.

Betekenis

Het artikel stelt dat ODYSSEYARENA een kritieke bottleneck identificeert in het streven naar autonome ontdekking in complexe omgevingen. De resultaten suggereren dat huidige LLM's uitblinken in deductieve naleving, maar de inductieve capaciteit missen om autonoom de mechanica van de omgeving uit ervaring te synthetiseren. Dit werk betoogt dat toekomstig onderzoek naar meer agentische intelligentie prioriteit moet geven aan architecturen die in staat zijn om latente transitiewetten te distilleren uit ruwe ervaring, waardoor de kloof tussen passieve regelvolging en actieve ontdekking wordt overbrugd. De benchmark biedt een rigoureus kader voor het evalueren en verbeteren van deze capaciteiten, bewegend voorbij de beperkingen van statische, kortdurende en deductieve evaluaties.