💬 NLP

OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions

Dieses Paper stellt OdysseyArena vor, einen neuartigen Benchmark bestehend aus 120 standardisierten Aufgaben und extremen Stresstests, die darauf ausgelegt sind, die Fähigkeit großer Sprachmodelle zur Durchführung langfristiger, aktiver und induktiver Interaktionen zu bewerten, wobei aufgezeigt wird, dass selbst Frontière-Modelle Schwierigkeiten haben, latente Übergangsgesetze in komplexen Umgebungen autonom zu entdecken.

Ursprüngliche Autoren: Hang Yan, Fangzhi Xu, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Ben Kao, Qika Li

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hang Yan, Fangzhi Xu, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Ben Kao, Qika Lin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem sehr intelligenten Roboter bei, ein neues, komplexes Brettspiel zu spielen.

Der alte Weg (Deduktion):
Die meisten aktuellen Tests für KI sind so, als würde man dem Roboter das Regelbuch geben, bevor er überhaupt anfängt zu spielen. Man sagt: „Hier sind die Regeln: Wenn du auf Rot landest, gehe zwei Felder zurück. Wenn du eine Sechs würfelst, gehe vorwärts.“ Der Roboter befolgt dann einfach diese expliziten Anweisungen. Er ist gut darin, Befehle auszuführen, aber er versteht nicht wirklich, warum die Regeln existieren oder wie er sie herausfinden soll, wenn das Regelbuch fehlt.

Der neue Weg (Induktion):
Das Paper ODYSSEYARENA argumenttiert, dass wahre Intelligenz in der realen Welt nicht daraus besteht, einem Regelbuch zu folgen, sondern darin, die Regeln während des Spielens zu entdecken. Stellen Sie sich vor, Sie übergeben dem Roboter das Brettspiel, aber verstecken das Regelbuch. Der Roboter muss Figuren bewegen, sehen, was passiert, verwirrt sein, es erneut versuchen und langsam die verborgene Logik aus eigener Kraft entschlüsseln. Dies nennt man „induktives Denken“.

Das Problem

Die Forscher fanden heraus, dass selbst die intelligentesten KI-Modelle von heute schlecht darin sind. Sie sind großartig darin, Anweisungen zu befolgen (Deduktion), aber sie haben Schwierigkeiten, aus Erfahrungen zu lernen, wenn die Regeln verborgen sind (Induktion). Sie bleiben in Schleifen hängen, vergessen das Gelernte oder geben auf, wenn das Spiel lang und kompliziert wird.

Die Lösung: ODYSSEYARENA

Um dies zu testen, baute das Team ein neues „Gym“ namens ODYSSEYARENA. Anstatt kurzer, einfacher Aufgaben schuf es vier verschiedene „Spiele“, die die KI dazu zwingen, ein Detektiv zu sein. Diese Spiele sind darauf ausgelegt, langwierig zu sein (Hunderte von Schritten) und erfordern, dass die KI aktiv auf Entdeckungsreise geht.

Hier sind die vier Spiele, erklärt mit einfachen Analogien:

Licht einschalten (Das Logikrätsel):
- Das Setup: Sie haben eine Wand mit Glühbirnen. Einige sind an, einige sind aus. Sie können einen Schalter umlegen, aber Sie kennen die Verkabelung nicht.
- Die Herausforderung: Das Umlegen eines Schalters könnte eine Birne einschalten, aber es könnte auch versehentlich drei andere ausschalten, weil es eine versteckte Verbindung gibt. Die KI muss Schalter umlegen, die Ergebnisse beobachten und die geheime Verkabelung durch Versuch und Irrtum entschlüsseln.
- Die Metapher: Es ist, als würde man versuchen, eine verhedderte Lichterkette ohne Handbuch zu reparieren und zu raten, welche Birne welche andere steuert.
KI-Handel (Der Aktienmarkt):
- Das Setup: Die KI ist ein Händler mit einem Portfolio an Aktien. Jeden Tag bewegt sich der Markt basierend auf verborgenen „Faktoren“ (wie Wetter oder Nachrichten), die die KI nicht direkt sehen kann, sondern nur Hinweise darauf erhält.
- Die Herausforderung: Die KI muss die Aktienkurse und die Nachrichten beobachten, die verborgene Mathematik erraten, die sie verbindet, und die Zukunft vorhersagen, um Geld zu verdienen.
- Die Metapher: Es ist, als würde man versuchen, das Wetter vorherzusagen, indem man nur beobachtet, wie sich die Menschen kleiden, ohne jemals den Himmel selbst gesehen zu haben. Man muss das Muster zwischen „Menschen in Mänteln“ und „Regen“ verstehen.
Energieverteilung (Das Stromnetz):
- Das Setup: Die KI ist ein Manager eines Kraftwerks. Sie muss Energie aus Sonne, Wind und Kohle ausbalancieren, um eine Stadt am Laufen zu halten.
- Die Herausforderung: Die Sonne und der Wind sind unvorhersehbar und folgen verborgenen Zyklen (wie Jahreszeiten). Wenn die KI drei Tage hintereinander einen Fehler macht, bricht das gesamte Netz zusammen. Sie muss die verborgenen Rhythmen der Natur erlernen, um das Licht an der Kippe zu halten.
- Die Metapher: Es ist, als würde man versuchen, ein Lagerfeuer in einer stürmischen Nacht perfekt brennen zu lassen, wobei der Wind jede Stunde die Richtung ändert und man ein Muster erraten muss, das bestimmt, wohin er weht.
Repo-System (Der Software-Fixer):
- Das Setup: Die KI ist ein Programmierer, der versucht, Softwarepakete zu installieren.
- Die Herausforderung: Die Installation einer Software kann eine andere Software beschädigen, weil es verborgene Versionskonflikte gibt. Die KI muss installieren, testen, kaputtmachen, reparieren und neu installieren, um langsam das unsichtbare Netz der Abhängigkeiten zwischen verschiedenen Programmen abzubilden.
- Die Metapher: Es ist, als würde man versuchen, ein Haus zu bauen, bei dem der Kauf einer neuen Tür versehentlich eine Wand einreißen könnte, die man gestern gebaut hat. Man muss den Bauplan während des Bauens selbst herausfinden.

Was sie herausfanden

Die Forscher testeten über 15 der klügsten KI-Modelle der Welt (einschließlich führender kommerzieller und Open-Source-Modelle) an diesen Spielen.

Das Ergebnis: Selbst die besten Modelle versagten kläglich bei den langfristigen Aufgaben (Long-Horizon-Tasks). Sie blieben in Schleifen stecken (machten immer wieder denselben Fehler), vergaßen das zuvor Gelernte und konnten die verborgenen Regeln nicht entschlüsseln.
Die Lücke: Wenn die Forscher den Modellen die Regeln vorab gaben, waren die Modelle großartig. Aber als sie die Regeln selbst entdecken mussten, sank die Leistung auf nahezu Null.
Das Fazit: Aktuelle KIs sind wie Schüler, die exzellent darin sind, ein Lehrbuch auswendig zu lernen, aber völlig versagen, wenn sie gebeten werden, ein Problem ohne das Buch zu lösen. Der größte Engpass für die Entwicklung wahrhaft autonomer Agenten ist nicht, sie größer oder schneller zu machen; es ist die Frage, wie man ihnen beibringt, aus ihren eigenen Fehlern zu lernen und verborgene Muster in der Welt zu entdecken.

Kurz gesagt: ODYSSEYARENA ist eine neue Art, KI zu testen, die aufhört zu fragen: „Kannst du Befehlen folgen?“ und stattdritt zu fragen: „Kannst du herausfinden, wie die Welt funktioniert, ganz allein?“ Die Antwort bisher lautet: „Nicht wirklich.“

Technisches Resümee: ODYSSEYARENA

Problemstellung

Die derzeitigen Evaluierungen von Large Language Model (LLM)-Agenten stützen sich überwiegend auf ein deduktives Paradigma. In diesen Settings werden Agenten mit expliziten Regeln, statischen Zielen und oft mit Goldstandard-Instruktionen oder detaillierter API-Dokumentation ausgestattet. Während dies effektiv für die Bewertung der Befolgung von Instruktionen und kurzfristiger Planung ist, vernachlässigt dieser Ansatz die induktive Notwendigkeit für Agenten, latente Übergangsgesetze autonom aus Erfahrung zu entdecken. Der Einsatz in der realen Welt erfordert, dass Agenten Umgebungen aktiv sondieren, auf Feedback reagieren und Aktionen durch Selbstverbesserung iterativ anpassen, ohne dass vorab spezifizierte Regeln existieren. Zudem beschränken bestehende Benchmarks die Interaktionshorizonte oft auf weniger als 50 Schritte, wodurch die Herausforderungen der Fehlerakkumulation und die Notwendigkeit strategischer Kohärenz über Tausende von Schritten hinweg nicht erfasst werden. Es besteht eine kritische Lücke bei der Bewertung der Fähigkeit eines Agenten, verborgene Regeln und Übergangsdynamiken durch interaktive Erfahrung in Echtzeit zu inferieren.

Methodik

Um diese Lücken zu schließen, führen die Autoren ODYSSEYArena ein, eine Suite interaktiver Umgebungen, die darauf ausgelegt ist, die Evaluierung von Agenten auf langfristige, aktive und induktive Interaktionen zu zentrieren.

Theoretischer Rahmen

Die Autoren formalisieren interaktive Umgebungen als generative Zustandsübergangsfunktionen: $(s_{t+1}, r_t) = T(s_t, a_t)$ , wobei $s_t$ ein latenter Zustand und $a_t$ eine Agentenaktion ist. Die Übergangsfunktion $T$ kodiert implizit die Umgebungsregeln. Agenten müssen die funktionale Form von $T$ durch strategische Interaktion induzieren. Die Autoren zerlegen die Umgebungsdynamik in vier orthogonale strukturelle Primitive:

Diskrete symbolische Regeln: Boolesche Logik über $N$ Bits, die die Entdeckung latenter kausaler Abhängigkeiten erfordert.
Kontinuierliche stochastische Dynamik: Entwicklung in einem kontinuierlichen Zustandsraum, die von latenten Faktoren gesteuert wird, die durch Rauschen verschleiert sind, was statistische Inferenz erfordert.
Periodische temporale Muster: Zyklische Regelmäßigkeiten, die die Identifizierung langfristiger zeitlicher Abhängigkeiten erfordern, um Multi-Objective-Trade-offs zu optimieren.
Relationale Graphstrukturen: Nicht-lokale Interaktionen, die durch einen verborgenen Graphen $G$ definiert sind und relationales Denken über topologische Constraints hinweg erfordern.

Instanziierung der Umgebungen

Diese Primitive werden in vier diversen Umgebungen materialisiert (Abbildung 2):

Turn On Lights: Instanziiert diskrete symbolische Regeln. Agenten schalten interdependenten Lichtquellen, um eine Zielkonfiguration zu erreichen. Verborgene Boolesche Kopplungen diktieren Zustandsänderungen, was aktives Explorationsverhalten zur Inferenz des logischen Netzwerks erfordert.
AI Trading: Instanziiert kontinuierliche stochastische Dynamik. Agenten verwalten ein Multi-Asset-Portfolio, bei dem Preisübergänge durch latente Marktfaktoren ( $z_t$ ) und eine verborgene Abhängigkeitsmatrix ( $W$ ) getrieben werden. Erfolg erfordert die Trennung von Signal und Rauschen, um langfristige Handelsstrategien auszuführen.
Energy Dispatch: Instanziiert periodische temporale Muster. Agenten weisen thermische, Wind-, Solar- und Batterie-Ressourcen unter Budget- und Nachfragebeschränkungen zu. Das System weist verborgene, zeitvariable Effizienzzyklen für erneuerbare Energien auf, was den Agenten dazu zwingt, periodische Fluktuationen zu antizipieren, um einen Systemkollaps zu vermeiden.
Repo System: Instanziiert relationale Graphstrukturen. Agenten konfigurieren ein Python-Projekt durch das Installieren/Deinstallieren von Paketen. Die Umgebung enthält einen verborgenen Abhängigkeitsgraphen, in dem Aktionen nicht-monotone Nebeneffekte induzieren (z. B. automatische Upgrades/Downgrades), was systematische Diagnose und relationales Denken erfordert.

Benchmark-Protokolle

Die Autoren etablieren zwei standardisierte Benchmarking-Suites:

ODYSSEYARENA-LITE: Eine standardisierte Suite aus 120 kuratierten Aufgaben (30 pro Umgebung), die für eine effiziente Evaluierung optimiert ist. Die Interaktionshorizonte sind rechnerisch handhabbar (z. B. 120–200 Schritte), aber ausreichend, um langfristige Planung und aktive Induktion zu erfordern.
ODYSSEYARENA-CHALLENGE: Eine Stress-Test-Suite mit über 1.000 Schritten pro Aufgabe, die darauf ausgelegt ist, die Grenzen der Persistenz, der Denkstabilität und der Aufrechterhaltung von Strategien über extreme Horizonte hinweg zu prüfen.

Um Reproduzierbarkeit und fairen Vergleich zu gewährleisten, sind alle stochastischen Elemente (z. B. Marktfaktoren, Effizienzkurven) als feste Sequenzen innerhalb der Aufgabenmetadaten vorbestimmt, wodurch die Laufzeit-Randomisierung entfernt wird, während die induktive Herausforderung erhalten bleibt.

Zentrale Beiträge

Neues Evaluierungsparadigma: Das Paper schlägt einen Wechsel von der deduktiven Befolgung von Instruktionen hin zur autonomen Entdeckung vor, wobei der Fokus auf der Induktion latenter Weltdynamiken durch langfristige und aktive Interaktion liegt.
Zuverlässige und skalierbare Benchmark: Die Implementierung des induktiven Paradigmas in ODYSSEYARENA, die ODYSSEYARENA-LITE als Standard-Suite für die effiziente Evaluierung und ODYSSEYARENA-CHALLENGE für Stress-Tests bereitstellt.
Umfangreiche Evaluierungen und Erkenntnisse: Eine umfassende Evaluierung von über 15 führenden LLMs (proprietär und Open-Source), welche den induktiven Engpass als grundlegendes Hindernis für die autonome Entdeckung charakterisiert.

Experimentelle Ergebnisse

Die Autoren evaluierten mehr als 15 Modelle, darunter Gemini 3 Pro Preview, GPT-5, DeepSeek-V3.2 sowie verschiedene Llama- und Qwen-Serien-Modelle.

Leistungslücke: Selbst führende kommerzielle Modelle (z. B. Gemini 3 Pro Preview) erreichen eine maximale Erfolgsquote von 44,17 % auf ODYSSEYARENA-LITE, was signifikant unter der menschlichen Leistung liegt (die 81,67 % bei Turn On Lights und 100 % beim Repo System erreicht).
Induktiv vs. Deduktiv: Ein entscheidender Befund ist die Asymmetrie zwischen deduktiven und induktiven Fähigkeiten. Wenn explizite Regeln bereitgestellt werden (die „w/ rules“-Einstellung), erreichen die Modelle eine nahezu perfekte Erfolgsquote (z. B. 100 % bei Turn On Lights). Ohne diese Regeln sinkt die Leistung jedoch drastisch, was bestätigt, dass der primäre Engpass die Entdeckung der Weltdynamik ist und nicht die Komplexität der Aufgabenlogik selbst.
Fehlermodi: Die Analyse der Fehlertrajektorien (Tabelle 3) zeigt, dass die häufigsten Probleme Explorationslimitierungen (80,85 % der Fehler) sind, bei denen Agenten ohne systematische Hypothesenprüfung in lokalen Optima konvergieren, sowie Speicherbeschränkungen (57,45 %), bei denen Agenten versagen, wichtige Evidenzen über lange Historien hinweg abzurufen. Eine Unfähigkeit zur Planung wurde als selten befunden (4,26 %).
Skalierungsgrenzen: Während größere Modelle im Allgemeinen besser abschneiden als kleinere, deutet das weit verbreitete Versagen in Aufgaben, die die Synthese periodischer Muster erfordern (Energy Dispatch), darauf hin, dass eine reine Skalierung allein nicht ausreicht, um den induktiven Engpass für eine robuste Modellierung der Weltstruktur zu überwinden.
Sättigung bei langen Horizonten: Die Erfolgskurven stagnieren oft frühzeitig, was darauf hindeutet, dass erweiterte Interaktionsbudgets für Modelle, denen ein kohärentes internes Weltmodell fehlt, kaum noch marginale Gewinne bringen.

Bedeutung

Das Paper behauptet, dass ODYSSEYARENA einen kritischen Engpass im Streben nach autonomer Entdeckung in komplexen Umgebungen identifiziert. Die Ergebnisse legen nahe, dass aktuelle LLMs zwar exzellent in der deduktiven Compliance sind, aber nicht über die induktive Kapazität verfügen, um Weltmechanismen autonom aus Erfahrung zu synthetisieren. Diese Arbeit argumenttiert, dass zukünftige Forschung in Richtung agentischer Intelligenz Prioritäten auf Architekturen setzen muss, die in der Lage sind, latente Übergangsgesetze aus Rohdaten zu destillieren und so die Lücke zwischen passiver Regelbefolgung und aktiver Entdeckung zu schließen. Die Benchmark bietet einen rigorosen Rahmen zur Evaluierung und Verbesserung dieser Fähigkeiten und geht damit über die Limitationen statischer, kurzfristiger und deduktiver Evaluierungen hinaus.