💬 NLP

OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions

本論文は、大規模言語モデルが長期間にわたる能動的かつ帰納的な相互作用を行う能力を評価するために設計された、120の標準化されたタスクと極限のストレス・テストからなる新しいベンチマークであるOdysseyArenaを紹介し、最先端のモデルであっても複雑な環境における潜在的な遷移法則を自律的に発見することに苦慮することを明らかにしている。

原著者： Hang Yan, Fangzhi Xu, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Ben Kao, Qika Li

公開日 2026-06-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hang Yan, Fangzhi Xu, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Ben Kao, Qika Lin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢いロボットに新しい複雑なボードゲームの遊び方を教えていると考えてください。

旧来の方法（演繹的）：
現在のAIテストの多くは、ロボットにゲームを始める前にルールブックを与えるようなものです。「もし赤に止まったら、2マス戻ること。もし6が出たら、前に進むこと」と伝えます。ロボットは単にこれらの明示的な指示に従います。これは命令に従うことには長けていますが、なぜそのルールが存在するのか、あるいはルールブックがない場合にどうやってルールを見つけ出すべきか、という本質的な理解には至りません。

新しい方法（帰納的）：
論文『ODYSSEYARENA』は、真の現実世界における知能とは、ルールに従うことではなく、プレイしながらルールを「発見」することであると主張しています。想像してみてください。あなたはロボットにボードゲームを手渡しますが、ルールブックは隠しておきます。ロボットは、実際に駒を動かし、何が起こるかを確認し、混乱し、再び試し、自力で隠されたロジックを少しずつ解明していかなければなりません。これを「帰納的推論」と呼びます。

問題点

研究者たちは、今日の最もスマートなAIモデルでさえ、これには極めて弱いことを発見しました。彼らは指示に従うこと（演繹）には長けていますが、ルールが隠されている場合に経験から学ぶこと（帰納）には苦戦します。彼らはループに陥ったり、学んだことを忘れたり、ゲームが長く複雑になると諦めてしまったりします。

解決策：ODYSSEYARENA

これをテストするために、チームは「ODYSSEYARENA」と呼ばれる新しい「ジム（訓練場）」を構築しました。短くて単純なタスクではなく、AIに「探偵」であることを強いる4つの異なる「ゲーム」を作成しました。これらのゲームは、AIが能動的に探索することを強いるように、長期的なプロセス（数百ステップ）を想定して設計されています。

以下に、4つのゲームを簡単な比喩を用いて説明します。

明かりをつける（論理パズル）：
- 設定： 電球の壁があります。ついているものもあれば、消えているものもあります。スイッチを操作できますが、配線は分かっていません。
- 挑戦： 一つのスイッチを入れると、ある電球がつくかもしれませんが、同時に隠れた接続によって他の3つの電球が誤って消えてしまうかもしれません。AIはスイッチを切り替え、その結果を観察し、試行錯誤を通じて隠された配線図を解明しなければなりません。
- メタファー： マニュアルなしで絡まったクリスマスライトを修理しようとするようなものです。どの電球が他のどの電球を制御しているのかを推測しながら進めます。
AIトレーディング（株式市場）：
- 設定： AIは、ポートフォリオを持つトレーダーです。毎日、市場は（天気やニュースのような）AIには直接見えない隠れた「要因」に基づいて動きます。AIが見ることができるのは、そのヒントだけです。
- 挑戦： AIは株価とニュースを観察し、それらを結びつける隠れた数学的関係を推測し、将来を予測して利益を上げなければなりません。
- メタファー： 空を直接見ることはできず、「人々がどのように服を着ているか」だけを見て天気を予測しようとするようなものです。「コートを着ている人々」と「雨」の間のパターンを見つけ出す必要があります。
エネルギー・ディスパッチ（電力網）：
- 設定： AIは発電所の管理者です。太陽光、風力、石炭を利用して、都市の電力を維持しなければなりません。
- 挑戦： 太陽や風は予測不可能であり、隠れたサイクル（季節など）に従っています。もしAIが3日連続でミスをすると、電力網全体が崩壊します。AIは、電気を灯し続けるために、自然の隠れたリズムを学習しなければなりません。
- メタファー： 嵐の夜にキャンプファイアを完璧に燃やし続けようとするようなものです。風向きは1時間ごとに変わりますが、そのパターンを推測しなければなりません。
Repoシステム（ソフトウェア修正）：
- 設定： AIは、ソフトウェアパッケージをインストールしようとしているプログラマーです。
- 挑戦： 一つのソフトウェアをインストールすると、隠れたバージョン競合によって別のソフトウェアが壊れることがあります。AIは、インストールし、テストし、壊し、修正し、再インストールするというプロセスを経て、異なるプログラム間の目に見えない依存関係のネットワークをゆっくりとマッピングしていきます。
- メタファー： 家を建てている最中に、新しいドアを買ったら昨日作った壁が倒れてしまった、というような状況です。進めながら設計図を解明していく必要があります。

研究結果

研究者たちは、世界で最もスマートな15以上のAIモデル（トップクラスの商用およびオープンソースモデルを含む）をこれらのゲームでテストしました。

結果： 最も優れたモデルでさえ、長期的なタスクにおいて惨愃たる失敗を喫しました。彼らはループに陥ったり（同じ間違いを何度も繰り返す）、以前に学んだことを忘れたり、隠れたルールを解明することができませんでした。
ギャップ： もし研究者が事前にルールを提示すれば、モデルは素晴らしい成果を出しました。しかし、ルールを「発見」しなければならない場合、パフォーマンスはほぼゼロにまで低下しました。
結論： 現在のAIは、教科書を暗記するのは得意だが、本なしで問題を解こうとすると完全に失敗してしまう学生のようなものです。真に自律的なエージェントを作るための最大のボトルネックは、AIをより大きく、より速くすることではなく、自らの間違いから学び、世界の隠れたパターンを発見する方法を教えることです。

要約すると、ODYSSEYARENAは、「命令に従えるか？」と問うのではなく、「自分自身で世界の仕組みを解明できるか？」と問いかける、新しいAIテストの方法です。今のところ、その答えは「いや、できていない」です。

技術要約: ODYSSEYARENA

問題提起

現在の大規模言語モデル（LLM）エージェントの評価は、主に演繹的パラダイムに依存しています。これらの設定では、エージェントに対して明示的なルール、静的な目標、そして多くの場合、ゴールデンスタンダードな指示や詳細なAPIドキュメントが提供されます。この手法は、指示への追従性や短期間のプランニングを評価するには効果的ですが、エージェントが経験を通じて潜在的な遷移法則を自律的に発見するという帰納的な必要性を軽視しています。実世界への展開には、エージェントが事前に指定されたルールなしに、環境を能動的に探索し、フィードバックに反応し、自己改善を通じて反復的に行動を調整することが求められます。さらに、既存のベンチマークは相互作用のホライゾン（期間）を50ステップ未満に制限することが多く、エラーの蓄積や、数千ステップにわたる戦略的一貫性の必要性を捉えきれていません。エージェントが、リアルタイムのインタラクティブな経験から隠れたルールや遷移ダイナミクスを推論する能力を評価することには、決定的なギャップが存在します。

メソドロジー

これらのギャップに対処するため、著者らは、長期間、能動的、かつ帰納的な相互作用にエージェント評価の焦点を置き直すために設計された一連のインタラクティブ環境、ODYSSEYARENAを導入します。

理論的枠組み

著者らは、インタラクティブな環境を生成的な状態遷移関数 $(s_{t+1}, r_t) = T(s_t, a_t)$ として定式化しています。ここで、 $s_t$ は潜在状態、 $a_t$ はエージェントの行動です。遷移関数 $T$ は環境のルールを暗黙的にエンコードしています。エージェントは、戦略的な相互作用を通じて $T$ の関数形式を帰納しなければなりません。著者らは、環境のダイナミクスを以下の4つの直交する構造的プリミティブに分解しています：

離散的記号ルール (Discrete Symbolic Rules): 潜在的な因果関係の発見を必要とする、 $N$ ビット上のブール論理。
連続的確率ダイナミクス (Continuous Stochastic Dynamics): ノイズによって隠された潜在因子によって支配される連続的な状態空間における進化。これには統計的推論が必要です。
周期的な時間パターン (Periodic Temporal Patterns): 多目的のトレードオフを最適化するために、長期的な時間依存関係の特定を必要とする循環的な規則性。
関係グラフ構造 (Relational Graph Structures): 隠れたグラフ $G$ によって定義される非局所的な相互作用であり、トポロジカルな制約に関する関係的推論を必要とします。

環境のインスタンス化

これらのプリミティブは、4つの多様な環境へと具体化されています（図2）：

Turn On Lights (ライトを点灯させる): 離散的記号ルールをインスタンス化しています。エージェントは、目標とする構成に到達するために相互に依存するライトを切り替えます。隠れたブール結合が状態変化を規定しており、論理ネットワークを推論するための能動的な探索が必要です。
AI Trading (AIトレーディング): 連続的確率ダイナミクスをインスタンス化しています。エージェントは、価格遷移が潜在的な市場因子（ $z_t$ ）と隠れた依存行列（ $W$ ）によって駆動されるマルチアセット・ポートフォリオを管理します。成功には、長期的なトレーディング戦略を実行するために、信号とノイズを分離する必要があります。
Energy Dispatch (エネルギー配分): 周期的な時間パターンをインスタンス化しています。エージェントは、予算と需要の制約の下で、熱、風力、太陽光、およびバッテリーのリソースを割り当てます。システムは、再生可能エネルギー源の隠れた時変効率サイクルを備えており、システムの崩壊を避けるためにエージェントは周期的な変動を予測する必要があります。
Repo System (リポジトリ・システム): 関係グラフ構造をインスタンス化しています。エージェントは、パッケージのインストール／アンインストールによってPythonプロジェクトを構成します。この環境には隠れた依存関係グラフが含まれており、アクションが非単調な副作用（例：自動的なアップグレード／ダウングレード）を引き起こすため、体系的な診断と関係的推論が必要です。

ベンチマーク・プロトコル

著者らは、2つの標準化されたベンチマーク・スイートを確立しています：

ODYSSEYARENA-LITE: 効率的な評価のために最適化された、厳選された120のタスク（各環境につき30タスク）からなる標準化されたスイート。相互作用のホライゾンは計算量的に実行可能（例：120〜200ステップ）ですが、長期的なプランニングと能動的な帰納を必要とするには十分な長さとなっています。
ODYSSEYARENA-CHALLENGE: 1タスクあたり1,000ステップ以上のストレス・テスト・スイート。エージェントの持続性、推論の安定性、および極端なホライゾンにおける戦略維持の限界を調査するために設計されています。

再現性と公平な比較を確保するため、すべての確率的要素（例：市場因子、効率曲線）は、タスクのメタデータ内の固定されたシーケンスとして事前決定されており、実行時のランダム性を排除しつつ、帰納的な挑戦を維持しています。

主な貢献

新しい評価パラダイム: 演繹的な指示追従から、長期かつ能動的な相互作用を通じた潜在的な世界ダイナミクスの帰納に焦点を当てた、自律的発見への転換を提案しています。
信頼性とスケーラビリティのあるベンチマーク: 帰納的パラダイムを ODYSSEYARENA として具現化し、効率的な評価のための標準的なスイートである ODYSSEYARENA-LITE と、ストレス・テストのための ODYSSEYARENA-CHALLENGE を提供しています。
広範な評価と洞察: 15以上の主要なLLM（商用およびオープンソース）に対する包括的な評価を行い、帰納的ボトルネックが自律的発見における根本的な障壁であることを明らかにしています。

実験結果

著者らは、Gemini 3 Pro Preview、GPT-5、DeepSeek-V3.2、および様々なLlamaやQwenシリーズのモデルを含む15以上のモデルを評価しました。

パフォーマンスの格差: 最先端の商用モデル（例：Gemini 3 Pro Preview）であっても、ODYSSEYARENA-LITEにおける最大成功率は 44.17% であり、人間のパフォーマンス（Turn On Lightsでは81.67%、Repo Systemでは100%に達する）を大幅に下回っています。
帰納的 vs 演繹的: 決定的な発見は、演繹的能力と帰納的能力の間の非対称性です。明示的なルールが与えられた場合（「w/ rules」設定）、モデルはほぼ完璧な成功率（例：Turn On Lightsでは100%）を達成します。しかし、これらのルールがない場合、パフォーマンスは急激に低下します。これは、主要なボトルネックがタスク・ロジックの複雑さ自体ではなく、世界のダイナミクスの発見であることを裏付けています。
失敗モード: 失敗の軌跡の分析（表3）によれば、最も一般的な問題は 探索の限界（失敗の80.85%）であり、エージェントが体系的な仮説検証を行うことなく局所最適解に収束してしまう現象です。次いで メモリの制約（57.45%）であり、エージェントが長い履歴から重要な証拠を想起できないことが挙げられます。プランニング能力の欠如は稀（4.26%）であることが判明しました。
スケーリングの限界: より大きなモデルは一般に小さなモデルよりも優れた性能を示しますが、周期的なパターン（Energy Dispatch）を合成する必要があるタスクにおける普遍的な失敗は、規模の拡大だけでは、堅牢な世界構造のモデリングに対する帰納的ボトルネックを克服するには不十分であることを示唆しています。
長期ホライゾンの飽和: 成功率の曲線はしばしば早期にプラトー（停滞）に達します。これは、一貫した内部世界モデルを持たないモデルにとって、相互作用の予算を延長しても限界的な利得がほとんど得られないことを示しています。

重要性

本論文は、ODYSSEYARENAが、複雑な環境における自律的発見の追求における決定的なボトルネックを特定していると主張しています。結果は、現在のLLMが演繹的な遵守には優れているものの、経験から環境メカニズムを自律的に合成する帰納的能力に欠けていることを示唆しています。この研究は、将来のよりエージェント的な知能への道筋において、生の経験から潜在的な遷移法則を抽出できるアーキテクチャを優先すべきであることを論じており、受動的なルール追従と能動的な発見の間の溝を埋めることを目指しています。このベンチマークは、静的で短期間、かつ演繹的な評価の限界を超え、これらの能力を評価・改善するための厳格な枠組みを提供します。

問題点