🤖 AI

Agentick: A Unified Benchmark for General Sequential Decision-Making Agents

本論文は、強化学習、大規模言語モデル、視覚言語モデル、ハイブリッド、および人間のエージェントにおける逐次的意思決定の公平な比較と進展を促すため、多様なモダリティと難易度レベルにわたる 37 の手続き的に生成されたタスクを備えた統一ベンチマーク「Agentick」を導入する。

原著者： Roger Creus Castanyer, Pablo Samuel Castro, Glen Berseth

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Roger Creus Castanyer, Pablo Samuel Castro, Glen Berseth

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

世界で最も優れた「問題解決者」は誰かを突き止めようとしていると想像してください。そこには、非常に異なる 3 種類の参加者がいます。

白紙の石板（The Blank Slate）: 何も知らず、試行錯誤を通じてすべてを学ばなければならないロボット（歩き方を学ぶ赤ん坊のようなもの）。
百科事典（The Encyclopedia）: ほぼインターネット全体を読み込んだ超優秀なコンピューターだが、現実世界で実際に何かを「行った」経験は一度もない。
ハイブリッド（The Hybrid）: 上記の両者の混合。

問題は、これまでこれらを公平に比較できなかったことです。マラソン選手、チェスのグランドマスター、そして水泳選手を全員に「レースを走れ」と命じて比較しようとするようなものです。水泳選手は溺れ、チェスの選手は道に迷ってしまいます。

「Agentick」の登場です。

この論文の著者たちは、Agentickという新しい普遍的なテスト環境を構築しました。これは、あらゆる種類の AI が同じ競技場で競い合えるように設計された、大規模な手続き的に生成された「障害物コース」と考えてください。

障害物コース（ベンチマーク）

Agentick は単一のゲームではなく、迷路、パズル、宝探しなど、難易度が徐々に上がる37 の異なるミニゲームの集合体です。これらのゲームは、以下の 6 つの特定のスキルをテストします。

ナビゲーション: 道を見つけることができるか？
計画: 先を見越して考えられるか？
推論: 論理パズルを解けるか？
記憶: 10 手前の出来事を覚えているか？
一般化: 新しいルールに適応できるか？
チームワーク: 他者と協力（または対抗）できるか？

普遍の翻訳機（インターフェース）

ここが魔法のトリックです。Agentick はゲームのあらゆる瞬間において、5 つの異なる言語を同時に話します。

「白紙の石板」（強化学習：RL）向け: ピクセル化されたビデオゲーム画面（昔ながらのアーケードゲームのようなもの）を表示します。
「百科事典」（大規模言語モデル：LLMs）向け: 壁を #、空きスペースを . として表す ASCII 文字によるテキストベースの地図、または文章による説明を表示します。
人間向け: 3D スタイルのビューを表示します。

これにより、誰も不利益を被ることはありません。「百科事典」はピクセルの意味を推測する必要がなく、「白紙の石板」はルールを理解するために小説を読む必要もありません。彼らはすべて、世界の状態を全く同じように把握しますが、それぞれが最も得意とする形式でそれを見ます。

結果：誰が勝ったか？

研究者たちは、誰が最も優れたパフォーマンスを発揮したかを確認するために、90,000 回以上のゲームを実行しました。彼らが発見したことを、シンプルな比喩を用いて以下に示します。

唯一の英雄はいない: 「最高の AI」という存在はありません。それはタスクによります。
- 白紙の石板（RL）は、計画とチームワークにおいて驚異的でした。反復を通じてゲームの正確なメカニズムを学び、卓越した戦術家となりました。
- 百科事典（LLMs）は、ナビゲーションと一般化において優れていました。あまりにも多くの情報を読み込んでいるため、事前に練習する必要なく、新しい迷路での正しい経路を推測することができました。
- 結論: 最も賢い AI（GPT-5 mini）でさえ、満点の約**30%**しか達成できませんでした。現在の AI が達成できることと、達成すべきことの間には、まだ巨大な隔たりがあります。
「思考」のトリック: AI にどのように考えさせるかが、AI の大きさよりも重要です。
- 研究者が LLMs に行動する前に「ステップバイステップで考えよ（Chain-of-Thought という手法）」と指示したところ、そのパフォーマンスは3 倍、あるいは 10 倍に跳ね上がりました。まるで学生に、「推測するだけでなく、まず論理を書き出せ」と指示したようなものです。すると、彼らはパズルを格段にうまく解くようになります。
短く簡潔な方が優れている: 地図をナビゲートしようとする AI にとって、長い派手な説明よりも**テキストグリッド（ASCII）**の方が効果的でした。
- 誰かに道案内をする様子を想像してください。「左に壁がある部屋に立っています…」という文章の段落よりも、記号（#＝壁、.＝道）を使ったシンプルな地図の方が、コンピュータにとって処理しやすいことが多いのです。コンパクトな記号は、空間推論においてより効率的でした。

なぜこれが重要なのか

この論文は、真に有能で自律的なエージェント（単独で行動できるロボットやソフトウェア）を構築するためには、これらの異なる種類の AI を別々の世界として扱うのをやめる必要があると主張しています。Agentick は、各タイプがどこで輝き、どこで失敗するかを把握するための共通の基盤を提供します。

それは、AI の未来が単にモデルを大きくすることや、より長く訓練することにあるのではなく、「白紙の石板」の「実践による学習」と「百科事典」の「世界知識」を組み合わせ、それらから最良の結果を引き出すための適切な「プロンプト（指示）」を使用することにあることを示唆しています。

要約すると: Agentick は、チェス選手、水泳選手、そしてランナーを同じアリーナで公平に裁くことができる最初の審判です。それは、私たちが進歩を遂げた一方で、完璧な自律型エージェントを構築するにはまだ程遠いことを証明しています。

技術的サマリー：Agentick：汎用逐次意思決定エージェントのための統一ベンチマーク

問題提起

自律エージェントに関する研究は、ゼロから学習する深層強化学習（RL）エージェントから、事前学習された世界知識を活用する基盤モデル（FM）エージェント（LLM および VLM）まで、広範なスペクトラムにわたっています。この多様性にもかかわらず、重要なギャップが存在します：これらのパラダイム間で公平な比較を可能にする統一ベンチマークは存在しません。 既存のベンチマークは通常、特定のエージェントタイプ向けに設計されています（例えば、RL 向けのピクセルベース環境や LLM 向けのテキストベースゲームなど）。そのため、インタラクションに基づく学習と事前学習された知識の組み合わせが、完全に能力を備えたエージェントを構築するために必要かどうかを評価することは不可能です。さらに、現在のベンチマークは、トレーニングを支援するインフラが欠けている、能力を特定の次元に分解していない、またはアーキテクチャバイアスを防ぐ標準化された観測モダリティを提供していないという問題を抱えています。

手法：Agentick ベンチマーク

著者は、RL、LLM、VLM、ハイブリッド、および人間エージェントを含む、エージェント設計の全スペクトラムにわたる公平な評価をサポートするためにゼロから設計されたAgentickというベンチマークを提示します。このベンチマークは、以下の 4 つの指針原則に基づいて構築されています。

パラダイムの普遍性: 各タスクは、5 つの同期された観測モダリティを同時に露出します。
- LLM 向けの ASCII テキストグリッド。
- 自然言語による記述。
- 構造化された辞書。
- VLM および CNN ベースの RL 向けの 512×512 等角投影ピクセルレンダリング。
- プログラム型エージェント向けの生 numpy 状態配列。
  これにより、入力形式によっていかなるエージェントタイプも不利になることがありません。
能力の分解: 単一の集計スコアの代わりに、評価は6 つの能力カテゴリに分解されます。
- ナビゲーション（8 タスク）
- 計画（9 タスク）
- 推論（8 タスク）
- メモリ（4 タスク）
- 一般化（3 タスク）
- マルチエージェント協調（5 タスク）
  これにより、特定の強みと弱みを特定するための「レーダーチャート」プロファイリングが可能になります。
トレーニングファースト設計: このベンチマークには、プログラムによるタスク相互作用のためのコーディング API、全 37 タスクに対するオラクル参照ポリシー、および HuggingFace で利用可能な事前構築された教師あり微調整（SFT）データセット（12 万〜50 万オラクルエピソード）が含まれています。環境は、並列 RL トレーニングのためにベクトル化可能です。
制御された難易度: タスクは4 つの難易度レベル（易しいから専門家レベルまで）を備えており、シードごとに一意のレイアウトを確保するために手続き的に生成されます。グリッドサイズ、制約の複雑さ、およびエピソード長がスケーリングされます。

評価指標: 主要な指標は**オラクル正規化スコア（ONS）**です。
$ONS = \frac{\text{agent\_return} - \text{random\_baseline}}{\text{oracle\_return} - \text{random\_baseline}}$
これは、ランダムなベースラインと強力な参照ポリシー（オラクル）に対するパフォーマンスを正規化し、タスク間比較を可能にします。

実験設定: 著者は、37 タスク、4 つの難易度レベル、およびタスク - 難易度ペアあたり 25 のシード（合計 9 万エピソード超）にわたって 27 構成を評価しました。評価対象のエージェントには以下が含まれます。

最先端 LLM: GPT-5 mini、Gemini 3.1 Flash Lite、Claude Haiku 4.5。
ゼロからの RL: 密な報酬と疎な報酬でトレーニングされた PPO エージェント。
オープンウェイト LLM: Qwen3 および Qwen3.5 モデル（0.8B から 4B パラメータ）。
ハネス: エージェントは、連鎖思考推論を促す「マルコフ推論者」ハネスを含む、異なる推論戦略でテストされました。

主要な結果

評価により、いかなる単一パラダイムもすべての能力において支配的ではないことが明らかになりました。

全体的なパフォーマンス: GPT-5 mini が最も高い全体的 ONS（0.309）を達成し、それに続いてゼロからトレーニングされた PPO（0.287）が紧随しました。しかし、最良のエージェントでさえオラクルのパフォーマンスの 3 分の 1 未満に留まっており、大幅な改善の余地があることを示しています。
能力の専門化:
- GPT-5 miniは、事前学習された知識を活用し、ナビゲーション（0.456）および一般化（0.437）で卓越しました。
- PPOは、インタラクションを通じて学習した正確で反復可能な制御が重要な計画（0.402）およびマルチエージェントタスク（0.432）で優位に立ちました。
- 推論タスクは全エージェントにとって最も弱いカテゴリであり、最良のスコア（PPO）でもわずか 0.191 でした。
ハネス設計の影響: プロンプト戦略の選択は、モデルの規模と同様に重要でした。推論者ハネス（連鎖思考）は、テストされたすべてのモデルにおいて LLM のパフォーマンスを3〜10 倍に増幅しました。例えば、Qwen3.5-4B は、標準的なマルコフハネスから推論者ハネスに切り替えることで、ONS が 0.023 から 0.228 に跳ね上がりました。
観測モダリティ: LLM エージェントにとって、ASCII 観測は自然言語を一貫して上回りました（例：Qwen3.5-4B は ASCII で 0.228 点、言語で 0.181 点）。これは、コンパクトでトークン効率的な表現が空間推論において優れていることを示唆しています。
モデルの効率性: より優れたハネスを備えた小型モデルは、より弱い設定の大型モデルを上回りました（例：推論者ハネス付きの Qwen3.5-0.8B は、それなしの Qwen3-4B を上回りました）。

意義と主張

著者は、Agentick が汎用自律エージェントへの進展を推進するために必要な実証的インフラを提供すると主張しています。その意義は以下の点にあります。

パラダイム間比較の可能化: RL、LLM、VLM、およびハイブリッドエージェントを、同じタスクで標準化された指標を用いて公平に評価する最初のベンチマークです。
RL 事後トレーニングの推進: 数学やコードなどの静的ドメインにおける現在の RLVR（検証可能報酬からの強化学習）の成功を超えて、真の逐次的、確率的、インタラクティブな環境における基盤モデルのRL 事後トレーニングのための訓練場として機能します。
根本的なギャップの露呈: 結果は、複雑な逐次意思決定、特に推論および長期的な計画において、現在のアプローチが不十分であることを浮き彫りにしました。これは、FM 推論と RL 訓練された制御を組み合わせるハイブリッドアーキテクチャが必要であることを示唆しています。
研究上の有用性: 構成可能なハネス、オラクルデータセット、およびライブリーダーボードを提供することで、エージェントの足場作り、カリキュラム学習、および観測モダリティがエージェントのパフォーマンスに与える影響の研究を促進します。

本論文は、現時点では単一のアプローチが支配的ではないものの、このベンチマークはパラダイム間を効果的に区別し、真の汎用自律エージェントを構築するための今後の広範な研究課題を浮き彫りにしたと結論付けています。