技術的サマリー：VideoGameBench

問題定義

ビジョン・ランゲージモデル（VLM）は、高度な数学やコーディングといった複雑な人間が挑むタスクにおいて能力を示してきたが、人間の先天的な帰納的バイアスに依存するタスク、具体的には知覚、空間的ナビゲーション、および記憶管理に依存するタスクを実行する能力については、未だ十分に研究されていない。既存のベンチマークは、しばしば簡略化されたグリッドワールド、テキストのみの環境、またはゲーム固有の足場（例：内部状態へのアクセス、視覚的オーバーレイ、または専用ツール）に依存しており、これらは現実世界の相互作用の制約を反映していない。本論文は、1990年代（32ビット時代）の実際のビデオゲーム、特に人間にとって直感的に設計され、これらの同じ帰納的バイアスを活用して作られたゲームが、理想的なテストベッドであると主張する。扱われる核心的な問題は、最先端のVLMが、ゲーム固有のヒント、内部状態データ、または人間の介入なしに、純粋な視覚入力と高レベルの目的記述のみを使用して、ビデオゲーム全体を完了できるかどうかを評価することである。

手法

著者らは、1990年代の10の人気のビデオゲーム（Game Boy、Game Boy Color、MS-DOSプラットフォーム）と、13のゲームからなる開発セットで構成されるVideoGameBenchを導入する。このベンチマークは、以下の3つの特徴を備えて設計されている：

1. 現実性と複雑性：先行研究の簡略化された環境を超え、計画、パズル解決、戦略的思考を必要とする2Dおよび3D環境を利用する。
2. 一般化テスト：過学習を防ぎ、エージェントが未見の環境に適応する能力をテストするため、テストゲームの3つは秘密にされている。
3. 最小限の足場：エージェントは、生のゲームフレームと、操作および目的の高レベル記述のみを受け取る。視覚的オーバーレイ、内部RAMへのアクセス、またはゲーム固有のツールは許可されない。

エージェントフレームワーク（VG-Agent）

評価には、ReAct（推論、行動、観察）フレームワークに基づくVG-Agentが採用される。エージェントは以下の通り動作する：

• 生のゲームフレームを入力として受け取る。
• 自然言語で行動を出力する（例：press_key "A"、click [x,y]）。
• 記憶と計画のためのテキストスクラッチパッドを維持する。
• 厳格な制約下で動作する：人間の介入なし、画面以外のゲーム状態へのアクセスなし、無限ループを防ぐための実行時間の制限。

VideoGameBench Lite

推論能力を推論遅延（リアルタイム設定における主要なボトルネック）から分離するため、著者らはVideoGameBench Liteを導入する。この変種では、エージェントが情報を処理し行動を決定している間、ゲームエミュレータが一時停止し、これによりリアルタイムのゲームを実質的にターンベースの相互作用に変換する。

評価指標

進捗は知覚的画像ハッシュを使用して自動的に追跡される。システムは、オンラインの攻略動画（例：YouTube）からチェックポイント画像をスクレイピングし、ハミング距離を使用してエージェントの現在のゲームフレームと比較する。スコアは、到達した最も遠いチェックポイントに対するゲーム完了の割合に基づいて計算される。

主要な貢献

1. VideoGameBenchベンチマーク：補助情報なしで、リアルタイムかつ複雑で多様なゲーム環境におけるVLMを評価するための標準化された挑戦的なベンチマーク。
2. VideoGameBench Lite：反応時間の制約から推論パフォーマンスを分離するための遅延制御型の変種。
3. 自動化された進捗追跡：スクレイピングされた攻略動画に対する知覚的ハッシュを使用した微細なスコアリングのための新規手法。二値の通過/失敗指標を回避する。
4. 実証的分析：最先端モデル（GPT-4o、Claude 3.7 Sonnet、Gemini 2.5 Pro、Llama 4など）の包括的な評価により、現在のVLM能力における重大な限界を明らかにする。

結果

実験により、最先端のVLMがどのゲームの初期段階を超えて進展することに大きく苦労していることが明らかになった：

• VideoGameBenchのパフォーマンス：最も性能の優れたモデルであるGemini 2.5 ProとClaude 3.7 Sonnetは、総合スコアがわずか**0.48%**であった。ほとんどのモデルは、主要なゲームの大部分で0%のスコアを獲得し、最初の主要なチェックポイントさえも到達できなかった。
• VideoGameBench Liteのパフォーマンス：遅延が除去された場合でも、パフォーマンスは低いままである。最良のモデルでも、Liteサブセットでわずか**1.6%**のスコアであった。リアルタイム設定と比較して定量的にパフォーマンスが向上したが、エージェントはゲームを完了したり、重要なマイルストーンに到達したりすることはできなかった。
• 練習ゲーム：より単純な練習タスク（場所へのクリック、マウスドラッグ、2Dナビゲーション）において、モデルは混合した結果を示した。一部のモデルは基本的なクリックタスクを完了できたが、ドラッグやナビゲーションに苦労しており、空間制御と実行における根本的な弱点を示唆している。

失敗モード

本論文は、3つの主要な失敗モードを特定している：

1. 知と行のギャップ：モデルはしばしば目標を正しく特定する（例：「ドアに向かって下へ移動する」）が、誤った行動を実行する（例：キャラクターをドアに合わせずに「下」キーを繰り返し押す）、これにより停滞する。
2. 視覚処理エラー：モデルは頻繁に視覚入力を誤解する。例えば、敵が死んでいるのに生きていると信じたり、発生しなかったNPCとの相互作用を幻覚したりする。
3. 記憶と計画の欠如：エージェントは長期的な目標やゲーム状態を追跡できない。記憶を上書きしたり、主要な目標を忘れたりする（例：『Pokémon Crystal』でのパッケージ配送）、または『Doom II』のゾーン間を往復するなど、反復的なループに陥ることが多い。

意義と主張

本論文は、VideoGameBenchがAIエージェントにおける人間のような帰納的バイアス（知覚、空間推論、記憶）の評価を形式化すると主張する。結果は、コーディングや数学における強力なパフォーマンスにもかかわらず、現在の最先端VLMが、動的環境におけるリアルタイムかつマルチモーダルな相互作用に必要な堅牢性を欠いていることを示唆している。

著者らは、このベンチマークが一般化と自律性に対する厳格なテストとして機能することを強調している。ゲーム固有の足場を排除することで、このベンチマークは、現在のエージェントが内在的な推論能力ではなく、外部の支援に大きく依存していることを浮き彫りにする。著者らは、この形式化が、新しい未見の環境で動作するエージェントの開発を促進し、ロボット工学やドローン制御などの現実世界の具現化AI応用への潜在的な影響を伴うことを期待している。本論文は控えめなトーンを維持しており、ベンチマークが1990年代のゲームに限定されているものの、現在のAI能力と人間レベルのタスク完了の間のギャップを理解するための必要な基盤を提供していると述べている。