技術要約：航空用MLLMエージェントのためのゼロショット・ミッションレベル評価

問題提起

マルチモーダル大規模言語モデル（MLLM）は、自然言語の指示と視覚的観測をアクションへとマッピングする、エンボディド・エージェントの推論モジュールとしてますます活用されている。しかし、凍結された汎用目的のMLLMが、タスク固有の適応なしに、単一の高レベルな指示から複雑で長期的なエンボディド・タスクをどの程度実行できるのかは依然として不明である。VLN（Vision-Language Navigation）やオブジェクトナビゲーションといった既存のベンチマークは、通常、パスレベルの指示や分解されたサブゴールを評価するものである。これらの設定では、MLLMが単一のクローズドループ・エピソードにおいて、知覚、計画、制御、および報告を統合的に調整できるかどうかを評価することはできない。航空環境は、視点の感度、オープンエンド性、および連続的なポーズ制御の必要性により、特に過酷なテストベッドとなるが、現在の航空ベンチマークは、ルート追従や孤立したオブジェクト探索に主眼を置いており、完全なミッション遂行には至っていない。

手法：MissionBench

これらのギャップに対処するため、著者らは、航空3D環境におけるMLLMのミッションレベルの評価のために設計されたベンチマークであるMissionBenchを導入する。

ベンチマークの構成

• 範囲: このベンチマークは、Unreal Engine 5およびCosys-AirSim上に構築された5つの高忠実度シミュレーション環境（Neighborhood、City、Forest、Savannah、AirSimNH）に分散された120のミッションで構成されている。
• タスクファミリー: ミッションは、現実世界のUAV運用に基づいた4つのファミリーに分類される：
  1. 報告（Reporting）: 観測からの情報抽出（例：ナンバープレートの読み取り）。
  2. 点検（Inspection）: オブジェクトを視認可能な構成に到達すること（例：火災の点検）。
  3. 操作（Manipulation）: 物理的なアクションの実行（例：ペイロードの配送や着陸）。
  4. パトロール（Patrol）: 環境構造に沿ったルートの追従。
• 入出力: 各ミッションは単一の自然言語指示から始まる。エージェントは、エゴセントリックなRGB画像（現在および最大2フレーム前までのフレーム）とアクション履歴を受け取る。エージェントは、バウンディングボックス、推論プロセス、連続的な大きさ（方向と距離/角度）を持つアクション・プリミティブ、および完了フラグを含む構造化されたレスポンスを出力しなければならない。
• 制御: 固定された3mステップのような離散的なプリミティブを使用する先行研究とは異なり、MissionBenchはエージェントに連続的なアクションの大きさを予測することを要求し、これにより、より微細な視点選択と制御を可能にしている。
• 評価: クローズドループ・フレームワークを用いて、以下の複数の指標でエージェントを評価する：
  • 成功率（Success Rate, SR）: タスク固有の完了（例：正しいテキスト抽出、近接閾値、またはパトロールにおける軌道の重なり）。
  • オラクル成功率（Oracle Success Rate, OSR）: エージェントがターゲットの閾値距離内に一度でも到達したかどうか。これにより、ナビゲーションの失敗と知覚/報告の失敗を区別する。
  • ミッション進行度（Mission Progress, MP）: 目標に対する進行の連続的な尺度。
  • ステップ効率（Step Efficiency, Eff）および衝突率（Collision Rate, CR）: リソース使用量と空間認識の尺度。

実験設定

著者らは、ゼロショット設定（航空特化型のファインチューニングなし）において、22のオープンソースおよびクローズドソースのMLLMを評価した。モデルには、Gemini、GPT、Claude、Qwen、およびInternVLの各ファミリーの様々なサイズが含まれる。人間によるベースラインは、同一のテキスト-アクション・インターフェースおよび連続的なキーボード制御の両方を用いて確立された。

主な結果

• 性能ギャップ: 最も強力なモデルであるGemini 3.1 Proでさえ、成功率（SR）はわずか34.8%であり、連続的なキーボード制御を用いた人間の84.4%（およびMLLMインターフェースに制限された人間の70.0%）を大幅に下回った。これは、現在の汎用モデルにとって、多段階のエンボディド・タスクがいかに困難であることを浮き彫りにしている。
• スケーリングの傾向: 性能は、ファミリー内においてモデルのスケールとともに一般的に向上する（例：Gemini 3.1 ProはFlashバリアントを凌駕し、Qwen 27Bは2Bを凌駕する）。これは、より大規模な汎用モデルが、より強力なゼロショット・エンボディド能力を備えていることを示唆している。
• 知覚 vs 実行: 単一フレームの空間知覚（バウンディングボックスのローカライゼーションと距離推定）と、エンドツーエンドのミッション成功との間の強い相関関係は見られなかった。知覚プロキシにおいて高い性能を示すモデルが、必ずしもミッションに成功するわけではなく、その逆も同様であった。これは、ミッションの成功には、静的な知覚を超えた、多段階の計画や適応的な推論を含む能力が必要であることを示している。
• 失敗モード: 分析により、明確な失敗パターンが明らかになった：
  • 早期終了（Premature Termination）: ターゲットから遠く離れているにもかかわらず、成功を宣言するエージェント。
  • ドリフトと振動（Drift and Oscillation）: 収束することなくランドマークの周囲を旋回し、ステップ予算を使い果たすエージェント。
  • 目的未達成（Unmet Objectives）: ターゲットの付近には到達しているが、正しい情報を抽出できていないエージェント（高いOSR、低いSR）。
• アブレーション研究: 設計上の選択肢（温度、解像度、履歴の長さ、出力フィールド）に関する実験により、ミッションの成功は構造化された出力フォーマット（特に推論フィールド）と適度な確率性（温度）に対して非常に敏感である一方、より高い解像度は粗いナビゲーションよりも最終的なタスク完了に主に寄与することが示された。

意義と主張

本論文は、MissionBenchが、連続的な大きさのポーズ制御と明示的な報告を伴うクローズドループ設定において、複数のミッションファミリーにわたって、凍結されたオフザシェルフのMLLMを統合的に評価する初めてのベンチマークであることを主張している。

著者らは以下のように論じている：

1. ミッションレベルの能力は多面的である: それは、空間知覚を多段階の計画および適応的な推論と調整することを必要とし、現在のMLLMは特定のトレーニングなしにはこれらを統合することに苦慮している。
2. スケーリングは有望であると同時にリスクも伴う: スケーリングはゼロショットのエンボディド能力を向上させる一方で、シミュレーションの性能と現実世界での信頼性の間のギャップは残っている。汎用モデルにおけるこれらの能力の出現は、現実世界のシステムにおける安全性と制御不能な能力の出現に関する懸念を引き起こす。
3. 評価の必要性: 標準的なプロキシ・タスク（静的な知覚など）は、エンボディド・ミッションの成功を予測する指標としては不十分である。制御の不安定性や早期終了といった特定の失敗モードを診断するためには、クローズドループのミッションレベルの評価が必要である。

本研究は、汎用的なMLLMはエンボディドAIとしての可能性を示しているものの、推論、計画、および安全制約に関するさらなる発展なしには、安全性が極めて重要な航空ミッションへの信頼できるデプロイメントにはまだ準備ができていないと結論付けている。