技術要約：AIエージェントのための適応型検証器を用いたマルチモーダル強化学習

問題提起

マルチモーダル強化学習（MMRL）で訓練されたエージェント的推論モデルは、能力を向上させているが、その多くは最終的な回答のみに由来する疎な結果ベースの報酬によって最適化されている。このアプローチは、中間的な推論プロセスの質に対するガイダンスが限定的であり、視覚的な証拠との一貫性を欠いた、流暢ではあるが根拠のない回答を生成してしまう「視覚的ハルシネーション（幻覚）」を頻繁に引き起こす。

既存の手法は、グラウンデッド（根拠付けられた）な教師あり微調整（SFT）アノテーションのキュレーションを通じてこれに対処しようと試みてきたが、経験的な観察によれば、SFT単体では不十分であることが示されている。MMRLにおいて、グラウンディングの信号が明示的に検証されない場合、モデルは特に報酬が疎な状況下で、根拠のない解へと崩壊（コラップス）する傾向がある。さらに、MMRLにおいてより細粒度で豊かな報酬を計算することは困難である。なぜなら、サンプルごとに異なるスコアリング関数が必要となる場合があり、またティーチャーモデル（教師モデル）がノイズの多い報酬信号を提供することがあるためである。

メソドロジー：Argosフレームワーク

著者らは、マルチモーダル推論モデルをエージェント的タスクのために訓練するために設計された、原理的な検証フレームワークであるArgos（Adaptive Reward for Grounded & Objective Scoring）を導入する。Argosは、MMRLをマルチオブジェクティブ（多目的）最適化問題として再定義し、各訓練サンプルを評価するために、ティーチャーモデルとルールベースのスコアリング関数のプールから動的に選択を行う。

1. 適応型検証器アーキテクチャ

Argosは、モデルの応答（視覚入力 $v$、質問 $q$、推論プロセス $r$、および予測回答 $\hat{y}$）を解析し、マルチオブジェクティブな報酬プロセスを適応的に構成するLMMエージェントとして機能する。Argosは以下の3つの次元を評価する：

• 最終回答の正確性（Final Response Accuracy）： 完全一致、相対的な数値精度（5%の許容誤差を含む）、または言語モデルによる意味的等価性を用いて計算される。
• 時空間的グラウンディング（Spatiotemporal Grounding）：
  • 空間的（Spatial）： 画像に対して、システムは推論プロセス内で言及されている2D座標を抽出する。オープンボキャブラリの物体検出モデル（例：DINO）を使用して疑似的な正解バウンディングボックスを生成し、セグメンテーションモデル（例：SAM-2）を使用してマスクを精緻化する。スコアはバイナリであり、予測された点がセグメントされたオブジェクト内に存在するかどうかをチェックする。合成コンテンツ（チャート、地図）については、ポインティングモデルが使用される。
  • 時間的（Temporal）： ビデオに対して、システムはフレームレベルの観測とセグメントレベルのイベントを抽出する。フレームレベルのスコアは空間的グラウンディングと同様に計算される。セグメントレベルのイベントは、強力なティーチャー推論モデルによって、対応するビデオセグメントに対する視覚的・意味的な正確性が検証される。
• 推論の質（Reasoning Quality）： より大規模なティーチャーモデルが、質問、推論プロセス、および視覚入力を条件とした予測回答の条件付き確率を計算し、推論と最終回答の間の論理的一貫性を測定する。

2. ゲート付き集約（Gated Aggregation）

ノイズの多い中間報酬が正しい結果からモデルを逸脱させることを防ぐため、Argosはゲート付き集約関数を採用している。もし結果の正確性（$R_{acc}$）が閾値 $\tau$ を下回る場合、最終的な報酬は単純に $R_{acc}$ となる。$R_{acc} \ge \tau$ である場合、最終的な報酬は、結果、グラウンディング、および推論の質の加重平均となる：
$$R_{final} = \frac{w_A R_{acc} + w_G R_{spatial} + w_R R_{reasoning}}{w_A + w_G + w_R}$$

3. データキュレーション・パイプライン

著者らは、SFTのコールドスタート用に、視覚的にグラウンデッドされた推論トレースを生成するパイプラインを提案している：

1. プロポーザル生成： ティーチャーモデル（GLM-4.1V）と物体検出（Molmo-7B）を使用し、視覚入力から2D座標と時間セグメントを抽出する。
2. トレース生成： ティーチャーモデルに対し、座標がオーバーレイされた画像とタイムスタンプを提示することで、これらの点や時間セグメントを明示的に参照する推論トレースを生成させる。
3. 検証とフィルタリング： Argosが生成されたロールアウトをスコアリングする。低品質な生成（例：回答は正しいがグラウンディングが不十分なもの）を持つサンプルは除外され、SFTデータセットが高品質でグラウンデッドな例のみで構成されることを保証する。

4. 学習

モデル（Qwen2.5-VL 7Bベース）は、キュレーションされたデータセットを用いてSFTを行い、続いてGRPOアルゴリズムを用いたMMRLを受ける。アドバンテージは、Argosから集約された報酬に基づいて計算される。

主な貢献

1. Argosフレームワーク： 適応的なツール選択機能を備えた、MMRLのための初の原理的な検証フレームワーク。これは、精度、グラウンディング、および推論の質を同時に評価するために、サンプルごとに異なるスコアリング関数（ティーチャーモデルおよびルールベース）を動的にルーティングできる。
2. グラウンデッドなデータキュレーション： 空間（2D点）および時間（時間セグメント）に視覚的にグラウンデッドされた推論トレースを生成するための新しいパイデラインと、低品質なロールアウトを除去するためのフィルタリングメカニズム。
3. 経験的な優位性： グラウンデッドなアノテーションを用いたSFTのみに頼ることは不十分であり、RL段階におけるオンラインの適応型検証が、報酬ハッキングや根拠のない解への崩壊を防ぐために不可ニであることを実証した。
4. 最先端の性能（SOTA）： 本手法は、空間推論、視覚的ハルシネーションの低減、エージェンティックなタスク計画、およびロボット制御を含む多様なエージェント・ベンチマークにおいて、SOTAの結果を達成した。

実験結果

モデルはゼロショット設定で複数のベンチマークにおいて評価された：

• 空間推論： BLINKにおいて、Argosは56.0%の精度を達成し、ベースラインのQwen2.5-VL（54.4%）およびより大規模なVideo-R1（49.0%）を上回った。MindCube-tおよびCV-Benchにおいても、特に3D理解において顕著な向上を示した。
• 視覚的ハルシネーション： Argosはハルシネーションを大幅に減少させ、CounterCurateで85.3%（ベースラインは61.4%）、HallusionBenchで49.7%を達成した。特筆すべきは、Video-R1がHallusionBenchにおいてベースモデルよりも低い性能を示した一方で、Argosは高い性能を維持したことである。
• エンボディドAI（Embodied AI）： EB-Alfredベンチマークにおいて、Argosは「複雑な」タスクにおいてベースモデルと比較してタスク成功率を25%以上向上させた。EB-Habitatでは、複雑な視覚タスクにおいてCoTプロンプトを用いたベースラインを約7%上回った。
• ロボティクス： 連続制御のためのLIBEROベンチマークにおいて、Argosは84.2%の平均成功率を達成し、大幅に少ない訓練サンプル数（85k vs 270k）でありながら、Video-R1（83.5%）を含むベースラインを上回った。

意義と主張

本論文は、Argosが、現在のマルチモーダルRLに蔓延している「報酬ハッキング」および「根拠のない推論」の問題に対する堅牢な解決策を提供すると主張している。MMRLをマルチオブジェクティブ最適化問題として扱い、適応型検証器を用いてノイズの多い信号を集約することで、本フレームワークは、最終的な正確性と中間的な推論の質および視覚的グラウンディングのバランスをとる、$\delta$-パレート最適解へとポリシーを導く。

著者らは、**「グラウンデッドなSFTデータのキュレーションは必要条件であるが、十分条件ではない」**という極めて重要な洞察を強調している。RL段階においてArgosのようなオンライン検証メカニズムがなければ、エージェントは必然的に根拠のない解へと回帰する。適応的なスコアリング関数の構成は、ハルシネーションを減少させ、ロボティクスやエンボディド・ナビゲーションを含む複雑で長期的なエージェント・タスクへの汎化性能を向上させる上で効果的であることが示されている。Argosのモジュール性の高さは、タスク固有のティーチャーモデルの向上に合わせて、マルチモーダルエージェントをさらに強化できる可能性を示唆している。