技術要約: IAPO: 小規模マルチモーダルエージェントのツール利用に向けた入力アトリビューション意識型方策最適化

問題提起

本論文は、チャートやテーブルを含む視覚的質問応答（VQA）において、小規模言語モデル（SLM）エージェントに効果的なツール利用を学習させる際の課題に取り組んでいる。Proximal Policy Optimization (PPO) や Group Relative Policy Optimization (GRPO) といった強化学習（RL）手法はエージェントの性能を向上させてきたが、マルチモーダルなSLMに適用する場合、以下のような重大な限界に直面する：

1. マルチモーダル・タスクにおける不適切な報酬設計: 既存の手法は、グラウンドトゥルースのツール・トラジェトリや定義済みのフォーマットに対する完全一致に依存することが多い。しかし、マルチモーダルなタスクには、複数の有効なツール利用パスが存在する場合が多い（例：関連するチャート領域に焦点を当てるために、ハイライト、マスキング、またはバウンディングボックスの描画などはすべて有効となり得る）。厳格なフォーマットチェックは、このような柔軟性を捉えきれない。
2. 疎で脆弱な報酬: 現在のアプローチは、通常、バイナリ（正解/不正解）の成果ベースの報酬を使用している。これはフィードバックが希薄であり、モデルの中間的な意思決定プロセスを導くことができない。その結果、SLMは、真に頑健な視覚的根拠に基づいたツール選択ポリシーを学習することなく、最終的な正解を得るための偶発的なショートカットや表面的な相関関係を悪用することを学習してしまう可能性がある。
3. バニラGRPOの最適ではないパフォーマンス: バニラGRPOを用いても、マルチモーダルSLMは依然として相当数のツールの誤用を生成し続けており、これは標準的なRLアルゴリズムが、マルチモーダルなツール利用に必要な微細な意思決定を学習するには不十分であることを示している。

手法: 入力アトリビューション意識型方策最適化 (IAPO)

これらの課題に対処するため、著者らは、学生モデルの入力アトリビューションをより強力な教師モデルのアトリビューションに整合させるRLアルゴリズムである IAPO を提案する。核心となるアイデアは、生成されたツール呼び出しに対する特定の入力コンポーネントの寄与度は、ツール呼び出しの正解性と強く相関しているという点である。

主要構成要素:

1. 統合勾配 (Integrated Gradient: IG) スコア:

   • 入力プロンプトを、純粋なテキスト文脈 ($P$)、ユーザークエリ ($R$)、画像プレースホルダー ($I$)、およびツール定義 ($T$) という意味ブロックに分解する。
   • この手法は、生成されたツール呼び出しシーケンスへの各意味ブロックの寄与度を定量化するために、統合勾配スコアを計算する。
   • 具体的には、ツール呼び出しシーケンス $y'$ に対して、スコア $s(E)$ は現在の方策下での対数確率である。このスコアの入力埋め込みに対する勾配を計算し、トークンレベルのアトリビューションを $\|g_i \odot e_i\|_2$ （勾配と埋め込みの要素ごとの積のノルム）として定義する。
   • これらのトークンレベルのアトリビューションを集計することで、各意味タイプに対するブロックレベルのスコア ($O_k$) を算出する。

2. アトリビューションに基づくペナルティ:

   • より強力な教師モデル（より大きなSLMまたはRLで訓練されたモデル）が、同じ入力に対して参照用IGスコア ($\hat{b}$) を生成する。
   • 学生モデルのIGスコア ($\hat{a}$) を、KLダイバージェンスを用いて教師と比較し、アトリビューション・ペナルティ $P_A = D_{KL}(\hat{b} \parallel \hat{a})$ を形成する。
   • このペナルティは、学生モデルに対し、教師が関連性が高いと判断したもの（特定のツール定義やクエリの一部など）と同じ入力コンポーネントに注目することを促す。

3. 修正された報酬関数:

   • ある軌跡 $i$ に対する最終的な報酬は、標準的な成果ベースの報酬 ($R_{out}$) とアトリビューション・ペナルティを組み合わせたものである：
     $$R_{IAPO}^i = R_{out}^i - \lambda P_A^i$$
   • ここで、$\lambda$ はアトリビューションの整合性の強さを制御する。この密な信号は、タスクの精度を最大化するだけでなく、モデルの内部的な意思決定プロセスを教師のアトリビューション・パターンに整合させるよう方策を導く。

4. トレーニングフレームワーク:

   • 手法は2ターンのロールアウトを使用する：モデルは画像を編集するためのツール呼び出しを生成し、その後、編集された画像に基づいて推論を行い、最終的な回答を生成する。
   • 訓練にはGRPOの目的関数を用いるが、グループ相対アドバンテージを計算するために修正された $R_{IAPO}$ を利用する。

主な貢献

1. 新しい統合勾配スコア: 本論文は、異なる入力の意味ブロック（テキスト、画像、ツール定義）のツール呼び出し生成への寄与度を定量化する方法を導入し、密な監督信号を提供する。
2. IAPOアルゴリズム: 著者らは、アトリビューションベースのペナルティを利用して、SLMのツール利用に特化して設計された最初のRL手法を提案する。KLダイバージェンスを介して学生と教師のIGスコアを比較することで、IAPOは教師のツール呼び出し能力と意思決定ロジックを学生へと転移させる。
3. 実証的検証: 本論文は、バニラGRPOの訓練によって、マルチモーダルSLMにおいて継続的なツールの誤用が発生することを実証している。また、テキストのみのモデルからの報酬設計の適応は不十分であることを示し、アトリビューションの整合を図ることで性能が大幅に向上するIAPOの有効性を示している。

実験結果

本手法は、Qwen2.5-VL-3B を方策として、Qwen2.5-VL-7B（GRPOで訓練済み）を教師として、視覚的質問応答タスクで評価された。

• 性能向上: IAPOは、既存の視覚的ツール利用研究（VTool-R1, TRM, ToRL）と比較して、6つのテストセット（ChartQA, VWTQ, CharXivを含む）全体で、視覚的質問応答の精度を平均 3% 向上させた。
• ツール選択の正確性: ケーススタディにより、100ステップのバニラGRPO訓練の後でも、SLMは重大なツール選択エラー（例：列分割可能なチャートに対して行ベースのツールを適用するなど）を起こすことが明らかになった。IAPOはこれらのエラーを大幅に減少させ、モデルのツール呼び出し成功率は訓練の後半段階で100%に近づいた。
• アトリビューションの整合性: 研究では、訓練中に正しい入力部分に対するIGスコアが増加し、最終的に誤った部分のスコアを上回ることが示され、これがツールの誤用減少と相関していることが示された。7Bの教師モデルは、正しい入力と誤った入力の間でより明確なIGスコアの分離を示しており、教師によるガイダンスの妥当性を裏付けている。
• 汎化性能: IAPOは、分布外（OOD）ベンチマーク（CharXiv）において優れた汎化性能を示し、アトリビューションの整合が表面的なプロンプトの相関への過学習を防ぐのに役立つことを示唆している。

意義と主張

本論文は、IAPOが既存のRL手法よりも、マルチモーダルSLMエージェントを訓練するためのより効果的なフレームワークを提供すると主張している。その意義は以下の点にある：

• SLMのギャップを埋める: アトリビューションから派生した密なプロセスレベルの監督信号を導入することで、疎でバイナリな報酬から学習することの困難さに直面しているSLMの課題に対処している。
• バイナリ報酬を超えて: マルチモーダル設定における、完全一致やバイナリの成果報酬への依存に異議を唱え、モデルが入力にどのように注意を向けるか（アトリビューション）を整合させることが、頑健なツール利用に不可欠であることを提案している。
• RLにおける教師・学生の蒸留: 教師モデルを単なる出力の模倣としてではなく、オンラインRL訓練中の、より小さな学生モデルの内部的な意思決定プロセス（アトリビューション・パターン）を導くためのものとして活用することに成功している。

著者らは、大規模なモデルは自然に優れたツール選択能力とアトリビューション・パターンを示すが、IAPOはこれらの能力をより小さなモデルに効果的に転移させ、最も関連性の高い視覚的根拠に注意を向けさせ、マルチモーダルなツール利用タスクにおいて最先端の性能を達成させることを可能にすると結論付けている。