技術要約: ReGround

問題提起

視覚言語モデル（VLM）は、多段階の推論プロセスにおいて、頻繁に**視覚的グラウンディングの減衰（visual grounding decay）**に陥ります。推論チェーンが長くなるにつれ、モデルの言語的バイアスへの依存度が高まり、画像トークンへの注意が減少していきます。著者らは、この劣化を示す一貫したシグネチャを特定しました。2,510件の再検証サンプルにおいて、画像トークンに対するアテンション・エントロピーは、第1ラウンド（Round 1）の推論中に著しく低下し、介入なしには回復しないことが示されています。

この減衰現象は先行研究でも文書化されていますが、決定的なギャップが残っています。単に視覚的証拠を再注入するだけでは、修正が保証されないという点です。本論文は、**診断の質（diagnostic quality）**こそが決定要因であると断言しています。ターゲットを絞った自己診断がなければ、視覚的な再検証は「有害な二次的な疑念（harmful second-guessing）」を引き起こし、正しい回答を上書きしたり、エラーからの回復に失敗したりする可能性があります。逆に、効果的な再検証には、画像の再注入と、意味のある標的を絞った診断的な手がかり（diagnostic cue）の両方が必要です。

手法: ReGround フレームワーク

ReGroundは、VLMがグラウンディングの失敗を自律的に診断し、視覚的証拠を選択的に再検証することを教えるための、ツールを使用しない2段階のフレームワークです。これは、アーキテクチャの変更や外部ツール（クロッピングやズーミングツールなど）を必要としません。

ステージ 1: コールドスタート教師あり微調整 (SFT)

本フレームワークは、**再検証トリガー（Re-examination Trigger）と視覚的自己診断（Visual Self-Diagnosis）**を用いた特殊なトレーニングデータセットを構築します。

1. 再検証トリガー・ポリシー: すべてのサンプルに再検証が必要なわけではありません。システムは以下の3つのステップを通じて初期回答をフィルタリングします。

   • 正解か？ (Is Correct?): 回答が誤っている場合、再検証は無条件にトリガーされます。
   • グラウンディングされているか？ (Is Grounded?): 回答が正しい場合、判定モデル（Qwen2.5-VL-72B）が、視覚的属性の網羅性、代替案の排除、ヘッジング（言葉の濁し）の不在、および視覚的アンカリングの4つの基準を用いて、その推論が真にグラウンディングされているかを評価します。正解であってもグラウンディングされていない場合は、再検証がトリガーされます。
   • 検証可能か？ (Is Verifiable?): 正解かつグラウンディングされている回答に対しては、確率的なトリガー（$\epsilon$）が適用され、再検証が検証としても機能することをモデルに学習させます。
   • No-ReGround: 確率的トリガーなしで全てのチェックを通過したサンプルは、過剰なトリガーを防ぐために、シングルターンの軌跡として保持されます。

2. 視覚的自己診断と再注入: トリガーが発生すると、システムは<reground>タグ内に診断的な手がかりを生成します。3つの情報の再注入モードが使用されます。

   • 修正 (Correction): 注意を向けるべき視覚的な誤認の可能性が高い箇所を特定します。
   • グラウンディング (Grounding): 回答を明かすことなく、推測的な言語を具体的な空間座標や要素に固定（アンカー）することを強制します。
   • 検証 (Verification): 論理的な連鎖をダブルチェックするために、画像を包括的に再注入します。

3. 能力のブートストラップ: データ構築中、より強力なモデルのバリアント（例：72B）が診断的な手がかりを生成します。ポリシーモデル（例：7B）は、SFT中にこれらの手がかりを自律的に生成することを学習します。トレーニング終了後、強力なバリアントは破棄されます。

4. 軌跡のフォーマット: データはマルチターン・テンプレートにフォーマットされます：初期推論 $\rightarrow$ <reground> (診断 + 再注入) $\rightarrow$ 修正された推論 $\rightarrow$ 最終回答。

ステージ 2: 強化学習 (GRPO)

ポリシーは、トリガー行動を較正するための非対称報酬関数を用いたグループ相対方策最適化 (GRPO) を用いて洗練されます。

• 再グラウンディング報酬 ($R_{reg}$): 有効な<reground>スパンの構造的な存在に対して報酬を与えます。
• 正確性報酬 ($R_{acc}$): 正しい最終回答に対して報酬を与えますが、負の相互作用項を含みます。これにより、不必要に再検証をトリガーした場合に、正解による限界的な利益をペナルティとして課し、盲目的な推測を防ぎます。
• フォーマット・ペナルティ ($R_{form}$): 構文エラーに対してペナルティを課します。

この報酬設計は非対称な分布を作り出します。最高の報酬は成功した回復（再グラウンディング + 正解）に与えられ、「盲目的な失敗（再グラウンディングなし + 不正解）」はペナルティを受けます。これにより、モデルは「いつ」再検証すべきか、そして「どのように」再検証を効果的に使うべきかを学習します。

主な貢献

1. 減衰と回復の実証的証拠: 著者らは、アテンション・エントロピーが推論ステップの98.0%で狭まり、画像再注入後に94.4%のケースで回復することを実証しました。
2. ボトルネックとしての診断の質: 本論文は、一般的な再検証は性能を低下させる可能性がある一方で、ターゲットを絞った自己診断は、オラクル（より強力なモデル）の手がかりによる利得の79〜90%を回復させることを確立しました。
3. トリガー・ポリシーの分析: 過剰なトリガーは正しい回答を損ない、保守的なトリガーは回復可能な利得を放棄してしまうことを明らかにしました。バランスの取れたポリシーが不可欠です。
4. 実用的なツールフリー・フレームワーク: ReGroundは、外部ツールやアーキテクチャの変更に頼ることなく、画像の再注入と自己診断のみを用いて、複数のベンチマークにおける性能を向上させます。

実験結果

実験は、2つのVLMバックボーン（Qwen2.5-VL-7BおよびQwen3-VL-8B）を用い、8つのベンチマーク（MathVista, MathVision, MathVerse, HallusionBench, MMBenchなど）に対して行われました。

• 性能向上: Qwen2.5-VL-7Bにおいて、ReGroundは8つのベンチマークのうち5つで最高性能を達成しました。特に数学的推論タスク（例：MathVistaで+3.8、MathVerseで+4.5）で大幅な改善が見られ、視覚的ハルシネーションを対象としたHallusionBenchでは+6.8の大幅な向上を記録しました。
• クロスバックボーン転移: 同様のトレーニングレシピをQwen3-VL-8Bに適用したところ、ハイパーパラメータの再調整なしに、全8ベンチマークで一貫した利得が得られました。
• 効率性: ReGroundはベースラインと比較して、中程度の推論オーバーヘッド（総トークン数の1.62倍、レイテンシの1.76倍）が発生しますが、Thymeのようなツール拡張型ベースラインよりも速度と精度の両面で優れています。
• アブレーション研究:
  • メカニズム: 視覚的再注入は不可欠であり、テキストのみの反省（reflection）では、わずかな利得しか得られません。
  • データ構成: 「No-ReGround」サンプルを除去すると、トリガー率が約85%まで急上昇し、精度が低下しました。これは、負の例の必要性を裏付けています。
  • 手がかりの質: ジェネリックな手がかり（例：「もう一度見て」）は、性能を損なう可能性があります。ターゲットを絞った自己診断こそが重要な変数です。

重要性と主張

本論文は、視覚的証拠を単に再検証するという行為そのものではなく、診断の質こそが、視覚的自己修正を成功させる中心的な要因であると主張しています。ReGroundは、高品質な診断的手がかりとバランスの取れたトリガー・ポリシーを用いて訓練すれば、VLMが自律的に、いつ視覚的グラウンディングを見失ったのか、そしてどの特定の証拠を再確認すべきかを特定できることを示しています。

著者らは、ReGroundを、多段階推論における「視覚的グラウンディングの漂流（visual grounding drift）」という特定の失敗モードに対処する、補完的でツールを使用しないメカニズムとして位置付けています。診断的ガイダンスの影響を再検証の形式から分離することで、本研究は、将来のグラウンデッドな推論の改善は、外部ツールやモデルのスケール拡大だけに頼るのではなく、自己診断を行い、特定の視覚的証拠を標的にする能力を高めることに焦点を当てるべきであることを示唆しています。