See Further, Think Deeper: Advancing VLM's Reasoning Ability with Low-level Visual Cues and Reflection

以下は、論文「See Further, Think Deeper: Advancing VLM's Reasoning Ability with Low-level Visual Cues and Reflection」の詳細な技術的サマリーです。

1. 問題定義

視覚言語モデル（VLM）は強化学習（RL）によって著しく改善されてきましたが、既存の手法は複雑な視覚推論タスクにおいて 2 つの決定的な限界に直面しています。

• 低レベル視覚情報の軽視: 現在のモデルは高レベルの意味理解に依存することが多く、異常検出などのタスクに不可欠な微細な視覚的特徴（エッジ、微妙な色の変化、テクスチャの詳細など）を見落としています。視覚的詳細が曖昧な場合、テキストのみの推論は誤りを招きます。
• 効果的な視覚フィードバックの欠如（オープンループ推論）: ほとんどの VLM は、「推論→回答」という線形的なオープンループ方式で動作します。一度回答が生成されると、モデルは視覚的証拠に対してその回答を再検証しません。視覚フィードバックを用いて自身の予測を検証し誤りを修正する、閉ループメカニズムが存在しません。

2. 手法：ForeSight フレームワーク

著者らは、RL によって駆動される統合的なマルチモーダル交差推論フレームワーク「ForeSight」を提案します。これにより、VLM は（低レベルツールを通じて）「さらに深く見る（See Further）」ことと、（視覚的反射を通じて）「さらに深く考える（Think Deeper）」ことを可能にします。

A. コアコンポーネント

1. 低レベル視覚ツール:
   フレームワークは、モデルが思考の連鎖（CoT）プロセス中に自律的に呼び出すことができる、基本的な画像処理ツールのキットを統合します。

   • Canny ツール: 物体の境界と構造輪郭を明確にするためにエッジを検出します。
   • ズームイン（ROI）ツール: 大域的な文脈が不十分な場合に、微細な詳細を抽出するために特定の領域に焦点を合わせることを可能にします。
   • カラーツール: 色相または彩度に基づいて物体を区別するために、色のコントラストを強化します。
   • メカニズム: モデルは固定されたパイプラインを使用するのではなく、現在の推論状態に基づいて、いつ、どのツールを使用するかを動的に決定します。

2. マスクベースの視覚的反射:
   推論をオープンループから閉ループへ変換するために、ForeSight は反射メカニズムを導入します。

   • ドラフト回答（バウンディングボックスと文字の説明を含む）を生成した後、モデルは元の画像上の予測領域を覆うマスクを作成します。
   • マスク画像（マスクされていない部分のみを表示）がモデルにフィードバックされます。
   • モデルはマスクされていない領域を分析し、予測された物体が他の部分と比較して真にユニークかどうかを検証します。矛盾が見つかった場合、モデルは回答を反復的に洗練します。
   • これにより、推論→ドラフト回答→視覚フィードバック（マスク）→反射→最終回答というサイクルが生まれます。

B. 学習戦略

このフレームワークは、**グループ相対方策最適化（GRPO）**に基づく 2 段階の学習パイプラインを採用しています。

1. ステージ 1: 教師あり微調整（SFT）とコールドスタート:
   • SalBench データセットに基づき、新しいデータセットCG-SalBenchが構築されました。これには、正確なバウンディングボックスの局所化と文字の識別を必要とする「Odd-One-Out」タスクが含まれています。
   • データはモデルのパフォーマンスに基づいて「ツール不使用」と「ツール依存」のサブセットに分割されます。
   • より大規模なモデル（Qwen2.5-VL-72B）が、ツールの使用と反射の痕跡を含む高品質な CoT アノテーションを生成し、これらがクリーニングされて 7B モデル用のコールドスタートデータセットを形成します。
2. ステージ 2: 強化学習（RL）:
   • モデルは、以下のコンポジット報酬関数を用いて最適化されます。
     • フォーマット一貫性: 構造化された出力を確保します。
     • IoU 報酬: 正解とのバウンディングボックスの重なりを最大化します。
     • F1 報酬: 文字識別の精度を向上させます。
     • ツール報酬: 正しいツールの呼び出しを促し、過剰使用または無効なフォーマットを罰します。
     • 検証報酬: 反射ロジックを整合させます（例：ドラフトが誤っている場合、反射は誤りを特定する必要があります）。

3. 主な貢献

• 閉ループ視覚推論: VLM 推論に視覚フィードバックに基づく反射を導入した初の試みであり、オープンループから自己修正型の閉ループプロセスへの転換を実現しました。
• 低レベル視覚の統合: 低レベル視覚ツール（Canny、ズーム、カラー）の自律的呼び出しのための RL 駆動メカニズムを提案し、モデルが以前は無視していた詳細を能動的に「見る」ことを可能にしました。
• 新しいベンチマーク（CG-SalBench）: 「Odd-One-Out」のグラウンディングと文字識別を評価するための専用データセットを導入し、合成データと現実世界の視覚的顕著性タスクの間のギャップを埋めました。
• 規模よりも効率: 単なるパラメータのスケーリングではなく、優れた推論アーキテクチャを通じて、7B パラメータモデル（ForeSight-7B）がはるかに大規模なモデル（例：72B）やクローズドソースの SOTA モデルを上回ることを実証しました。

4. 実験結果

実験は、CG-SalBenchベンチマークおよび一般的な VQA タスク（MME、MMBench）で行われました。

• CG-SalBench でのパフォーマンス:
  • ForeSight-7Bは、IoU 62.24%、**F1 スコア 84.24%**を達成しました。
  • ベースモデルであるQwen2.5-VL-7B（IoU +29.68%、F1 +19.27%）を大幅に上回りました。
  • Qwen2.5-VL-72B（IoU 66.00%）を F1 スコアで上回り、IoU においてはベストのクローズドソースモデル（Doubao-Seed-1.6）を 14% 以上上回りました。
  • GPT-5（F1 は高いが IoU が非常に低い 7.85%）を顕著に上回り、ForeSight の優れた局所化能力を示しました。
• アブレーション研究:
  • ツール＋反射: 両方のコンポーネントを併用することで最高性能が得られ、それらが相補的であることを確認しました（知覚のためのツール、検証のための反射）。
  • 学習ステージ: SFT（コールドスタート）と RL の組み合わせが不可欠でした。RL 単独では不安定であり、SFT 単独では動的なツールの使用の洗練が欠けていました。
• 汎化性: ForeSight は、グラウンディングベンチマーク（RefCOCO シリーズ）および MME VQA ベンチマークにおいて大幅な改善を示し、異なる視覚タスク全体での堅牢性を検証しました。

5. 意義

本論文は、VLM における支配的な「スケーリング則」のパラダイムに挑戦し、単にモデルサイズを増大させることよりも、推論プロセスにおけるアーキテクチャ的革新（特に低レベルの手がかりと自己検証の統合）の方が効果的であることを示唆しています。モデルが「さらに深く見る（能動的知覚）」ことと「さらに深く考える（反復的検証）」ことを可能にすることで、ForeSight は複雑で微細な視覚推論タスクを処理できる、より堅牢で人間と整合性があり、信頼性の高いマルチモーダルエージェントを構築するための青写真を提供します。