技術的サマリー：DRScaffold

問題定義

軽量な視覚言語モデル（VLM）は、標準的なベンチマークにおいて競争力のある性能を達成していますが、密なシーン推論においては体系的な失敗を示します。そのようなシナリオでは、複数の物体、属性、関係が密に結合しており、視覚的依存関係にわたる多段階推論を必要とします。現在の軽量モデルは、これらの混雑した環境において、関係の誤解釈、属性の誤結合、および幻覚化された依存関係にしばしば苦しんでいます。

核心的な問題は、密なシーンに必要な多段階推論プロセスと既存の訓練信号との間のミスマッチにあります。現在の手法は、結果ベースの監督（最終回答のみで訓練する）または平坦な Chain-of-Thought（CoT）監督（推論を非構造化のトークン列として蒸留する）に依存しています。どちらのアプローチも、推論ステップと基盤となる視覚的証拠との間の整合性を強制するものではありません。その結果、軽量モデルは、各ステップがどの視覚的実体を指しているかを確認することなく流暢な言語パターンを模倣することで訓練損失を最小化し、説得力はあるが事実上根拠のない推論に至ります。

手法

本論文は、モデルアーキテクチャを変更することなく密なシーン推論を強化するために設計された教師あり微調整フレームワークであるDRScaffoldを提案します。手法は、構造化された監督のための新しいベンチマークと、段階的な訓練フレームワークという 2 つの主要な構成要素からなります。

1. DRBench：密なシーン推論ベンチマーク

構造化された監督データの欠如に対処するため、著者らは 2,943 枚の画像にわたる 14,573 の質問からなるDRBenchを導入しました。

• データソース: 画像は、空間的レイアウトと推論課題の多様性を確保するために、Hypersim（フォトリアリスティックな合成屋内シーン）とCityscapes（動的な屋外都市運転シーン）から採取されています。
• 分類体系: 質問は、3 つの漸進的な推論層にまたがる 5 つのカテゴリに整理されています。
  1. 構造的グラウンディング: 知覚（マルチホップ参照表現）と空間推論。
  2. 文脈的応用: affordance 推論（物体の使用）と異常検出。
  3. 論理的厳密性: 誤った前提の拒否。モデルは、属性または関係のクエリに埋め込まれた視覚的に存在しない参照先を含むクエリを特定し、拒否する必要があります。
• 構造化注釈: 標準的なベンチマークとは異なり、DRBench は各サンプルに対して中間注釈を提供します。これには、主要実体、シーングラフ（物体 - 関係のトリプル）、および段階的推論チェーン（知覚、関係、論理、結論）が含まれます。
• 品質管理: テキスト盲検検証（言語のみの回答をフィルタリング）、シーンマッチングフィルタリング、大規模モデル（Qwen-VL-Max、DeepSeek）および人間の検証による一貫性チェックを含む多段階パイプラインにより、注釈が事実に基づいていることが保証されています。

2. DRScaffold 訓練フレームワーク

DRScaffold は、監督ターゲットを、4 つの因果的に順序付けられた段階を持つスキーマ制約パイプラインに分解します。

1. 実体グラウンディング: 関連する物体を検出し、位置を特定する。
2. 関係モデリング: 空間的または論理的依存関係（シーングラフ）を解決する。
3. 段階的推論: 構造化された関係に基づいて多段階推論を実行する。
4. 回答生成: 最終回答を生成する。

訓練目的:
このフレームワークは、カリキュラム学習アプローチを強制するために段階的勾配マスキングを採用します。訓練は 4 つのフェーズで進行します。

• フェーズ 1: 監督は実体グラウンディングフィールド（$F_1$）のみに適用され、後続のフィールドはマスクされます。
• フェーズ 2: 監督は関係モデリング（$F_1, F_2$）を含むように拡大されます。
• フェーズ 3: 監督は段階的推論（$F_1, F_2, F_3$）を含みます。
• フェーズ 4: 完全な監督（$F_1$ から $F_4$）が適用されます。
• 忘却防止: フェーズ 4 では、DRBench サンプルを 1:1 でLLaVA-Instruct-150Kからの 15,000 サンプルと混合し、一般能力の破滅的忘却を防ぎます。

結合出力分布は、回答トークン分布が以前にグラウンディングされた実体と検証された関係に明示的に条件付けられるように因数分解されます。
$$p_\theta(y | x) = \prod_{k=1}^{4} p_\theta(F_k | F_1, \dots, F_{k-1}, x)$$

主要な結果

実験は、3 つの軽量 VLM（2B–6B スケール）：InternVL2.5-2B、Qwen2.5-VL-3B、およびPhi4-multimodalで行われました。

• DRBench での性能: DRScaffold はすべてのモデルで大幅な向上をもたらしました。
  • DRScaffold で訓練されたQwen2.5-VL-3Bは、DRBench で62.6%の精度を達成し、凍結されたQwen2.5-VL-32B（44.7%）を上回りました。
  • InternVL2.5-2Bは 32.5% から**66.6%**に向上しました。
  • Phi4-multimodalは 45.8% から**50.7%**に向上し、テストされたすべてのモデルの中で最高の平均スコアを達成しました。
• 一般ベンチマークの維持: Answer-only、CoT、LLaVA-CoT などのベースライン手法が汎用ベンチマーク（MMMU、MMStar、RealWorldQA）の性能を低下させるのとは異なり、DRScaffold はこれらのタスクでの性能を維持またはわずかに向上させながら、密なシーン推論を大幅に強化します。
• 幻覚耐性: DRScaffold で訓練されたモデルは、HallusionBenchおよびDRBenchの誤った前提の拒否カテゴリで性能が向上しており、因果的グラウンディングが幻覚化された依存関係を効果的に減少させることを示しています。
• アブレーション研究: 訓練段階のいずれかを除去するか、それらの順序を入れ替える（例えば、グラウンディングの前に推論を訓練する）ことは、一貫して性能を低下させ、因果的順序（グラウンディング $\to$ 関係 $\to$ 推論 $\to$ 回答）が必須の帰納的バイアスであることを確認しました。

意義と主張

本論文は、構造化された監督は、密なシーン推論においてモデル規模の相当部分を代替し得ると主張しています。視覚的証拠と推論ステップ間の因果的依存関係を明示的にモデル化することで、DRScaffold は軽量モデルが複雑な環境において、はるかに大規模で凍結された対応モデルを上回る性能を発揮することを可能にします。

著者らは、彼らのアプローチが現在の VLM 訓練における根本的なギャップ、すなわち推論ステップと視覚的実体間の明示的なグラウンディングの欠如に対処していると強調しています。DRScaffold は、スキャフォールディングされた段階的学習プロセスを強制することで、モデルが流暢だが根拠のない推論チェーンを生成するのを防ぎ、家庭用ロボットや自動運転などのリソース制約のある現実世界アプリケーションに信頼性の高い VLM を展開するための実用的な解決策を提供します。

この研究は、大規模モデルが強力な推論能力を有している一方で、軽量モデルは単なるパラメータのスケーリングではなく、構造化された監督を通じて特定の密なシーンドメインにおいて同等またはそれ以上の性能を達成し得ると結論付けています。