Scaffolding Minds: Optimizing Latent Visual Target Representations for Multimodal Reasoning

技術要約：Scaffolding Minds

問題提起

潜在的な視覚的推論（Latent visual reasoning）は、連続的な潜在トークンを推論の連鎖の中に交互に挿入することで、視覚と言語の両方で「考える」ことを可能にする、マルチモーダル推論のための強力なソリューションとして浮上しています。現在の手法は通常、以下の2段階の学習パラダイムに従います。(1) 教師あり微調整（SFT）：補助的な画像（helper image）を、凍結された既存のビジョンエンコーダを用いて潜在トークンへとエンコードし、ターゲットとして使用する。(2) 強化学習（RL）：報酬フィードバックを用いてモデルを洗練させる。

著者らは、既存のフレームワークにおける2つの決定的な限界を特定しています：

1. 最適ではないSFTターゲット：SFT段階における潜在ターゲットは、凍結された汎用ビジョンエンコーダから派生しています。これらのエンコーダは特定のダウンストリーム推論タスク向けに最適化されておらず、推論に必要な中間的な証拠を強調することに失敗する一方で、タスクとは無関係な知覚的コンテンツを保持してしまうことがよくあります。その結果、モデルは好都合ではあるものの、最適ではないターゲットへと誘導されてしまいます。
2. 限定的なRL探索：既存のRL手法は、潜在ブロックを無視するか、あるいは決定論的な正則化（例：固定分散のガウス制約）を潜在出力に適用します。これらのアプローチは代替となる潜在アクションをサンプリングしないため、多様な潜在的推論の軌跡の探索を妨げます。この探索の欠如が、性能向上の幅を小さくするか、あるいは不安定にさせています。

手法：Scaffolding Minds

本論文では、潜在ターゲットの表現と探索メカニズムの両方を最適化することで、これらの限界に対処するように設計された2段階のフレームワークである Scaffolding Minds を提案しています。

ステージ1：Scaffolding EncoderによるSFT

凍結された既存のエンコーダに頼る代わりに、著者らは学習可能な Scaffolding Encoder ($\psi$) を導入しています。

• Scaffoldingフェーズ：専用のエンコーダをエンドツーエンドで訓練し、補助画像 $h$ をターゲットとなる潜在ブロック $z^*$ へとマッピングします。このエンコーダは、ベースとなるVLMを凍結した状態で、ダウンストリームタスクの損失（回答トークンに対するクロスエントロピー）を通じて直接最適化されます。これにより、$z^*$ はVLMが必要とする推論に敏感な特徴を正確に捉えることが保証されます。
• 生成フェーズ：ベースとなるVLMは、入力 $x$ のみから自身の潜在ブロック $z$ を生成するように微調整され、凍結されたターゲット $z^*$ に対する $L_2$ マッチング損失によって監督されます。推論時には補助画像は破棄されます。
• アーキテクチャ：Scaffolding Encoderは、VLMのビジョンエンコーダの学習可能なコピーと、それに続くクロスアテンション・プーリングモジュールで構成されています。

ステージ2：Scaffolding RL

潜在空間における探索を可能にするために、著者らは決定論的な正則化を、残差潜在アクションに対する明示的な入力適応型ガウス方策に置き換える Scaffolding RL を採用しています。

• 残差アクションのサンプリング：モデルはベースとなる潜在事前分布 $z_\theta$ を生成します。2つの軽量なMLPヘッドが、ガウス分布の入力適応型の平均 $\mu(z_\theta)$ と分散 $\sigma^2(z_\theta)$ を予測します。
• 探索：ロールアウト中、モデルは残差調整量 $\Delta z \sim \mathcal{N}(\mu, \sigma^2)$ をサンプリングし、それを事前分布に適用します（$z_\theta + \Delta z$）。このサンプリングされたアクションは、報酬に基づいたアドバンテージを計算するために、現在のポリシーと古いポリシーの両方で評価されます。
• 安定性：平均ヘッドは初期分布を事前分布に中心化するためにゼロ初期化され、分散ヘッドは安定した初期探索を確保するために小さな正の値から開始されます。

主な貢献

1. 最適化された潜在ターゲット：本論文は、潜在ターゲットをダウンストリームタスクを通じてエンドツーエンドで学習するScaffolding Encoderを導入し、従来の作業における最適ではない凍結された特徴からの脱却を実現しました。
2. 確率的な潜在探索：決定論的な正則化を、残差潜在アクションをサンプリングする学習済みガウス方策に置き換えるScaffolding RLを提案し、代替的な推論の軌跡の直接的な探索を可能にしました。
3. 相補性：著者らは、最適化されたターゲット（ステージ1）と探索メカニズム（ステージ2）が相補的であることを示しています。Scaffolding Encoderが高精度な出発点を提供する一方で、Scaffolding RLが報酬駆動の探索を通じてこのターゲットを洗練させます。

実験結果

本手法は、FrozenLake（空間プランニング）および9つの視覚中心の推論ベンチマークで評価されました。

• FrozenLake (空間プランニング):

  • Scaffolding Mindsは、グリッドサイズ8×8から32×32にわたる平均において、最強の先行する潜在ベースライン（VaLR）を +9.5% 向上させました。
  • タスクの難易度が高まるにつれて性能差は拡大し、最も困難な32×32のグリッドでは +19% に達しました。
  • SFTベースラインと比較して、フルメソッドは +23.0% の絶対的な改善を達成しました。
  • アブレーション研究により、ターゲットの最適化（ビジョンエンコーダのチューニング）が、単に目的関数を変更した場合よりも大部分の利得（+10.0%）を導いたこと、およびRLにおける学習済み調整のサンプリングが安定した利得（決定論的手法に対して+3.0%）に不可欠であることが確認されました。

• 視覚中心の推論ベンチマーク:

  • 9つのベンチマーク（V★, BLINK, MMVP, CV-Benchなどを含む）において、本手法は最強の先行する潜在ベースラインに対し、平均 +5.2% の精度向上を達成しました。
  • 利得は、きめ細かな空間的・視覚的な区別を必要とするタスク（例：MMVPで+20.7%、MME-RealWorld-Liteで+17.6%）で最も顕著でした。
  • 本手法は、明示的な中間画像を生成する「think-with-image」システムを上回り、ベースとなるVLMに近い推論コストで強力な結果を達成しました。

• 効率性:

  • 本手法は、ベースとなるVLMと比較して、推論レイテンシのオーバーヘッドはわずか 4.6% であり、100%を超えるオーバーヘッドが発生する画像生成手法よりも大幅に低くなっています。

意義と主張

本論文は、Scaffolding Minds が、潜在的な視覚的推論を効果的に行うためには、潜在ターゲットの質と潜在空間における直接的な探索の両方が極めて重要であることを示していると主張しています。潜在ターゲットを固定された特徴としてではなく、システムの最適化されたコンポーネントとして扱うことで、また潜在的な軌跡の確率的な探索を可能にすることで、本手法は中間画像の生成に伴う計算コストをかけずに、強力なベースラインに対して実質的な利得を達成しています。著者らは、潜在空間自体が適切に最適化・探索されていれば、明示的な画像生成は必ずしも必要ではないことを示し、本研究をより効率的で有能なマルチモーダル推論への一歩として位置付けています。

本論文は、このアプローチが依然として訓練中に中間的な補助画像を利用することに依存していることを認め、新しいドメインに対してそのような画像を自動的に提案する方法は、今後の課題として残されているとしています。