技術的サマリー：潜在視覚推論を阻害している要因は何か？

問題定義

視覚言語モデル（VLM）は多様な視覚タスクで高い性能を達成していますが、空間的および構成的推論を必要とするシナリオでは依然として困難に直面しています。これらの問題解決は、純粋なテキスト記述ではなく、視覚表現の内部的操作に依存します。これに対処するため、最近の研究では「潜在視覚推論（Latent Visual Reasoning）」が導入され、視覚的連鎖思考（Chain-of-Thought: CoT）推論を促進する中間的な「想像」ステップとして連続的な潜在トークンを利用しています。

報告された性能向上にもかかわらず、これらの潜在表現が実際に何をエンコードしているのか、またモデルの予測にどの程度因果的に影響を与えているのかは依然として不明です。本論文は、現在の VLM が推論のために実際に潜在トークンに依存しているのか、それとも単にそれらを迂回しているのかを検証します。

手法

著者は、4 つの最近の市販の潜在視覚推論モデル（LVR、Monet、ILVR、LanteRn）において、潜在トークンの因果的役割を検証しました。本研究は多面的なアプローチを採用しています：

1. 介入分析（因果的テスト）： 推論中に生成された潜在トークン（$\hat{z}$）を、無意味な「ダミー」トークン（$z'$）に置換します。介入には以下が含まれます：

   • ランダムなサブ領域： 無関係な画像の切り抜きから導出された潜在変数を注入する。
   • ゼロ/ノイズ： 潜在変数を一定値またはガウスノイズに置換する。
   • 潜在変数のスキップ： 開始トークンの直後に終了トークンを挿入することで、潜在経路を完全に無効化する。
   • オラクル条件付け： 中間画像から導出された真のオラクル潜在トークン（$z^*$）を提供し、高品質な情報が利用可能であればモデルがそれを使用できるかどうかをテストする。

2. 診断データセットの作成： 学習データの影響を分離するため、著者は特定のシナリオを構築しました：

   • マスク学習： 入力画像の関連領域をマスクし、タスクを（したがって潜在トークンからの）中間画像の情報のみを使用してのみ解決できるようにする。
   • テトリス風回転： ソース形状で観察された回転をターゲット形状に適用することをモデルに要求する合成データセット。ここでは、中間画像は単なるサブ領域ではなく、非自明な変換（回転）を表します。

3. 潜在空間分析： 著者は、コサイン類似度指標を用いて生成された潜在変数とオラクル潜在変数の分布を分析し、以下を測定しました：

   • 検索精度： 生成された潜在変数が対応するオラクル潜在変数と一致する頻度。
   • 無関係な自己生成優先度（USP）： 生成された潜在変数が、真の正解よりも他の生成された潜在変数に近いかどうか。
   • 時間的崩壊： 時間経過に伴う連続する潜在トークン間の類似性。

主要な貢献と結果

1. 潜在迂回問題

本研究は、現在の最先端モデルが回答を生成する際に、潜在トークンをほとんど無視していることを明らかにしました。

• 結果： 生成された潜在変数を、ノイズ、ゼロ、またはランダムなサブ領域などの無意味なダミートークンに置換しても、BLINK や VBench などのベンチマークにおいて、4 つのモデルすべてで*精度の低下はほとんど、あるいは全く見られませんでした。場合によっては、性能がわずかに向上しました。
• オラクルの限界： 推論中に高品質なオラクル潜在変数（真の正解）を条件として与えた場合でも、標準的な推論と比較して精度は有意に向上しませんでした。
• 結論： 潜在トークンは最終的な予測において因果的な役割をほとんど果たしていません。モデルは実質的に潜在推論経路を迂回しています。

2. 学習データが根本原因

著者は、学習データを迂回問題の主要な駆動因子として特定しました。

• 観察： 既存のデータセット（VisCoT、COMT など）では、中間画像は通常、元の入力画像の切り抜かれたサブ領域です。入力画像にはすでに完全な情報が存在するため、潜在トークンは追加の必要な情報を提供しません。
• 証拠：
  • ポーズトークンベースライン： 潜在トークンなしで（プレースホルダーの「ポーズ」トークンを使用して）学習されたベースラインモデルは、標準データにおいてオラクル潜在変数を使用するモデルと同じ精度（79%）を達成しました。
  • マスク学習： 入力画像をマスクして解を隠し、潜在トークンへの依存を強制した場合、潜在変数をノイズに置換するとモデルの精度は大幅に低下しましたが、オラクル潜在変数の場合は高いまま維持されました。
  • テトリス風回転： 入力に直接見えない非自明な変換（回転）を必要とするタスクにおいて、このデータで学習されたモデルは潜在トークンに依存することを学びました。オラクル潜在変数は 86% の精度をもたらしましたが、介入により性能は偶然のレベル（約 30%）まで低下しました。
• 結論： モデルは、中間ステップが元の入力から容易に復元できない非自明でタスクに関連する情報を提供する場合にのみ、潜在トークンに依存します。

3. 潜在表現の崩壊

モデルが潜在トークンを使用する能力を持っている場合でも、標準的な推論中には高品質なものを生成することに失敗します。

• 観察： 生成された潜在トークン（$\hat{z}$）は互いに極めて高い類似性（コサイン類似度 > 0.8–0.98）を示しますが、対応するオラクル表現（$z^*$）とは比較的低い類似性しか示しません。
• 検索の失敗： モデルはトップ 10 の候補内で正しいオラクル潜在変数を検索することに失敗します（ほとんどのモデルで検索精度 < 10%）。
• 時間的崩壊： 推論連鎖が進むにつれて、予測された潜在変数は潜在空間の狭く、非常に類似した領域に崩壊しますが、オラクル潜在変数は多様性を維持します。
• 結論： 現在の手法は潜在表現の崩壊に悩まされており、モデルは多様で識別性の高い視覚的抽象化ではなく、汎用的で低情報量のトークンを生成しています。

意義と将来の方向性

本論文は、潜在視覚推論の進展が現在、2 つの根本的な問題によってボトルネックになっていると結論付けています：

1. データセットの質： 既存のデータセットは、中間ステップがしばしば入力画像と冗長であるため、潜在トークンの使用を促進していません。将来のデータセットは、解が生の入力から自明に抽出できないタスク（幾何学的変換など）に対して、中間ステップが**足場（scaffolding）**を提供するものでなければなりません。
2. 予測の精度： モデルは多様で正確な潜在トークンを予測することに苦慮しており、表現の崩壊を引き起こしています。将来の研究は、オラクル表現の品質に匹敵するこれらのトークンの生成を改善することに焦点を当てる必要があります。

著者は、潜在視覚推論が空間的および構成的タスクに対して有望である一方で、現在の実装はこれらの学習および生成の欠陥により、実質的に効果的ではないと強調しています。彼らは、この方向でのさらなる研究を促進するために、コード、モデル、および診断データセット（LanteRn）を提供しています。