Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning

技術要約：空間・スペクトル的視覚アンカー学習によるMLLMの視覚的劣化の軽減

問題提起
視覚的指示チューニング（Visual Instruction Tuning）を通じてマルチモーダル大規模言語モデル（MLLM）は著しい進歩を遂げているものの、これらのモデルは依然として視覚的知覚における欠陥を抱えています。著者らは、重要でありながら十分に探索されていない現象である**「視覚表現の偏差（visual representation deviation）」**を特定しました。視覚的指示チューニングの後、LLM層内の内部視覚表現は、推論中に元の意味状態から漸進的に逸脱していきます。これにより、深い層において深刻な情報の劣化が生じ、モデルが微細な空間的詳細や意味的な忠実度を失う原因となります。

本論文は、中間層のLLM表現を外部の視覚基盤モデル（VFM）に直接整列させることがこの問題を解決するという、支配的な直観に異を唱えます。このような直接的な整列（例：VIRAL）は視覚的特徴の質を向上させますが、著者らはそれが「偏差」そのものを軽減できていないことを示しています。すなわち、表現は依然として層を追うごとに同様の速度で乖離していきます。核心となる問題は、表現が何をエンコードしているかではなく、ネットワーク内を伝播する際に、いかに安定して維持されるかという点にあります。

手法：空間・スペクトル的視覚アンカー学習（SSVAL）
推論時のオーバーヘッドを発生させることなく表現の偏差に対処するため、著者らは視覚アンカー・プロンプト注入（VAPI）と補助的な空間・スペクトル表現整列（SSRA）を中心としたフレームワークであるSSVALを提案しています。

1. 視覚アンカー・プロンプト注入（VAPI）:

   • メカニズム: 革新的なのは、「知識の器」として機能する学習可能な視覚プロンプトのセットです。学習中、これらのプロンプトはゲート付きマルチヘッド・クロスアテンション機構を介して、外部のVFM（例：DINOv2、CLIP）から豊かな視覚的知識を吸収します。
   • 機能: プロンプトはランダムに初期化され、VFMの特徴を捉えるように最適化されます。推論時には外部のVFMは破棄されます。学習されたプロンプトは安定した視覚アンカーとして機能し、各LLM層に対して一貫した参照点を提供することで、視覚表現のドリフトを阻止します。
   • アーキテクチャ: 視覚特徴がクエリ（Query）となり、結合されたプロンプト（元のプロンプト ＋ プロジェクションされたVFM特徴）がクロスアテンションモジュールにおけるキー（Key）およびバリュー（Value）として機能し、その後にゲート付き残差接続が続きます。

2. 空間・スペクトル的表現整列（SSRA）:
   標準的なテキストベースの学習には欠けている、中間LLM層における補完的な視覚特化型監督を提供するために、SSVALは2つの補助的な損失関数を導入しています。

   • 空間的表現整列（SpaRA）: 多スケールの空間的視点（プーリング係数 1x1, 2x2, 4x4）から、生徒（LLM）と教師（VFM）の特徴を整列させます。これは特徴レベルの整列のためにコサイン類似度を最大化し、関係レベルの整列のためにペアワイズの空間的関係を制約します。
   • スペクトル的表現整列（SpeRA）: 周波数領域で動作します。2D高速フーリエ変換（FFT）を用いて、特徴を低周波（LF）成分と高周波（HF）成分に分解します。LF成分はグローバルな構造を捉え、HF成分はエッジや局所的な詳細を捉えます。この損失は、LFには平均二乗誤差（MSE）を適用し、ノイズの支配を防ぐためにHFには対数圧縮を適用します。

3. 学習目的:
   総損失は、標準的な次トークン予測損失に、重み付けされたSpaRAおよびSpeRA整列損失を組み合わせたものです。この共同最適化により、プロンプトがVFMの知識を吸収すると同時に、整列損失が中間層における視覚的完全性を強化することを保証します。

主な貢献

• 偏差の特定: 本論文は、MLLMにおける視覚的表現の偏差を定量化し、入力と中間表現の間のコサイン類似度が層の深さとともに急激に低下することを示しました。また、直接的なVFM整列がこのドリフトを止めることができないことも明らかにしました。
• 視覚アンカー・プロンプト注入（VAPI）: 学習中にVFMの知識を吸収し、推論時に表現を安定させる持続的なアンカーとしてプロンプトを使用する新しいメカニズムであり、テスト時の外部モデルなしで偏差を効果的に軽減します。
• 空間・スペクトル的監督: SpaRAとSpeRAの導入は、相補的なマルチスケール空間および周波数ドメインの監督を提供し、中間層における明示的な視覚的ガイダンスの欠如に対処します。
• 効率性: VFMおよび整列損失は学習時のみのコンポーネントであるため、SSVALは無視できる程度の推論オーバーヘッド（パラメータ +1.55%、FLOPs +0.04%のみ）を実現しています。

実験結果
異なる視覚エンコーダ（CLIP, SigLIP）およびLLMスケール（Qwen2.5-3B, Qwen2.5-7B）を用い、6つのマルチモーダルベンチマーク（CV-Bench2D, MMVP, MMStar, MME, POPE, MM-Bench）に対して広範な実験が行われました。

• 性能: SSVALは、標準的なベースライン（視覚的指示チューニング）および直接整列手法（VIRAL）の両方を大幅に上回っています。顕著な改善として、Qwen2.5-7Bバックボーンにおいて、CV-Bench2Dで+6.47%、MMVPで+7.86%の向上を記録しました。
• 堅牢性: 特定のベンチマーク（例：SigLIPを用いたMMVPでの-5.34%）で性能低下が見られたVIRALとは異なり、SSVALは一貫した利得を示しており、そのアンカーメカニズムが多様な初期視覚表現の質に対してより堅牢であることを示唆しています。
• アブレーション研究:
  • VAPIが性能向上の主要な要因であることが特定されました。
  • SpaRAとSpeRAは相補的な利益を提供し、マルチスケール空間整列とLF/HF周波数成分の組み合わせが最良の結果をもたらしました。
  • プロンプトの量: テストされた構成において、4つのプロンプトが最適であることが判明しました。
  • VFMのソース: DINOv2-Bを知識源として使用することが、全体として最良のバランスをもたらしましたが、特定の推論ベンチマークではDINOv2-Lの方が優れた性能を示しました。

定性的分析
定性的結果は、SSVALがベースラインと比較して、より明確なクラスタリング境界と強力な構造的組織を持つ埋め込みを生成することを示しています。アテンションマップは、SSVALが関連するオブジェクトに焦点を合わせたアテンションを維持しているのに対し、ベースラインは散漫なアテンションパターンを示すことを示しています。学習されたプロンプトは、専門化された役割を発達させていることが観察されました。具体的には、一つのプロンプトは背景ノイズを抑制し、他のプロンプトはVFMから前景オブジェクト性を継承しており、異なるVFM能力間のギャップを効果的に埋めています。

意義
本論文は、SSVALが視覚的劣化への対処における根本的な転換を提示していると主張しています。それは単に強力な特徴を注入することではなく、ネットワーク全体を通じて表現を安定させる持続的なアンカーメカニズムを確立することです。知識の吸収（学習）と推論の効率性を分離することで、SSVALは最小限の計算コストで、微細な知覚および空間推論における大幅な性能向上を達成し、深いMLLMにおいて視覚アンカーが表現の完全性を維持するために不可欠であるという仮説を検証しています。