Do VLMs Need Vision Transformers? Evaluating State Space Models as Vision Encoders

本論文は、大規模視覚言語モデル（VLM）の視覚エンコーダとして、従来のトランスフォーマーに代わり状態空間モデル（SSM）が、より小規模なモデル規模で同等または優れた性能を発揮する有力な代替手段であることを示しています。

要約

🍳 料理の例え：新しい「包丁」は必要か？

これまでの AI 画像認識は、**「Transformer（トランスフォーマー）」**という、非常に高性能だが少し重たい「包丁」を使っていました。これを使って野菜（画像）を細かく刻み、それを「大規模言語モデル（LLM）」という「料理人」に渡して、レシピ（質問）に答えてもらっていました。

しかし、最近**「SSM（状態空間モデル）」という、「もっと軽くて、野菜の形（空間的な位置関係）を壊さずに刻める新しい包丁」**が登場しました。

この論文の著者たちは、**「もしこの新しい包丁（SSM）を使えば、料理人（LLM）はもっと上手に料理（画像の説明や場所の特定）ができるのではないか？」**と疑問を持ち、徹底的に実験しました。

🔍 実験の結果：何がわかったの？

1. 新しい包丁（SSM）は、特に「場所を特定する」のが得意

実験の結果、SSM を使った AI は、画像の中の「どこに何があるか」を指し示す能力（ローカライゼーション）が、従来の Transformer よりも圧倒的に優れていることがわかりました。

• 例え話:
  • 従来の AI (Transformer): 「あそこに犬がいるね」と言いますが、犬の正確な位置は少しぼんやりしています。
  • 新しい AI (SSM): 「あそこの左側の角に、黄色い首輪をした犬がいます」と、ピンポイントで正確に言えます。
  • これは、SSM という仕組みが、画像の「形」や「位置」を自然に理解するように作られているからです。

2. 「大きい＝良い」は嘘だった

一般的に「AI のサイズが大きければ大きいほど、性能が良い」と思われがちですが、この研究では**「必ずしもそうではない」**ことがわかりました。

• 巨大な包丁（大きなモデル）を使っても、料理の味（性能）が落ちる場合がありました。
• 逆に、少し小さめの SSM モデルの方が、大きなモデルよりも上手に料理を作れることがありました。
• 教訓: 単に「大きくする」だけでなく、「どんな包丁（アーキテクチャ）を使うか」が重要だということが証明されました。

3. 料理の「受け渡し」が重要（安定化の工夫）

新しい包丁（SSM）は素晴らしいですが、そのまま使うと、たまに**「料理人が包丁の使い方を間違えて、料理が崩壊する」**という現象（ローカライゼーションの崩壊）が起きました。

• 原因: 包丁（画像認識）と料理人（言語モデル）の間で、情報の受け渡し方が少しズレていたのです。
• 解決策:
  1. 受け渡し係（コネクタ）を強化する: 情報をより詳しく伝えるようにする。
  2. 画像の形（アスペクト比）を正方形にする: 長細い画像だと混乱しやすいので、正方形に整える。
     これらを工夫するだけで、新しい包丁の性能が最大限に発揮されるようになりました。

🌟 この研究のすごいところ（結論）

この論文は、**「AI の世界でも、新しい技術（SSM）は従来のもの（Transformer）に勝る可能性がある」**と示しました。

• 効率が良い: 従来の巨大なモデルを使わなくても、SSM を使えば小さくて軽いモデルで、同じかそれ以上の性能が出せます。
• 場所の特定が得意: 「どこに何があるか」を正確に言うのが苦手だった AI が、今後はもっと正確に話せるようになります。
• 設計のヒント: 単にモデルを大きくするだけでなく、「画像の形」や「情報の受け渡し方」を工夫することが、AI を賢くする鍵だと教えてくれました。

🚀 まとめ

一言で言うと、**「AI が画像を見る新しい方法（SSM）は、従来の方法よりも『場所の特定』が上手で、しかも軽量。ただし、使い方を少し工夫（安定化）すれば、さらに最強の性能を発揮できるよ！」**という発見です。

これからの AI は、もっと小さくて、もっと正確に「どこに何があるか」を理解できるようになるかもしれませんね。

技術概要

論文要約：VLM は Vision Transformer が必要か？視覚エンコーダとしての状態空間モデル（SSM）の評価

この論文は、大規模視覚言語モデル（VLM）における視覚エンコーダのアーキテクチャ選択、特に従来の Vision Transformer（ViT）ファミリーの代わりに状態空間モデル（SSM）が有効かどうかを体系的に検証した研究です。Stony Brook University の著者らによって執筆され、LLaVA 風の制御された設定において、ViT と SSM（VMamba）を比較・評価しています。

以下に、問題設定、手法、主要な貢献、結果、そして意義について詳細にまとめます。

---

1. 問題設定（Problem）

近年の VLM は、一般的に「事前学習済みの視覚エンコーダ（冻结）＋軽量コネクタ＋大規模言語モデル（LLM）」というモジュール設計を採用しています。しかし、以下の課題が存在します。

• アーキテクチャの偏り: 現在の VLM の視覚バックボーンは、ほぼ ViT（Transformer 系）に依存しており、SSM などの代替アーキテクチャの役割が十分に評価されていません。
• 比較の難しさ: 既存の研究では、視覚の事前学習目的、マルチモーダル学習パイプライン、解像度、トークン化設定、コネクタ設計など、複数の要因が同時に変化しており、アーキテクチャ自体の効果を孤立させて評価することが困難です。
• 空間情報の欠如: VLM は画像の細部や空間的な位置関係（グラウンディング）を推論する必要がありますが、ViT は位置エンコーディングに依存しており、標準的な分類タスクでの事前学習では空間情報が十分に保持されない可能性があります。
• スケーリングの限界: 単にモデルサイズを大きくしたり、ImageNet 精度を上げたりすることが、必ずしも VLM の性能向上（特にグラウンディング）に直結しないという疑問があります。

2. 手法（Methodology）

著者らは、アーキテクチャの違いによる影響を厳密に分離するため、制御されたバックボーン交換実験を行いました。

• 実験設定:
  • ベースライン: LLaVA 風のアーキテクチャを使用。視覚エンコーダは凍結し、コネクタと LLM のみを指令チューニング（Instruction Tuning）します。
  • 比較対象:
    • ViT ファミリー: ViT, MaxViT, ViTDet, DeiT (ViT-Adapter)。
    • SSM ファミリー: VMamba (純粋な SSM), MambaVision (ハイブリッド)。
    • Vim: 比較対象として VMamba との比較も実施。
  • 制御条件: 入力解像度（224x224）、トークン数（196）、事前学習データ（ImageNet-1K）、学習レシピ、コネクタ設計を可能な限り統一しました。
• 評価指標:
  • VQA: VQA-v2, GQA, VizWiz, TextVQA, POPE, TallyQA。
  • グラウンディング/ローカライゼーション: RefCOCO, RefCOCO+, RefCOCOg, OCID-Ref。
• 追加分析:
  • 密接タスク適応: 物体検出（COCO）やセグメンテーション（ADE20K）で微調整されたチェックポイントの評価。
  • 失敗モードの診断: 「ローカライゼーションの崩壊（Localization Collapse）」と呼ばれる、高解像度の検出適応時にグラウンディング性能が急激に低下する現象の分析。
  • 安定化戦略: コネクタ容量の増加や入力幾何学（正方形入力）の変更による改善効果の検証。

3. 主要な貢献と結果（Key Contributions & Results）

3.1. 厳密に一致させた環境下での SSM の優位性

ImageNet-1K で事前学習された 224x224 入力、196 トークンの条件で比較したところ、VMamba（SSM ベース）が ViT や MaxViT を凌駕する総合的な性能を示しました。

• 特にグラウンディング/ローカライゼーションタスクにおいて、VMamba-T/S はすべてのベンチマークで他モデルを明確に上回りました。
• ViT ファミリーでは、ImageNet 精度が高いほど VLM 性能が低下する傾向が見られましたが、VMamba はスケーリングに対してよりロバストでした。

3.2. 密接タスク（検出・セグメンテーション）適応の効果

物体検出やセグメンテーションの事前学習目的（Dense Objectives）を取り入れることで、ViT と SSM 双方の VLM 性能が向上しました。

• セグメンテーション適応は、すべてのサイズで安定した高性能をもたらしました。
• 検出適応は、ViTDet や VMamba の一部サイズで「ローカライゼーションの崩壊（Localization Collapse）」を引き起こすことが発見されました（例：ViTDet-L/H や VMamba-T/B は崩壊したが、ViTDet-B や VMamba-S は良好）。

3.3. 失敗モードの診断と安定化戦略

「ローカライゼーションの崩壊」は、視覚エンコーダ自体の欠陥ではなく、視覚 - 言語インターフェースの失敗であることが判明しました。

• 原因: 空間情報が視覚エンコーダには存在するが、コネクタ（Transmission Bottleneck）や LLM の利用（Utilization Bottleneck）の段階で失われる。特に非正方形の高解像度入力（例：1333x800）が不安定さを招きます。
• 解決策:
  1. コネクタ容量の増加: 2 層 MLP から 3 層 MLP に変更することで、崩壊したモデルの性能を回復させました。
  2. 入力幾何学の変更: 非正方形入力から正方形入力（512x512）に変更することで、崩壊が解消され、性能が大幅に向上しました。
  • これらの安定化策はアーキテクチャに依存せず、ViT と SSM 双方に有効でした。

3.4. 従来の指標の限界

• ImageNet 精度や単純なモデルサイズのスケーリングは、VLM の下流タスク性能（特にグラウンディング）を予測する信頼性の高い指標ではないことが示されました。
• 分類タスクに特化しすぎたモデルは、空間情報を保持できず、VLM としての性能が低下する可能性があります。

4. 意義（Significance）

この研究は、VLM の設計において以下の重要な知見をもたらしました。

1. SSM の可能性: Vision Transformer だけでなく、SSM（VMamba）が、より少ないパラメータで同等以上の、あるいはそれ以上の性能（特に空間推論能力）を発揮する強力な代替案であることを実証しました。
2. 設計視点の転換: VLM の性能は「バックボーンアーキテクチャ」「事前学習目的」「視覚 - 言語インターフェース（コネクタ・入力幾何学）」の 3 つの要因で決定されることを示しました。特に、インターフェースの安定性がバックボーンの能力を引き出す鍵となります。
3. 実用的なガイドライン: 高解像度や密接タスク適応を行う際、入力アスペクト比を正方形に保つことや、コネクタの容量を適切に設計することが、モデルの崩壊を防ぎ、ロバストな性能を得るために不可欠であることを示唆しました。

結論として、SSM ベースの視覚エンコーダは、VLM における効率的かつ高性能なバックボーンとして有望であり、今後の VLM 設計において Transformer 以外の選択肢として積極的に検討されるべきです。