Zamba2-VL Technical Report

問題提起

ビジョン・ランゲージ・モデル（VLM）は、通常、Transformerベースの大規模言語モデル（LLM）をバックボーンとして利用しており、マルチモーダルな推論のための標準的なインターフェースとなっています。しかし、Transformerの自己注意（self-attention）メカニズムは、プリフィル（prefill）フェーズにおいて二次関数的な計算コストを発生させ、シーケンス長に対して線形に増大するKey-Value（KV）キャッシュを必要とします。これは、単一の高解像度画像やビデオクリップが数千から数十万ものトークンを生成し得るマルチモーダルモデルにおいて、深刻なボトルネックとなります。視覚的トークンの圧縮といった入力側の緩和策は存在しますが、それらはバックボーンの根本的なスケーリング特性を変えるものではありません。

状態空間モデル（SSM）、特にMambaおよびMamba2は、線形時間のシーケンス処理と一定サイズの再帰状態を提供し、理論的にはこれらの効率性の制約を解決します。しかし、既存のSSMベースのVLMは、精密なインコンテキスト・ルックアップ（例：視覚的グラウンディングや微細な検索）を必要とするタスクにおいて苦戦してきました。これらのタスクでは、依然としてアテンション機構の方が優れています。さらに、既存の強力なSSMベースのVLMは、多くの場合Transformerモデルから蒸留されているか、より小さなSSMバックボーン上に構築されており、ハイブリッドなSSM-Transformerアーキテクチャが大規模にゼロから学習された際に、競争力を持ち得るかという問いが残されています。

手法

著者らは、Zamba2ハイブリッドアーキテクチャ上に構築されたVLMファミリーであるZamba2-VLを提案しています。Zamba2は、Mamba2状態空間バックボーンと、少数の共有Transformerブロックを交互に配置したものです。Transformerブロックは、インコンテキストでの検索能力を提供するためにLoRAプロジェクターで拡張されており、一方でMamba2レイヤーは、線形時間の計算量と固定された再帰状態を用いて、計算の大部分を処理します。

アーキテクチャ:

• バックボーン: Zamba2（1.2B、2.7B、および7Bパラメータのバリアント）。
• ビジョンエンコーダ: Qwen2.5-VLのVision Transformer（ViT）を採用。これは、2D回転位置埋め込み（RoPE）とネイティブな動的解像度処理を使用しており、微細な空間構造を保持できるためです。
• コネクタ: 標準的な2層MLPアダプターであり、視覚的特徴を言語埋め込み空間へと投影します。これはパッチ埋め込みの2x2ウィンドウをプーリングし、視覚トークンを4分の1に削減します。
• 位置埋め込み: 過度な計算要件を避けるため、マルチモーダルなRoPEバリアントを採用するのではなく、ベースとなるZamba2モデルの特定の位置埋め込みスキーム（1.2B/7Bは1D RoPE、2.7Bは回転埋め込みなし）を維持しています。

トレーニング・パイプライン:
トレーニングは3段階のカリキュラムに従います：

1. アライメント（Alignment）: バックボーンとビジョンエンコーダを凍結した状態で、低解像度の画像キャプションデータ（LLaVA-ReCap-558K）を用いてMLPアダプターを学習させます。
2. 事前学習（Pretraining）: 全モデルを、約30Bトークンのヘテロジニアスな混合データで学習させます。この段階では、純粋なTransformerと比較した際のZamba2バックボーンのテキスト主導タスクにおける初期の遅れを補うために、意図的にドキュメント理解およびOCRデータをアップサンプリングしています。
3. 指示チューニング（Instruction Tuning）: 多ターン会話、グラウンディング（ポインティングおよびバウンディングボックス）、および推論を強調した、精選された約20Bトークンの指示追従データを用いてモデルを微調整します。

主な貢献

1. 初のオープンなハイブリッドSSM-Transformer VLM: Zamba2-VLは、強力なハイブリッドSSM-Transformerバックボーン上に構築された最初のオープンなVLMファミリーとして提示されており、このようなアーキテクチャが1.2Bから7Bのスケールにおいて、マルチモーダルモデリングのための実行可能な、かつ競争力のある基盤であることを示しています。
2. アーキテクチャおよびデータの設計: ハイブリッドバックボーンを能力の高いVLMへと拡張するために必要な、具体的なアーキテクチャの選択（コネクタ設計、視覚トークンの統合）およびデータ構成戦略（特にドキュメント/OCRデータのアップサンプリング）の詳細を述べています。
3. 効率性と精度のトレードオフ: 本研究は、これらのモデルの性能と効率のプロファイルを特徴付けており、主要なTransformerベースのVLMに対して競争力のある精度を達成しつつ、Zamba2バックボーンの推論速度の利点を継承していることを示しています。

結果

著者らは、画像理解、推論、OCR、グラウンディング、およびカウントのベンチマークにおいて、Zamba2-VL（1.2B, 2.7B, 7B）を主要なオープンウェイトのTransformerベースのVLM（Molmo2, Qwen3-VL, InternVL3.5, PerceptionLM）と比較評価しました。

• 精度: Zamba2-VLは、同等のスケールのTransformerベースラインに対して概ね競争力があります。
  • カウント（Counting）: モデルは視覚的なカウントにおいて並外れた性能を示しています。Zamba2-VL-1.2BはPixMoCountで62.5を記録し、これはInternVL3.5-1Bのスコア（32.8）のほぼ2倍です。7Bモデルは85.3を達成し、そのクラスでトップに位置しています。
  • ドキュメント/OCR: ドキュメントデータの意図的なアップサンプリングにより、DocVQA、ChartQA、TextVQAにおいて競争力のある結果を出しています。
  • 推論: 重い推論ベンチマーク（MMMU, MathVistaなど）では、最強のTransformerベースラインにわずかに遅れをとっています。著者らは、このプロファイルについて、トレーニング・パイプラインがRL型の推論特化型ではなく、能力獲得に焦点を当てたものであることに起因すると説明しています。
• 効率性: 最も重要な発見は、推論速度です。Zamba2-VLは、パラメータ規模が一致するTransformerベースラインと比較して、約**1桁低いTime-to-First-Token（TTFT）**を実現しています。この効率性の差は、オンデバイスやエッジへのデプロイメントにおいて極めて重要な1.2Bおよび2.7Bのスケールで最も顕著になります。
• アブレーション研究:
  • ビジョンエンコーダ: Qwen2.5-VLのViTは、2D RoPEと動的解像度処理のおかげで、CLIPやSigLIP-2を大幅に上回りました。
  • バックボック: 同等の学習条件下でのLlama-3.xリファレンスと比較した場合、ハイブリッドなZamba2バックボーンは、ほとんどの画像理解タスクにおいてTransformerと同等またはそれを上回りましたが、テキスト密度の高いドキュメントタスクでは遅れをとりました（これは後のデータ・アップサンプリングによって軽減されました）。Zamba2とLlamaの間の性能差は、スケールが増すにつれて大幅に縮まり、7BモデルはLlama-3.1-8Bのリファレンスとほぼ区別がつかないレベルになりました。

重要性

本論文は、Zamba2-VLが、ハイブリッドSSM-Transformer LLMが、特にレイテンシやメモリ制約のある環境において、高密度なTransformerに代わる実用的な選択肢であることを示していると主張しています。結果は、「ハイブリッドのレシピ」——計算の大部分に劣二次的な再帰を用い、少量の注意を用いること——が、大規模なスケールにおいて、推論効率の大きな利点を維持しながら、高密度なTransformerの能力に匹敵できることを示唆しています。著者らは、サービングコストやレイテンシが制約となるシナリオを明確にターゲットとし、研究者や実務者が基盤として活用できるよう、モデルとコードを公開しています。