ZAYA1-VL-8B Technical Report

提供された技術レポートに基づき、ZAYA1-VL-8B 論文の詳細な要約を以下に示します。

問題定義

ビジョン・ランゲージモデル（VLM）は急速に進化していますが、完全に成熟したと見なされる前にいくつかの課題が残っています。これには、モデルの幻覚現象、高解像度入力に対する高い計算コスト、そして効率的な展開の難しさなどが含まれます。本論文で特定された特定のアーキテクチャ的制限として、標準的な VLM はしばしばビジョントークンと言語トークンを同一のモデルパラメータ経由でルーティングし、本質的に異なる統計的特性を持つ 2 つのモダリティに対して共有表現を強制する点が挙げられます。これは、特にエキスパートのルーティングが主に言語データから学習される混合エキスパート（MoE）アーキテクチャにおいて、干渉を引き起こす可能性があります。さらに、画像トークンに対する因果的アテンションマスクの標準的な使用は最適ではありません。なぜなら、画像パッチには本質的な左から右への順序が存在せず、任意に以前のパッチが後続のパッチにアテンションすることを防ぎ、大域的な視覚構造の捕捉を制限するためです。加えて、エコシステムは専有モデルやそれらから蒸留された合成データに大きく依存しており、再現性と性能を駆動する要素の可視性が制限されています。

手法

著者らは、社内開発の MoE 言語モデルであるZAYA1-8B-A1Bを基盤としたコンパクトな VLM、ZAYA1-VL-8Bを提案します。このモデルは、ビジョンエンコーダを含めて総パラメータ数 92 億、アクティブパラメータ数 14 億で構成されています。アーキテクチャは、デコーダのみの LLM、ビジョンエンコーダ（Qwen2.5-VL ベース）、画像前処理器、そしてビジョンアダプターの 4 つの主要コンポーネントを統合しています。

本論文では、パラメータ共有と因果的マスキングの制限に対処するために設計された 2 つの主要なアーキテクチャ的革新について詳述しています。

1. ビジョン固有の LoRA アダプター: MoE バックボーンに新しいエキスパートを追加する（これによりモデルサイズとデータ要件が増大する）代わりに、著者らは LLM 内のアテンションおよび MLP モジュールの線形重みに低ランク適応（LoRA）アダプターを統合します。これらのアダプターは、ビジョントークンが LLM へ入力された場合にのみ活性化されます。これらはゼロから開始し、テキスト経路からの乖離を防ぐために重み減衰項を付与して、主要なトレーニング段階において標準的な重みと並行してトレーニングされます。これにより、モデルサイズを大幅に増大させることなく、モダリティ固有の容量を増加させます。
2. 画像トークンに対する双方向アテンション: 著者らは、LLM のアテンション層におけるビジョントークンに対する因果マスクを除去します。これにより、すべての視覚トークン間で完全な双方向アテンションが可能となり、空間的対称性が回復し、LLM 内部の視覚トークンのアテンションパターンがビジョンエンコーダのそれと整合します。テキストトークンは標準的な因果的マスキングを維持します。

トレーニングパイプライン:
トレーニングは多段階のカリキュラムに従います。

• アライメント: LLM を固定した状態で、低解像度の画像キャプションデータ（LLaVA-ReCap-558K）のみを用いてビジョンアダプターをトレーニングします。
• 事前学習: 3000 万のマルチモーダルサンプル上で全パラメータを共同トレーニングします。この段階では新しいチャットテンプレートが導入され、画像解像度の上限が 0.8 メガピクセルから 6.3 メガピクセルへ段階的に引き上げられます。
• 埋め込み層の拡張: 残りのモデルを固定したまま、グラウンディングタスク（バウンディングボックスとポイント）用の特殊トークンを収容するために LLM の埋め込み層を拡張します。
• 指示微調整: 2000 万のキュレーションされたテキストおよびマルチモーダルサンプルを用いたエンドツーエンドのトレーニングを行い、バウンディングボックスとポインティングの形式でグラウンディングデータを導入します。

トレーニングパイプラインは、異種混合のシーケンス長を処理し、GPU 利用率を最大化するために、効率的なシーケンスパッキングと慎重に設計されたアテンションマスキング（会話マスキングを含む）を用いた完全なストリーミングデータパイプラインを利用します。

主な貢献

1. MoE の実現可能性の証明: 本論文は、独自のカスタム MoE LLM（ZAYA1-8B-A1B）が強力な VLM を駆動できることを実証し、言語における MoE の恩恵が VLM タスクへシームレスに転移することを示しています。
2. 新規アーキテクチャ機構: モダリティ干渉と因果的マスキングの制限に対処するための軽量機構として、ビジョン固有の LoRA アダプターと画像トークンに対する双方向アテンションを導入し、MoE LLM を VLM に拡張するための新たなアプローチを提供します。
3. 効率性と性能: ZAYA1-VL-8B は、推論 FLOP あたりの強力な性能と、トレーニングトークンに関するサンプル効率を実証しています。
4. オープンソース公開: モデル、トレーニングチェックポイント、および推論コードは研究コミュニティに公開されています。

結果

ZAYA1-VL-8B は、ドキュメント理解、知覚、推論、数え上げ、グラウンディングを網羅する多様なベンチマークスイートで評価されました。

• 一般ベンチマーク: このモデルは、Molmo2-4B や InternVL3.5-4B などの主要なベースモデルと競合する性能を達成します。画像理解、推論、数え上げのベンチマーク（AI2D、ChartQA、DocVQA、CountBenchQA など）において、Qwen2.5-VL-3B、PLM-3B、MolmoE-8B などのモデルを上回ります。
• グラウンディングベンチマーク: Point-Bench において、ZAYA1-VL-8B は平均スコア 58.0 を達成し、MolmoE-8B-A1B と同等の性能を示し、Qwen3-VL-2B などの小型の密なモデルを上回ります。RefCOCO においては、全体平均 84.3 を達成し、著しく多いアクティブパラメータを持つモデル間で競争力のある位置を占めています。
• アブレーション研究: 実験により、画像トークンに対する双方向アテンションがドキュメントおよび画像理解タスクを改善すること、そしてアダプターを持たないベースラインに対してビジョン固有の LoRA アダプターが明確な性能向上をもたらすことが確認されました。

意義

本論文は、ZAYA1-VL-8B が、よく設計された MoE バックボーンとデータ効率の良いパイプラインを組み合わせることで、同等のモデルのアクティブ計算量およびデータ予算のほんの一部で、非常に能力の高い VLM を駆動できることを示していると主張しています。モデルをオープンソース化することで、著者らは研究コミュニティに対して実用的な基盤を提供し、強力な性能を駆動する要素を完全に可視化することを目指しています。この研究は、大規模なパラメータ数や専有データ蒸留を必要とせず、慎重なデータキュレーションとターゲットを絞ったアーキテクチャ的革新によって、堅牢な汎用視覚理解が達成可能であることを浮き彫りにしています。将来の方向性としては、LLM バックボーンに直接マルチモーダル RoPE を組み込むこと、およびビデオ理解のためのトレーニングコーパスの拡張が挙げられています。