技術的サマリー：VEN-VL

問題定義

大規模視覚言語モデル（LVLM）の最近の進展は、特に混合専門家（MoE）アーキテクチャを活用する場合、複雑な視覚理解において大きな可能性を示しています。しかし、LVLM を高速化するための既存の効率的な手法は、情報容量と情報密度の限界に起因する性能低下という重大なボトルネックに直面しています。

現在のアプローチは一般的に 2 つのカテゴリに分類され、どちらも本質的な欠陥を有しています：

1. 入力ごとのプルーニング：LLM の前に単一の視覚ストリームをコンパクトな表現に圧縮する手法。これらはしばしば高い圧縮率を過度に重視し、完全な意味論的モデリングを確立できず、情報容量と多様性を著しく低下させます。
2. 層ごとのプルーニング：アテンションマップに基づいて LLM 内のトークンをプルーニングする手法。これらは初期層における粗い視覚 - テキストの整合性に依存しており、後続の層で微細な意味論に必要となる凝縮された情報を含むトークン（例：小さな物体や微妙なテクスチャ）を誤って削除してしまいます。

核心的な課題は、LVLM が、より少ない数の、しかし極めて情報凝縮された視覚トークンを使用して、優れた性能を達成できるようにすることです。

手法：VEN-VL

著者は、「豊かにしてから凝縮する（enrich then compact）」という原則に従って、性能と効率性の間のギャップを埋めるように設計されたフレームワークであるVEN-VL（Visual Ensemble MoE）を提案します。このアーキテクチャは、主に 3 つのコンポーネントで構成されます：

1. 多面的知識アンサンブル（MKE）

目的：情報容量の豊かさの向上。
単一の視覚ストリームを圧縮する代わりに、MKE は異なる視点からの視覚表現を統合し、冗長性を抑制しながら意味論的多様性を高めます。

• デュアルストリーム抽出：意味整合特徴（$F_{main}$）のための主要エンコーダ（例：CLIP）と、微細で詳細が強調された特徴（$F_{extra}$）のための補助エンコーダを利用します。
• 構造認識圧縮：単純な連結ではなく、MKE は逐次的なマージ戦略を採用します：
  • 空間マージ：両ストリームの空間軸を圧縮して局所性をチャネル次元に変換し、2 次元グリッドトポロジーを保持します。
  • 自己/交差マージ：二部マージ演算子を用いて、非連結な特徴セット間の上位 k 個のコサイン類似度を特定し、重み付き平均を介して一致するペアを集約します。これにより冗長性が抑制され、意味論がグローバルに補完されます。
• 結果：高い情報容量と多様性を保持する、統合されたコンパクトな視覚空間（$V$）。

2. 階層的トークンアンサンブル（HTE）

目的：情報密度の向上。
HTE は LLM の深層層内で動作し、MoE の固有の特异性を活用して視覚分布を逐次的に洗練させます。

• 専門化された視覚 MoE：このフレームワークは、特定の視覚意味論を捉えるために視覚トークンのみでアクティブ化される軽量専門家のバンクを導入し、一般的な推論能力を維持するグローバル専門家（$E_{global}$）と併せて機能します。
• 適応的ルーティング：Top-$k$ゲーティング機構が、トークンの意味論的内容に基づいて、視覚トークンを最も適した専門家に動的にルーティングします。
• 削減ゲーティング機構：粗いアテンションマップに依存する手法とは異なり、HTE はトークンの顕著性の尺度としてルーティング活性化スコアを使用します。高い顕著性を持つトークン（指向性処理を必要とするもの）は保持され、低いスコアを持つトークン（些細な/冗長なもの）はプルーニングされます。
• 結果：層全体での情報密度の漸増的増加により、深層層の計算が極めて凝縮されたトークンのみに焦点を当てることを保証します。

3. 構造情報保持（SIP）

目的：帰納的ガイダンスの提供。
トークンプルーニング中の構造情報の損失を防ぐため、SIP はモデルに再構成能力を付与します。

• 意味論的伝播：プルーニングされたトークン埋め込みは、構造的性質（RoPE）で再初期化されます。残った凝縮トークンは、収束するまで共有空間内でこれらのプルーニングされたトークンへ包括的な意味論を反復的に伝播させます。
• 明示的視覚監督：再構成表現と元の入力との間に再構成損失（$\mathcal{L}_{qrec}$）が適用されます。重要なのは、この手法が量子化を使用して正確な値を低レベル表現にマッピングし、モデルが正確なピクセル値の回帰に過度に依存すること（些細なパターンに焦点を当てる原因となり得る）を回避することです。
• 結果：保持されたトークンが、選択プロセスをガイダンスしつつ、元の凝縮情報を大幅に復元することを保証します。

主要な貢献

1. 豊かにしてから凝縮する原則：この論文は、MKE によって視覚空間をまず豊かにし、その後 HTE によって逐次的に凝縮するという設計哲学を導入し、情報容量と密度の両方に対処します。
2. VEN-VL フレームワーク：MKE、HTE、SIP を統合した新しい Visual Ensemble MoE フレームワークであり、LVLM における性能と効率性のギャップを効果的に埋めます。
3. 構造情報保持（SIP）：モデルに再構成能力を割り当てることでトークン選択に対する帰納的ガイダンスを提供する機構であり、削減中に構造的一貫性が維持されることを保証します。
4. 最先端の性能：このフレームワークは、標準的なアプローチに必要な視覚トークンの数分の 1（視覚トークンの約 7.5% から 10% のみを保持）で、複雑なマルチモーダルタスクにおいて優れた結果を達成します。

実験結果

著者は、MMBench、TextVQA、MME、MMMU などの複数のベンチマークで、さまざまな LLM バックボーン（例：Qwen2.5、Qwen3）を使用して VEN-VL を評価しました。

• 性能向上：強力なベースラインである TinyLLaVA（Qwen2.5-1.5B）と比較して、VEN-VL は視覚トークンの約 10% のみを保持しながら、TextVQA で**+8.1%、MMB で+5.2%、MMBCN で+6.8%**の大幅な改善を達成しました。
• 効率性：公平な設定（Qwen3-0.6B バックボーン）下での他のトークンプルーニング手法（例：PruMerge、FastV）との比較において、VEN-VL はトークンを7.5%のみ保持しながらそれらを大幅に凌駕しました。例えば、PruMerge が 40.9 だったのに対し、平均スコアは50.1を達成し、性能向上に対する FLOPs の増加は管理可能な範囲でした。
• スケーラビリティ：この設計は既存の MoE フレームワーク（例：Kimi-VL）との強力な互換性を示し、最小限の性能差と大幅な推論速度向上を伴う大規模モデルへのスケーリングの可能性を示しました。
• アブレーション研究：
  • MKE を除去すると平均性能が低下し、多面的な豊かさの必要性が実証されました。
  • HTE を浅い層でのみ適用するか、すべての層に適用する場合（Dense）は最適ではありませんでした。「後半（深層層）」への適用が最も効果的でした。
  • SIP を除去するか、量子化損失（$\mathcal{L}_{qrec}$）の代わりに標準的な MSE 再構成損失（$\mathcal{L}_{rec}$）を使用すると性能が低下し、トポロジーベースのガイダンスの必要性が確認されました。

意義と主張

この論文は、VEN-VL が現在の効率的な LVLM における情報容量と密度のボトルネックを効果的に解決すると主張しています。多視点の視覚表現を統合し、動的なトークン選択のために適応的 MoE ルーターを活用することで、このフレームワークはモデルが標準的なアプローチに必要な視覚トークンの数分の 1 で複雑な視覚理解タスクを実行できるようにします。

著者は、VEN-VL をスケーラブルで効率的なマルチモーダル理解に向けた重要な一歩として位置づけ、専門的なアンサンブルとプルーニング機構を通じて情報密度と構造的一貫性が保持される場合、高い性能は高いトークン数を必要としないことを実証しています。彼らは、アルゴリズム的な最適化が堅牢である一方で、理論的な FLOPs 削減を実世界のエンドツーエンドの高速化に変換するには、さらにシステムレベルの取り組み（例：カーネル最適化など）が必要であると認めています。