🤖 AI

Investigating Redundancy in Multimodal Large Language Models with Multiple Vision Encoders

本論文は、複数の視覚エンコーダを統合するマルチモーダル大規模言語モデルにおいて、実際にはエンコーダ間に冗長性が存在し、特定のエンコーダをマスクすることで性能が向上する場合さえあることを示し、より効率的なアーキテクチャ設計のための新たな評価指標と洞察を提供するものである。

原著者： Yizhou Wang, Song Mao, Yang Chen, Yufan Shen, Yinqiao Yan, Pinlong Cai, Ding Wang, Guohang Yan, Zhi Yu, Xuming Hu, Botian Shi

公開日 2026-02-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yizhou Wang, Song Mao, Yang Chen, Yufan Shen, Yinqiao Yan, Pinlong Cai, Ding Wang, Guohang Yan, Zhi Yu, Xuming Hu, Botian Shi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、最新の「マルチモーダル大規模言語モデル（MLLM）」という、画像を見て言葉を話す AI について、**「実は、もっとシンプルで効率的な方法があるのではないか？」**という驚くべき発見を報告したものです。

専門用語を抜きにして、わかりやすい例え話で解説します。

🎨 絵を描くための「画家チーム」の話

まず、この AI の仕組みを想像してください。
最新の AI は、画像を理解するために、**「複数の異なる画家（ビジョンエンコーダ）」**をチームとして雇っています。

画家 A：全体の雰囲気や意味を捉えるのが得意（例：CLIP）。
画家 B：細かい文字や図表を読むのが得意（例：OCR 用）。
画家 C：物体の輪郭を正確に描くのが得意（例：SAM）。

これまでの常識は、**「画家をたくさん雇えば雇うほど、AI は賢くなり、どんな質問にも正解できるはずだ」**というものでした。だから、研究者たちは 4 人、5 人、あるいはそれ以上の画家をチームに集めていました。

🔍 論文の発見：「実は、誰かが邪魔をしている？」

しかし、この論文の著者たちは、このチームを詳しく調べて驚くべき事実を見つけました。

「チームのメンバーを 1 人、2 人、3 人と減らしていくと、AI の性能はほとんど落ちないどころか、むしろ『良くなる』ことさえあるんだ！」

これは、まるで**「5 人の料理人がいるキッチンで、実は 2 人だけで十分美味しい料理が作れて、残りの 3 人はただの邪魔者（あるいは同じことを言い争って混乱させている）」**という状況に似ています。

ある特定のタスク（例：図表の読み取り）：実は「画家 B」1 人さえいれば 90% 以上の力を出せます。他の画家はほとんど役に立っていません。
一般的な会話：どの画家も似たようなことを言っているので、誰がいても結果は同じです。つまり、**「冗長（同じことを繰り返している）」**状態です。
最悪の場合：時には、特定の画家がいるせいで、AI が混乱して間違った答えを言ってしまうことさえありました（「マイナスの貢献」）。

📊 発見を測るための「新しいものさし」

著者たちは、この「無駄」を数値で測るための新しいものさしを作りました。

CUR（条件付き利用率）：
「他の画家がいる中で、この人がどれだけ独自に貢献しているか？」を測ります。
- 値が低い＝「他の人がやってくれるから、この人は必要ない（無駄）」。
- 値がマイナス＝「この人がいるせいで、チームの成績が悪化している（邪魔者）」。
IG（情報ギャップ）：
「チーム内で、一番貢献している人と、一番貢献していない人の差がどれくらいあるか？」を測ります。
- 差が大きい＝「特定の 1 人だけがエースで、他のメンバーはただの観客」。

💡 結論：「もっと少ない人数で、もっと速く、もっと安く」

この研究から得られた重要な教訓は以下の 3 点です。

「多いほど良い」は嘘だった：
画家を 5 人から 2 人に減らしても、AI の性能は 90% 以上維持できました。しかも、訓練にかかる時間やコストは 3 割以上削減できました。
- 例え話：5 人のチームで 100 点を取るのに 100 時間かかっていたのが、2 人のチームなら 65 時間で 95 点取れるなら、そちらの方が圧倒的に効率的ですよね。
特定のタスクには「専門家」が一人いればいい：
図表を読むなら「図表専門の画家」1 人、一般的な会話なら「バランスの取れた画家」1 人。全員を揃える必要はありません。
AI の未来は「賢い選択」：
これまで「もっと多くの機能（画家）を追加しよう」という方向に進んでいましたが、これからは**「誰が必要で、誰が不要か」を見極め、無駄を削ぎ落としたスリムな AI**を作る時代が来るでしょう。

🌟 まとめ

この論文は、**「AI を強くするために、無理やりメンバーを増やすのはやめよう。むしろ、必要な人だけを残して、チームを整理したほうが、もっと速く、安く、賢い AI が作れるよ！」**と教えてくれています。

まるで、**「大勢の観客がいる中で、実は 2 人の主演俳優だけで劇が成立している」**ことに気づいたようなものです。これからは、その「2 人の主演」をどう見極めるかが、AI 開発の鍵になります。

以下は、ICLR 2026 にて発表された論文「INVESTIGATING REDUNDANCY IN MULTIMODAL LARGE LANGUAGE MODELS WITH MULTIPLE VISION ENCODERS」の技術的サマリーです。

1. 研究の背景と課題 (Problem)

近年のマルチモーダル大規模言語モデル（MLLM）では、性能向上を目的として、異なる事前学習目的やアーキテクチャを持つ複数のビジョンエンコーダを統合する傾向が強まっています。このアプローチの前提は、「多様なエンコーダが相補的な視覚信号を提供し、モデルの表現力を高める」というものです。

しかし、著者らはこの前提が実際には成立しない場合が多いことを指摘しています。

課題: 複数のエンコーダを統合しても、性能向上は限定的（逓減するリターン）であり、場合によっては単一エンコーダや少数のエンコーダを持つモデルの方が性能が良いこともあります。
核心: 多くのエンコーダが**冗長性（Redundancy）**を含んでおり、互いに重複した情報を提供したり、場合によってはノイズや矛盾したシグナルをもたらして融合を困難にしたりしています。これにより、計算リソースの浪費や推論遅延の増加が起きています。

2. 手法 (Methodology)

本研究では、マルチエンコーダ MLLM におけるエンコーダの冗長性を定量的に分析・評価するための新しいフレームワークを提案しました。

2.1 実験設定

対象モデル: Eagle (4〜5 個のエンコーダ)、Cambrian-1 (4 個のエンコーダ) など、代表的なマルチエンコーダ MLLM。
評価ベンチマーク: 4 つのカテゴリ（一般、知識、OCR&チャート、視覚中心タスク）に分類された多様なベンチマーク。
アブレーション研究: 特定のエンコーダの出力をゼロテンソルに置き換える（マスクする）ことで、そのエンコーダが欠落した場合の性能変化を測定します。

2.2 提案メトリクス

エンコーダの寄与度と冗長性を定量化するための 2 つの指標を導入しました。

条件付き利用度 (Conditional Utilization Rate: CUR)
- 定義: 他のエンコーダが存在する条件下での、特定のエンコーダ $E_i$ の限界貢献度。
- 数式: $u(E_i) = \frac{acc(f_{E_n}) - acc(f_{E_n \setminus \{E_i\}})}{acc(f_{E_n})}$
- 解釈:
  - 高い正の値: 不可欠なエンコーダ。
  - 0 に近い値: 冗長（他のエンコーダで代替可能）。
  - 負の値: 有害（ノイズや矛盾したシグナルを導入し、性能を低下させている）。
情報ギャップ (Information Gap: IG)
- 定義: 特定のモデル内におけるエンコーダ間の寄与度の最大値と最小値の差。
- 数式: $\Delta_{gap}(E_n) = \max_i u(E_i) - \min_j u(E_j)$
- 解釈: 値が大きいほど、一部のエンコーダが支配的で他が未活用（または有害）であることを示し、アーキテクチャの非効率性を表します。

3. 主要な発見と結果 (Key Findings & Results)

3.1 広範な冗長性の存在

性能の回復力: 複数のエンコーダを持つモデルから特定のエンコーダをマスクしても、性能は劇的に低下せず、むしろ改善するケースさえあります。
- 例：Eagle-X5 7B で 3 つのエンコーダをマスクしても、性能は 4% 未満の低下に留まります。
- 例：Cambrian-1 8B では、3 つのエンコーダのサブセットを使用することで、フルモデルよりも1.7% 高い性能を達成しました。

3.2 タスクによる特化と依存性

OCR & チャートタスク: 非常に高い特化が見られます。特定のエンコーダ（例：EVA-02 や ConvNext）が CUR > 90% で支配的であり、他のエンコーダはほとんど寄与していません。
一般 VQA & 知識ベースタスク: エンコーダ間の CUR が低く、互換性が高く、冗長性が高いことが示されました。
有害なエンコーダ: 一部のエンコーダ（例：Cambrian-1 8B の SigLIP における Vision-Centric タスク）は負の CUR を示し、モデルに組み込むことで性能を低下させています。

3.3 効率性の劇的な向上

双エンコーダ変換の優位性: 2 つの主要なエンコーダのみを使用する変換モデル（Dual-encoder variants）は、フルモデルの90% 以上の性能を維持しながら、以下の大幅な効率化を実現しました。
- トレーニング時間: 5 エンコーダモデルから 2 エンコーダモデルへの変更で、トレーニング時間が34.6% 短縮（Eagle-X5 7B の場合）。
- 推論レイテンシ: 3 つの冗長エンコーダをマスクすることで、エンドツーエンドのレイテンシが19.5% 削減されました。
- 計算コスト: ビジョン側の FLOPs が大幅に削減され、全体の計算コストの約 12% が節約されました。

3.4 モデルスケールとの関係

LLM のサイズが大きいほど（例：13B モデル）、エンコーダ間の寄与度の偏り（IG）が顕著になり、冗長性が増大する傾向が確認されました。これは、大規模モデルほど個々のエンコーダの欠落に対してロバストである反面、アーキテクチャとしての非効率性が高いことを示唆しています。

4. 貢献と意義 (Contributions & Significance)

定量的な実証: マルチエンコーダ MLLM における「より多くのエンコーダ＝良い」というヒューリスティックが誤りであることを、初めて体系的かつ定量的に証明しました。
診断ツールの提案: CUR と IG というモデルに依存しないメトリクスを提案し、エンコーダの有用性とバランスの欠如を定量化する枠組みを提供しました。
実用的な設計指針: 2 つのエンコーダ（1 つの主要エンコーダ＋1 つの補完的エンコーダ）の組み合わせが、計算コストを大幅に削減しつつ、高い性能を維持できることを示しました。これにより、トレーニングリソースと推論効率を最適化した次世代 MLLM の設計が可能になります。
理論的洞察: 「プラトニック表現仮説（Platonic Representation Hypothesis）」の観点から、類似したデータで事前学習されたエンコーダは表現空間が収束するため、追加のエンコーダは相補性よりも重複（冗長性）をもたらす可能性が高いことを示唆しました。

結論

本論文は、マルチモーダルモデルの設計において、単にエンコーダを増やすことへの盲目的な依存を戒め、**「適切なエンコーダの選択と削減」**こそが、性能と効率の両立を実現する鍵であることを示しています。提案されたメトリクスと知見は、より軽量で効率的なマルチモーダルアーキテクチャの開発に向けた具体的な道筋を提供するものです。