技術要約: MMLongEmbed

問題提起

マルチモーダル埋め込みモデル（MEM）の最近の進歩により、理論的なコンテキストウィンドウは32Kトークン以上に大幅に拡大し、テキスト、ドキュメント画像、ビデオが混在したインターリーブ（交互配置）表現の統一が可能となりました。しかし、本論文は、コンテキストウィンドウを大きくすることが、必ずしも長文コンテキストのマルチモーダル入力に対する効果的な理解や表現能力に直結するわけではないと主張しています。このギャップは、マルチモーダル検索拡張生成（RAG）や自律型エージェントのワークフローといった実世界のアプリケーションへの展開における決定的なボトルネックとなっています。

現在の評価フレームワークには、主に以下の3つの欠陥があります：

1. コンテキストの多様性の制限: 既存のベンチマークは主にテキストデータに限定されており、現実世界のシナリオで遭遇するマルチモーダルな情報をカバーできていません。
2. 長さの層化の欠如: 入力長が制御変数として扱われていないことが多く、コンテキストのスケールに伴う性能低下の系統的な分析を妨げています。
3. タスク難易度の不足: 多くのベンチマークは単純な候補プールの拡張に依存しており、浅い特徴量マッチングによって解決できてしまうため、真のセマンティックな理解をテストするために必要な深さが欠けています。

手法: MMLongEmbed ベンチマーク

これらのギャップに対処するため、著者らは、長文コンテキストのシナリオにおけるMEMを体系的に評価するために設計された初の包括的なベンチマークである MMLongEmbed を導入します。

ベンチマークの構築

本ベンチマークは、8,460個のクエリと20,880個の候補からなる8つの多様なデータセットを統合しており、最大32Kトークンのコンテキスト長をサポートしています。また、画像のみ、画像とテキストのインターリーブ、テキストのみの3つの入力形式をサポートしています。評価は、以下の4つの異なるタスクで構成されています：

1. 視覚的グラウンディング（合成）: NeedleBench と MMNIAH のデータを用いた「Needle-in-a-Haystack（干し草の中の針）」フレームワークです。ターゲットとなるインスタンス（「針」）は、OBELICS からサンプリングされたマルチモーダルな干し草の中に埋め込まれます。設定は、挿入位置の深さ（0%から100%）とコンテキスト長（256から32Kトークン）を8つの区間にわたって変化させます。極めて重要な点として、微細な検索の曖昧さを導入するために、ディストラクター（妨害要素）はターゲットと非常に類似するように設計されています。
2. マルチソース推論（実世界）: HotpotQA と MMDocRRAG に基づいて構築されており、異種混合のコンテキスト間で構造化された証拠を捉える能力を評価します。本ベンチマークでは、意味的には無関係だが自然な流れを持つテキストを注入することで、元のコンテキストを16Kおよび32Kトークンまで拡張しています。「ハード」なディストラクターは、決定的な証拠のスパンを削除することで生成され、表面的なトピックの類似性は維持しつつ、推論の連鎖を断ち切るように設計されています。
3. 論理的要約（実世界）: GovReport と MMLongBench を使用し、グローバルな意味圧縮を評価します。ハードなディストラクターは、大きな連続スパン（例：最初の25%、最後の25%、または中央の50%）を、トピックは似ているがクエリとは無関係なコンテンツで置き換えることで作成されます。これにより、モデルは局所的なキーワードマッチングではなく、論理的な流れに依存することを強制されます。
4. 時間的要約（実世界）: ActivityNet Captions と YoukuDenseCaption をソースとし、ビデオにおける長期間の時系列構造の理解を評価します。ハードなディストラクターには、時系列の逆転やブロックレベルの置換といったマクロ構造の変換が含まれ、イベントレベルのセマンティクスは保持しつつ、グローバルな物語の順序を乱します。

トークナイゼーションの標準化

異なるビジュアル・トークナイゼーション・スキームを持つモデル間で一貫した長さの間隔を確保するため、著者らは標準化されたカウントメカニズムを採用しています：

• テキストトークン: Qwen3トークナイザーを使用して算出。
• ビジュアルトークン: 画像は $16 \times 16$ のパッチ埋め込みとその後の $2 \times 2$ の空間マージングによって処理され、結果として1トークンあたり $32 \times 32$ ピクセルの有効なパッチサイズとなります。トークン数は $\lceil H/32 \rceil \times \lceil W/32 \rceil$ として計算されます。

評価プロトコル

本ベンチマークは、2Bから8Bのパラメータを持ち、少なくとも32Kのコンテキストウィンドウを備えた11の主要なMEM（オープンソース10種、プロプライエタリ1種）を評価します。評価では、長さのプール全体にわたって候補密度（クエリあたりの平均候補数）を厳密に制御し、特定の制限を超える入力に対しては、メモリ不足エラーを防ぐために「ミドル・トランケーション（中間切り捨て）」戦略を採用しています。

主な結果

広範な実験により、現在のMEMにおける長文コンテキストのマルチモーダル理解に関する重大な限界が明らかになりました：

• 規模と能力のデカップリング（分離）: モデルのサイズや埋め込み次元を大きくしても、性能が必ずしも向上するわけではありません。場合によっては、同じファミリー内で小さなモデルがより大きなモデルを上回ることもあります（例：特定のハードなサブセットにおけるQwen3-2B対Qwen3-8B）。モデルの規模よりも、モデリングのパラダイムと学習戦略の方が決定的な要因であると考えられます。
• 位置バイアスと情報損失: 微細な検索（視覚的グラウンディング）における性能は、中間位置にあるターゲットにおいて著しく低下し、シーケンスの境界付近に強いバイアスを示します。ほとんどのモデルは、約2Kトークンまでは安定した検索を維持しますが、その後はモデルのサイズに関わらず性能が急速に悪化します。
• 表層的なマッチングへの依存: モデルは「イージー（容易）」なタスクでは良好に機能しますが、表面的なマッチングの手がかりが高類似度のディストラクターによって抑制される「ハード（困難）」なタスクでは、性能が急激に低下します。これは、モデルが深い微細な識別よりも、グローバルな意味的整合性に大きく依存していることを示しています。
• タスク固有の劣化:
  • 要約タスク: 高い冗長性と分散された証拠により、性能は長さに対して比較的安定しています。
  • 推論および時間的タスク: コンテキスト長が増加するにつれて、性能が一貫して低下します。特に時間的要約は脆弱であり、ハードなディストラクターの下ではランダムに近いレベルまで崩壊します。
• モダリティの堅牢性: モデルは、異種混合の背景干渉に対して様々な程度の堅牢性を示します。一部のモデルはモダリティ・スキュー（テキスト/画像のディストラクターによる性能の偏り）を示しますが、少数のモデルはモダリティに頑健な挙動を示し、すべての干渉タイプに対して安定した性能を維持しています。

重要性と主張

本論文は、MMLongEmbedがマルチモーダル埋め込みモデルの評価における決定的なギャップを埋めるものであると主張しています。コンテキストの長さ、モダリティ、およびタスクの難易度を体系的に変化させることで、現在のアーキテクチャが表面的な特徴量マッチングに大きく依存しており、長文コンテキストにおける深いセマンティックおよび構造的な依存関係を捉えることに苦慮していることを明らかにしました。

著者らは、単にコンテキスト長、モデルサイズ、または埋め込み次元をスケールアップするだけでは、これらの限界に対処するには不十分であると結論付けています。むしろ、これらの知見は、マルチモーダル入力における微細な情報の保持と深い構造的推論を効果的に扱うことができる、根本的に改善された長文コンテキストのセマンティック・モデリングの必要性を強調しています。ベンチマークとコードは、再現性とさらなる研究を促進するために公開されています。