技術概要：UniMoCo

問題定義

現在の視覚言語モデル（VLM）およびマルチモーダル埋め込み手法は、クエリとターゲットが多様かつ不完全なモダリティの組み合わせを含む現実世界のシナリオにおいて、重大な課題に直面しています。CLIP、BLIP、および最近の LVLM ベースの埋め込み（例：VLM2VEC）などの既存のアプローチは、統合された表現を学習することを目的としていますが、通常は双方向エンコーダアーキテクチャまたは浅い融合に依存しており、トレーニング中に単一の整合的な埋め込み空間内で可能なすべてのモダリティの組み合わせを整合させることができていません。

この限界は、主にトレーニングデータにおけるモダリティの組み合わせの偏りに起因しています。例えば、トレーニングデータセットは、両方のモダリティが存在するテキスト - 画像ペア、または特定のクエリ - ターゲット構成（例：テキスト - 画像クエリからテキストターゲットへ）を強く好む傾向があります。その結果、モデルはモダリティの組み合わせバイアスを示し、頻出パターンでは良好に機能しますが、推論中に稀なモダリティや欠落したモダリティ（例：テキストのみのクエリまたはターゲット）に遭遇すると、頑健性が低下します。従来の手法は、視覚モダリティが欠如している場合に一貫した埋め込みを生成することに苦慮し、潜在空間における不一致を引き起こします。

手法

これらの根本的な限界に対処するため、著者はUniMoCo（Unified Modality Completion：統合モダリティ補完）を提案します。これは、入力利用可能性に関わらず、クエリとターゲットの両方に対してモダリティの完全性を保証するように設計された新しいフレームワークです。

アーキテクチャ

UniMoCo は、大規模視覚言語モデル（LVLM）のバックボーン（例：Phi-3.5V または Qwen2-VL-7B）に基づいて構築され、以下の 3 つの主要コンポーネントを統合しています：

1. モダリティ補完モジュール：視覚モダリティが欠如している場合（例：テキストのみの入力）、このモジュールはテキストから直接視覚的埋め込みを合成します。これには、コンパクトなテキスト - 画像（T2I）言語モデルが使用され、「疑似視覚トークン」を生成します。
2. 補助視覚エンコーダ：テキストから生成された疑似視覚的埋め込みと、画像からの実際の視覚的埋め込みとの間の分布ギャップに対処するため、専用の視覚エンコーダが追加されます。これにより、疑似埋め込みが実際の画像トークンと同じ特徴空間にマッピングされることを保証します。
3. パディング戦略：構造的な一貫性を維持するため、モジュールはテキストトークンをパディングトークンと連結します。これにより、補完モジュールへの入力長が、実際の画像に対して主要な視覚エンコーダによって生成される固定数の視覚トークン（例：576 トークン）と一致し、類似度マッチングを妨げる長さの不一致を防ぎます。

トレーニング戦略

UniMoCo は、埋め込み空間を統合するために 2 つの相補的な損失関数を組み合わせた専門的なトレーニング戦略を採用しています：

1. コントラスト損失（$L_1$）：マッチングするクエリ - ターゲットペアを埋め込み空間内で近づけ、非マッチングペアを遠ざける標準的な InfoNCE 損失です。
2. 補助損失（$L_2$）：モダリティ完全な入力とモダリティ欠落入力の間のギャップを埋めるように設計されたクロスエントロピー損失です。画像とテキストの両方を含む入力の場合、モデルは画像を除去し疑似視覚トークンを生成することで「疑似」バージョンを構築します。$L_2$ は、元の入力の埋め込みとそのモダリティ補完版の間のクロスエントロピーを最小化します。これにより、モデルはモダリティ不変の表現を学習することを強制され、実際の画像を含む入力と合成された疑似画像を含む同じ入力が一貫した埋め込みを生成することが保証されます。

全体の目的関数は $L = L_1 + \alpha L_2$ であり、ここで $\alpha$ は、コントラスト学習の識別力と、補助損失によって強制される一貫性のバランスを取ります。

主要な貢献

1. 統合モダリティ補完：著者は、テキストから欠落した視覚特徴を合成する軽量アーキテクチャを導入し、視覚入力が欠如している場合でもマルチモーダル表現が完全であることを保証します。
2. 堅牢なトレーニング戦略：著者は、モダリティ補完モジュールの可能性を最大化し、多様なモダリティの組み合わせ全体で一貫した整合性を保証するために、コントラスト学習と補助損失を組み合わせたトレーニングフレームワークを開発しました。
3. バイアス軽減：本論文は、偏ったトレーニングデータに起因する従来のアプローチにおける本質的なバイアスを特定し、定量化しています。UniMoCo はこのバイアスを効果的に軽減し、支配的な組み合わせだけでなく、すべてのモダリティの組み合わせにおいて堅牢な性能を発揮することが示されています。

実験結果

著者は、分布内（IND）および分布外（OOD）データセットにおける分類、検索、視覚的質問応答（VQA）、および視覚的グラウンディングを網羅するMMEB（Massive Multimodal Embedding Benchmark）上で UniMoCo を評価しました。

• 性能：UniMoCo は、微調整された CLIP、OpenCLIP、BLIP2、SigLIP、および強力な LVLM ベースの VLM2VEC を含む既存のベースラインを上回りました。UniMoCo の Qwen2-VL-7B 変種は、63.2という最高の総合スコアを達成し、VLM2VEC（52.0）と比較して OOD 設定（58.4）で大幅な改善を示しました。
• モダリティの頑健性：欠落したモダリティを含むタスク（例：$(T, T+I)$ または $(T+I, T)$）において、UniMoCo は優れた一貫性を示しました。VLM2VEC は支配的なトレーニング組み合わせでは良好に機能しますが、稀な組み合わせでは性能が大幅に低下します。一方、UniMoCo はすべての組み合わせで高い性能を維持し、モダリティバイアスを効果的に中和します。
• アブレーション研究：
  • パディングメカニズムまたは補助視覚エンコーダを除去すると性能が低下し、構造的および分布的な整合性にとってそれらが不可欠であることを確認しました。
  • より大きな T2I モデルのスケール（例：7B 対 0.5B）は、スケーリング則と一致して埋め込みの品質を継続的に向上させます。
  • 補助損失の重み（$\alpha$）として0.2が最適なバランスであることが特定され、識別的埋め込み学習からの主要なトレーニング目的の逸脱を招くことなく性能を向上させました。
• 効率性：トレーニングでは、補助損失により約 35% のレイテンシ増加と 20% のピークメモリ増加が発生しますが、推論時のオーバーヘッドは最小限（レイテンシ 8%、メモリ 10%）であり、性能向上とのトレードオフは許容範囲です。

意義と主張

本論文は、UniMoCo が現実世界のデータの不備に対するマルチモーダル埋め込みの堅牢性を高める上で重要な前進であると主張しています。トレーニングデータ分布に内在するモダリティの組み合わせバイアスを体系的に対処することで、UniMoCo は、モデルが過小評価されたモダリティや欠落したモダリティに遭遇しても劣化しないことを保証します。

著者は、計算コストが高く、埋め込みタスクと整合しない可能性のある複雑な生成拡散モデルに画像合成を依存しないアプローチを強調しています。代わりに、彼らは LVLM フレームワーク内で埋め込みを直接合成する構造的な革新を提案し、機能的な整合性と整合性を保証しています。この研究は、将来のマルチモーダルシステムが、単なるデータ拡張技術としてではなく、堅牢性の中核的なアーキテクチャ要件としてモダリティの完全性を考慮する必要があることを示唆しています。

本論文は、UniMoCo がモダリティバイアスを効果的に解決している一方で、将来の研究では、これらの構造的革新をトレーニングデータ強化やコントラスト学習の最適化などの他のアプローチと組み合わせ、マルチモーダル表現学習をさらに進展させる可能性があると結論付けています。