技術概要：ランク付け検索によるマルチモーダルデータキュレーション

問題定義

共有埋め込み空間は、マルチモーダル検索およびデータキュレーションの標準的な基盤となっています。しかし、著者は、特に異種で人間によるラベル付けがなされたデータセットを混合する場合、これらのシステムの有効性を低下させる 2 つの相乗的な課題を特定しています。

1. モダリティ駆動型クラスタリング（モダリティギャップ）： 埋め込みは、意味的意味ではなく、入力モダリティ（例：すべてのテキストが一緒に、すべての画像が一緒に）によってクラスタリングされる傾向があります。この幾何学的な分離により、近傍検索は意味的類似性よりもモダリティの同一性を優先し、クロスモーダル検索やクラスタリングや重複排除などの下流タスクを損ないます。
2. ノイズのある対ペア監督： 対ペアデータセット（例：画像 - キャプション、動画 - 文字起こし）の学習信号は、しばしば不一致に悩まされます。注釈は、重要なオブジェクトを省略したり、無関係な文脈を含めたり、生データに存在しないコンテンツ（例：オフスクリーンの音声）を参照したりする可能性があります。モデルがそのようなノイズのある対ペアで訓練されると、データセットやモダリティと相関するショートカットを学習し、根本的な事象ではなく、モダリティギャップを強化します。

既存の解決策は通常、この問題の片側のみに対処しています。表現レベルの手法は埋め込みの整合性を取ろうとしますが、ノイズのある監督を既定のものとして受け入れ、データ中心のフィルタリングはペアの品質を向上させますが、しばしば体系的な幾何学的バイアスを修正できない固定エンコーダアーキテクチャを前提としています。

手法

本論文は、学習データペアと埋め込みモデルアーキテクチャの両方に同時に介入する結合フレームワークを提案します。このアプローチは、以下の 3 つの主要なコンポーネントで構成されます。

1. 対称核サンプリング（SNS）

SNS は、生入力および注釈の両方から無関係なコンテンツを切り取ることで、ペアサンプルの情報密度を高めるように設計されたデータ側の前処理技術です。これは 2 つのフェーズで動作します。

• 前方抽出： 注釈内容を説明する生データの最も関連性の高い部分（例：特定の画像領域、動画の瞬間、またはテキストスパン）を特定します。これは、埋め込み類似性によって導かれるモダリティ固有のセグメンテーションモデル（画像用 Grounding-DINO、動画用モーメント検出など）を使用して達成されます。
• 後方抽出： 生データによって裏付けられる注釈の最も根拠のある部分を特定します。これには、生データの記述を生成すること（Nemotron-Nano や Cosmos-Reason2 などのモデルを使用）と、この記述との類似度が高い文のみを保持するように元の注釈をフィルタリングすることが含まれます。
• 対称ゲート： 抽出された「核」と元のペアの相互情報量の比率が閾値（$\rho$）を超えた場合にのみ、ペアは保持または修正されます。これにより、トリミングが整合性を向上させつつ、有効なデータを破棄しないことが保証されます。

2. 専門家埋め込みエンジン（EEE）

モダリティバイアスに対処するため、著者は、それぞれ異なる強みと内在的なバイアスを持つ 3 つの異なる埋め込み戦略を活用するエキスパートの混合（MoE）アーキテクチャを提案します。

• エンドツーエンドエキスパート： 全モダリティを直接処理するために、統合マルチモーダルモデル（Omni-Embed-Nemotron-3B）を使用します。
• フュージョンエキスパート： 画像をアンカーとして使用し、個別のエンコーダからの埋め込みを融合する ImageBind 風のアーキテクチャを使用します。
• テキストエキスパート： モダリティからテキストへの変換モデルを使用してすべてのモダリティをテキスト記述に変換し、その後、専用テキスト埋め込みモデル（Llama-Nemotron-Embed-1B）を使用します。

3. バイアス感知目的を備えた投影ネットワーク

3 つのエキスパートが異なる空間で埋め込みを生成するため、すべてのエキスパートからの連結埋め込みを統合された空間に投影する軽量ニューラルネットワークが訓練されます。このネットワークは、複合損失関数で訓練されます。

• タスク損失（$L_{task}$）： ペアデータと注釈間の意味的類似性を維持するための InfoNCE 風の対比損失。
• クラスタバイアス損失（$L_{cluster}$）： 各モダリティの重心とグローバル重心との間の距離にペナルティを課し、共有空間内でモダリティが重なるように強制します。
• スケールバイアス損失（$L_{scale}$）： 均一なクラスタ幾何学を確保するために、モダリティ間の埋め込みの広がり（分散）の差異にペナルティを課します。

重要なのは、投影ネットワークがテキスト注釈を「根拠のあるアンカー」として扱い（その埋め込みを変更せず）、生データの埋め込みをそれらに向けて投影することで、幾何学がテキストモダリティによって導かれるようにしている点です。

主要な貢献

1. 結合失敗モードの分析： 本論文は、モダリティバイアスと生データ - 注釈の不一致が、混合された人間によるラベル付けコーパスにおいて埋め込みの質をどのように共同で低下させるかを分析しています。
2. 対称核サンプリング（SNS）： 相互情報量密度に基づいてマルチモーダルペアの両側から無関係なコンテンツを切り取ることで、ペアの整合性を向上させる新規の対称サンプリング手法。
3. 専門家埋め込みエンジン（EEE）： モダリティ駆動型の分離を軽減しつつ意味構造を保持するために、学習された投影層とバイアス感知目的を組み合わせたエキスパートの混合アーキテクチャ。
4. 堅牢な評価： 提案手法および業界標準のベースラインを含む、さまざまなデータキュレーション戦略にわたる下流モデルの性能を比較するための、人間が選択したタスクセットを使用した包括的な研究。

結果

このフレームワークは、音声、画像、動画、テキストにまたがる 5 つの人間による注釈データセット（AudioCaps、TextCaps、ALFRED、CoNaLa、TriviaQA）の混合で評価されました。キュレーションされたデータブレンドは、マルチモーダル言語モデル（Qwen2.5-Omni-3B）の微調整に使用され、検証パープレキシティが主要な指標となりました。

• 下流性能： 完全構成（SNS 双方向 + EEE + 投影）は、最も低い検証パープレキシティ（7.732）を達成し、層化ランダムサンプリング、均一ランダムサンプリング、および「伝統的」データキュレーションパイプライン（ヒューリスティックフィルタリングと単一エンコーダランク付けに依存）を上回りました。
• モダリティギャップの削減： 投影ネットワークはモダリティギャップを成功裡に解消しました。表 2 は、ベースエキスパート埋め込みと比較して、モダリティごとの重心間の $\ell_2$ 距離が平均して90% 以上削減されたことを示しています。
• アブレーションの知見：
  • SNS 変種（前方、後方、双方向）は、一貫して EEE のみのベースラインを上回り、データ側のノイズ除去の価値を確認しました。
  • 「伝統的」ベースラインは著しく劣った性能を示し、マルチモーダル設定におけるヒューリスティックフィルタリングと単一エンコーダアプローチの限界を浮き彫りにしました。
  • 投影ネットワークは不可欠でした。これがなければ、エキスパートの異なる埋め込み空間を効果的にランク付けまたは結合できませんでした。

意義と主張

本論文は、埋め込み空間に修正されていないモダリティバイアスが存在する場合、標準的な検索ベースのデータ選択が学習混合を積極的に劣化させる可能性があると主張しています。提案されたフレームワークは、データ（SNS 経由）とモデル幾何学（EEE と投影経由）の両方に対処することが、堅牢で統合された埋め込み空間を作成するために必要であることを実証しています。

著者は、埋め込み空間内の距離が入力形式ではなく意味的類似性を反映するようにすることで、信頼性の高いクロスモーダル検索を可能にすると主張しています。評価は規模（5,000 サンプル、特定のモデルアーキテクチャ）において限定的ですが、結果は「小さな幾何学的な癖とラベルノイズ」が大規模な学習において体系的な誤差に蓄積する可能性を示唆しており、結合介入戦略が実用的な解決策であることを示しています。論文は、伝統的ベースラインにおけるテキストベースの監督への依存や評価の規模などの限界を指摘し、将来の作業は不確実性を考慮したトリミングや提案と検証の分離に焦点を当てることができると結論付けています。