技術概要：UniRank

問題定義

マルチモーダル情報検索（IR）システムは、再ランク付け対象のアイテムプールにテキストのみのドキュメントと画像のみのドキュメントが混在する「ハイブリッド候補セット」の課題に直面する機会が増えています。テキストのみの再ランク付け器は成熟していますが、それをマルチモーダル設定に拡張すると「モダリティギャップ」が生じます。テキストに本質的に偏ったモデルは、異質なモダリティ間の関連性を公平に比較することに苦慮します。

既存の解決策は、主に以下の 2 つの限界に悩まされています：

1. モダリティ変換のオーバーヘッド：一般的なアプローチは、キャプションや OCR を介して画像をテキストに変換するか、テキストを画像に変換して単一の入力形式に強制します。テキストを画像に変換すること（一部のビジョン・ランゲージモデル（VLM）再ランク付け器が行うもの）は、膨大なストレージおよび推論オーバーヘッドを伴います。一方、画像をテキストに変換することは、微細な視覚的セマンティクスを失うことが多々あります。
2. ドミーンミスマッチ：ほとんどのオープンソースのマルチモーダル再ランク付け器は、一般的なウェブ規模のデータで訓練されています。そのため、プライベートデータと固有のセマンティック構造が支配的な特定のドメイン（例：学術文献、意匠特許）では、性能が不十分になる傾向があります。

モダリティ変換を行わずにハイブリッドなテキスト・画像候補をネイティブにスコアリングし、かつ特定のドメインに適応できる包括的なエンドツーエンドのフレームワークは存在しません。

手法：UniRank フレームワーク

著者は、ハイブリッドなテキスト・画像候補をネイティブにスコアリングし順序付けるために設計された VLM ベースの再ランク付けフレームワーク「UniRank」を提案します。このフレームワークは、2 段階のエンドツーエンドのドメイン適応パイプラインを採用します：

1. 問題定式化とインターフェース

UniRank は、再ランク付けを指示追従タスクとして扱います。クエリ $q$ と候補 $c$（テキスト、画像、またはその両方）が与えられた場合、VLM は離散的な関連性ラベル（例：「はい」または「いいえ」）を出力するようにプロンプトされます。

• ネイティブスコアリング：モデルは入力を入力元のモダリティのまま処理します。
• スコア導出：スカラーの関連性スコア $s_\theta(q, c)$ は、「はい」と「いいえ」のトークン間のログオッズ差から導出されます：
  $$s_\theta(q, c) = \sigma(\text{logit}_\theta(\text{yes} | q, c) - \text{logit}_\theta(\text{no} | q, c))$$
  これにより、テキスト - テキスト、画像 - 画像、およびクロスモーダルなペアに対して統一されたスコアリング関数が可能になります。

2. 段階 1：指示駆動型教師あり微調整（SFT）

汎用 VLM を再ランク付けタスクに適応させるために：

• データ構築：ラベル付けされたクエリ - 候補ペアをチャット形式の指示としてシリアライズします。システムプロンプトは出力を単一のラベルに制限し、ユーザープロンプトはクエリと候補をネイティブ形式で交互に配置します。
• 目的：モデルは、アシスタント応答トークンに対する標準的な言語モデル損失を用いて微調整されます。この段階により、モデルは対象ドメイン固有の較正されたクロスモーダル関連性スコアを生成することを学びます。
• ホールドアウト分割：過学習を防ぐため、次の段階で好意データを構築するために使用するために、データの一部を SFT では使用しないように予約します。

3. 段階 2：ハードネガティブ駆動型好意アライメント（RLHF）

ランキングの堅牢性と較正をさらに洗練させるために：

• ハードネガティブマイニング：SFT モデルをホールドアウトデータで実行し、「ハードネガティブ」（モデルは高くスコアリングするが実際には非関連である候補）を特定します。
• 好意データの構築：モデルのエラーモード（例：ハードネガティブの場合、「選ばれた：いいえ」対「却下された：はい」）と真のラベルを対比させることで、ペアワイズな好意データを構築します。
• 報酬モデル（RM）の訓練：これらのペアワイズな好意データに基づき、ブラッドリー - テリー形式の損失を用いて、どちらの応答が好まれるかを予測する報酬モデルを訓練します。
• 方策最適化（RLHF）：再ランク付け器（方策）は、**グループ相対方策最適化（GRPO）**を用いて最適化されます。
  • 主要な革新：標準的なプロンプトレベルのグループ化の代わりに、UniRank はクエリレベルのグループ化を使用します。これは、同じクエリを共有する複数の候補をグループ内で対比させます。これにより、個々の関連性判断だけでなく、再ランク付けに必要な相対的な順序付け行動を直接最適化します。

主要な貢献

1. ハイブリッドモダリティ VLM 再ランク付け：UniRank は、テキストを画像に変換することなくハイブリッドなテキスト・画像候補をネイティブにスコアリングする最初のフレームワークであり、画像均質化戦略に伴うストレージおよび推論オーバーヘッドを排除します。
2. エンドツーエンドのドメイン固有アライメント：本論文は、以下の完全な訓練パイプラインを提案します：
   • 較正されたスコアリングのための指示駆動型 SFT。
   • ドメイン内での失敗モードを捉えるためのハードネガティブマイニング。
   • ランキングの堅牢性を最適化するための、クエリレベルのグループ化を伴う RLHF。
3. 実証的検証：このフレームワークは、学術文献検索と意匠特許検索という 2 つの異なる実世界ドメインで検証されました。

実験結果

著者は、UniRank をMMDocIRベンチマーク（学術文献）および独自に作成した意匠特許検索データセットで評価しました。

• 性能：UniRank は、強力なテキストのみの再ランク付け器（例：BGE-Reranker、Qwen3-Reranker）や既存の VLM ベースの再ランク付け器（例：MM-R5、Qwen3-VL-Reranker）を含む最先端のベースラインを常に上回りました。
  • 学術文献：最良のベースラインに対して Recall@1 を**8.9%**向上。
  • 意匠特許：最良のベースラインに対して Recall@1 を**7.3%**向上。
• 効率性：テキストから画像への変換を回避することで、UniRank は画像均質化ベースライン（例：MM-R5）と比較して、ストレージ要件を大幅に削減（学術ドメインでは最大 6.9 倍少ない）し、推論レイテンシを短縮（最大 2.8 倍高速）しました。
• 堅牢性：モデルは、異なる第一段階の検索器（テキストベースおよび視覚ベース）間でも性能向上を維持し、バックボーンモデルのサイズ（2B から 8B パラメータ）に対して効果的にスケーリングします。
• アブレーション研究：
  • SFT を除去すると性能が最も大きく低下し、較正されたスコアリングインターフェースの確立におけるその必要性が確認されました。
  • ハードネガティブマイニングは決定的に重要であり、ランダムなネガティブに置き換えると性能が低下します。
  • RLHF におけるクエリレベルのグループ化は、標準的なプロンプトレベルのグループ化を上回り、相対的な順序付けの最適化の重要性を検証しました。

意義と主張

本論文は、UniRank がハイブリッド候補セットに対する実用的で効率的かつドメイン適応型のソリューションを提供することで、マルチモーダル IR における重要なギャップを埋めると主張しています。

• モダリティ処理：ネイティブなハイブリッドスコアリングは、モダリティ変換に優れており、より高い精度と低い計算コストの両方を提供することを示しています。
• ドメイン適応：汎用ドメインの VLM は専門的なタスクには不十分であり、プライバシーに配慮したまたはドメイン固有のシナリオでの高性能な展開には、構造化された 2 段階のアライメントプロセス（ハードネガティブを伴う SFT + RLHF）が不可欠であることを強調しています。
• スケーラビリティ：このフレームワークは、候補セットが本質的に異質である検索システムを構築するためのスケーラブルなレシピとして提示されており、理論的な VLM の能力と実用的な IR システムの要件の間のギャップを埋めています。

著者は、UniRank を単なるモデルの改善ではなく、データプライバシー、効率性、ドメイン固有性が最重要となる実世界アプリケーションにおいて、高性能なマルチモーダル検索の展開を可能にするフレームワークとして位置付けています。