CausalEmbed: 視覚的文書埋め込みのための潜在空間における自己回帰的マルチベクトル生成

本論文「CausalEmbed」は、視覚的文書検索（Visual Document Retrieval: VDR）における既存のマルチベクトル埋め込み手法が抱える「膨大なストレージコスト」と「推論時の非効率性」という課題を解決するため、自己回帰的（Auto-Regressive）な生成アプローチを提案する研究です。

以下に、論文の技術的概要を問題定義、手法、主要な貢献、実験結果、および意義に分けて詳述します。

---

1. 問題定義 (Problem)

近年、マルチモーダル大規模言語モデル（MLLM）を用いた VDR において、ColPali などの手法が「パッチレベルの視覚トークン」を多数生成するマルチベクトル埋め込みにより高い精度を達成しています。しかし、このアプローチには以下の重大な課題があります。

• 膨大なストレージオーバーヘッド: 1 ページの文書を表現するために数千の視覚トークン（ベクトル）が必要となり、大規模なコーパスでの実用化におけるストレージコストが極めて高くなります。
• 既存の圧縮手法の限界: 既存の研究（クラスタリング、プルーニング、メタ埋め込みなど）は、既存の高密度な表現からトークンを削減・集約するアプローチを取っています。これらは元の表現の品質に依存しており、大幅な圧縮を行うと検索精度が著しく低下するトレードオフが存在します。
• トレーニング効率: 従来の並列的なパッチベースの学習では、勾配が特定のトークンのみに伝播しやすく、トレーニング効率が低いという問題があります。

問い: MLLM の生成能力を活用し、パッチレベルの冗長性を排除しつつ、高品質なマルチベクトル埋め込みを生成することは可能か？

2. 提案手法：CausalEmbed (Methodology)

CausalEmbed は、文書ページを並列にエンコードするのではなく、トークン単位で逐次的に（自己回帰的に）潜在ベクトルを生成する新しいパラダイムを導入します。

2.1 自己回帰的埋め込み生成

• 仕組み: 事前学習済みの MLLM（Vision-Language Model）を微調整し、文書画像やテキストクエリを入力として受け取り、隠れ状態（latent states）を逐次的に生成させます。
• プロセス:
  1. 初期コンテキスト（画像特徴量やクエリトークン）を入力。
  2. モデルが過去の生成履歴に基づき、次の埋め込みベクトル $z_t$ を生成。
  3. これを $L$ 回繰り返すことで、コンパクトなベクトル列 $Z = [z_1, ..., z_L]$ を作成。
• 効果: 数千トークンが必要だったものを、数十トークン（例：32 トークン）に圧縮しながら、文書の詳細なセマンティクスを保持します。

2.2 学習目的関数 (Training Objective)

自己回帰的な生成が不安定になるのを防ぎ、表現の多様性と精度を確保するために、以下の 3 つの損失関数を組み合わせます。

1. コントラスト対照損失 ($L_m$):
   • 従来のマージン損失。正解ペアとハードネガティブペアのスコア差を最大化します。
2. 漸進的洗練損失 (Progressive Refinement Loss, $L_d$):
   • 文書埋め込みシーケンスにおいて、トークンを追加するごとに検索性能が向上することを強制します。
   • 数式: $S(q, d_{1:N_d}) - S(q, d_1)$ のようなテレスコピック和を用い、初期トークンで主要な情報を、後続トークンで微細な情報を捉えるように誘導します。
3. 多様性正則化 (Diversity Regularization, $L_q$):
   • 生成されたクエリベクトル同士が類似しすぎ（均質化しすぎ）ることを防ぎます。
   • クエリシーケンス内の異なるトークン間のコサイン類似度の二乗和をペナルティとして加えます。

2.3 勾配流の理論的優位性

論文では、勾配流の観点から CausalEmbed の効率性を理論的に分析しています。

• 従来の並列エンコーディングでは、MaxSim 操作により選択されたトークンのみに勾配が伝播しますが、CausalEmbed の自己回帰構造では、過去のすべてのトークンが勾配伝播の経路となります。
• これにより、トレーニング中のサンプル利用率が向上し、より効率的な学習が可能になります（定理 C.1）。

3. 主要な貢献 (Key Contributions)

1. 新規パラダイムの提案: 視覚的文書埋め込みにおいて、並列パッチベースエンコーディングに代わる、逐次的な自己回帰的生成パラダイムを初めて導入しました。
2. 極限圧縮下での高性能: 既存のプルーニングベース手法（クラスタリング等）と比較して、厳しい圧縮条件下（30 倍〜155 倍のトークン削減）でも、同等またはそれ以上の検索精度を達成しました。
3. テスト時スケーリング (Test-time Scaling): 推論時に生成するトークン数を変更することで、精度と遅延のトレードオフを動的に調整できる特性を発見しました。これは「マトリョーシカ表現」のような挙動を示します。
4. 汎用性の証明: 強力なモデル（Qwen2.5-VL）だけでなく、性能が低いとされるモデル（PaliGemma）に対しても適用可能であり、PaliGemma において ColPali ベースラインを 14.6% 上回る性能向上を実現しました。

4. 実験結果 (Results)

ViDoRe ベンチマーク（V1, V2, V3）および多様なバックボーンモデルを用いた評価が行われました。

• 精度と効率のトレードオフ:
  • ViDoRe V2/V3: 32 トークンの圧縮条件下で、CausalQwen は SemCluster や BiQwen2 などの最良のベースラインを大幅に上回る nDCG@5 スコアを達成しました。
  • PaliGemma での成果: 32 トークン（フルリソース ColPali の約 1/30）で、フルリソースの ColPali ベースラインを 5% 以上上回る精度を達成しました。
• テスト時スケーリング:
  • 推論時のトークン数を 1 から 32、さらに 128 まで増やすと、精度が段階的に向上し、フルベクトルモデルの性能に漸近することが確認されました。
  • トレーニング時の固定長と異なる推論長でも安定した性能を示し、柔軟なデプロイが可能であることを示しました。
• レイテンシ:
  • 自己回帰生成によるクエリエンコードのオーバーヘッドはありますが、トークン数の劇的な削減により、Late Interaction（MaxSim）計算の高速化が実現され、全体として高いスループットを維持しています。

5. 意義と結論 (Significance)

CausalEmbed は、視覚的文書検索の分野において以下の点で重要な転換点となります。

• 実用性の向上: 数千ベクトルを数十ベクトルに圧縮することで、大規模な企業検索や RAG（Retrieval-Augmented Generation）システムにおけるストレージコストと推論遅延を劇的に削減します。
• 生成パラダイムの可能性: 埋め込みタスクにおいて、生成モデルの「逐次生成」の力を活用することで、単なる圧縮ではなく、高レベルな意味を凝縮した表現を学習できることを示しました。
• 適応的なデプロイ: テスト時にトークン数を調整するスケーリング戦略により、低遅延が求められる環境から高精度が求められる環境まで、単一のモデルで柔軟に対応できる可能性を開きました。

総じて、CausalEmbed は、マルチモーダル文書検索を「生成パラダイム」へと移行させ、実世界でのスケーラブルで経済的な展開を可能にする画期的なアプローチです。