技術要約: KOVRE – 韓国語視覚的文書検索のための効率的な埋め込みモデルの学習

問題提起

視覚的文書検索（Visual Document Retrieval: VDR）は、テキストクエリをレンダリングされた文書画像に直接照合することを目的としており、OCRやテキスト抽出パイプラインにおいて失われがちな重要な視覚的・構造的情報（表、図、レイアウトなど）を保持します。近年のVDRモデルは強力な性能を実現していますが、主に以下の3つの限界に直面しています。

1. 英語中心のバイアス: 既存の学習データとベンチマークは主に英語であり、韓国語における高性能なシステムの欠如を招いています。
2. リソース集約性: 高性能なモデルは、巨大なバックボーン（例：8B以上のパラメータ）やマルチベクトル表現（1ページあたり複数の埋め込みを格納）に依存することが多く、これらはストレージと検索のコストを増大させます。
3. 未開拓の学習戦略: 特定の言語に対してコンパクトなシングルベクトル・リトリーバーを効果的に学習させる方法、特に学習データの構成、ハードネガティブマイニング、およびリランカーからの知識蒸留に関する研究は限られています。

手法

著者らは、Qwen3-VL-Embedding-2Bモデルを適応させたコンパクトなシングルベクトル・リトリーバーであるKOVRE（KOrean Visual Research Embedding）を提案します。学習プロセスは、以下の2つの明確なステージに分かれています。

1. ベースモデルと表現

• アーキテクチャ: モデルは、元のQwen3-VL-Embedding-2Bのビジョン・ランゲージ・アーキテクチャを変更せずに保持します。
• 入力: テキストクエリとレンダリングされた文書ページ画像を受け取り、それらを共有された高密度空間にマッピングします。
• Matryoshka Representation Learning (MRL): モデルは複数の次元（2048, 1024, 768, 512, 256, 128）で埋め込みを出力するように学習されており、検索品質とストレージ効率の間の柔軟なトレードオフを可能にします。
• 類似度: 学習および推論の両方にコサイン類似性が使用されます。

2. ステージ1: 対照学習 (Contrastive Learning: CL)

• データ: モデルは、韓国語と英語の両方のデータを含む708,729組のクエリ–ページペアで学習されます。
  • 韓国語: 公開されているKoViDoReデータと、プライベートなAI Hubコレクションを組み合わせたもの。
  • 英語: バックボーンの多言語能力の破滅的忘却を防ぐため、5つの既存のVDRリソース（レポート、スライド、表）から集約したもの。
• ハードネガティブマイニング: より大規模なQwen3-VL-Embedding-8Bモデルを使用して、クエリごとに7つのハードネガティブをマイニングします。
  • Positive-Aware Filtering: アノテーションされたポジティブの類似度の95%を超えるスコアを持つ候補は、偽のネガティブを減らすために除外されます。
  • Self-Guide Filtering: ポジティブよりも著しく高いスコアを持つネガティブ（ストップグラディエント閾値に基づく）は、損失計算から除外されます。
• 損失関数: **Hardness Weighting（困難度重み付け）**を伴うInfoNCE目的関数が最適化されます。明示的にマイニングされたハードネガティブには、困難な例を強調するために追加のストップグラディエント項が係数（$\alpha=2.0$）によって重み付けされますが、インバッチ・ネガティブは重み付けされません。
• 目的: 損失はすべてのMatryoshka次元にわたって共同で計算されます。

3. ステージ2: 知識蒸留 (Knowledge Distillation: KD)

• データ: コーパスの韓国語サブセットのみを使用します。
• 教師モデル: Qwen3-VL-Reranker-8Bが、各クエリに対して64ページの候補プール（マイニングされた32個のハードネガティブ + 32個のランダムサンプル）をスコアリングします。
• ターゲット構築: 教師のスコアに基づき、上位8つのネガティブがポジティブと共に学習インスタンスとして選択されます。
• スコア正規化: 重要なステップとして、ソフトマックスを適用する前に、教師と生徒の両方のスコアに対して行ごとのmin-max正規化を行い、[0, 1]の範囲に変換します。これは、リランカーのスコアが持つ、クエリに依存した非限定的なスケールに対処し、関連性の分布の形状を保持するために行われます。
• 損失関数: 生徒モデルは、すべてのMatryoshka次元において、自身のスコア分布と教師の正規化された分布との間のKLダイバージェンスを最小化します。

主な貢献

1. KOVREモデル: より大きなバックボーンやマルチベクトルインデックスを必要とせずに、競争力のある性能を実現する、韓国語の視覚的文書のためのコンパクトなシングルベクトル・リトリーバーの開発。
2. 体系的な学習レシピ: 以下の有効性を実証する、学習コンポーネントの包括的な分析：
   • 多言語能力を維持するためのバイリンガル指導（韓国語 + 英語）。
   • Positive-awareハードネガティブマイニングとSelf-guideフィルタリング。
   • マイニングされたネガティブへのHardness weighting。
   • 効果的な知識蒸留のためのMin-maxスコア正規化。
   • コンパクトな検索のためのMatryoshka表現の有用性。

結果

韓国のVDRベンチマーク（KoViDoReおよびSDS KoPub VDR）で評価された結果、KOVREは顕著な改善を示しました。

• 性能向上: 最終的な2B KOVREモデルは、そのベースとなるQwen3-VL-Embedding-2Bを大幅に上回ります。
• 大型モデルとの比較: KOVREは、集計性能（nDCG@10）において、8Bシングルベクトルモデル（Qwen3-VL-Embedding-8B）および強力な4Bマルチベクトルベースライン（Jina Embeddings v4）を凌駕します。
• 次元の効率性: 低次元（例：256）であっても、KOVREは強力な性能を維持し、4096次元のQwen3-VL-Embedding-8Bをわずかに上回ります。
• アブレーション解析の洞察:
  • バイリンガル学習は、韓国語のみの学習よりも優れた性能を示しました。
  • （視覚的コンテキストのない）追加の韓国語テキストデータセットを加えると、性能が低下しました。
  • ステージ2におけるmin-max正規化は極めて重要であり、これを行わないと、蒸留が性能を悪化させました。

意義と主張

本論文は、ターゲットを絞ったバイリンガル指導と注意深く設計された学習戦略によって、モデルサイズを拡大したりストレージ集約的なマルチベクトル表現を採用したりすることなく、多様なドメインにおいて非常に効果的な韓国語VDRモデルを生成できると主張しています。

著者らは、KOVREを、現在のモデルが十分に対応できていない言語に対する実用的なソリューションとして位置づけています。これは、適切に学習されたコンパクトなモデルが、より大きく複雑なシステムに匹敵、あるいはそれを凌駕できることを示しています。本研究は、視覚的文書検索における知識蒸留において、データ構成、ネガティブマイニング戦略、およびスコア正規化の重要性を強調する、再現可能な学習レシピを提供しています。

注記された限界: 著者らは、韓国語の学習コーパスには、英語と比較して異なるページ画像の数が少ないことを認めており、これが学習中に観察されるレイアウトや文書タイプの多様性を制限している可能性があるとしています。彼らは、今後の研究は単にクエリ数を増やすことではなく、韓国語のページ画像の多様性を拡大することに焦点を当てるべきであると示唆しています。