技術要約: KoViDoRe – 韓国語視覚文書検索のためのベンチマーク

問題提起

マルチモーダル検索および検索拡張生成（RAG）の最近の進歩は、視覚的に豊かな文書を処理する能力を向上させてきました。しかし、既存のベンチマークやリソースには、韓国語に適用する場合、主に3つの制限があります：

1. 言語バイアス: ほとんどのベンチマークは英語や欧州言語を中心としており、韓国語特有の形態学的・構造的な特徴があるにもかかわらず、韓国語の表現が不足しています。
2. 単一ページ制限: 現在のベンチマークの多くは、視覚的文書検索（VDR）を単一ページの検索タスクとして定式化しています。これは、関連情報が複数のページに分散しており、証拠の集約や複数ページにわたる推論が必要となる現実的なシナリオ（例：財務報告書、政策文書）を捉えきれていません。
3. 専門的な学習データの不足: 韓国の文書エコシステムに特化した大規模かつ高品質な学習用データセットが不足しており、韓国語のマルチモーダル検索に最適化されたモデルの開発を妨げています。

SDS KoPub VDRのような既存の韓国語リソースは、レイアウトの複雑さには対処していますが、単一ページの検索に限定されています。一方、MIRACL-VISIONのような多言語ベンチマークは、Wikipediaのコーパスに依存することが多く、現実世界の韓国における検索タスクで一般的な、構造化されたエンタープライズ型の文書を反映していません。

手法

データセット・キュレーション・パイプライン (KoViDoRe)

著者らは、韓国政府のオープン政府ライセンス（KOGL）の下で公開されている韓国の文書（政府報告書、政策文書、企業資料）から構築されたベンチマーク、KoViDoReを導入します。キュレーション・パイプラインは以下の通りです：

• ソース収集: サイバーセキュリティ、人事（HR）、エネルギー、経済の4つのドメインにわたる57の文書。
• 構造化パース: 文書をページごとに分割し、Upstage Document Parseを使用して、レイアウト、表、図、キャプションを保持したまま、ページレベルおよび要素レベルのMarkdownを抽出します。
• 合成クエリ生成: Solar-Pro3 LLMを用いた多段階パイプラインにより、以下の2つの戦略に基づいてクエリを生成します：
  • 要約ベース: グローバルな要約（単一セクションおよびクロスセクション）から派生したクエリにより、複数ページの相関関係を捉えます。
  • コンテキストベース: ローカルなページレベルまたは複数ページのコンテキストウィンドウに基づいたクエリ。
  • 多様性制御: 生成プロセスにおいて、マルチホップ推論、数値比較、集約を含む多様なクエリタイプを強制し、クエリがしばしば複数のページからの情報の合成を必要とするようにします。
• 関連性マッピングとフィルタリング: 一貫性に基づくチェック（生成段階のシグナルとマッピング段階のシグナルの比較）とルールベースのフィルタリング（些細な、あるいは抽出的なクエリの除去）を組み合わせた厳格なフィルタリングプロセスを実施します。不自然なクエリの修正やページレベルの関連性の確認には、人間による検証が適用されます。

学習用データセット (Ko-VDR Train Public)

評価で見られた性能ギャップに対処するため、著者らは310,226個のクエリとページのペアを含む大規模なデータセット、Ko-VDR Train Publicをキュレーションしました。このデータセットはベンチマークと同じ生成パイプラインを使用していますが、スケーラビリティを維持するために人間による検証は省略されています。これは、韓国の視覚的文書に特化した検索モデルのファインチューニングをサポートするように設計されています。

実験設定

著者らは、幅広いパラメータスケール（1B未満から8B以上）にわたる広範なマルチモーダル検索モデル（CLIPベース、Late-interaction、および高密度埋め込みモデル）を評価しました。

• タスク: 韓国語のクエリが与えられた際の文書ページのランキング。
• 指標: nDCG@10。
• 関連性ラベル: ページが十分な情報または支持証拠を含んでいるかどうかに基づく段階的ラベル（完全に関連する場合は2、部分的に関連する場合は1）。

主な貢献

1. KoViDoRe ベンチマーク: 韓国の視覚的文書における複数ページの検索を評価するために明示的に設計された初のベンチマーク。これは、単一ページの抽出から複数ページの証拠集約へとパラダイムを転換するものです。
2. 合成クエリ生成の適応: 合成クエリ生成技術を韓国語ドメインに適応させ、複雑な推論（例：クロスセクションの集約）を必要とする、明示的なページレベルの監督に基づいたクエリを生成しました。
3. Ko-VDR Train Public: 韓国固有のマルチモーダル検索モデルの開発を促進するための、大規模な学習用データセット（31万ペア以上）のリリース。
4. 実証的分析: 現在の最先端モデルが、特にクエリが複数のページにまたがる場合や、表のような構造化されたコンテンツを含む場合に、韓国の視覚的文書検索において著しく苦戦していることを示す包括的な評価。

結果と分析

主要な評価結果

• 性能ギャップ: モデルのスケールと性能の間には明確な相関関係がありますが、大規模なモデル（例：8Bパラメータ）であっても苦戦しています。最高性能のモデルである jina-embeddings-v4 (3.8B) は、平均nDCG@10で55.0%を達成し、他を大きく上回りましたが、依然として改善の余地があることを示しています。
• ドメインの難易度: パフォーマンスはドメインによって大きく異なります。**経済（Economic）および人事（HR）**のサブセットは、複雑な文書構造と多くのページに情報が分散していることにより、最も低いスコアを示しました。
• 複数ページの課題: アブレーション研究により、クエリあたりの必要な関連ページ数が増えるにつれて、検索性能（nDCG@10）が一般的に低下することが明らかになりました。これは、モデルの容量に関わらず、複数ページにわたる証拠の集約が現在のアーキテクチャにとって依然として大きな課題であることを裏付けています。

学習の影響

Ko-VDR Train Publicによるファインチューニングは、大幅な改善をもたらしました：

• colSmol-500M (500M params): ファインチューニング後、すべてのドメインで大幅な向上を示し、軽量なモデルであっても韓国固有のデータの恩恵を受けられることを証明しました。
• colqwen2-v1.0 (2.2B params): ファインチューニングにより、平均nDCG@10が29.5%から52.8%に向上し、ベンチマーク設定においてより大規模な Qwen3-VL-Embedding-8B (50.4%) を上回りました。
• データ構成: 公開データ（Ko-VDR Train Public）と、プライベートな韓国語VQAデータ（TableVQAおよびFigureVQAの監督を含む）を組み合わせることで、特に複雑な表を含むドメイン（経済）において、最高の全体結果が得られました。

意義と主張

本論文は、KoViDoReおよびKo-VDR Train Publicが、韓国のマルチモーダル検索を進展させるための統一されたリソースを提供すると主張しています。著者らは以下を強調しています：

• 現在のベンチマークは、現実世界の韓国の文書検索の複雑さ、特に複数ページの証拠集約の必要性を捉えきれていない。
• 既存のモデルはこのタスクに対して不十分であり、分野における決定的なギャップを浮き彫りにしている。
• 検索性能を向上させるためには、言語固有の大規模なデータセットでの学習が不可徴であり、これにより、より小さなモデルがより大規模で汎用的なモデルに対抗できるようになる。

本研究は、単一ページの検索パラダイムの限界を超え、構造化され視覚的に豊かな韓国の文書により適したモデルと戦略への将来の研究の基礎となるものです。

限界

著者らは以下の限界を認めています：

• 視覚的忠実度: クエリ生成は生の視覚的入力ではなく、パースされたMarkdownとキャプションに依存しているため、微細な視覚的詳細（例：色、特定のチャートパターン）が失われる可能性があります。
• アノテーションのノイズ: フィルタリングによって手動の労力は軽減されていますが、生成段階とマッピング段階の整合性が依然としてノイズを導入する可能性があります。
• 再現性: 学習実験で使用されたプライベートなVQAデータセットは、ライセンスの関係で公開できないため、学習セットアップの完全な再現性は公開コンポーネントのみに限定されます。
• モデルアーキテクチャ: 本研究は、韓国の視覚的文書検索のために特別に設計された新しいアーキテクチャを提案するのではなく、既存のモデルを評価するものです。