HAKARI-Bench: A Lightweight Benchmark for Comparing Retrieval Architectures and Efficiency Settings under Unified Conditions

HAKARI-Bench に関する技術要約

問題提起
Retrieval-Augmented Generation (RAG) およびセマンティック検索の急速な普及により、テキスト埋め込みモデルおよび検索構成の選択が極めて重要になっています。しかし、既存の大規模ベンチマーク（例：MTEB, MMTEB, BEIR）は包括的ではあるものの、計算負荷が高いため、開発中の反復的な評価を行うには非実用的です。さらに、次元削減、量子化（int8/binary）、リランキングといった、プロダクション時における効率性の設定を、同一条件下で多くのモデルに対して比較するためのインフラストラクチャが不足しています。これらの効率性の設定は、検索品質と計算量、メモリ、レイテンシのバランスを取る上で不可欠ですが、モデルごとに一貫して報告されることは稀であり、同一条件下でのモデル間比較も乏しいのが現状です。

手法
本論文では、既存の検索ベンチマークを、統一されたフォーマットを維持しつつ、小さく管理可能なデータセット（「Nano-set」）へと再構築するように設計された軽量な評価インフラストラクチャ、HAKARI-Bench を提案します。

• Nano-set の構築: 本ベンチマークは、35のベンチマークと43の言語にわたる551の検索タスクを構築しています。各タスクは、元のベンチマークから約50〜200個のクエリと1,000〜10,000個のドキュメントに縮小された「Nano-set」です。この縮小は、MMTEB（相関に基づくダウンサンプリング）および NanoBEIR の原則に従っており、評価コストを削減しながら、データセットの代表性を維持しています。
• 統一されたタスクフォーマット: すべてのタスクは、コーパス、クエリ、関連性ラベル（qrels）、および固定されたトップ候補セットで構成される共通のフォーマットに従います。この候補セットは、BM25 による上位500件と、固定のリファレンスモデルを用いた高密度検索による上位500件を組み合わせ、Reciprocal Rank Fusion (RRF) を通じて融合させたトップ100のセットです。セーフガード・ルールにより、すべてのクエリに対して候補セット内に少なくとも1つの関連ドキュメントが存在することを保証しています。
• 評価パイプライン: 本インフラストラクチャは、以下の5つの検索ファミリーを同一条件下で評価します：
  1. 候補生成 (Candidate Generation): 全コーパスから検索を行う BM25、dense、sparse、および late interaction モデル。
  2. リランキング (Reranking): 固定された候補セットを再順序付けするモデル（cross-encoders や LLM スタイルのリランカーを含む）。
  3. 効率性のバリアント (Efficiency Variants): 高密度埋め込みに適用されるポストエンコーディング変換（Matryoshka 次元削減、int8 量子化、binary 量子化、および float 再スコアリングを含む）。疎な表現（Sparse representations）についても、クエリ側およびドキュメント側のプルーニングを通じて評価されます。
• 指標と集計: 主要な指標は nDCG@10 です。結果は、マイクロ平均（タスクごとに等しい重み）とマクロ平均（ベンチマークごとに等しい重み）の両方を用いて集計され、大規模なベンチマークファミリーによる支配を防ぎます。システムは、言語、ドメイン、およびモデルアーキテクチャによるマルチ軸フィルタリングをサポートしています。

主な貢献

1. 軽量な多言語インフラストラクチャ: HAKARI-Bench は、5つの検索アーキテクチャ（lexical, sparse, dense, late interaction, reranker）を、35のベンチマークと43言語の551のタスクにわたって比較する統一されたフレームワークを提供し、迅速かつ反復的な測定を可能にします。
2. ランキング再現性の実証的検証: 著者らは、Nano-set が高精度なランキングプロキシとして機能することを実証しています。公式の MTEB retrieval v2、MMTEB v2 retrieval、および英語 BEIR (full) と比較した際、Spearman 順位相関係数は 0.97 を超えています（それぞれ 0.983、0.975、0.973）。これにより、軽量な評価がフルスケールの評価で見られるモデルの相対的な順序を保持していることが確認されました。
3. モデル横断的な効率性評価: 効率性の設定が散発的にしか報告されない従来のベンチマークとは異なり、HAKARI-Bench は、サポートされているすべてのモデルに対して、同一条件下で次元削減、量子化、およびリランキングを体系的に適用します。これにより、品質と効率性のパレート最適（Pareto frontier）を具体的に可視化でき、binary 量子化に対する堅牢性がモデルのサイズだけでなく、学習特性によって決定されることを明らかにしています。

結果

• ランキングの忠実度: 本ベンチマークは、大規模な公式ベンチマークのモデルランキングを高い相関で再現することに成功しており、モデル選択や回帰検出への利用の妥当性を証明しています。
• 効率性のトレードオフ:
  • 量子化: Binary 量子化のみを適用すると、平均で大幅な性能低下（−6.50 ポイント）が発生しますが、int8 は緩やかです（−1.95 ポイント）。しかし、量子化されたベクトルによって取得されたトップ候補に対して float 再スコアリングを適用すると、性能はほぼ回復します（int8_rescore: −0.09; binary_rescore: −0.93）。
  • Sparse Pruning: ドキュメント側の次元を積極的にプルーニングしても品質への影響は最小限ですが、クエリ側の次元を16未満に減らすと性能が著しく低下します。
  • リランキング: リランカーの有効性はタスクの範囲に強く依存します。LLM スタイルのリランカー（例：Qwen3-Reranker）は 551 個の全タスクにおいて dense モデルを上回りますが、従来の cross-encoders は主に短文クエリ・短文ドキュメントのシナリオで優れており、長いドキュメントや複雑な推論タスクには苦戦します。
• ドメイン固有性: 「最適な」モデルはドメインによって大きく異なります。例えば、特定の dense モデルが全体で第1位となる一方で、日本語特化型モデルや BM25 が特定の言語や長文ドキュメントの範囲で第1位となることもあり、単一の総合スコアだけではプロダクションにおける選択には不十分であることを浮き彫りにしています。

意義と主張
本論文は、HAKARI-Bench をフルスケールの評価の代替品としてではなく、迅速なモデル選択、回帰検出、および品質と効率性のトレードオフ分析をサポートする高精度なランキングプロキシとして位置付けています。その主な意義は以下の通りです：

• 効率性比較の民主化: 同一条件下での効率性の設定（量子化、次元削減）に関する、初の体系的なモデル横断的比較を提供すること。
• 反復的な開発の実現: 開発サイクル中に、フルベンチマークに伴う膨大なコストをかけることなく、繰り返し評価を実行できるようにすること。
• 文脈に応じたモデル選択: 単一の集計スコアを最大化することから、「どのドメインをモデルが学習していないか」を特定することへと焦点を移し、言語、レイテンシ、ドキュメント長といった特定の制約に基づいた、用途に適したモデル選択を促進すること。

著者らは、Nano-set は高い忠実度でモデルのランキングを再現するものの、検索空間の縮小やハードネガティブの欠如により、フルベンチマークとの絶対的なスコアの一致を保証するものではないことを強調しています。したがって、本ベンチマークは絶対的な性能認定のためではなく、相対的なランキングおよび設定の比較を目的としています。