HAKARI-Bench: A Lightweight Benchmark for Comparing Retrieval Architectures and Efficiency Settings under Unified Conditions

Résumé Technique de HAKARI-Bench

Énoncé du Problème
L'adoption rapide de la génération augmentée par récupération (RAG) et de la recherche sémantique a rendu critique la sélection des modèles d'embedding textuel et des configurations de recherche. Cependant, les benchmarks existants à grande échelle (par exemple, MTEB, MMTEB, BEIR) sont complets mais très gourmands en ressources de calcul, ce qui rend leur évaluation répétée lors du développement impraticable. De plus, il manque une infrastructure pour comparer les paramètres d'efficacité en temps de production — tels que la réduction de dimensionnalité, la quantification (int8/binaire) et le re-classement (reranking) — entre de nombreux modèles sous des conditions identiques. Bien que ces paramètres d'efficacité soient cruciaux pour équilibrer la qualité de la recherche par rapport au calcul, à la mémoire et à la latence, ils sont rarement rapportés de manière cohérente par modèle, et les comparaisons inter-modèles sous les mêmes conditions sont rares.

Méthodologie
Le papier présente HAKARI-Bench, une infrastructure d'évaluation légère conçue pour reconstruire les benchmarks de recherche existants en petits ensembles de données gérables (« Nano-sets ») tout en maintenant un format unifié.

• Construction des Nano-sets : Le benchmark construit 551 tâches de recherche à travers 35 benchmarks et 43 langues. Chaque tâche est un « Nano-set » réduit à partir des benchmarks originaux pour atteindre environ 50 à 200 requêtes et 1 000 à 10 000 documents. Ce rétrécissement suit les principes de MMTEB (sous-échantillonnage basé sur la corrélation) et de NanoBEIR, garantissant que les jeux de données restent représentatifs tout en réduisant les coûts d'évaluation.
• Format de Tâche Unifié : Toutes les tâches adhèrent à un format commun comprenant un corpus, des requêtes, des étiquettes de pertinence (qrels) et un ensemble de candidats fixes. L'ensemble de candidats est un hybride des 500 meilleurs résultats BM25 et des 500 meilleurs résultats de recherche dense (utilisant un modèle de référence fixe), fusionnés via la fusion de classement réciproque (RRF) pour créer un ensemble de 100 éléments. Une règle de sécurité garantit que chaque requête possède au moins un document pertinent dans l'ensemble de candidats.
• Pipeline d'Évaluation : L'infrastructure évalue cinq familles de recherche sous les mêmes conditions :
  1. Génération de Candidats : Modèles BM25, denses, épars (sparse) et à interaction tardive (late interaction) effectuant la recherche sur l'ensemble du corpus.
  2. Re-classement (Reranking) : Modèles réordonnant l'ensemble de candidats fixe (incluant les cross-encoders et les rerankers de type LLM).
  3. Variantes d'Efficacité : Transformations post-encodage appliquées aux embeddings denses, incluant la réduction de dimensionnalité Matryoshka, la quantification int8, la quantification binaire et le rescoring en flottant (float rescoring). Les représentations éparses sont également évaluées via l'élagage (pruning) côté requête et côté document.
• Métriques et Agrégation : La métrique principale est le nDCG@10. Les résultats sont agrégés en utilisant à la fois des moyennes micro (poids égal par tâche) et des moyennes macro (poids égal par benchmark) pour éviter la dominance des grandes familles de benchmarks. Le système supporte le filtrage multi-axes par langue, domaine et architecture de modèle.

Contributions Clés

1. Infrastructure Multilingue Légère : HAKARI-Bench fournit un cadre unifié comparant cinq architectures de recherche (lexicale, éparse, dense, interaction tardive, reranker) à travers 35 benchmarks et 551 tâches en 43 langues, permettant une mesure rapide et répétée.
2. Validation Empirique de la Reproductibilité du Classement : Les auteurs démontrent que les Nano-sets agissent comme un proxy de classement haute fidélité. Comparés à l'officiel MTEB retrieval v2, MMTEB v2 retrieval et l'anglais BEIR (complet), les corrélations de rang de Spearman dépassent 0,97 (0,983, 0,975 et 0,973, respectivement). Cela confirme que l'évaluation légère préserve l'ordre relatif des modèles trouvé dans les évaluations à grande échelle.
3. Évaluation de l'Efficacité Inter-Modèles : Contrairement aux benchmarks précédents où les paramètres d'efficacité sont signalés de manière sporadique, HAKARI-Bench applique systématiquement la réduction de dimensionnalité, la quantification et le re-classement à tous les modèles compatibles sous des conditions identiques. Cela permet une visualisation concrète de la frontière de Pareto qualité-efficacité et révèle que la robustesse à la quantification binaire est déterminée par les caractéristiques d'entraînement plutôt que par la taille du modèle seule.

Résultats

• Fidélité du Classement : Le benchmark reproduit avec succès les classements de modèles des benchmarks officiels à grande échelle avec une corrélation élevée, validant son utilisation pour la sélection de modèles et la détection de régression.
• Compromis d'Efficacité :
  • Quantification : La quantification binaire seule cause une chute de performance moyenne significative (−6,50 points), tandis que l'int8 est plus modérée (−1,95 points). Cependant, l'application du rescoring en flottant aux meilleurs candidats extraits par des vecteurs quantifiés restaure presque la performance (int8_rescore : −0,09 ; binary_rescore : −0,93).
  • Élagage Sparse : L'élagage agressif des dimensions côté document a un impact minimal sur la qualité, tandis que la réduction des dimensions côté requête en dessous de 16 dégrade significativement les performances.
  • Re-classement (Reranking) : L'efficacité des rerankers dépend fortement de l'étendue de la tâche. Bien que les rerankers de type LLM (ex: Qwen3-Reranker) surpassent les modèles denses sur les 551 tâches, les cross-encoders traditionnels excellent principalement dans les scénarios de requêtes courtes et de documents courts, et peinent avec les documents longs ou les tâches de raisonnement complexe.
• Spécificité de Domaine : Le « meilleur » modèle varie considérablement selon le domaine. Par exemple, alors qu'un modèle dense spécifique arrive premier au classement global, un modèle spécialisé pour le japonais ou le BM25 peut arriver premier dans des périmètres linguistiques spécifiques ou pour des documents longs, soulignant qu'un score global unique est insuffisant pour la sélection en production.

Signification et Revendications
Le papier positionne HAKARI-Bench non pas comme un remplacement des évaluations à grande échelle, mais comme un proxy de classement haute fidélité qui supporte la sélection rapide de modèles, la détection de régression et l'analyse des compromis qualité-efficacité. Sa principale importance réside dans :

• Démocratisation de la Comparaison d'Efficacité : Fournir la première comparaison systématique et inter-modèles des paramètres d'efficacité (quantification, réduction de dimensionnalité) sous des conditions identiques.
• Permettre le Développement Itératif : Permettre aux développeurs d'exécuter des évaluations de manière répétée durant le cycle de développement sans le coût prohibitif des benchmarks complets.
• Sélection de Modèle Contextuelle : Déplacer l'attention de la maximisation d'un score agrégé unique vers l'identification de « quels domaines un modèle n'a pas appris », facilitant ainsi une sélection de modèle appropriée selon des contraintes spécifiques comme la langue, la latence et la longueur des documents.

Les auteurs soulignent que bien que les Nano-sets reproduisent les classements de modèles avec une haute fidélité, ils ne garantissent pas l'accord absolu des scores avec les benchmarks complets en raison de l'espace de recherche réduit et de l'absence de négatifs difficiles (hard negatives). Par conséquent, le benchmark est destiné au classement relatif et à la comparaison de réglages plutôt qu'à la certification de performance absolue.