HAKARI-Bench: A Lightweight Benchmark for Comparing Retrieval Architectures and Efficiency Settings under Unified Conditions

Technisches Resümee von HAKARI-Bench

Problemstellung
Die rasche Einführung von Retrieval-Augmented Generation (RAG) und semantischer Suche hat die Auswahl von Text-Embedding-Modellen und Retrieval-Konfigurationen entscheidend gemacht. Bestehende groß angelegte Benchmarks (z. B. MTEB, MMTEB, BEIR) sind jedoch umfassend, aber rechenintensiv, was eine wiederholte Evaluierung während der Entwicklung unpraktisch macht. Zudem mangelt es an einer Infrastruktur, um Effizienz-Einstellungen zur Produktionszeit – wie Dimensionsreduktion, Quantisierung (int8/binär) und Reranking – über viele Modelle hinweg unter identischen Bedingungen zu vergleichen. Da diese Effizienz-Einstellungen zwar entscheidend für das Gleichgewicht zwischen Retrieval-Qualität und Rechenaufwand, Speicher sowie Latenz sind, aber selten konsistent pro Modell berichtet werden und vergleichende Analysen desselben Modells unter den gleichen Bedingungen selten sind, besteht hier eine Lücke.

Methodik
Das Paper stellt HAKARI-Bench vor, eine leichtgewichtige Evaluierungs-Infrastruktur, die darauf ausgelegt ist, bestehende Retrieval-Benchmarks in kleine, handhabbare Datensätze („Nano-sets“) zu rekonstruieren und dabei ein einheitliches Format beizubehalten.

• Nano-set Konstruktion: Der Benchmark konstruiert 551 Retrieval-Aufgaben aus 35 Benchmarks und 43 Sprachen. Jede Aufgabe ist ein „Nano-set“, das aus den Original-Benchmarks auf etwa 50–200 Queries und 1.000–10.000 Dokumente geschrumpft wurde. Diese Verkleinerung folgt den Prinzipien von MMTEB (Korrelations-basiertes Downsampling) und NanoBEIR, wodurch sichergestellt wird, dass die Datensätze repräsentativ bleiben, während die Evaluierungskosten gesenkt werden.
• Einheitliches Aufgabenformat: Alle Aufgaben folgen einem gemeinsamen Format, bestehend aus einem Korpus, Queries, Relevanz-Labels (qrels) und einem festen Top-Kandidaten-Set. Das Kandidaten-Set ist ein Hybrid aus den Top 500 BM25-Ergebnissen und den Top 500 Dense-Retrieval-Ergebnissen (unter Verwendung eines festen Referenzmodells), die mittels Reciprocal Rank Fusion (RRF) zu einem Top-100-Set fusioniert wurden. Eine Sicherheitsregel stellt sicher, dass jede Query mindestens ein relevantes Dokument im Kandidaten-Set besitzt.
• Evaluierungs-Pipeline: Die Infrastruktur evaluiert fünf Retrieval-Familien unter denselben Bedingungen:
  1. Kandidatengenerierung: BM25, Dense, Sparse und Late-Interaction-Modelle, die aus dem gesamten Korpus abrufen.
  2. Reranking: Modelle, die das feste Kandidaten-Set neu ordnen (einschließlich Cross-Encodern und LLM-basierten Rerankern).
  3. Effizienz-Varianten: Post-Encoding-Transformationen, die auf Dense-Embeddings angewendet werden, einschließlich Matryoshka-Dimensionsreduktion, int8-Quantisierung, binärer Quantisierung und Float-Rescoring. Sparse-Repräsentationen werden ebenfalls mittels Query-seitiger und Dokument-seitiger Pruning-Verfahren evaluiert.
• Metriken und Aggregation: Die primäre Metrik ist nDCG@10. Die Ergebnisse werden sowohl mittels Mikro-Durchschnitten (gleiches Gewicht pro Aufgabe) als auch mittels Makro-Durchschnitten (gleiches Gewicht pro Benchmark) aggregiert, um eine Dominanz durch große Benchmark-Familien zu verhindern. Das System unterstützt Multi-Achsen-Filterung nach Sprache, Domäne und Modellarchitektur.

Wesentliche Beiträge

1. Leichtgewichtige mehrsprachige Infrastruktur: HAKARI-Bench bietet ein einheitliches Framework zum Vergleich von fünf Retrieval-Architekturen (lexikalisch, sparse, dense, late interaction, reranker) über 35 Benchmarks und 551 Aufgaben in 43 Sprachen, was eine schnelle, wiederholte Messung ermöglicht.
2. Empirische Validierung der Ranking-Reproduzierbarkeit: Die Autoren zeigen, dass die Nano-sets als hochpräziser Ranking-Proxy fungieren. Im Vergleich zu offiziellen MTEB retrieval v2, MMTEB v2 retrieval und dem englischen BEIR (vollständig) liegen die Spearman-Rangkorrelationen über 0,97 (0,983, 0,975 bzw. 0,973). Dies bestätigt, dass die leichtgewichtige Evaluierung die relative Modell-Rangfolge der groß angelegten Evaluierungen beibehält.
3. Modellübergreifende Effizienz-Evaluierung: Im Gegensatz zu bisherigen Benchmarks, in denen Effizienz-Einstellungen nur sporadisch berichtet werden, wendet HAKARI-Bench Dimensionsreduktion, Quantisierung und Reranking systematisch auf alle unterstützten Modelle unter identischen Bedingungen an. Dies ermöglicht die konkrete Visualisierung der Qualitäts-Effizienz-Pareto-Front und zeigt auf, dass die Robustheit gegenüber binärer Quantisierung durch Trainingscharakteristika und nicht allein durch die Modellgröße bestimmt wird.

Ergebnisse

• Ranking-Fidelity: Der Benchmark reproduziert die Modell-Rankings großer offizieller Benchmarks mit hoher Korrelation, was seine Eignung für die Modellauswahl und Regressionserkennung validiert.
• Effizienz-Trade-offs:
  • Quantisierung: Binäre Quantisierung allein verursacht einen signifikanten durchschnittlichen Leistungsabfall (−6,50 Punkte), während int8 milder ausfällt (−1,95 Punkte). Die Anwendung von Float-Rescoring auf die von quantisierten Vektoren abgerufenen Top-Kandidaten stellt die Leistung jedoch nahezu wieder her (int8_rescore: −0,09; binary_rescore: −0,93).
  • Sparse Pruning: Aggressives Pruning der dokumentseitigen Dimensionen hat minimale Auswirkungen auf die Qualität, während die Reduzierung der queryseitigen Dimensionen unter 16 die Leistung signifikant verschlechtert.
  • Reranking: Die Effektivität von Rerankern hängt stark vom Aufgabenumfang ab. Während LLM-basierte Reranker (z. B. Qwen3-Reranker) Dense-Modelle über alle 551 Aufgaben hinweg übertreffen, glänzen traditionelle Cross-Encoder primär in Szenarien mit kurzen Queries und kurzen Dokumenten und haben Schwierigkeiten bei langen Dokumenten oder komplexen Reasoning-Aufgaben.
• Domänenspezifität: Das „beste“ Modell variiert erheblich je nach Domäne. Während ein spezifisches Dense-Modell insgesamt auf Platz eins liegt, kann ein japanisch-spezialisiertes Modell oder BM25 in spezifischen Sprach- oder Langdokument-Bereichen führen, was verdeutlicht, dass ein einzelner Gesamtwert für die Produktion unzureichend ist.

Bedeutung und Ansprüche
Das Paper positioniert HAKARI-Bench nicht als Ersatz für die vollständige Evaluierung, sondern als einen hochpräzisen Ranking-Proxy, der eine schnelle Modellauswahl, Regressionserkennung und die Analyse von Qualitäts-Effizienz-Trade-offs unterstützt. Die primäre Bedeutung liegt in:

• Demokratisierung des Effizienz-Vergleichs: Bereitstellung des ersten systematischen, modellübergreifenden Vergleichs von Effizienz-Einstellungen (Quantisierung, Dimensionsreduktion) unter identischen Bedingungen.
• Ermöglichung iterativer Entwicklung: Erlaubt Entwicklern, Evaluierungen während des Entwicklungszyklus wiederholt durchzuführen, ohne die prohibitiven Kosten voller Benchmarks.
• Kontextuelle Modellauswahl: Verschiebung des Fokus von der Maximierung eines einzelnen aggregierten Scores hin zur Identifizierung der Frage „welche Domänen ein Modell nicht gelernt hat“, um eine anwendungsspezifische Modellauswahl basierend auf Constraints wie Sprache, Latenz und Dokumentenlänge zu erleichtern.

Die Autoren betonen, dass Nano-sets zwar die Modell-Rankings mit hoher Treue reproduzieren, aber keine absolute Übereinstimmung der Scores mit den vollen Benchmarks garantieren können, da der Retrieval-Raum reduziert ist und es an Hard Negatives mangelt. Daher ist der Benchmark für das relative Ranking und den Vergleich von Einstellungen gedacht und nicht für die Zertifizierung der absoluten Performance.