HAKARI-Bench: A Lightweight Benchmark for Comparing Retrieval Architectures and Efficiency Settings under Unified Conditions

Technische Samenvatting van HAKARI-Bench

Probleemstelling
De snelle adoptie van Retrieval-Augmented Generation (RAG) en semantische zoekopdrachten heeft de selectie van tekst-embeddingmodellen en retrieval-configuraties cruciaal gemaakt. Bestaande grootschalige benchmarks (bijv. MTEB, MMTEB, BEIR) zijn echter uitgebreid maar computationeel zwaar, waardoor herhaalde evaluatie tijdens de ontwikkeling onpraktisch is. Bovendien ontbreekt de infrastructuur om efficiëntie-instellingen tijdens de productie — zoals dimensionaliteitsreductie, kwantisatie (int8/binair) en reranking — te vergelijken tussen verschillende modellen onder identieke omstandigheden. Hoewel deze efficiëntie-instellingen cruciaal zijn voor het balanceren van retrieval-kwaliteit tegenover rekenkracht, geheugen en latentie, worden ze zelden consistent per model gerapporteerd, en zijn cross-model vergelijkingen onder dezelfde omstandigheden schaars.

Methodologie
Het artikel introduceert HAKARI-Bench, een lichtgewicht evaluatie-infrastructuur die is ontworpen om bestaande retrieval-benchmarks te reconstrueren naar kleine, beheersbare datasets ("Nano-sets"), terwijl een uniforme format behouden blijft.

• Constructie van Nano-sets: De benchmark construeert 551 retrieval-taken over 35 benchmarks en 43 talen. Elke taak is een "Nano-set" die is ingekrompen uit de originele benchmarks tot ongeveer 50–200 queries en 1.000–10.000 documenten. Deze inkrimping volgt de principes van MMTEB (correlatie-gebaseerde downsampling) en NanoBEIR, wat ervoor zorgt dat de datasets representatief blijven terwijl de evaluatiekosten worden verlaagd.
• Uniforme Taakformat: Alle taken voldoen aan een gemeenschappelijk format bestaande uit een corpus, queries, relevantielabels (qrels) en een vaste top kandidaatenset. De kandidaatenset is een hybride van de top 500 BM25-resultaten en top 500 dense retrieval-resultaten (gebruikmakend van een vast referentiemodel), gefuseerd via Reciprocal Rank Fusion (RRF) om een top-100 set te creëren. Een veiligheidsregel garandeert dat elke query ten minste één relevant document in de kandidaatenset heeft.
• Evaluatie Pipeline: De infrastructuur evalueert vijf retrieval-families onder dezelfde omstandigheden:
  1. Kandidaatgeneratie: BM25, dense, sparse en late interaction modellen die retrieveren uit het volledige corpus.
  2. Reranking: Modellen die de vaste kandidaatenset opnieuw ordenen (inclusclusief cross-encoders en LLM-stijl rerankers).
  3. Efficiëntievarianten: Post-encoding transformaties toegepast op dense embeddings, waaronder Matryoshka dimensionaliteitsreductie, int8 kwantisatie, binaire kwantisatie en float rescoring. Sparse representaties worden ook geëvalueerd via query-zijde en document-zijde pruning.
• Metrieken en Aggregatie: De primaire metriek is nDCG@10. Resultaten worden geaggregeerd met behulp van zowel micro-gemiddelden (gelijke weging per taak) als macro-gemiddelden (gelijke weging per benchmark) om dominantie door grote benchmark-families te voorkomen. Het systeem ondersteunt multi-as filtering op basis van taal, domein en modelarchitectuur.

Belangrijkste Bijdragen

1. Lichtgewicht Multilinguale Infrastructuur: HAKARI-Bench biedt een uniform framework voor het vergelijken van vijf retrieval-architecturen (lexicaal, sparse, dense, late interaction, reranker) over 35 benchmarks en 551 taken in 43 talen, wat snelle, herhaalde metingen mogelijk maakt.
2. Empirische Validatie van Ranking Reproduceerbaarheid: De auteurs demonstreren dat de Nano-sets fungeren als een hoogwaardige ranking-proxy. Wanneer vergeleken met de officiële MTEB retrieval v2, MMTEB v2 retrieval en de Engelse BEIR (volledig), overstijgen de Spearman rangcorrelaties de 0,97 (respectievelijk 0,983, 0,975 en 0,973). Dit bevestigt dat de lichtgewicht evaluatie de relatieve ordening van modellen uit full-scale evaluaties behoudt.
3. Cross-Model Efficiëntie Evaluatie: In tegen tegenstelling tot eerdere benchmarks waar efficiëntie-instellingen sporadisch worden gerapporteerd, past HAKARI-Bench systematisch dimensionaliteitsreductie, kwantisatie en reranking toe op alle ondersteunde modellen onder identieke omstandigheden. Dit maakt de concrete visualisatie van de kwaliteit-efficiëntie Pareto-frontier mogelijk en onthult dat de robuustheid tegen binaire kwantisatie wordt bepaald door trainingskenmerken in plaats van enkel door de modelgrootte.

Resultaten

• Ranking Fidelity: De benchmark reproduceert succesvol de modelrangschikkingen van grootschalige officiële benchmarks met een hoge correlatie, wat het gebruik ervan voor modelselectie en regressiedetectie valideert.
• Efficiëntie Trade-offs:
  • Kwantisatie: Binaire kwantisatie alleen veroorzaakt een aanzienlijke gemiddelde daling in prestaties (−6,50 punten), terwijl int8 milder is (−1,95 punten). Het toepassen van float rescoring op de top kandidaten die door gekwantiseerde vectoren zijn opgehaald, herstelt de prestaties echter bijna volledig (int8_rescore: −0,09; binary_rescore: −0,93).
  • Sparse Pruning: Agressieve pruning van document-zijde dimensies heeft minimale impact op de kwaliteit, terwijl het reduceren van query-zijde dimensies tot onder de 16 de prestaties aanzienlijk verslechtert.
  • Reranking: De effectiviteit van rerankers is sterk afhankelijk van de taakscope. Hoewel LLM-stijl rerankers (bijv. Qwen3-Reranker) dense modellen over alle 551 taken verslaan, blinken traditionele cross-encoders vooral uit in scenario's met korte queries en korte documenten en hebben zij moeite met lange documenten of complexe redeneertaken.
• Domeinspecificiteit: Het "beste" model varieert aanzienlijk per domein. Zo kan, hoewel een specifiek dense model als eerste eindigt in de algemene ranglijst, een Japans-gespecialiseerd model of BM25 als eerste eindigen in specifieke taal- of lange-document-scopes, wat benadrukt dat een enkele algemene score onvoldoende is voor productie-selectie.

Betekenis en Claims
Het artikel positioneert HAKARI-Bench niet als een vervanging voor full-scale evaluatie, maar als een hoogwaardige ranking proxy die snelle modelselectie, regressiedetectie en de analyse van kwaliteit-efficiëntie trade-offs ondersteunt. De primaire betekenis ligt in:

• Democratisering van Efficiëntie Vergelijking: Het bieden van de eerste systematische, cross-model vergelijking van efficiëntie-instellingen (kwantisatie, dimensionaliteitsreductie) onder identieke omstandigheden.
• Facilitering van Iteratieve Ontwikkeling: Het stelt ontwikkelaars in staat om tijdens de ontwikkelingscyclus herhaaldelijk evaluaties uit te voeren zonder de prohibitieve kosten van volledige benchmarks.
• Contextuele Modelselectie: Het verschuiven van de focus van het maximaliseren van een enkele geaggregeerde score naar het identificeren van "welke domeinen een model niet heeft geleerd", waardoor context-gepaste modelselectie wordt gefaciliteerd op basis van specifieke beperkingen zoals taal, latentie en documentlengte.

De auteurs benadrukken dat hoewel Nano-sets de modelrangschikkingen met hoge mate van getrouwheid reproduceren, ze niet garanderen dat de absolute scores overeenkomen met full-scale benchmarks vanwege de gereduceerde retrieval-ruimte en het gebrek aan harde negatieven. Daarom is de benchmark bedoeld voor relatieve ranking en het vergelijken van instellingen in plaats van absolute prestatiecertificering.