HAKARI-Bench: A Lightweight Benchmark for Comparing Retrieval Architectures and Efficiency Settings under Unified Conditions

Sintesi Tecnica di HAKARI-Bench

Problematica
La rapida adozione della Generazione Aumentata da Recupero (RAG) e della ricerca semantica ha reso critica la selezione dei modelli di embedding testuale e delle configurazioni di recupero. Tuttavia, i benchmark esistenti su larga scala (ad es. MTEB, MMTEB, BEIR) sono completi ma computazionalmente pesanti, rendendo impraticabile una valutazione ripetuta durante lo sviluppo. Inoltre, manca un'infrastruttura per confrontare le impostazioni di efficienza in fase di produzione — come la riduzione della dimensionalità, la quantizzazione (int8/binaria) e il reranking — tra molti modelli in condizioni identiche. Sebbene queste impostazioni di efficienza siano cruciali per bilanciare la qualità del recupero rispetto a calcolo, memoria e latenza, esse sono raramente riportate in modo coerente per ogni modello, e i confronti cross-modello sotto le stesse condizioni sono scarsi.

Metodologia
Il documento introduce HAKARI-Bench, un'infrastruttura di valutazione leggera progettata per ricostruire gli esistenti benchmark di recupero in piccoli dataset gestibili ("Nano-set") mantenendo al contempo un formato unificato.

• Costruzione dei Nano-set: Il benchmark costruisce 551 task di recupero attraverso 35 benchmark e 43 lingue. Ogni task è un "Nano-set" ridotto dai benchmark originali a circa 50–200 query e 1.000–10.000 documenti. Questa riduzione segue i principi di MMTEB (downsampling basato sulla correlazione) e NanoBEIR, garantendo che i dataset rimangano rappresentativi riducendo al contempo i costi di valutazione.
• Formato Task Unificato: Tutti i task aderiscono a un formato comune composto da un corpus, query, etichette di rilevanza (qrels) e un set di candidati fissi. Il set di candidati è un ibrido tra i primi 500 risultati BM25 e i primi 500 risultati di recupero denso (utilizzando un modello di riferimento fisso), fusi tramite Reciprocal Rank Fusion (RRF) per creare un set di top-100. Una regola di salvaguardia assicura che ogni query abbia almeno un documento rilevante nel set di candidati.
• Pipeline di Valutazione: L'infrastruttura valuta cinque famiglie di recupero nelle stesse condizioni:
  1. Generazione di Candidati: Modelli BM25, densi, sparsi e di late interaction che recuperano dall'intero corpus.
  2. Reranking: Modelli che riordinano il set di candidati fisso (inclusi cross-encoder e reranker in stile LLM).
  3. Varianti di Efficienza: Trasformazioni post-encoding applicate agli embedding densi, inclusa la riduzione della dimensionalità Matryoshka, la quantizzazione int8, la quantizzazione binaria e il float rescoring. Anche le rappresentazioni sparse sono valutate tramite pruning lato query e lato documento.
• Metriche e Aggregazione: La metrica primaria è nDCG@10. I risultati sono aggregati utilizzando sia medie micro (peso uguale per task) che medie macro (peso uguale per benchmark) per evitare la dominanza di grandi famiglie di benchmark. Il sistema supporta il filtraggio multi-asse per lingua, dominio e architettura del modello.

Contributi Chiave

1. Infrastruttura Multilingue Leggera: HAKARI-Bench fornisce un framework unificato per confrontare cinque architetture di recupero (lessicale, sparsa, densa, late interaction, reranker) attraverso 35 benchmark e 551 task in 43 lingue, consentendo misurazioni rapide e ripetute.
2. Validazione Empirica della Riproducibilità del Ranking: Gli autori dimostrano che i Nano-set agiscono come un proxy di ranking ad alta fedeltà. Confrontati con MTEB retrieval v2 ufficiale, MMTEB v2 retrieval e l'inglese BEIR (completo), le correlazioni di rango di Spearman superano lo 0,97 (rispettivamente 0,983, 0,975 e 0,973). Ciò conferma che la valutazione leggera preserva l'ordinamento relativo dei modelli trovato nelle valutazioni su larga scala.
3. Valutazione dell'Efficienza Cross-Modello: A differenza dei benchmark precedenti dove le impostazioni di efficienza sono riportate sporadicamente, HAKARI-Bench applica sistematicamente la riduzione della dimensionalità, la quantizzazione e il reranking a tutti i modelli supportati sotto condizioni identiche. Ciò consente la visualizzazione concreta della frontiera di Pareto qualità-efficienza e rivela che la robustezza alla quantizzazione binaria è determinata dalle caratteristiche di addestramento piuttosto che dalla dimensione del modello da sola.

Risultati

• Fedeltà del Ranking: Il benchmark riproduce con successo i ranking dei modelli dei benchmark ufficiali su larga scala con un'alta correlazione, validando il suo uso per la selezione dei modelli e la rilevazione della regressione.
• Trade-off di Efficienza:
  • Quantizzazione: La sola quantizzazione binaria causa un calo medio significativo delle prestazioni (−6,50 punti), mentre l'int8 è più lieve (−1,95 punti). Tuttavia, l'applicazione del float rescoring ai top candidati recuperati da vettori quantizzati quasi ripristina le prestazioni (int8_rescore: −0,09; binary_rescore: −0,93).
  • Pruning Sparso: Il pruning aggressivo delle dimensioni lato documento ha un impatto minimo sulla qualità, mentre la riduzione delle dimensioni lato query al di sotto di 16 degrada significativamente le prestazioni.
  • Reranking: L'efficacia dei reranker dipende fortemente dall'ambito del task. Mentre i reranker in stile LLM (ad es. Qwen3-Reranker) superano i modelli densi in tutti i 551 task, i tradizionali cross-encoder eccellono principalmente in scenari con query brevi e documenti brevi e faticano con documenti lunghi o compiti di ragionamento complesso.
• Specificità del Dominio: Il "miglior" modello varia significativamente per dominio. Ad esempio, mentre un modello denso specifico si classifica al primo posto complessivo, un modello specializzato in giapponese o il BM25 possono classificarsi al primo posto in specifici ambiti linguistici o di documenti lunghi, evidenziando che un singolo punteggio aggregato è insufficiente per la selezione in produzione.

Significatività e Rivendicazioni
Il documento posiziona HAKARI-Bench non come un sostituto della valutazione su larga scala, ma come un proxy di ranking ad alta fedeltà che supporta la rapida selezione dei modelli, la rilevazione della regressione e l'analisi dei trade-off qualità-efficienza. La sua principale significatività risiede nel:

• Democratizzare il Confronto di Efficienza: Fornire il primo confronto sistematico e cross-modello delle impostazioni di efficienza (quantizzazione, riduzione della dimensionalità) in condizioni identiche.
• Abilitare lo Sviluppo Iterativo: Consentire agli sviluppatori di eseguire valutazioni ripetutamente durante il ciclo di sviluppo senza il costo proibitivo dei benchmark completi.
• Selezione Contestuale del Modello: Spostare l'attenzione dal massimizzare un singolo punteggio aggregato all'identificare "quali domini un modello non ha appreso", facilitando la selezione del modello appropriata in base a vincoli specifici come lingua, latenza e lunghezza del documento.

Gli autori sottolineano che, sebbene i Nano-set riproducano i ranking dei modelli con alta fedeltà, non garantiscono l'accordo del punteggio assoluto con i benchmark completi a causa dello spazio di recupero ridotto e della mancanza di hard negatives. Perteviene quindi che il benchmark è destinato al ranking relativo e al confronto delle impostazioni piuttosto che alla certificazione delle prestazioni assolute.