HAKARI-Bench: A Lightweight Benchmark for Comparing Retrieval Architectures and Efficiency Settings under Unified Conditions

Resumo Técnico do HAKARI-Bench

Problema
A rápida adoção de Geração Aumentada por Recuperação (RAG) e busca semântica tornou a seleção de modelos de embedding de texto e configurações de recuperação crítica. No entanto, os benchmarks existentes de larga escala (ex: MTEB, MMTEB, BEIR) são abrangentes, mas computacionalmente pesados, tornando a avaliação repetida durante o desenvolvimento impraticável. Além disso, há uma falta de infraestrutura para comparar configurações de eficiência em tempo de produção — como redução de dimensionalidade, quantização (int8/binária) e reranking — entre muitos modelos sob condições idênticas. Embora essas configurações de eficiência sejam cruciais para equilibrar a qualidade da recuperação contra computação, memória e latência, elas raramente são reportadas de forma consistente por modelo, e as comparações entre modelos sob as mesmas condições são escassas.

Metodologia
O artigo introduz o HAKARI-Bench, uma infraestrutura de avaliação leve projetada para reconstruir benchmarks de recuperação existentes em conjuntos de dados pequenos e gerenciáveis ("Nano-sets"), mantendo um formato unificado.

• Construção de Nano-sets: O benchmark constrói 551 tarefas de recuperação através de 35 benchmarks e 43 idiomas. Cada tarefa é um "Nano-set" reduzido dos benchmarks originais para aproximadamente 50–200 queries e 1.000–10.000 documentos. Este encolhimento segue os princípios do MMTEB (downsampling baseado em correlação) e do NanoBEIR, garantindo que os conjuntos de dados permaneçam representativos enquanto reduzem os custos de avaliação.
• Formato de Tarefa Unificado: Todas as tarefas aderem a um formato comum composto por um corpus, queries, rótulos de relevância (qrels) e um conjunto fixo de candidatos. O conjunto de candidatos é um híbrido dos top 500 resultados de BM25 e top 500 resultados de recuperação densa (usando um modelo de referência fixo), fundidos via Reciprocal Rank Fusion (RRF) para criar um top-100. Uma regra de salvaguarda garante que cada query tenha pelo menos um documento relevante no conjunto de candidatos.
• Pipeline de Avaliação: A infraestrutura avalia cinco famílias de recuperação sob as mesmas condições:
  1. Geração de Candidatos: Modelos BM25, densos, esparsos e de interação tardia (late interaction) recuperando de todo o corpus.
  2. Reranking: Modelos reordenando o conjunto fixo de candidatos (incluindo cross-encoders e rerankers do tipo LLM).
  3. Variantes de Eficiência: Transformações pós-encoding aplicadas a embeddings densos, incluindo redução de dimensionalidade Matryoshka, quantização int8, quantização binária e rescoring de float. Representações esparsas também são avaliadas via poda (pruning) do lado da query e do lado do documento.
• Métricas e Agregação: A métrica primária é o nDCG@10. Os resultados são agregados usando tanto médias micro (peso igual por tarefa) quanto médias macro (peso igual por benchmark) para evitar a dominância por grandes famílias de benchmarks. O sistema suporta filtragem multi-eixo por idioma, domínio e arquitetura de modelo.

Principais Contribuições

1. Infraestrutura Multilíngue Leve: O HAKARI-Bench fornece um framework unificado comparando cinco arquiteturas de recuperação (léxica, esparsa, densa, interação tardia, reranker) através de 35 benchmarks e 551 tarefas em 43 idiomas, permitindo medições rápidas e repetidas.
2. Validação Empírica da Reprodutibilidade de Ranking: Os autores demonstram que os Nano-sets atuam como um proxy de ranking de alta fidelidade. Quando comparados com o MTEB retrieval v2 oficial, MMTEB v2 retrieval e BEIR (completo) em inglês, as correlações de rank de Spearman excedem 0,97 (0,983, 0,975 e 0,973, respectivamente). Isso confirma que a avaliação leve preserva a ordenação relativa de modelos encontrada em avaliações de larga escala.
3. Avaliação de Eficiência entre Modelos: Diferente de benchmarks anteriores onde as configurações de eficiência são esporadicamente reportadas, o HAKARI-Bench aplica sistematicamente redução de dimensionalidade, quantização e reranking a todos os modelos compatíveis sob condições idênticas. Isso permite a visualização concreta da fronteira de Pareto qualidade-eficiência e revela que a robustez à quantização binária é determinada pelas características de treinamento, e não apenas pelo tamanho do modelo.

Resultados

• Fidelidade de Ranking: O benchmark reproduz com sucesso os rankings de modelos de benchmarks oficiais de larga escala com alta correlação, validando seu uso para seleção de modelos e detecção de regressão.
• Trade-offs de Eficiência:
  • Quantização: A quantização binária sozinha causa uma queda média significativa de desempenho (−6,50 pontos), enquanto a int8 é mais branda (−1,95 pontos). No entanto, aplicar o rescoring de float aos principais candidatos recuperados por vetores quantizados quase restaura o desempenho (int8_rescore: −0,09; binary_rescore: −0,93).
  • Poda Esparsa (Sparse Pruning): A poda agressiva das dimensões do lado do documento tem impacto mínimo na qualidade, enquanto reduzir as dimensões do lado da query abaixo de 16 degrada significativamente o desempenho.
  • Reranking: A eficácia dos rerankers depende fortemente do escopo da tarefa. Embora rerankers do tipo LLM (ex: Qwen3-Reranker) superem modelos densos em todas as 551 tarefas, os cross-encoders tradicionais se destacam principalmente em cenários de query curta e documento curto, e enfrentam dificuldades com documentos longos ou tarefas de raciocínio complexo.
• Especificidade de Domínio: O "melhor" modelo varia significamente por domínio. Por exemplo, embora um modelo denso específico ocupe o primeiro lugar geral, um modelo especializado em japonês ou o BM25 pode ocupar o primeiro lugar em escopos específicos de idioma ou documentos longos, destacando que um único score agregado é insuficiente para seleção em produção.

Significância e Alegações
O artigo posiciona o HAKARI-Bench não como um substituto para a avaliação em escala total, mas como um proxy de ranking de alta fidelidade que suporta seleção rápida de modelos, detecção de regressão e análise de trade-offs entre qualidade e eficiência. Sua principal significância reside em:

• Democratizar a Comparação de Eficiência: Fornecer a primeira comparação sistemática e entre modelos de configurações de eficiência (quantização, redução de dimensionalidade) sob condições idênticas.
• Permitir o Desenvolvimento Iterativo: Permitir que desenvolvedores executem avaliações repetidamente durante o ciclo de desenvolvimento sem o custo proibitivo de benchmarks completos.
• Seleção de Modelo Contextual: Mudar o foco de maximizar um único score agregado para identificar "quais domínios um modelo não aprendeu", facilitando a seleção de modelos apropriados ao uso baseando-se em restrições específicas como idioma, latência e comprimento do documento.

Os autores enfatizam que, embora os Nano-sets reproduzam os rankings de modelos com alta fidelidade, eles não garantem o acordo absoluto de scores com os benchmarks completos devido ao espaço de recuperação reduzido e à falta de negativos difíceis (hard negatives). Portanto, o benchmark é destinado para ranking relativo e comparação de configurações, em vez de certificação de desempenho absoluto.