HAKARI-Bench: A Lightweight Benchmark for Comparing Retrieval Architectures and Efficiency Settings under Unified Conditions

Resumen Técnico de HAKARI-Bench

Planteamiento del Problema
La rápida adopción de la Generación Aumentada por Recuperación (RAG) y la búsqueda semántica ha hecho que la selección de modelos de incrustación de texto (text embedding) y las configuraciones de recuperación sean críticas. Sin embargo, los benchmarks existentes a gran escala (por ejemplo, MTEB, MMTEB, BEIR) son exhaustivos pero computacionalmente pesados, lo que hace que la evaluación repetida durante el desarrollo sea poco práctica. Además, existe una falta de infraestructura para comparar configuraciones de eficiencia en tiempo de producción —como la reducción de dimensionalidad, la cuantización (int8/binaria) y el reordenamiento (reranking)— entre muchos modelos bajo condiciones idénticas. Si bien estos ajustes de eficiencia son cruciales para equilibrar la calidad de la recuperación frente al cómputo, la memoria y la latencia, rara vez se reportan de manera consistente por modelo, y las comparaciones entre modelos bajo las mismas condiciones son escasas.

Metodología
El artículo presenta HAKARI-Bench, una infraestructura de evaluación ligera diseñada para reconstruir los benchmarks de recuperación existentes en conjuntos de datos pequeños y manejables ("Nano-sets") manteniendo un formato unificado.

• Construcción de Nano-sets: El benchmark construye 551 tareas de recuperación a través de 35 benchmarks y 43 idiomas. Cada tarea es un "Nano-set" reducido de los benchmarks originales a aproximadamente 50–200 consultas y 1,000–10,000 documentos. Esta reducción sigue los principios de MMTEB (submuestreo basado en correlación) y NanoBEIR, asegurando que los conjuntos de datos sigan siendo representativos mientras se reducen los costos de evaluación.
• Formato de Tarea Unificado: Todas las tareas se adhieren a un formato común que comprende un corpus, consultas, etiquetas de relevancia (qrels) y un conjunto de candidatos fijos. El conjunto de candidatos es un híbrido de los 500 mejores resultados de BM25 y los 500 mejores resultados de recuperación densa (usando un modelo de referencia fijo), fusionados mediante Reciprocal Rank Fusion (RRF) para crear un conjunto de los 100 mejores. Una regla de salvaguardia garantiza que cada consulta tenga al menos un documento relevante en el conjunto de candidatos.
• Pipeline de Evaluación: La infraestructura evalúa cinco familias de recuperación bajo las mismas condiciones:
  1. Generación de Candidatos: Modelos BM25, densos, dispersos (sparse) y de interacción tardía (late interaction) que recuperan de todo el corpus.
  2. Reordenamiento (Reranking): Modelos que reordenan el conjunto de candidatos fijo (incluyendo cross-encoders y reordenadores de estilo LLM).
  3. Variantes de Eficiencia: Transformaciones de post-codificación aplicadas a las incrustaciones densas, incluyendo reducción de dimensionalidad Matryoshka, cuantización int8, cuantización binaria y re-puntuación de punto flotante (float rescoring). Las representaciones dispersas también se evalúan mediante la poda del lado de la consulta y del lado del documento.
• Métricas y Agregación: La métrica principal es nDCG@10. Los resultados se agregan utilizando tanto promedios micro (peso igual por tarea) como promedios macro (peso igual por benchmark) para evitar el dominio de las familias de benchmarks grandes. El sistema admite filtrado multieje por idioma, dominio y arquitectura de modelo.

Contribuciones Clave

1. Infraestructura Multilingüe Ligera: HAKARI-Bench proporciona un marco unificado para comparar cinco arquitecturas de recuperación (léxica, dispersa, densa, interacción tardía, reordenador) a través de 35 benchmarks y 551 tareas en 43 idiomas, permitiendo una medición rápida y repetida.
2. Validación Empírica de la Reproducibilidad del Ranking: Los autores demuestran que los Nano-sets actúan como un proxy de alta fidelidad para el ranking. Al compararse con MTEB retrieval v2 oficial, MMTEB v2 retrieval y BEIR (completo) en inglés, las correlaciones de rango de Spearman superan el 0.97 (0.983, 0.975 y 0.973, respectivamente). Esto confirma que la evaluación ligera preserva el orden relativo de los modelos encontrado en las evaluaciones a gran escala.
3. Evaluación de Eficiencia entre Modelos: A diferencia de otros benchmarks donde los ajustes de eficiencia se reportan esporádicamente, HAKARI-Bench aplica sistemáticamente la reducción de dimensionalidad, la cuantización y el reordenamiento a todos los modelos compatibles bajo condiciones idénticas. Esto permite la visualización concreta de la frontera de Pareto entre calidad y eficiencia, y revela que la robustez a la cuantización binaria está determinada por las características del entrenamiento más que por el tamaño del modelo por sí solo.

Resultados

• Fidelidad del Ranking: El benchmark reproduce con éxito los rankings de modelos de los benchmarks oficiales a gran escala con una alta correlación, validando su uso para la selección de modelos y la detección de regresiones.
• Compromisos de Eficiencia (Trade-offs):
  • Cuantización: La cuantización binaria por sí sola causa una caída significativa en el rendimiento promedio (−6.50 puntos), mientras que la int8 es más leve (−1.95 puntos). Sin embargo, aplicar la re-puntuación de punto flotante (float rescoring) a los mejores candidatos recuperados por vectores cuantizados casi restaura el rendimiento (int8_rescore: −0.09; binary_rescore: −0.93).
  • Poda Dispersa (Sparse Pruning): La poda agresiva de las dimensiones del lado del documento tiene un impacto mínimo en la calidad, mientras que reducir las dimensiones del lado de la consulta por debajo de 16 degrada significativamente el rendimiento.
  • Reordenamiento (Reranking): La efectividad de los reordenadores depende altamente del alcance de la tarea. Mientras que los reordenadores de estilo LLM (por ejemplo, Qwen3-Ranker) superan a los modelos densos en las 551 tareas, los cross-encoders tradicionales sobresalen principalmente en escenarios de consultas cortas y documentos cortos, y tienen dificultades con documentos largos o tareas de razonamiento complejo.
• Especificidad de Dominio: El "mejor" modelo varía significamente según el dominio. Por ejemplo, aunque un modelo denso específico ocupa el primer lugar general, un modelo especializado en japonés o un BM25 pueden ocupar el primer lugar en alcances específicos de idioma o de documentos largos, resaltando que un único puntaje agregado es insuficiente para la selección en producción.

Significancia y Reivindicaciones
El artículo posiciona a HAKARI-Bench no como un reemplazo de la evaluación a gran escala, sino como un proxy de ranking de alta fidelidad que soporta la selección rápida de modelos, la detección de regresiones y el análisis de los compromisos entre calidad y eficiencia. Su principal significancia radica en:

• Democratizar la Comparación de Eficiencia: Proporcionar la primera comparación sistemática y entre modelos de los ajustes de eficiencia (cuantización, reducción de dimensionalidad) bajo condiciones idénticas.
• Permitir el Desarrollo Iterativo: Permitir a los desarrolladores ejecutar evaluaciones repetidamente durante el ciclo de desarrollo sin el costo prohibitivo de los benchmarks completos.
• Selección de Modelos Contextual: Cambiar el enfoque de maximizar un único puntaje agregado a identificar "qué dominios no ha aprendido un modelo", facilitando así la selección de modelos apropiada para el uso basada en restricciones específicas como el idioma, la latencia y la longitud del documento.

Los autores enfatizan que, si bien los Nano-sets reproducen los rankings de los modelos con alta fidelidad, no garantizan un acuerdo absoluto de puntaje con los benchmarks completos debido al espacio de recuperación reducido y la falta de negativos duros (hard negatives). Por lo tanto, el benchmark está destinado para el ranking relativo y la comparación de configuraciones, más que para la certificación de rendimiento absoluto.