MTEB-BR: A Text Embedding Benchmark for Brazilian Portuguese

Planteamiento del Problema
A pesar de que el portugués brasileño es hablado de forma nativa por más de 200 millones de personas, no existe un benchmark integral y nativo para evaluar modelos de embedding de texto. Los marcos de evaluación actuales, como MTEB y MMTEB, dependen en gran medida de corpus traducidos (por ejemplo, mMARCO-PT, una traducción automática de MS MARCO en inglés) o ofrecen una cobertura multilingüe tenue. Los autores argumentan que la traducción introduce artefactos sistemáticos —incluyendo el ruido de la traducción, el desplazamiento de dominio y el aplanamiento idiomático— que enmascaran las diferencias reales de rendimiento entre modelos sobre texto nativo. Mientras que existen extensiones específicas para el chino, francés, alemán y otros idiomas, el portugués carecía de un benchmark dedicado y nativo que excluyera los datos traducidos por máquinas.

Metodología
El artículo presenta MTEB-BR, un benchmark diseñado con un único criterio de inclusión: fuente nativa.

• Suite de Tareas: El benchmark consta de 22 tareas a través de siete categorías de MTEB: clasificación, clasificación multietiqueta, clasificación de pares, similitud semántica de textos (STS), clustering, recuperación (retrieval) y reordenación (reranking). Estas tareas se extraen de 17 corpora distintos que abarcan los dominios legal, médico, fiscal, científico, enciclopédico y de redes sociales. Crucialmente, los conjuntos de datos traducidos por máquinas (específicamente mMARCO-PT y mkqa-PT) se excluyen por construcción.
• Panel de Modelos: Los autores evaluaron 93 modelos, que van desde 23M hasta 27B de parámetros. Esto incluye 73 modelos de pesos abiertos (embedders de decoder-LLM, codificadores multilingües, codificadores específicos de portugués y líneas base de Sentence-Transformer) y 20 APIs comerciales cerradas (de Google, OpenAI, Voyage, Mistral y Amazon).
• Rigor Estadístico: Más allá de las estimaciones puntuales estándar, los autores introducen una "capa estadística" para complementar la tabla de clasificación (leaderboard). Esta incluye:
  • Intervalos de confianza de bootstrap por tarea (IC del 95% a partir de 10,000 remuestreos).
  • Pruebas de significancia de bootstrap pareadas para determinar si un modelo supera de manera fiable a otro.
  • Análisis de la Teoría de Respuesta al Ítem (IRT) para medir la discriminación de la tarea (qué tan agudamente una tarea separa a los modelos) y la capacidad del modelo.
  • Análisis de correlación de cross-leaderboard contra el leaderboard multilingüe global de HuggingFace MTEB.
• Protocolo de Evaluación: Las métricas siguen las convenciones estándar de MTEB (exactitud, V-measure, nDCG@10, MAP, correlación de Spearman). Todos los modelos fueron evaluados con un límite uniforme de contexto de 512 tokens para asegurar la comparabilidad.

Resultos Clave

• Separación de Modelos: El benchmark separa limpiamente aproximadamente el 78.7% de todos los pares de modelos en alrededor de una docena de niveles distinguibles. Sin embargo, los seis mejores modelos forman un "nivel de frontera convergente" donde sus diferencias de rendimiento son estadísticamente indistinguibles (dentro de una dispersión de media de 0.020).
• Abierto vs. Cerrado: Un modelo de pesos abiertos y autoalbergable (Qwen3-Embedding-8B, Apache-2.0) alcanza el nivel de la frontera superior, ocupando el segundo lugar general con una media de 22 tareas de 0.6704. Esto demuestra que los embeddings de alta calidad en portugués no requieren estrictamente de APIs comerciales.
• Discriminación de Tareas: Las tareas de recuperación son las más efectivas para separar los modelos, mostrando los puntajes de discriminación más altos (valores de IRT $a_t$ entre 1.49 y 2.05). Por el contrario, las tareas de clustering y ciertas pruebas de clasificación (por ejemplo, verificación de hechos) muestran la menor discriminación.
• Correlación Multilingüe: El rango de un modelo en el leaderboard multilingüe global predice su rango en portugués solo moderadamente (Spearman $\rho = 0.75$ sobre 55 modelos compartidos). Existen divergencias significativas; por ejemplo, un modelo clasificado en el 3er lugar global cayó al 49º en MTEB-BR. Esto sugiere que los benchmarks nativos miden capacidades que los boards multilingües pasan por alto, particularmente en lo que respecta a la recuperación nativa.
• Codificadores Específicos de Portugués: Los codificadores específicos de portugués generalmente quedaron por detrás de los codificadores multilingües generales en las tareas de recuperación. Sin embargo, los autores atribuyen esto a los objetivos de entrenamiento (por ejemplo, modelado de lenguaje enmascarado frente a ajuste fino de recuperación) en lugar de la especialización lingüística. Los modelos de recuperación ajustados para el portugués (variantes de Serafim) se desempeñaron de manera comparable a los modelos multilingües.

Significancia y Reivindicaciones
El artículo afirma que MTEB-BR proporciona a los profesionales una herramienta para elegir modelos de embedding basados en evidencia nativa en lugar de proxies traducidos. Sus principales contribuciones son:

1. Una Suite de Tareas Nativa: El primer benchmark consolidado para el portugués brasileño que excluye estrictamente los datos traducidos por máquinas, ofreciendo un reflejo más preciso del rendimiento sobre texto nativo.
2. Transparencia Estadística: La introducción de una capa estadística (intervalos de confianza, significancia pareada, IRT) permite a la comunidad distinguir entre brechas de rendimiento genuinas y ruido estadístico, particularmente en la parte superior de la tabla de clasificación donde los modelos convergen.
3. Perspectivas de Costo-Calidad: El benchmark identifica una "frontera de Pareto" donde los modelos de pesos abiertos (como Qwen3-Embedding-8B) y APIs comerciales específicas ofrecen la mejor relación calidad-costo, desafiando la suposición de que solo las grandes APIs propietarias pueden lograr resultados de vanguardia.
4. Limitaciones de los Boards Globales: La moderada correlación con los leaderboards globales sirve como una advertencia de que los benchmarks multilingües son insuficientes como proxies para el despliegue específico de un idioma, especialmente para tareas de recuperación.

Los autores liberan todo el código (Apache-2.0), el conjunto de datos completo de resultados (CC-BY 4.0) y una tabla de clasificación interactiva, con el objetivo de establecer una plantilla estadística reutilizable para futuras extensiones de MTEB específicas de cada idioma.