Recovered in Translation: Efficient Pipeline for Automated Translation of Benchmarks and Datasets

1. El Problema

La evaluación de Modelos de Lenguaje Grande (LLM) multilingües se ve comprometida actualmente por la baja calidad de las traducciones de los benchmarks (puntos de referencia) y conjuntos de datos existentes.

• Deficiencias actuales: Los recursos existentes (como MuBench, Global-MMLU o Okapi) sufren de desviación semántica, pérdida de contexto y errores gramaticales.
• Causas raíz:
  • Traducción independiente de preguntas y respuestas, lo que rompe la coherencia contextual.
  • Uso de herramientas de traducción clásicas (Google Translate, DeepL) o modelos LLM antiguos que carecen de capacidades de prompting avanzado.
  • Fugas de respuestas (Answer Leakage): En idiomas con género gramatical (como el ucraniano o el búlgaro), traducir opciones de respuesta por separado puede revelar la respuesta correcta a través de marcadores gramaticales (género/numero), sesgando la evaluación.
  • Falta de adaptación a características lingüísticas específicas de idiomas de recursos medios (como los de Europa del Este y del Sur).

2. Metodología

Los autores proponen R-Translation, un marco de trabajo automatizado y totalmente configurable diseñado para traducir datasets y benchmarks manteniendo su estructura original. El sistema soporta cuatro métodos de traducción basados en estrategias de escalado de cómputo en tiempo de prueba (test-time compute scaling):

1. SC (Self-Check): Traducción zero-shot simple con una verificación opcional donde el modelo revisa y corrige su propia salida. Es económico pero propenso a alucinaciones.
2. Best-of-N (BoN): Genera $N$ candidatos de traducción a alta temperatura y utiliza un modelo juez para puntuarlos (1-10) y seleccionar el mejor. Sufre de sesgos posicionales y dificultades en la puntuación numérica.
3. USI (Universal Self-Improvement): Basado en Fusion-of-N. Genera $N$ candidatos y pide al modelo que combine las mejores características de todos en una sola salida óptima. Es eficiente en costos ($N+1$ llamadas).
4. T-RANK (Translation Ranking) - Método Propuesto:
   • Genera $N$ candidatos diversos.
   • Utiliza un modelo juez para clasificar (rankear) los candidatos en lugar de puntuarlos, evaluando calidad, consistencia de dominio y preservación de la idea original.
   • Estrategia de múltiples rondas: Para mitigar el sesgo posicional (donde los modelos favorecen las primeras opciones), los candidatos se rotan sistemáticamente en diferentes posiciones a lo largo de varias rondas hasta que cada uno ha ocupado cada posición.
   • Finalmente, el modelo corrige y refina el candidato seleccionado, aprovechando la visión comparativa de todas las variantes para detectar errores sutiles.

Enfoque de Idiomas: El marco se aplica a ocho idiomas de recursos medios de Europa del Este y del Sur: ucraniano, búlgaro, eslovaco, rumano, lituano, estonio, turco y griego. Se traducen benchmarks populares: MMLU, Hellaswag, ARC y Winogrande.

3. Contribuciones Clave

• Análisis exhaustivo: Identificación de las causas fundamentales de las deficiencias en las traducciones de benchmarks multilingües actuales, destacando la importancia de traducir preguntas y respuestas en un solo contexto.
• Marco Automatizado Flexible: Un pipeline configurable que permite a los practicantes equilibrar el costo, el tiempo y la calidad según las características del idioma y el modelo utilizado.
• Nuevos Métodos de Traducción: Introducción y validación de T-RANK, que demuestra ser superior a los métodos de muestreo estándar al identificar errores sutiles mediante clasificación competitiva y rotación posicional.
• Recursos Abiertos: Liberación de benchmarks traducidos de alta calidad en 8 idiomas y el código del framework, facilitando el desarrollo de IA multilingüe reproducible.

4. Resultados

La evaluación se realizó utilizando métricas basadas en referencias (COMET en WMT24++ y FLORES), estimación de calidad sin referencia (Reference-free COMET) y evaluaciones mediante LLM-as-a-judge.

• Calidad de Traducción: Los métodos USI y T-RANK superaron consistentemente a las líneas base y a los métodos Best-of-N. En la traducción de benchmarks complejos, T-RANK mostró el mejor rendimiento, logrando una detección de errores más precisa.
• Impacto en la Evaluación de Modelos: Al evaluar modelos intermedios (Gemma 3, Qwen 3, Llama 3.1) en las nuevas traducciones, se observaron mejoras significativas en los puntajes de rendimiento en comparación con las traducciones existentes:
  • Winogrande: Mejora promedio de +3.42% (crítico debido a la eliminación de fugas de respuestas por género).
  • ARC-Challenge: +2.35%.
  • Hellaswag: +1.63%.
  • MMLU: +0.94%.
• Comparación con el Estado del Arte: Las traducciones propuestas superaron significativamente a las de Global-MMLU y MuBench en comparaciones directas (LLM-as-a-judge), con tasas de victoria mucho más altas en ucraniano, rumano y lituano.

5. Significado e Impacto

Este trabajo demuestra que la calidad de la traducción no es solo un problema lingüístico, sino un factor determinante en la validez de la evaluación de IA.

• Fiabilidad: Al corregir errores de contexto y fugas de respuestas, se obtienen métricas de rendimiento de modelos más precisas y justas para idiomas no ingleses.
• Eficiencia: Demuestra que es posible escalar la creación de recursos multilingües de alta calidad de forma automatizada, reduciendo la dependencia de la curación humana manual y costosa.
• Equidad: Ayuda a cerrar la brecha en la evaluación de modelos para idiomas de recursos medios, permitiendo un desarrollo de IA más inclusivo y culturalmente consciente.
• Futuro: Establece un nuevo estándar para la localización de benchmarks, sugiriendo que las estrategias de escalado de cómputo en tiempo de prueba (como T-RANK) son esenciales para tareas de traducción crítica más allá de la simple generación de texto.