Resumen Técnico: Cuantificación del Impacto de los Errores de Traducción en la Evaluación de Modelos de Lenguaje Grandes Multilingües

Declaración del Problema

Las pruebas de evaluación traducidas automáticamente son el estándar para evaluar las capacidades multilingües de los Modelos de Lenguaje Grandes (LLM). Sin embargo, la calidad de estas traducciones se pasa por alto con frecuencia, introduciendo "artefactos de traducción" que socavan la fiabilidad y la comparabilidad de los resultados de evaluación. Aunque trabajos anteriores han establecido que los errores de traducción pueden sesgar las pruebas de evaluación entre idiomas (por ejemplo, XNLI, MMLU), los estudios existentes a menudo se basan en inspecciones manuales de muestras pequeñas o heurísticas gruesas (por ejemplo, ratios de longitud de oración) que carecen de la precisión necesaria para identificar tipos y ubicaciones específicos de errores. Además, sigue sin estar claro qué tan bien se alinean las herramientas automatizadas de detección de errores a nivel de segmento (como LLMs actuando como jueces o modelos de estimación de calidad) con las anotaciones humanas expertas en traducciones de pruebas de evaluación de ocurrencia natural, y en qué medida los errores de traducción en el lado de destino impulsan específicamente las caídas de precisión en comparación con las anomalías en el lado de origen.

Metodología

Los autores abordan estas lagunas mediante un enfoque de tres frentes que involucra anotación humana, localización automatizada de segmentos y modelado estadístico del rendimiento.

1. Anotación de Segmentos por Humanos y LLM (Subconjunto EU20)

El estudio utiliza un subconjunto del conjunto de pruebas EU20, que comprende traducciones de DeepL de MMLU, ARC, HellaSwag, GSM8K y TruthfulQA a 20 idiomas de la UE.

• Referencia Humana: Lingüistas profesionales anotaron manualmente 225 segmentos en nueve idiomas de destino (germánicos, romances, urálicos, eslavos, bálticos) utilizando un protocolo basado en segmentos inspirado en MQM. Los anotadores identificaron segmentos de error, asignaron gravedad (Mayor/Menor) y distinguieron entre errores de Precisión (fidelidad) y errores de Fluidez/Estilo.
• Anotación Automatizada: Se solicitó a cuatro LLMs ajustados con instrucciones (GPT-5.2, GPT-4o-mini, LLaMA-4, Mistral-Large) y a una línea base de Estimación de Calidad consciente de segmentos (xCOMET-XXL) que generaran segmentos de error al estilo MQM sobre los mismos datos.
• Métricas: El acuerdo se midió utilizando emparejamiento 1:1 codicioso con coeficientes de superposición basados en la posición (OC) y similitud Dice de 3-gramas basada en cadenas (SIM). También se emplearon métricas de superposición de caracteres sin umbral (Char-F1) y el alfa de unitización de Krippendorff para evaluar la robustez.

2. Meta-evaluación (Span-ACESRef)

Para complementar los datos naturales de EU20, los autores construyeron Span-ACESRef, una proyección depurada del conjunto de datos SPAN-ACES. Este recurso aísla fenómenos de error únicos y dirigidos mapeando ediciones entre traducciones "buenas" e "incorrectas" sobre una referencia humana. Este conjunto de datos (1.407 elementos) permite una evaluación controlada de la precisión de la localización de segmentos, distinguiendo entre métricas de emparejamiento "clásico" (coincidencia exacta) y "tolerante" (flexible en los límites).

3. Análisis del Impacto en el Rendimiento

Los autores vincularon las anotaciones de errores a nivel de segmento con el rendimiento posterior de los LLM mediante regresión logística.

• Datos: Un subconjunto emparejado de 651 pares elemento-idioma (4.993 observaciones) de MMLU, ARC y GSM8K.
• Variables: Indicadores binarios para Errores en el lado de destino (T) y Problemas en el lado de origen (S).
• Controles: Los modelos controlaron si el modelo de evaluación resolvió el original en inglés ($y_{EN}$), así como efectos fijos para el idioma, el conjunto de datos y el propio modelo de evaluación.
• Análisis: Se calcularon Efectos Marginales Promedio (AME) para estimar la caída en puntos de probabilidad en la precisión asociada con los errores de traducción. Se realizó un análisis contrafactual ($T=0$) para determinar si eliminar los errores de traducción alteraría las clasificaciones relativas de los sistemas.

Contribuciones Clave

1. Acuerdo de Segmentos Humano-LLM: El artículo publica una referencia profesional de segmentos a nivel de MQM para un subconjunto de EU20 y evalúa a los anotadores automatizados frente a ella. GPT-5.2 demuestra el mayor acuerdo con las anotaciones humanas (media OC Span-F1 de 0,55), superando a otros LLMs y a la línea base xCOMET-XXL.
2. Validación de Span-ACESRef: Los autores presentan Span-ACESRef como una prueba de evaluación controlada para la localización de segmentos. Los resultados indican que, aunque las puntuaciones de emparejamiento clásico son bajas, las puntuaciones de emparejamiento tolerante son sustancialmente más altas, lo que sugiere que muchos desacuerdos son casi coincidencias en los límites en lugar de fallos completos de detección.
3. Impacto Cuantificado en el Rendimiento: Utilizando regresión logística con controles en inglés, el estudio aísla el impacto de los errores de traducción. Los errores en el lado de destino se asocian consistentemente con caídas de precisión de 6–8 puntos porcentuales (pp) en el modelo completo y de 6–11 pp cuando se restringe a elementos resolubles en inglés.

Resultados

• Calidad de la Anotación: GPT-5.2 es el anotador automatizado más fuerte, aunque el acuerdo absoluto con los humanos sigue siendo no trivial (F1 ~0,55). Otros modelos (Mistral-Large, GPT-4o-mini, LLaMA-4) muestran un acuerdo significativamente menor. xCOMET-XXL funciona mejor que los LLMs más pequeños pero peor que GPT-5.2.
• Errores de Origen vs. Destino: Las anomalías en el lado de origen (S) muestran una asociación negativa más débil y menos estable con la precisión en comparación con los errores en el lado de destino (T). El efecto de los errores de traducción persiste incluso después de controlar los problemas de origen y la corrección en inglés.
• Magnitud del Impacto: Una traducción que contiene al menos un error anotado se asocia con una pérdida significativa de precisión. Por ejemplo, utilizando anotaciones de GPT-5.2, la pérdida total estimada es de aproximadamente 4,3 pp en el modelo completo y 5,6 pp en el subconjunto resoluble en inglés.
• Estabilidad de la Clasificación: El análisis contrafactual revela que, aunque los errores de traducción reducen significativamente las puntuaciones absolutas, se comportan como una penalización relativamente uniforme entre los sistemas. En consecuencia, las clasificaciones relativas de los sistemas (ordenamientos en la tabla de clasificación) permanecen altamente estables ($\rho$ de Spearman $\approx 1,0$) incluso cuando los errores de traducción se eliminan hipotéticamente.

Significado y Afirmaciones

El artículo afirma que las tablas de clasificación traducidas pueden mantenerse internamente estables en su ordenamiento relativo mientras, simultáneamente, subestiman el rendimiento multilingüe absoluto. La presencia de errores de traducción introduce un sesgo sistemático hacia abajo en la precisión medida que no es meramente un artefacto de problemas en el lado de origen.

Los autores enfatizan que, si bien las prácticas actuales de evaluación pueden preservar la clasificación de los modelos, las estimaciones de rendimiento absoluto están sesgadas. Esto sugiere que la comunidad no puede confiar únicamente en pruebas de evaluación traducidas automáticamente para una cuantificación precisa del rendimiento sin tener en cuenta la calidad de la traducción. El trabajo aboga por la integración del análisis de errores a nivel de segmento en los protocolos de lanzamiento de pruebas de evaluación para comprender y mitigar mejor estos sesgos.

Los autores mantienen modestia respecto a sus afirmaciones, señalando que sus hallazgos son correlacionales y específicos de las pruebas de evaluación seleccionadas, los sistemas de traducción automática y los LLMs evaluados. Reconocen limitaciones como la escasez de referencias de alta calidad con anotación de segmentos para idiomas de recursos limitados y la subjetividad inherente en la definición de los límites de los segmentos.