Resumen Técnico: Contaminación Transversal de Dirección en la Evaluación de la Traducción Automática

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) son susceptibles a la contaminación de datos, donde los conjuntos de prueba de los benchmarks públicos se incluyen inadvertidamente en los datos de entrenamiento. Esto conduce a puntuaciones de evaluación infladas que reflejan memorización en lugar de una generalización genuina. En entornos multilingües, este problema se exacerba por la contaminación transversal de dirección: un fenómeno donde la memorización de una lengua de destino en una dirección de traducción aumenta artificialmente el rendimiento en direcciones de traducción no vistas que comparten el mismo idioma de destino. Las prácticas de evaluación actuales a menudo no logran detectar esta asimetría, asumiendo que la contaminación requiere una superposición exacta de la entrada de origen.

Metodología

Los autores utilizan el benchmark FLORES-200, una suite de pruebas paralelas multidireccionales que cubre cientos de idiomas, como herramienta de diagnóstico. El estudio emplea dos modelos principales:

1. Bloomz-7B1: Un LLM multilingüe explícitamente documentado como habiendo sido ajustado finamente (fine-tuned) con datos de FLORES (el modelo contaminado).
2. Llama-3.1-8B-Instruct: Un modelo de instrucción comparable sin uso reportado de FLORES en su entrenamiento (el control no contaminado).

El diseño experimental involucra tres fases principales:

1. Detección de Contaminación de Base: Evaluando ambos modelos a través de los 15 pares de idiomas seleccionados (que abarcan lenguas de recursos altos, medios y bajos) utilizando BLEU (superposición superficial) y COMET (similitud semántica). Un BLEU alto junto con un COMET alto se utiliza como un proxy de la memorización.
2. Análisis de Perturbación de la Fuente: Para determinar si el recuerdo depende de cadenas de origen exactas, los autores introducen:
   • Retrotraducción (Back-translation): Generación de entradas de origen mediante un tercer idioma usando Llama.
   • Parafraseo: Reescritura de las entradas de origen usando Llama.
   • Reemplazo de Entidades Nombradas: Reemplazo sistemático de entidades nombradas (p. ej., personas, ubicaciones, fechas) en el texto de origen por nuevas entidades válidas del mismo tipo, traducidas al idioma de destino.
3. Ajuste Fino Controlado: Para aislar el mecanismo de contaminación, los autores ajustan finamente el modelo Llama limpio en pares de inglés a X de FLORES y prueban su rendimiento en direcciones no vistas (Z a Y) para simular y verificar la filtración transversal de dirección.

Hallazgos Clave

1. Confirmación de la Contaminación Transversal de Dirección

El estudio confirma que Bloomz exhibe una severa contaminación en FLORES. Crucialmente, esta contaminación es asimétrica:

• Memorización del Lado del Destino: Las puntuaciones infladas ocurren principalmente cuando un idioma está en el lado del destino, independientemente del idioma de origen. Por ejemplo, Bloomz logra puntuaciones BLEU altas (40–90) para diversas fuentes traduciendo hacia el inglés, francés o tamil, incluso si el par específico de origen-destino no fue visto explícitamente durante el entrenamiento.
• Direcciones No Vistas: El modelo tiene un rendimiento moderadamente bueno en direcciones de traducción no vistas (p. ej., de una fuente de bajos recursos a un destino de altos recursos) debido únicamente a la memorización del texto del lado del destino.
• Validación del Control: Llama no muestra tales patrones, con puntuaciones que caen significativamente cuando los pares origen-destino no son de altos recursos o cuando el idioma de destino es de bajos recursos (p. ej., bambara, ewe).

2. Disparadores de Recuerdo Más Allá de la Entrada Exacta

Contrario al supuesto de que la contaminación requiere una coincidencia exacta del texto de origen, el estudio encuentra que el recuerdo persiste incluso con entradas alteradas:

• Retrotraducción y Parafraseo: Cuando las entradas de origen fueron retrotraducidas o parafraseadas (resultando en una baja similitud superficial con el origen original), Bloomz aún recuperó referencias de destino memorizadas con puntuaciones BLEU de moderadas a altas (20–60). Esto sugiere que características semánticas específicas o pistas estructurales en el origen actúan como "disparadores" para los destinos memorizados, en lugar de la cadena exacta en sí misma.
• Asimetría de los Disparadores: Mientras que las fuentes retrotraducidas de idiomas de bajos recursos (p. ej., bambara) fallaron en disparar el recuerdo, las fuentes de idiomas de recursos medios a menudo lo hicieron, indicando que el mecanismo de "disparador" es sensible a la calidad de la retrotraducción.

3. El Reemplazo de Entidades Nombradas como Diagnóstico

El hallazgo más robusto es el impacto del Reemplazo de Entidades Nombradas:

• Reemplazar entidades nombradas en el texto de origen causa consistentemente una caída significativa en las puntuaciones BLEU (5–10 puntos para una sola entidad, 10–20 puntos para todas las entidades) para el modelo contaminado (Bloomz).
• Esta caída ocurre incluso cuando las fuentes parafraseadas o retrotraducidas no redujeron el recuerdo.
• Los autores concluyen que las entidades nombradas sirven como anclajes críticos para la memorización. Su eliminación interrumpe la capacidad del modelo para recuperar la referencia específica memorizada, convirtiendo al reemplazo de entidades en un método de sondeo efectivo para detectar la contaminación.

4. Simulación mediante Ajuste Fino

El ajuste fino del modelo Llama limpio en pares de inglés a X de FLORES replicó con éxito el comportamiento de Bloomz. El modelo ajustado mostró aumentos artificiales en direcciones no vistas (Z a Y), confirmando que el efecto transversal de dirección es impulsado por la memorización del lado del destino durante el proceso de entrenamiento, y no por peculiaridades preexistentes de la arquitectura del modelo.

Significancia y Reivindicaciones

El artículo afirma ser el primer examen sistemático de la contaminación translingüe y transversal de dirección en la traducción automática. Sus contribuciones primarias son:

1. Demostrar la Asimetría: Probar que la contaminación no es una propiedad simétrica de un par de idiomas, sino que es impulsada por la memorización del lado del destino, lo que puede inflar artificialmente las puntuaciones para cualquier idioma de origen que traduzca hacia un destino memorizado.
2. Desafiar los Supuestos de Similitud de Entrada: Mostrar que la contaminación puede persistir incluso cuando la entrada de origen es significamente alterada (vía retrotraducción o parafraseo), siempre que ciertos disparadores (como las entidades nombradas) permanezcan intactos.
3. Proponer una Herramienta de Diagnóstico: Introducir el reemplazo de entidades nombradas como un método práctico y efectivo para que los profesionales sondeen y verifiquen la memorización en modelos potencialmente contaminados en benchmarks paralelos multidireccionales.

Los autores recomiendan que los profesionales verifiquen la contaminación en todas las direcciones de traducción, particularmente comprobando la memorización del lado del destino, en lugar de confiar únicamente en las métricas de evaluación estándar que pueden enmascarar la extensión de la filtración de datos. El estudio concluye que, sin este sondeo riguroso, las puntuaciones de los benchmarks en los LLMs multilingües pueden reflejar la filtración de datos en lugar de capacidades reales de generalización.