Data Contamination in Neural Hieroglyphic Translation: A Reproducibility Study

Resumen Técnico: Contaminación de Datos en la Traducción Jeroglífica Neural

Enunciado del Problema
Las lenguas antiguas y en peligro de extinción, como el egipcio antiguo, presentan desafíos únicos para el Procesamiento del Lenguaje Natural (PLN) debido a la extrema escasez de datos. A diferencia de las lenguas modernas, los conjuntos de datos para estos dominios dependen de artefactos arqueológicos supervivientes y requieren anotación especializada, lo que dificulta su expansión. Esta escasez hace que los problemas de calidad de los datos tengan consecuencias desproporcionadamente graves. El artículo investiga un caso específico de traducción de jeroglíficos al alemán donde un estudio reciente (De Cao et al., 2024) reportó una puntuación de vanguardia de 61,5 BLEU utilizando un modelo M2M-100 ajustado finamente. Los autores encontraron una discrepancia significativa al reproducir estos resultados con el modelo publicado públicamente, logrando solo 37,0 BLEU. Esta brecha sugirió un posible defecto metodológico, específicamente contaminación de datos, donde los objetivos de evaluación aparecen inadvertidamente en los datos de entrenamiento. Los corpus antiguos son particularmente susceptibles a esto debido al uso generalizado de repetición formulaica (por ejemplo, instrucciones médicas, fórmulas de ofrendas, epítetos reales) a través de los textos, lo que la división aleatoria estándar no logra abordar.

Metodología
El estudio realizó una auditoría exhaustiva de reproducibilidad y contaminación utilizando los datos del repositorio hiero-transformer.

• Fuente de Datos: Los autores utilizaron el conjunto de datos Thesaurus Linguae Aegyptiae (TLA). Tras filtrar las entradas que tenían tanto fuentes jeroglíficas digitalizadas (en notación Gardiner) como objetivos en alemán no vacíos, el conjunto de entrenamiento utilizable contenía 18.669 pares, y el conjunto de prueba contenía solo 50 muestras válidas.
• Detección de Contaminación: Los autores emplearon dos métodos principales de detección:
  1. Coincidencia Exacta Normalizada: Los objetivos de prueba se compararon con todos los objetivos de entrenamiento únicos después de la normalización (Unicode NFC, minúsculas, eliminación de puntuación, colapso de espacios en blanco). Esto reveló que 16 de las 50 muestras de prueba (32%) tenían objetivos idénticos a los datos de entrenamiento.
  2. Superposición de n-gramas de caracteres: Para detectar una filtración "suave", los autores calcularon la fracción de 8-gramas de caracteres en los objetivos de prueba que aparecían en los objetivos de entrenamiento. Con un umbral de superposición del 70%, se marcó el 50% de las muestras de prueba.
• Configuración Experimental: Se evaluaron cinco configuraciones de modelo en dos arquitecturas (M2M-100 y mBART-50):
  1. El modelo original publicado (De Cao et al., 2024).
  2. Una reproducción mediante script del procedimiento de entrenamiento original.
  3. Tres modelos entrenados con una receta modernizada de recursos limitados (AdamW, programación cosenoidal, suavizado de etiquetas, recorte de gradiente y sobre-muestreo de datos).
• Protocolo de Evaluación: El rendimiento se midió utilizando BLEU (insensible a mayúsculas/minúsculas) y chrF++ en tres subconjuntos: el conjunto de prueba completo (50 muestras), el subconjunto contaminado (16 muestras) y el subconjunto limpio (34 muestras). También se utilizó COMET-22 para la validación.

Resultados Clave
La investigación confirmó que la contaminación de datos es el principal impulsor de las métricas de rendimiento infladas en este dominio:

• Brecha de Rendimiento: En los cinco modelos, las muestras contaminadas obtuvieron de 29 a 47 puntos BLEU más que las muestras limpias. Por ejemplo, el modelo de mejor rendimiento (M2M-100 Híbrido) logró 83,8 BLEU en muestras contaminadas frente a 37,3 BLEU en muestras limpias.
• Consistencia de la Métrica: La inflación fue consistente en arquitecturas y métricas. Las muestras contaminadas obtuvieron de 0,23 a 0,26 puntos COMET-22 más que las muestras limpias.
• Memorización vs. Traducción: Una línea base de recuperación que simplemente copiaba el objetivo de entrenamiento que mejor coincidía logró 81,8 BLEU en elementos de coincidencia exacta, rivalizando con el mejor modelo neuronal (77,9 BLEU), mientras que obtuvo 0,0 en elementos limpios. Esto indica que las puntuaciones altas en datos contaminados provienen de la memorización del objetivo en lugar de una capacidad de traducción genuina.
• Independencia de la Fuente: El análisis mostró que la memorización del objetivo ocurre independientemente de la entrada de origen. Un elemento de prueba con cero superposición de origen con cualquier muestra de entrenamiento aún logró una superposición de objetivo del 100%, y 10 de los 16 elementos de coincidencia exacta tenían fuentes de entrenamiento con menos del 5% de similitud.
• Límites de Descontaminación: Un experimento de descontaminación a nivel de documento (eliminando todas las oraciones de entrenamiento de los 33 documentos fuente del conjunto de prueba) redujo la puntuación BLEU en elementos de coincidencia exacta en solo 4,6 puntos. Esto se debe a que 8 de los 16 objetivos contaminados persistieron en los datos de entrenamiento a través de otros documentos fuente (por ejemplo, la frase "Werde gekocht" apareciendo en múltiples papiros independientes). Esto demuestra que la división a nivel de documento es insuficiente; se requiere la deduplicación a nivel de objetivo.

Contribuciones Clave

1. Primera Auditoría de Contaminación para NMT de Lenguas Antiguas: El estudio identifica que la repetición formulaica en los corpus antiguos crea riesgos sistemáticos de filtración de datos ausentes en las pruebas modernas, revelando una superposición exacta de objetivos del 32% en un conjunto de prueba público.
2. Robustez Trans-Arquitectónica: Los autores demuestran que la inflación del rendimiento es inherente al conjunto de datos, no específica del modelo, ya que la brecha persiste en las arquitecturas M2M-100 y mBART-50 y en diversos regímenes de entrenamiento.
3. Análisis Gradual de Descontaminación: El artículo caracteriza la gravedad de la contaminación mediante coincidencia exacta, superposición de 8-gramas de caracteres, análisis de filtración a nivel de documento y catalogación de frecuencia por elemento.
4. Líneas Base y Protocolo Corregidos: Los autores publican un conjunto de prueba descontaminado de 34 muestras (sin superposición exacta de objetivos) y establecen líneas base corregidas de 30,9–39,2 BLEU. También proponen un protocolo de división que involucra partición a nivel de documento, deduplicación de objetivos y estratificación por género.

Significado y Afirmaciones
El artículo afirma que la puntuación reportada de 61,5 BLEU para la traducción de jeroglíficos al alemán es un artefacto de la contaminación de datos en lugar de un reflejo de la verdadera capacidad del modelo. Las líneas base corregidas (30,9–39,2 BLEU) proporcionan una evaluación realista de la Traducción Automática Neural (TAN) para este sistema de escritura en peligro de extinción. Los autores argumentan que, aunque la TAN puede captar la idea general de los textos antiguos (útil para la triaje de corpus), contiene errores significativos en términos de dominio e identificación de entidades, lo que la hace inadecuada para el análisis filológico sin verificación experta.

El estudio destaca que la repetición formulaica es una propiedad universal de los corpus antiguos (incluyendo latín, griego y acadio), lo que sugiere que la contaminación es un problema probable y sistemático en las pruebas de PLN para lenguas antiguas que no había sido auditado previamente. Los autores concluyen que las pruebas futuras deben reportar estadísticas de contaminación y dividir los resultados por estado de contaminación para evitar evaluaciones engañosas. Enmarcan su trabajo como una contribución constructiva a la reproducibilidad, señalando que la contaminación identificada probablemente surgió de procedimientos de preprocesamiento estándar en lugar de una manipulación intencional.