Resumen Técnico: Ocultación de la Contaminación de Datos mediante la Traducción: Evidencia desde Córpora Árabes

Planteamiento del Problema

La contaminación de datos —donde el contenido de los benchmarks aparece en el corpus de entrenamiento de un modelo— socava la validez de la evaluación de los Modelos de Lenguaje Extensos (LLM) al permitir que los modelos dependan de la memorización en lugar de una generalización genuina. Aunque existen métodos de detección, estos están predominantemente limitados a benchmarks en inglés y a menudo no logran dar cuenta de la dinámica multilingüe.

Este artículo investiga un punto ciego específico: si traducir los benchmarks a un idioma de bajos recursos (árabe) actúa como una barrera natural contra la contaminación o simplemente oscurece los efectos de la memorización. Los autores plantean la hipótesis de que la traducción podría suprimir los indicadores convencionales de contaminación mientras que los modelos aún se benefician desproporcionadamente de la exposición a los datos traducidos, particularmente si el modelo posee capacidades sólidas en el idioma objetivo.

Metodología

Configuración Experimental

El estudio ajustó con precisión cuatro modelos de pesos abiertos ajustados para instrucciones (Llama-3.2-1B, Mistral-7B, Gemma-3-1B y Qwen3-1.7B) utilizando el ajuste fino de parámetros eficientes (LoRA). Las condiciones de entrenamiento implicaron la mezcla de datos de entrenamiento originales en inglés con proporciones variables (0%, 10%, 50%, 100%) de conjuntos de prueba traducidos al árabe de dos benchmarks:

• MMLU: Preguntas de opción múltiple (MCQ).
• XQuAD: Respuesta a preguntas extractiva (QA).

Los modelos fueron evaluados en las divisiones originales en inglés de estos benchmarks.

Mecanismos de Detección

Para desentrañar el razonamiento de la memorización, los autores emplearon tres señales complementarias:

1. TS-Guessing (Adivinación de la Ranura Probada): Un método extendido que involucra el reordenamiento de opciones y el enmascaramiento.
   • Para MMLU: Las opciones de respuesta se desordenan y una opción es enmascarada. Se le pide al modelo que prediga el texto enmascarado o el índice original. Una alta "Tasa de Recuperación de Índice" (IDR) —predecir la letra original a pesar del desorden— indica la dependencia de patrones posicionales memorizados.
   • Para XQuAD: Los tokens críticos en las preguntas son enmascarados. Un Exact Match (EM) o puntuaciones ROUGE-L F1 elevadas sobre el token enmascarado sugieren filtración del benchmark.
2. Análisis de Probabilidad Min-K++: Una sonda basada en la verosimilitud que mide la concentración de tokens de baja perplejidad. Las probabilidades de tokens inusualmente confiables (puntuaciones Min-K++ bajas) en relación con los datos no retenidos sirven como evidencia distributiva de memorización.
3. Detección de Contaminación Consciente de la Traducción (TACD): Un protocolo de diagnóstico propuesto que no requiere acceso a los datos de entrenamiento. Construye múltiples vistas de evaluación para cada instancia:
   • Vistas translingüísticas: Traducciones al inglés, árabe y francés.
   • Perturbación estructural: Permutación aleatoria de las opciones de respuesta dentro de cada vista de idioma.
   • Señales: Calcula la Tasa de Recuperación de Índice (IDR) y la Consistencia Translingüística (CLC) (la fracción de instancias donde las predicciones son idénticas en todas las vistas de idioma).

Resultados Clave

Rendimiento y Señales Tradicionales

• MMLU: La precisión aumentó monótonamente con los niveles de contaminación en todos los modelos. El TS-Guessing reveló una IDR elevada para LLaMA y Qwen en niveles altos de contaminación, indicando la dependencia de posiciones de respuesta memorizadas. Min-K++ separó eficazmente los modelos limpios de los contaminados (el AUROC cayó de ~0.6 a ~0.33–0.44).
• XQuAD: Las tendencias fueron heterogéneas. Mientras que Gemma y LLaMA mostraron una mejora gradual, Mistral se degradó más allá del 10% de contaminación. El TS-Guessing mostró tasas de coincidencia exacta (exact match) bajas pero un aumento en el ROUGE-L F1, lo que sugiere una recuperación parcial del contenido enmascarado. La detección por Min-K++ fue más débil y menos consistente para XQuAD en comparación con MMLU.

El Efecto de la Traducción

El estudio encontró que traducir los benchmarks al árabe suprimió los indicadores convencionales de contaminación (como las verificaciones estándar solo en inglés), pero los modelos aún se beneficiaron de la exposición.

• Hallazgos de TACD:
  • LLaMA: Mostró una IDR baja y una consistencia translingüística que aumentaba gradualmente con el envenenamiento.
  • Qwen: Exhibió una consistencia translingüística perfecta (1.0) a través de todos los niveles de envenenamiento mientras mantenía una IDR cercana al azar, lo que sugiere un colapso específico del modelo donde las predicciones están débilmente condicionadas por el contenido de la entrada.
  • Gemma: Mostró un régimen distinto donde la IDR permaneció cerca de la línea base aleatoria, pero la consistencia translingüística aumentó monótonamente con el envenenamiento. Esto indica que la exposición envenenada indujo una invariancia representacional a través de las traducciones sin manifestarse como una recuperación de índice explícita —una señal invisible para la IDR por sí sola.

Contribuciones Clave

1. Evidencia de Contaminación Oscurecida: El artículo demuestra que traducir los benchmarks al árabe puede ocultar las señales de contaminación tradicionales (como las verificaciones centradas solo en inglés) mientras que aún infla el rendimiento en los benchmarks originales en inglés. Esto revela un punto ciego crítico en los procesos actuales de evaluación centrados en el inglés.
2. Extensión de los Métodos de Detección: Los autores extienden el TS-Guessing con una estrategia de reordenamiento de opciones e integran el análisis de probabilidad Min-K% para capturar tanto señales de contaminación conductuales (posicionales) como distributivas (de verosimilitud).
3. Propuesta de TACD: El artículo introduce la Detección de Contaminación Consciente de la Traducción (TACD), un protocolo que identifica la contaminación comparando señales a través de múltiples variantes traducidas de los benchmarks (inglés, árabe, francés) y perturbaciones estructurales. TACD expone con éxito la contaminación incluso cuando los métodos solo en inglés fallan, particularmente al detectar la invariancia translingüística y los regímenes de comportamiento específicos del modelo.

Significado y Reivindicaciones

Los autores afirman que sus hallazgos resaltan la necesidad de procesos de evaluación multilingües y conscientes de la traducción. Argumentan que la traducción no debe tratarse como una estrategia de descontaminación. En su lugar, la auditoría de contaminación debe comparar explícitamente las señales a través de las variantes traducidas y emparejar métricas agregadas con sondas conductuales robustas a los cambios de la forma superficial.

El artículo concluye que, para asegurar una evaluación justa, transparente y reproducible de los LLM, la comunidad debe ir más allá de las asunciones exclusivas del inglés. El TACD se presenta no como una prueba definitiva de contaminación, sino como una herramienta práctica y reproducible para distinguir la consistencia impulsada por el razonamiento del comportamiento consistente con la memorización en entornos multilingües.