When the Gold Standard Isn't Necessarily Standard: Challenges of Evaluating the Translation of User-Generated Content

Enunciado del Problema
Evaluar la traducción automática (TA) de Contenido Generado por el Usuario (CGU) presenta un desafío único, ya que el CGU se caracteriza por el uso frecuente de lenguaje no estándar, que incluye errores ortográficos, jerga, repeticiones de caracteres, emojis y cambio de código. A diferencia del texto tradicional, no existe una única forma "correcta" de traducir estas características; una traducción "buena" depende enteramente del nivel de estandarización deseado en la salida. Las prácticas de evaluación actuales a menudo asumen un único estándar de oro, sin embargo, las traducciones de referencia humanas para el CGU varían significativamente en cómo tratan los fenómenos no estándar. Esta variabilidad hace que la evaluación automática basada en referencias (EA) sea poco fiable, ya que las métricas pueden penalizar elecciones estilísticas válidas que se desvían de la estrategia de normalización de una referencia específica. Además, no está claro si los modelos de lenguaje grandes (LLM) pueden ser guiados eficazmente para adherirse a directrices de traducción específicas y si las métricas actuales pueden evaluar equitativamente dichos resultados que siguen las directrices.

Metodología
Los autores abordan dos preguntas de investigación: (1) ¿Qué constituye una traducción "buena" del CGU? y (2) ¿Cómo se puede evaluar equitativamente la traducción del CGU?

1. Análisis de Taxonomía y Directrices: El estudio analiza cuatro conjuntos de datos paralelos de CGU (RoCS-MT, FooTweets, MMTC y PFSMB) que cubren la traducción inglés-francés, inglés-alemán y francés-inglés. Los autores extraen directrices de traducción humana de estos conjuntos de datos para derivar una taxonomía de doce fenómenos no estándar (por ejemplo, gramática, ortografía, alargamiento de palabras, mayúsculas, abreviaturas informales, hashtags, profanidades) y cinco acciones de traducción:

   • NORMALIZAR: Corregir u omitir características no estándar para producir un lenguaje estándar.
   • COPIAR: Preservar la característica exactamente tal como está.
   • TRANSFERIR: Mapear la característica a una forma no estándar equivalente en el idioma de destino.
   • OMITIR: Ignorar la característica por completo.
   • CENSURAR: Reemplazar el lenguaje ofensivo con términos más suaves.
     El análisis revela que estos conjuntos de datos representan un espectro de estandarización, siendo RoCS-MT el más normalizador y PFSMB el más orientado a la preservación.

2. Configuración Experimental: Los autores evalúan seis LLM ajustados con instrucciones (Gemma-2-9B, Granite-4.1-8B, LLaMA-3.1-8B, Mistral-0.3-7B, Qwen-2.5-7B y Tower-0.2-7B) y una línea base de codificador-decodificador (NLLB-3B). Los modelos se prueban bajo tres condiciones de indicación (prompting):

   • Sin directrices: Traducción cero-shot por defecto.
   • Directrices coincidentes: Indicaciones que contienen las directrices específicas del conjunto de datos objetivo.
   • Directrices no coincidentes: Indicaciones que contienen directrices de un conjunto de datos diferente.

3. Evaluación: La calidad de la traducción se evalúa utilizando métricas basadas en referencias (COMET-22, BLEU) y métricas sin referencia (COMET-Kiwi). Además, se realiza una evaluación humana en RoCS-MT y PFSMB, donde los anotadores comparan las salidas predeterminadas con las salidas guiadas por directrices basándose en la calidad general y la adhesión a las directrices.

Resultados Clave

• Sensibilidad a las Directrices: Los LLM son altamente sensibles a las instrucciones de traducción explícitas. Para la mayoría de los modelos (Gemma, Granite, Mistral, Qwen), proporcionar directrices específicas del corpus mejora significativamente las puntuaciones de COMET cuando las directrices coinciden con la filosofía subyacente del conjunto de datos.
• Comportamiento del Modelo:
  • LLaMA-3.1-8B se niega frecuentemente a traducir contenido considerado ofensivo o explícito, un comportamiento exacerbado por directrices que instruyen preservar las profanidades.
  • Tower-0.2-7B muestra una sensibilidad mínima a las directrices, tendiendo a mantener su estilo de traducción inherente independientemente de las indicaciones.
  • Gemma-2-9B y otros adaptan con éxito su estilo para coincidir con las directrices, aunque ocasionalmente tienen dificultades con la composibilidad de instrucciones conflictivas (por ejemplo, normalizar la ortografía mientras se transfieren las repeticiones de caracteres).
• Limitaciones de las Métricas: Las métricas basadas en referencias (COMET, BLEU) son implícitamente conscientes del estilo; recompensan las salidas que se alinean con las directrices de referencia y penalizan las discrepancias. En contraste, la métrica sin referencia COMET-Kiwi exhibe un sesgo hacia las salidas estandarizadas, asignando puntuaciones más bajas a las traducciones orientadas a la preservación incluso cuando se alinean con las directrices previstas.
• Evaluación Humana: Los anotadores humanos generalmente prefieren las salidas generadas con directrices coincidentes sobre las salidas predeterminadas, particularmente para conjuntos de datos orientados a la preservación como PFSMB (76% de preferencia por calidad, 90% por adhesión). El acuerdo entre las preferencias humanas y las métricas automáticas es moderado a sustancial, aunque las métricas siguen siendo influenciadas por el nivel de estandarización favorecido por la configuración de evaluación.

Significado y Contribuciones
El artículo argumenta que el "estándar de oro" para la traducción del CGU no es absoluto, sino dependiente del contexto, variando desde enfoques altamente normalizadores hasta enfoques orientados a la preservación. Los autores demuestran que una evaluación equitativa requiere que tanto los modelos como las métricas sean conscientes de las directrices de traducción específicas que rigen el conjunto de datos.

Las contribuciones clave incluyen:

1. Una taxonomía unificada de fenómenos no estándar y acciones de traducción derivada de conjuntos de datos existentes.
2. Evidencia empírica de que los LLM pueden ser dirigidos a seguir directrices de traducción específicas, pero que su rendimiento y las puntuaciones de evaluación resultantes dependen en gran medida de la alineación entre la indicación, el modelo y el estilo de referencia.
3. Un llamado a directrices claras durante la creación de conjuntos de datos y al desarrollo de marcos de evaluación controlables y conscientes de las directrices. Los autores sugieren que la evaluación futura debería utilizar métricas sin referencia o métricas basadas en referencias con múltiples versiones de referencia que abarquen diferentes niveles de estandarización, en lugar de depender de una única referencia que podría no representar el estilo de traducción deseado.