Beyond "To whom it may concern": Tailoring Machine Translation to Audience and Intent

Resumen Técnico: Más allá del "A quien corresponda": Adaptando la Traducción Automática al Público y la Intención

Planteamiento del Problema

Los sistemas tradicionales de Traducción Automática (TA) y sus métricas de evaluación tratan la traducción como un mapeo fijo de origen a destino, optimizando la adecuación semántica frente a una única referencia "correcta". Este enfoque ignora la realidad pragmática de que la calidad de la traducción es relativa al propósito, como sostiene la teoría del Skopos. Un único texto de origen puede requerir traducciones muy diferentes dependiendo de la audiencia prevista, el tono, el registro y la intención comunicativa (por ejemplo, traducir "Excuse me" como una disculpa formal frente a una interrupción casual). Si bien los Modelos de Lenguaje de Gran Escala (LLM) permiten teóricamente a los usuarios especificar estos parámetros contextuales mediante prompts, no está claro si los modelos actuales pueden aprovechar sistemáticamente tales especificaciones para producir traducciones adaptadas al propósito en diversos idiomas, tamaños de modelo y dominios. Además, la investigación existente sobre TA sensible al contexto ha sido limitada en alcance, centrándose a menudo en pares de idiomas únicos o fenómenos estrechos como la formalidad, y las métricas tradicionales basadas en referencias (por ejemplo, COMET, ChrF) pueden no capturar o incluso penalizar una adaptación estilística exitosa.

Metodología

Los autores introducen un marco de evaluación sistemático para la TA impulsada por el propósito, condicionando la traducción tanto al texto de origen como a una instrucción en lenguaje natural que describe el propósito previsto.

• Conjuntos de datos y alcance: El estudio evalúa el rendimiento a través de más de 50 idiomas, 5 tamaños de modelo (Gemma-3-4B/12B/27B, Gemma-4-31B y Qwen3.5-27B) y 8 dominios de texto. El benchmark principal es BOUQuET (504 instancias por idioma), complementado por WMT24++ (997 instancias por idioma) para validación. La evaluación se centra en la traducción de inglés a lengua objetivo.
• Generación de instrucciones: Para BOUQuET, las instrucciones son redactadas por un LLM (Gemini 3 Flash) basándose en metadatos (dominio, registro, comentarios de contexto) y revisadas manualmente por anotadores humanos. Estas instrucciones especifican la audiencia objetivo, el tono y el propósito.
• Condiciones experimentales: El estudio compara cuatro condiciones de traducción:
  1. Línea base (Baseline): Traducción a nivel de oración con un prompt de 3-shot fijo, sin instrucciones.
  2. Instrucciones: El prompt de la línea base aumentado con la instrucción específica del usuario.
  3. Few-Shot: El prompt de la línea base aumentado con 5 pares de traducción semánticamente similares recuperados de un conjunto excluido.
  4. Párrafo: El párrafo completo de origen proporcionado como contexto (con marcadores para la oración objetivo o como una lista numerada).
• Métricas de evaluación:
  • Calificación de la traducción: Una puntuación de 0 a 100 que mide la preservación del significado, siguiendo el protocolo de Anotación de Intervalos de Error (ESA).
  • Adaptabilidad (Adaptedness): Una nueva puntuación de 0 a 100 que mide qué tan bien la traducción coincide con el propósito previsto por la instrucción (tono, registro, audiencia).
  • LLM-como-Juez (LLM-as-Judge): Un pipeline de evaluación sin referencia que utiliza un LLM (Gemini-3-Flash) para puntuar ambas métricas, validado contra anotaciones humanas de hablantes nativos.
  • Métricas tradicionales: Se utilizan XCOMET-XL y ChrF++ para comparar con la TA estándar.

Contribuciones Clave y Resultados

1. Las instrucciones mejoran sustancialmente la adaptabilidad
Las instrucciones explícitas del usuario mejoran significativamente la "adaptabilidad" de las traducciones.

• Escalabilidad: Las ganancias en adaptabilidad escalan con el tamaño del modelo. Los modelos más grandes (12B, la de 27B, 31B) muestran mejoras consistentes (por ejemplo, +10.2 a +17.8 puntos de adaptabilidad), mientras que los modelos más pequeños (4B) muestran resultados mixtos, sufriendo a veces fallos críticos (idioma incorrecto o falta de traducción) cuando se añaden instrucciones, particularmente en idiomas de bajos recursos.
• Sensibilidad al dominio: Los beneficios son más pronunciados en dominios informales (conversación, redes sociales), donde las ganancias de adaptabilidad alcanzan de +16.5 a +26.1 puntos. Los dominios formales (noticias, manuales de instrucciones) muestran ganancias menores.
• Nivel de recursos lingüísticos: Los idiomas con mayores recursos se benefician más de las instrucciones. Además, los idiomas "ricos en registro" (aquellos con distinciones sociales gramaticalizadas, como el japonés o el árabe) muestran las mayores ganancias.

2. Las instrucciones superan a otros métodos de contexto
Las instrucciones explícitas son superiores tanto a los ejemplos semánticos few-shot como al contexto a nivel de párrafo.

• vs. Few-Shot: Las instrucciones producen ganancias de adaptabilidad significativamente mayores que los ejemplos few-shot semánticamente emparejados (por ejemplo, +11.1 frente a +2.9 para el modelo de 12B).
• vs. Contexto de Párrafo: Proporcionar el contexto de párrafo bruto a menudo no logra mejorar la adaptabilidad e incluso puede degradar la calidad de la traducción (deltas negativos) para modelos ≤27B. Las instrucciones explícitas son el método más fiable para la adaptación.

3. Las métricas tradicionales no logran capturar la adaptación
Existe una divergencia significativa entre las puntuaciones de LLM-como-juez y las métricas tradicionales.

• Cuando se añaden instrucciones, las puntuaciones de adaptabilidad de LLM-como-juez aumentan, pero las puntuaciones de XCOMET-XL y ChrF++ a menudo disminuyen.
• Esta divergencia se concentra en dominios informales (tasa de desacuerdo del 21–50%), lo que sugiere que las métricas tradicionales penalizan los cambios estilísticos necesarios (por ejemplo, hacer que un texto sea más coloquial) porque dependen de traducciones de referencia que pueden ser excesivamente formales o carecer del matiz estilístico específico solicitado.

4. Auto-instrucción desde el contexto del documento
Cuando no se dispone de instrucciones curadas, los modelos pueden generar sus propias instrucciones a partir del contexto del documento circundante.

• Efectividad: Las instrucciones autogeneradas cierran hasta el 80% de la brecha de adaptabilidad en comparación con las instrucciones de oro curadas (por ejemplo, 71% para Gemma-3-27B, 80% para Gemma-4-31B).
• Mecanismo: Este enfoque transforma el contexto de párrafo bruto, potencialmente perjudicial (que puede reducir la adaptabilidad en -2.3 a -10.6 puntos cuando se introduce directamente), en un breve útil. El modelo efectivamente "supone" el contexto y el tono, recuperando la mayor parte de los beneficios de un informe curado por humanos.

5. Mitigación de fallos en modelos pequeños
Para modelos más pequeños (4B) en idiomas de bajos recursos, las instrucciones pueden desencadenar fallos catastróficos (por ejemplo, una tasa de fallo del 45.5% en javanés). Los autores demuestran que el Ajuste Fino de Parámetros Eficientes (PEFT) mediante la destilación LoRA de un modelo profesor más grande (27B) puede eliminar virtualmente estos fallos críticos (reduciendo las tasas a ~4.0%) preservando la capacidad de adaptarse a las instrucciones.

Significado y Reivindicaciones

El artículo establece que la TA adaptada al propósito es una capacidad viable y medible de los LLM actuales. Los autores argumentan que:

• Cambio de paradigma de evaluación: La evaluación de la traducción debe ir más allá de las métricas estáticas basadas en referencias para incluir métricas conscientes del propósito (como la adaptabilidad) que tengan en cuenta la audiencia y la intención.
• Despliegue práctico: Para modelos con ≥12B de parámetros, añadir instrucciones de usuario es un mecanismo fiable para mejorar la calidad de la traducción, particularmente para contenido informal.
• Adaptación autónoma: Cuando no hay instrucciones de usuario explícitas, los modelos capaces pueden autogenerar instrucciones efectivas a partir del contexto del documento, ofreciendo una vía práctica para la TA a nivel de documento que no requiere informes manuales.
• Limitaciones: Los autores señalan que sus hallazgos se basan en familias de modelos específicas (Gemma, Qwen) y que la capacidad de "seguimiento de instrucciones" compite con la capacidad de generación multilingüe en modelos más pequeños, lo que requiere técnicas como la destilación para estabilizar el rendimiento.

El trabajo concluye que, si bien los LLM han abierto nuevas capacidades de traducción iterativas, alcanzar su pleno potencial requiere marcos de evaluación que puedan medir estas cualidades adaptativas, moviendo el campo hacia un paradigma más centrado en el usuario.