Which Tokens Need Context? A Reference-Based Analysis of Translation Responsibility Using Fertility and Entropy

Resumen Técnico: ¿Qué tokens necesitan contexto? Un análisis basado en referencias para la responsabilidad de la traducción utilizando fertilidad y entropía

Planteamiento del problema
Aunque se sabe que el contexto extra-sentencial es crucial para resolver ambigüedades a nivel de discurso (por ejemplo, anáforas, elipsis), los sistemas actuales de Traducción Automática a nivel de documento (DocMT) suelen codificar el contexto de forma densa y secuencial, tratando a todos los tokens como potencialmente relevantes. Este enfoque contrasta con la traducción humana, donde el procesamiento del contexto es selectivo y no lineal. Los métodos existentes para analizar la utilización del contexto son limitados: o bien dependen de conjuntos de prueba estrechos y específicos de discurso (por ejemplo, pruebas de referencia de traducción de pronombres) o requieren acceso a las estructuras internas del modelo mediante técnicas de Inteligencia Artificial Explicable (XAI), como la visualización de la atención o el análisis de información mutua. En consecuencia, existe una falta de un marco de trabajo agnóstico al modelo y basado en una verdad fundamental (ground-truth) para cuantificar qué tokens específicos requieren contexto y cómo el contexto influye en el proceso de traducción de una manera similar a la humana.

Metodología
Los autores proponen un marco de trabajo post-hoc y agnóstico al modelo que analiza las traducciones de referencia humanas para cuantificar el uso selectivo del contexto. El método se basa en dos métricas derivadas de las alineaciones de palabras:

1. Fertilidad: Definida como el número de tokens de la lengua meta generados a partir de un token específico de la lengua origen o del contexto. Mide la contribución estructural de un token a la traducción.
2. Entropía: Mide la estabilidad de los patrones de fertilidad a través de diferentes contextos para una categoría dada de Categoría Gramatical (PoS). Una entropía alta indica variabilidad en cómo un token participa en la traducción, mientras que una entropía baja sugiere un comportamiento consistente.

El marco opera de la siguiente manera:

• Datos: Se procesan las traducciones de referencia para tres pares de lenguas (Alemán $\leftrightarrow$ Inglés, Inglés $\to$ Hindi).
• Alineación: Se extraen alineaciones a nivel de token entre las oraciones de origen/contexto y las oraciones de la lengua meta utilizando la herramienta awesome-align.
• Condiciones de contexto: Los experimentos comparan cuatro configuraciones: Sin contexto, Oración anterior (Prev-1), Oración siguiente (Next-1) y Oración aleatoria (Random-1).
• Análisis: Los autores computan la fertilidad promedio y la entropía para categorías de PoS (agrupadas en palabras funcionales y palabras de contenido) para observar cómo la "responsabilidad generativa" se desplaza cuando se introduce el contexto.

Resultados clave
El análisis de las traducciones de referencia arroja varios hallazumos distintos sobre cómo los humanos utilizan el contexto:

• Redistribución de la responsabilidad: Añadir contexto no altera la fertilidad global del corpus (el número total de tokens de la lengua meta generados por cada token de la lengua origen permanece constante). En su lugar, el contexto provoca una redistribución de la responsabilidad generativa. La cobertura de los tokens de origen disminuye entre un 5 y un 7%, mientras que la cobertura de los tokens de contexto aumenta entre un 9 y un 20%.
• Impacto selectivo en las palabras funcionales: La reducción en la fertilidad de la lengua origen no es uniforme. Las palabras funcionales (pronombres, partículas, verbos auxiliares, conjunciones, determinantes) exhiben las mayores reducciones de fertilidad (hasta aproximadamente un 13% para los pronombres). Por el contrario, las palabras de contenido (sustantivos, nombres propios, adjetivos) permanecen mayormente estables, con los nombres propios mostrando casi ningún cambio. Esto sugiere que el contexto resuelve la ambigüedad para los tokens gramaticales en lugar de añadir nueva información léxica.
• Entropía y estabilidad: Las palabras funcionales exhiben cambios de entropía más altos (mayor variabilidad en los patrones de fertilidad) cuando se añade contexto, mientras que las palabras de contenido permanecen estables. Esto indica que el uso del contexto es altamente selectivo y variable para los tokens relacionados con el discurso.
• Comportamiento de los tokens de contexto: Cuando los tokens de contexto participan en la traducción, típicamente generan aproximadamente un token de la lengua meta con baja entropía, lo que indica una contribución enfocada, de uno a uno, en lugar de una generación compleja.
• Contexto aleatorio: Incluso las oraciones muestreadas aleatoriamente introducen una cobertura de alineación no nula y reducen la fertilidad de la lengua origen, aunque en menor medida que las oraciones coherentes previas o siguientes. Esto sugiere que los modelos de alineación pueden vincular tokens semánticamente similares incluso sin coherencia discursiva, pero el contexto coherente impulsa cambios de responsabilidad más significativos.

Significancia y contribuciones
El artículo afirma establecer una línea base diagnóstica para evaluar sistemas de traducción automática mediante la caracterización del "uso selectivo del contexto" en la traducción humana. Sus principales contribuciones son:

1. Un nuevo marco de trabajo: Introduce una metodología post-hoc y agnóstica al modelo utilizando la fertilidad y la entropía para cuantificar el uso del contexto sin requerir conjuntos de prueba de discurso específicos o la estructura interna del modelo.
2. Concepto de redistribución de la responsabilidad: Postula que el contexto no añade nueva información, sino que desplaza la responsabilidad generativa de los tokens de origen a los tokens de contexto de manera selectiva.
3. Verdad fundamental empírica: Al analizar las traducciones humanas, identifica que las palabras funcionales son los objetivos principales de la atención selectiva al contexto, proporcionando un referente contra el cual se puede comparar el comportamiento del modelo.
4. Interpretabilidad: El análisis conjunto de la fertilidad y la entropía ofrece señales interpretables para comprender dónde contribuye la información contextual y cómo se utiliza de manera consistente.

Los autores concluyen que su marco proporciona una "caracterización de verdad fundamental" de cómo los humanos procesan el contexto, sugiriendo que los modelos de traducción efectivos deberían emular esta invocación selectiva y precisa del contexto en lugar de una codificación densa e indiscriminada. El trabajo futuro consiste en aplicar este marco a las salidas generadas por modelos para compararlas con estas líneas base humanas.