Fluency and Faithfulness in Human and Machine Literary Translation

Resumen Técnico: Fluidez y Fidelidad en la Traducción Literaria Humana y Automática

Planteamiento del Problema
La traducción literaria requiere equilibrar dos objetivos a menudo competitivos: producir un texto fluido y natural en el idioma de destino (fluidez) mientras se preserva el contenido semántico y estilístico del texto fuente (fidelidad). Aunque la teoría de la traducción, notablemente la formulación de Friedrich Schleiermacher, plantea estos conceptos como polos opuestos, esta tensión raramente ha sido examinada empíricamente a gran escala. Los Modelos de Lenguaje Grandes (LLM) recientes demuestran una alta fluidez en la traducción automática literaria, sin embargo, sigue sin estar claro si esta fluidez corresponde a una preservación semántica. Además, las métricas de estimación de calidad sin referencias (como COMET-KIWI) se utilizan cada vez más para evaluar la traducción sin referencias de oro, pero su relación con la fluidez sintáctica en contextos literarios no está bien comprendida.

Metodología
Los autores analizan un corpus de 130.486 párrafos traducidos de 106 novelas que abarcan 16 idiomas de origen. El conjunto de datos incluye traducciones humanas, salidas de Google Translate y traducciones generadas por TranslateGemma (un modelo ajustado finamente basado en la arquitectura Gemma3).

Para medir la relación entre fluidez y fidelidad, el estudio emplea dos métricas distintas e independientes:

1. Fluidez (Similitud al Original): La fluidez se operacionaliza como el grado en que un párrafo traducido se asemeja a un texto original en inglés. Para aislar la estructura sintáctica del contenido semántico, los autores anonimizan el texto reemplazando los tokens con etiquetas de categoría gramatical (POS) de granularidad fina. Un clasificador de regresión logística, entrenado con n-gramas de POS (unigramas, bigramas, trigramas), distingue entre párrafos en inglés original (de un corpus de novelas de 1800–1930) y párrafos traducidos. El clasificador se entrena con validación cruzada a nivel de libro y muestreo aleatorio estratificado por longitud para controlar la longitud del segmento. La fluidez se define como $1 - P(\text{traducción} | x)$, donde puntuaciones más altas indican una mayor similitud con la sintaxis original en inglés.
2. Fidelidad (Adecuación Semántica): La fidelidad se mide utilizando COMET-KIWI, una métrica neuronal sin referencias que predice la calidad de la traducción basándose en pares de texto fuente y texto objetivo. Los autores validan COMET-KIWI como un proxy para la fidelidad al demostrar una fuerte correlación positiva entre sus puntuaciones y la similitud semántica de ida y vuelta (utilizando incrustaciones BGE-M3).

Contribuciones Clave

• Análisis Empírico a Gran Escala: El estudio proporciona un análisis a nivel de párrafo de más de 130.000 traducciones de humanos, Google Translate y salidas de LLM, examinando la interacción entre fluidez y fidelidad.
• Marco de Fluidez Basado en POS: Los autores proponen un método escalable para medir la fluidez sintáctica independiente de la fidelidad semántica utilizando clasificación de "traductés" basada en POS con evaluación estricta de libros retenidos.
• Aplicación de Evaluación Sin Referencias: El trabajo aplica COMET-KIWI a la traducción literaria para evaluar la fidelidad semántica sin referencias de oro, correlacionándola con señales de fluidez sintáctica.
• Evidencia Empírica de Compensaciones: El estudio proporciona evidencia de una relación negativa entre las señales de fluidez y fidelidad, particularmente en traducciones humanas de longitudes similares.

Resultados

• Confusión por Longitud: Los autores encontraron que la longitud del párrafo confunde significativamente ambas métricas. Los párrafos más largos se correlacionan negativamente tanto con las puntuaciones de COMET-KIWI como con las puntuaciones de fluidez.
• Correlación Negativa: Tras controlar la longitud del párrafo utilizando la correlación parcial de Spearman, emerge una relación negativa consistente entre fluidez y fidelidad. Esto indica que, a medida que una traducción se vuelve más sintácticamente "similar al original" (fluida), su adecuación semántica predicha tiende a disminuir.
• Variaciones Específicas del Origen:
  • Traducciones Humanas: Exhiben una correlación negativa estadísticamente significativa ($\rho \approx -0.078$), lo que sugiere una compensación distinta donde lograr una sintaxis nativa puede implicar cambios semánticos.
  • Google Translate: También muestra una correlación negativa ($\rho \approx -0.051$), aunque ligeramente más débil que las traducciones humanas.
  • TranslateGemma (LLM): Muestra una correlación débil, a menudo no significativa y a veces positiva. Esto sugiere que los LLM pueden no exhibir la misma tensión entre fluidez y fidelidad que los traductores humanos o los sistemas de traducción automática tradicionales, o que las métricas capturan aspectos diferentes de su salida.
• Divergencia de Métricas: Los resultados sugieren que COMET-KIWI no se alinea con las señales de fluidez basadas en POS. Una alta fluidez (en el sentido de similitud al original) no equivale necesariamente a una alta fidelidad semántica medida por COMET-KIWI.

Significado y Afirmaciones
El artículo afirma que estos hallazgos proporcionan evidencia empírica de una tensión sistemática, aunque modesta, entre producir un inglés sintácticamente nativo y preservar la correspondencia semántica en la traducción literaria. Los autores argumentan que esta compensación se observa de manera más distintiva en traducciones literarias humanas de longitudes similares.

El estudio sugiere que las métricas de evaluación automática como COMET-KIWI pueden favorecer implícitamente traducciones que preservan patrones estructurales alineados con el texto fuente, recompensando potencialmente señales de "traductés" cuando se correlacionan con la fidelidad a nivel superficial. Por el contrario, la métrica de fluidez basada en POS captura la naturalidad sintáctica que puede divergir de la adecuación semántica. Los autores concluyen que, aunque la magnitud de la relación es modesta, la consistencia del patrón a través de enfoques analíticos indica que la fluidez y la fidelidad no son señales completamente independientes en la traducción literaria. También señalan que el comportamiento del clasificador de fluidez ofrece una lente para examinar las diferencias estilísticas entre traducciones humanas históricas (entrenadas en textos de 1800–1930) y salidas automáticas modernas optimizadas para el inglés estándar contemporáneo.