Can linguistic complexity predict machine translation quality?- a corpus-based study of complexity-quality nexus in philosophical texts

Resumen Técnico: ¿Puede la complejidad lingüística predecir la calidad de la traducción automática? Un estudio basado en corpus sobre el nexo complejidad-calidad en textos filosóficos

Planteamiento del problema
Si bien la Inteligencia Artificial y la Traducción Automática Neuronal (NMT) han avanzado significativamente en la calidad de la traducción en dominios de altos recursos (p. ej., textos jurídicos, periodísticos, académicos), existe una brecha notable en la comprensión de cómo estos sistemas se desempeñan en dominios de bajos recursos y alta demanda cognitiva, como los textos filosóficos. Específicamente, la literatura existente carece de comparaciones exhaustivas entre diversos sistemas de traducción automática (MT) —incluyendo la NMT tradicional, sistemas basados en Grandes Modelos de Lenguaje (LLM) como DeepSeek, y sistemas impulsados por aprendizaje profundo como DeepL— cuando se aplican a material fuente abstracto y complejo. Además, estudios previos que vinculan la complejidad lingüística con los errores de traducción se han limitado a pares de lenguas específicos (p. ej., lenguas inflexivas) o géneros (p. ej., el periodismo), fallando a menudo al no explorar el "nexo complejidad-calidad" en contextos literarios y filosóficos de bajos recursos. Este estudio aborda la pregunta de si los índices de complejidad léxica y sintáctica pueden predecir la calidad de la traducción automática en textos filosóficos de alemán a chino.

Metodología
La investigación emplea un diseño experimental basado en corpus utilizando las Nachgelassene Schriften (Escritos Póstumos) del filósofo alemán Theodor W. Adorno. Para eliminar el sesgo de los datos de entrenamiento preexistentes, los autores seleccionaron un texto sin traducción previa al chino. Se produjo una traducción de referencia mediante un traductor académico sénior, la cual fue validada a través de una retrotraducción (obteniendo una puntuación BLEU de 0.72 contra el alemán original) y una alineación terminológica.

El corpus consta de 254 segmentos de texto (aprox. 59,564 palabras) traducidos al chino por tres sistemas distintos:

1. DeepL (impulsado por aprendizaje profundo)
2. DeepSeek (basado en LLM)
3. NMT (modelo estándar de Traducción Automática Neuronal)

La calidad de la traducción se cuantificó mediante puntuaciones BLEU (Bilingual Evaluation Understudy) calculadas frente a la traducción humana de referencia. La complejidad lingüística se midió mediante un conjunto de índices específicos para el chino adaptados de investigaciones previas sobre translationese (lenguaje de traducción) y escritura de segunda lengua, categorizados en:

• Índices Léxicos: Relaciones Tipo-Token (TTR1, TTR2, TTR1C, TTR2C), Rango de Palabra Media (MWR) y Rango de Carácter Medio (MCR).
• Índices Sintácticos: Longitud Media de Oraciones (MLS), Longitud Media de Cláusulas (MLC), Longitud Media de Unidades-T (MLTU), Unidades-T por oración (T/S) y Cláusulas por oración (C/S).

Se construyeron tres modelos de regresión múltiple para predecir las puntuaciones BLEU:

• Modelo 1: Basado únicamente en la complejidad léxica.
• Modelo 2: Basado únicamente en la complejidad sintáctica.
• Modelo 3: Un modelo combinado que integra características léxicas y sintácticas.

Resultados clave
El análisis arrojó los siguientes hallazgos respecto al poder predictivo de la complejidad lingüística:

• Desempeño del sistema: DeepL alcanzó consistentemente puntuaciones BLEU más altas en comparación con DeepSeek y el modelo NMT estándar a lo largo del corpus. Este hallazgo desafía la suposición de que los sistemas basados en LLM (como DeepSeek) sirven inherentemente como alternativas superiores a los modelos NMT tradicionales en este dominio específico.
• Modelo 1 (Complejidad Léxica): Demostró un fuerte poder explicativo con un R-cuadrado de 0.849. La riqueza y diversidad léxica (indicada por coeficientes positivos para TTR1, TTR1C, TTR2, MWR y MCR) fueron predictores positivos significativos de la calidad de la traducción. Por el contrario, TTR2C mostró un coeficiente negativo, sugiriendo que el exceso de repetición léxica o redundancia resta calidad.
• Modelo 2 (Complejidad Sintáctica): Mostró un poder explicativo moderado con un R-cuadrado de 0.395. Aunque las estructuras de oraciones más largas (MLS) y cláusulas (MLC) se correlacionaron positivamente con la calidad, otras características sintácticas como la densidad de cláusulas (C/S) no fueron estadísticamente significativas. Esto indica que la complejidad sintáctica por sí sola es un predictor más débil que la complejidad léxica.
• Modelo 3 (Complejidad Combinada): Logró el mayor poder explicativo con un R-cuadrado de 0.86. Este modelo confirmó que un enfoque holístico que integra tanto características léxicas como sintácticas proporciona la predicción más completa de los resultados de traducción. Notablemente, en el modelo combinado, la relación de cláusulas subordinadas frente a las principales (T/S) exhibió un coeficiente negativo, sugiriendo que una alta subordinación estructural puede aumentar la dificultad de la traducción y reducir la calidad.

Significancia y contribuciones
El artículo afirma contribuir al campo de la Evaluación de la Calidad de la Traducción Automática (MTQA) de varias maneras específicas:

1. Expansión del dominio: Llena un vacío de investigación al examinar la relación complejidad-calidad en dominios abstractos y de bajos recursos (textos filosóficos) en lugar de géneros de altos recursos o periodísticos.
2. Comparación de sistemas: Proporciona datos empíricos comparando el desempeño de DeepL, DeepSeek (LLM) y la NMT estándar, ofreciendo perspectivas sobre cómo diferentes enfoques arquitectónicos manejan estructuras semánticas y sintácticas complejas.
3. Modelado predictivo: El estudio valida la utilidad de los modelos de regresión para predecir la calidad de la traducción basada en la complejidad lingüística. Establece que la riqueza léxica es un factor más dominante que la complejidad sintáctica, aunque la integración de ambos produce las predicciones más precisas.
4. Marco metodológico: Al utilizar un corpus construido rigurosamente con una traducción de referencia verificada e índices de complejidad específicos, el estudio ofrece un marco replicable para evaluar el desempeño de la MT en dominios desafiantes y no estandarizados.

Los autores concluyen que, si bien los sistemas de MT actuales son prometedores, su desempeño en textos filosóficos depende fuertemente de la diversidad léxica y la estructura sintáctica del texto fuente. La investigación subraya la necesidad de una integración equilibrada de las consideraciones léxicas y sintácticas al evaluar y mejorar los sistemas de MT, particularmente para aplicaciones de alta complejidad y bajos recursos.