Can linguistic complexity predict machine translation quality?- a corpus-based study of complexity-quality nexus in philosophical texts

Résumé technique : La complexité linguistique peut-elle prédire la qualité de la traduction automatique ? Une étude basée sur un corpus du nexus complexité-qualité dans les textes philosophiques

Énoncé du problème
Bien que l'intelligence artificielle et la traduction automatique neuronale (TAN) aient considérablement amélioré la qualité de la traduction dans les domaines à hautes ressources (par exemple, les textes juridiques, journalistiques ou académiques), il existe une lacune notable dans la compréhension de la manière dont ces systèmes se comportent dans des domaines à faibles ressources et exigeants sur le plan cognitif, tels que les textes philosophiques. Plus précisément, la littérature existante manque de comparaisons exhaustives entre divers systèmes de traduction automatique (TA) — incluant la TAN traditionnelle, les systèmes basés sur les grands modèles de langage (LLM) comme DeepSeek, et les systèmes pilotés par l'apprentissage profond comme DeepL — lorsqu'ils sont appliqués à un matériel source abstrait et complexe. De plus, les études antérieures liant la complexité linguistique aux erreurs de traduction ont été limitées à des paires de langues spécifiques (par exemple, les langues flexionnelles) ou à des genres particuliers (par exemple, le journalisme), échouant souvent à explorer le « nexus complexité-qualité » dans les contextes littéraires et philosophiques à faibles ressources. Cette étude examine si les indices de complexité lexicale et syntaxique peuvent prédire la qualité de la traduction automatique pour des textes philosophiques de l'allemand vers le chinois.

Méthodologie
La recherche emploie un plan expérimental basé sur un corpus utilisant les Nachgelassene Schriften (Écrits posthumes) du philosophe allemand Theodor W. Adorno. Afin d'éliminer le biais provenant de données d'entraînement préexistantes, les auteurs ont sélectionné un texte n'ayant fait l'objet d'aucune traduction chinoise préalable. Une traduction de référence a été produite par un traducteur universitaire chevronné et validée par rétrotraduction (obtenant un score BLEU de 0,72 par rapport à l'allemand original) et un alignement terminologique.

Le corpus se compose de 254 segments de texte (environ 59 564 mots) traduits en chinois par trois systèmes distincts :

1. DeepL (piloté par l'apprentissage profond)
2. DeepSeek (basé sur un LLM)
3. TAN (modèle de traduction automatique neuronale standard)

La qualité de la traduction a été quantifiée à l'aide de scores BLEU (Bilingual Evaluation Understudy) calculés par rapport à la traduction de référence humaine. La complexité linguistique a été mesurée à l'aide d'une suite d'indices spécifiques au chinois, adaptés de recherches antérieures sur la « translationese » et l'écriture en seconde langue, classés en :

• Indices lexicaux : Ratios type-token (TTR1, TTR2, TTR1C, TTR2C), rang moyen des mots (MWR) et rang moyen des caractères (MCR).
• Indices syntaxiques : Longueur moyenne des phrases (MLS), longueur moyenne des propositions (MLC), longueur moyenne des unités-T (MLTU), unités-T par phrase (T/S) et propositions par phrase (C/S).

Trois modèles de régression multiple ont été construits pour prédire les scores BLEU :

• Modèle 1 : Basé uniquement sur la complexité lexicale.
• Modèle 2 : Basé uniquement sur la complexité syntaxique.
• Modèle 3 : Un modèle combiné intégrant les caractéristiques lexicales et syntaxiques.

Résultats clés
L'analyse a produit les conclusions suivantes concernant le pouvoir prédictif de la complexité linguistique :

• Performance des systèmes : DeepL a systématiquement obtenu des scores BLEU plus élevés que DeepSeek et le modèle TAN standard sur l'ensemble du corpus. Ce résultat remet en question l'hypothèse selon laquelle les systèmes basés sur les LLM (comme DeepSeek) constituent intrinsèquement des alternatives supérieures aux modèles de TAN traditionnels dans ce domaine spécifique.
• Modèle 1 (Complexité lexicale) : A démontré un fort pouvoir explicatif avec un R-carré de 0,849. La richesse et la diversité lexicales (indiquées par des coefficients positifs pour TTR1, TTR1C, TTR2, MWR et MCR) étaient des prédicteurs positifs significatifs de la qualité de la traduction. À l'inverse, le TTR2C présentait un coefficient négatif, suggérant qu'une répétition ou une redondance lexicale excessive nuit à la qualité.
• Modèle 2 (Complexité syntaxique) : A montré un pouvoir explicatif modéré avec un R-carré de 0,395. Bien que les structures de phrases plus longues (MLS) et les propositions plus longues (MLC) soient corrélées positivement avec la qualité, d'autres caractéristiques syntaxiques comme la densité de propositions (C/S) n'étaient pas statistiquement significatives. Cela indique que la complexité syntaxique seule est un prédicteur plus faible que la complexité lexicale.
• Modèle 3 (Complexité combinée) : A atteint le pouvoir explicatif le plus élevé avec un R-carré de 0,86. Ce modèle a confirmé qu'une approche holistique intégrant les caractéristiques lexicales et syntaxiques offre la prédiction la plus complète des résultats de traduction. Notamment, dans le modèle combiné, le ratio de propositions subordonnées par rapport aux propositions principales (T/S) présentait un coefficient négatif, suggérant qu'une forte subordination structurelle peut augmenter la difficulté de traduction et réduire la qualité.

Signification et contributions
L'article affirme contribuer au domaine de l'évaluation de la qualité de la traduction automatique (MTQA) de plusieurs manières spécifiques :

1. Expansion du domaine : Il comble une lacune de recherche en examinant la relation complexité-qualité dans des domaines abstraits à faibles ressources (textes philosophiques) plutôt que dans des genres à hautes ressources ou journalistiques.
2. Comparaison de systèmes : Il fournit des données empiriques comparant les performances de DeepL, DeepSeek (LLM) et la TAN standard, offrant des perspectives sur la manière dont différentes approches architecturales gèrent les structures sémantiques et syntaxiques complexes.
3. Modélisation prédictive : L'étude valide l'utilité des modèles de régression pour prédire la qualité de la traduction basée sur la complexité linguistique. Elle établit que la richesse lexicale est un facteur plus dominant que la complexité syntaxique, bien que l'intégration des deux offre les prédictions les plus précises.
4. Cadre méthodologique : En utilisant un corpus rigoureusement construit avec une traduction de référence vérifiée et des indices de complexité spécifiques, l'étude propose un cadre reproductible pour évaluer la performance de la TA dans des domaines difficiles et non standardisés.

Les auteurs concluent que bien que les systèmes de TA actuels soient prometteurs, leur performance dans les textes philosophiques dépend fortement de la diversité lexicale et de la structure syntaxique du texte source. La recherche souligne la nécessité d'une intégration équilibrée des considérations lexicales et syntaxiques pour évaluer et améliorer les systèmes de TA, particulièrement pour les applications à faibles ressources et à haute complexité.