Fluency and Faithfulness in Human and Machine Literary Translation

Résumé technique : Fluidité et fidélité dans la traduction littéraire humaine et automatique

Énoncé du problème
La traduction littéraire exige un équilibre entre deux objectifs souvent concurrents : produire un texte fluide et naturel dans la langue cible (fluidité) tout en préservant le contenu sémantique et stylistique du texte source (fidélité). Si la théorie de la traduction, notamment la formulation de Friedrich Schleiermacher, les présente comme des pôles opposés, cette tension a rarement été examinée empiriquement à grande échelle. Les récents modèles de langage de grande taille (LLM) démontrent une grande fluidité dans la traduction littéraire automatique, mais il reste incertain que cette fluidité corresponde à une préservation sémantique. De plus, les métriques d'estimation de la qualité sans référence (comme COMET-KIWI) sont de plus en plus utilisées pour évaluer la traduction sans références de référence or, mais leur relation avec la fluidité syntaxique dans les contextes littéraires n'est pas bien comprise.

Méthodologie
Les auteurs analysent un corpus de 130 486 paragraphes traduits issus de 106 romans couvrant 16 langues sources. L'ensemble de données comprend des traductions humaines, des sorties de Google Translate et des traductions générées par TranslateGemma (un modèle fine-tuné basé sur l'architecture Gemma3).

Pour mesurer la relation entre fluidité et fidélité, l'étude emploie deux métriques distinctes et indépendantes :

1. Fluidité (Ressemblance à l'original) : La fluidité est opérationnalisée comme le degré de ressemblance d'un paragraphe traduit avec un texte anglais original. Pour isoler la structure syntaxique du contenu sémantique, les auteurs anonymisent le texte en remplaçant les tokens par des étiquettes de partie du discours (POS) fines. Un classifieur de régression logistique, entraîné sur des n-grammes de POS (unigrammes, bigrammes, trigrammes), distingue les paragraphes anglais originaux (issus d'un corpus de romans de 1800 à 1930) des paragraphes traduits. Le classifieur est entraîné avec une validation croisée au niveau du livre et un échantillonnage aléatoire stratifié par longueur pour contrôler la longueur des segments. La fluidité est définie comme $1 - P(\text{traduction} | x)$, où des scores plus élevés indiquent une plus grande similarité avec la syntaxe anglaise originale.
2. Fidélité (Adéquation sémantique) : La fidélité est mesurée à l'aide de COMET-KIWI, une métrique neuronale sans référence qui prédit la qualité de la traduction à partir de paires de textes source et cible. Les auteurs valident COMET-KIWI comme proxy de la fidélité en démontrant une forte corrélation positive entre ses scores et la similarité sémantique en aller-retour (en utilisant des embeddings BGE-M3).

Contributions clés

• Analyse empirique à grande échelle : L'étude fournit une analyse au niveau du paragraphe de plus de 130 000 traductions issues de productions humaines, de Google Translate et de LLM, examinant l'interaction entre fluidité et fidélité.
• Cadre de fluidité basé sur les POS : Les auteurs proposent une méthode évolutive pour mesurer la fluidité syntaxique indépendamment de la fidélité sémantique, en utilisant une classification de la « traductitude » basée sur les POS avec une évaluation stricte tenue à l'écart au niveau du livre.
• Application de l'évaluation sans référence : Ce travail applique COMET-KIWI à la traduction littéraire pour évaluer la fidélité sémantique sans références de référence or, en la corrélant avec des signaux de fluidité syntaxique.
• Preuve empirique de compromis : L'étude fournit des preuves d'une relation négative entre les signaux de fluidité et de fidélité, en particulier dans les traductions humaines de longueurs similaires.

Résultats

• Confusion par la longueur : Les auteurs ont constaté que la longueur du paragraphe confond significativement les deux métriques. Les paragraphes plus longs sont corrélés négativement avec les scores COMET-KIWI et les scores de fluidité.
• Corrélation négative : Après contrôle de la longueur du paragraphe à l'aide d'une corrélation partielle de Spearman, une relation négative cohérente émerge entre fluidité et fidélité. Cela indique que, à mesure qu'une traduction devient plus syntaxiquement « ressemblante à l'original » (fluide), son adéquation sémantique prédite a tendance à diminuer.
• Variations spécifiques à la source :
  • Traductions humaines : Présentent une corrélation négative statistiquement significative ($\rho \approx -0,078$), suggérant un compromis distinct où l'atteinte d'une syntaxe native peut impliquer des déplacements sémantiques.
  • Google Translate : Montre également une corrélation négative ($\rho \approx -0,051$), bien que légèrement plus faible que pour les traductions humaines.
  • TranslateGemma (LLM) : Montre une corrélation faible, souvent non significative, et parfois positive. Cela suggère que les LLM peuvent ne pas présenter la même tension entre fluidité et fidélité que les traducteurs humains ou les systèmes de traduction automatique traditionnels, ou que les métriques capturent différents aspects de leur production.
• Divergence des métriques : Les résultats suggèrent que COMET-KIWI ne s'aligne pas avec les signaux de fluidité basés sur les POS. Une haute fluidité (au sens de la ressemblance à l'original) n'équivaut pas nécessairement à une haute fidélité sémantique telle que mesurée par COMET-KIWI.

Signification et affirmations
L'article affirme que ces résultats fournissent des preuves empiriques d'une tension systématique, bien que modeste, entre la production d'un anglais syntaxiquement natif et la préservation de la correspondance sémantique dans la traduction littéraire. Les auteurs soutiennent que ce compromis est observé plus distinctement dans les traductions littéraires humaines de longueurs similaires.

L'étude suggère que les métriques d'évaluation automatique comme COMET-KIWI peuvent implicitement favoriser les traductions qui préservent des modèles structurels alignés sur le texte source, récompensant potentiellement les signaux de « traductitude » lorsqu'ils sont corrélés avec une fidélité de surface. Inversement, la métrique de fluidité basée sur les POS capture la naturalité syntaxique qui peut diverger de l'adéquation sémantique. Les auteurs concluent que, bien que l'ampleur de la relation soit modeste, la cohérence du modèle à travers les approches analytiques indique que la fluidité et la fidélité ne sont pas des signaux entièrement indépendants dans la traduction littéraire. Ils notent également que le comportement du classifieur de fluidité offre une lentille pour examiner les différences stylistiques entre les traductions humaines historiques (entraînées sur des textes de 1800 à 1930) et les productions automatiques modernes optimisées pour l'anglais standard contemporain.