A Dataset for Probing Translationese Preferences in English-to-Swedish Translation

Cet article présente le premier ensemble de données librement accessible en anglais-suédois contrastant les traductions littérales (translationese) avec des alternatives idiomatiques, révélant que les modèles de langage tendent à privilégier les traductions littérales, un biais qui s'atténue partiellement lorsque la source est masquée.

L'essentiel

Voici une explication de cet article de recherche, imagée et simplifiée pour le grand public, comme si nous prenions un café ensemble.

🌍 Le Problème : La "Maladie de la Traduction"

Imaginez que vous voyagez en Suède. Vous rencontrez un local qui parle très bien votre langue, mais il a un accent étrange. Il utilise des mots corrects, mais les assemble d'une manière qui fait penser à un étranger qui traduit mot à mot depuis son pays d'origine. Il dit : "Je suis un traducteur" au lieu de "Je suis traducteur". C'est grammaticalement compréhensible, mais ça sonne faux, rigide, comme si on avait collé des pièces de Lego d'un jeu différent sur un château.

En linguistique, on appelle cela le "translationese" (ou "traducto-suédois"). C'est comme une empreinte digitale de la langue source qui reste collée sur la traduction.

🔍 La Mission : Créer un "Test de Goût"

Les chercheurs de l'Université de Linköping ont créé un nouvel outil (un jeu de données) pour tester les intelligences artificielles (les IA) sur ce problème spécifique.

Imaginez que vous êtes un chef cuisinier (l'IA). On vous donne deux plats :

1. Le plat "Machine" : Un steak servi avec des frites, mais les frites sont coupées en carrés parfaits et le steak est froid. C'est comestible, mais pas délicieux. C'est la traduction littérale.
2. Le plat "Humain" : Le même steak, mais cuit à la perfection, avec des frites dorées et une sauce faite maison. C'est ce qu'un Suédois mangerait vraiment.

Le but de l'étude est de demander à l'IA : "Lequel de ces deux plats préfères-tu ?".

🧪 Ce qu'ils ont découvert (Les Résultats)

Les chercheurs ont testé plusieurs IA (des modèles comme LLaMA, Gemma, etc.) avec ce jeu de données. Voici ce qu'ils ont observé, avec des analogies :

• L'IA adore le "plat Machine" : Même les IA les plus intelligentes préfèrent souvent la traduction rigide et "étrangère" plutôt que la version naturelle et fluide. C'est comme si l'IA avait peur de prendre des risques et préférait suivre la recette à la lettre, même si le résultat est moins bon.
• Le piège de la "Recette Originale" : Quand on donne à l'IA la phrase anglaise originale (la recette de base) en même temps que le choix, elle devient encore plus rigide. Elle regarde la recette et dit : "Ah, le mot 'thing' est là, je dois mettre 'sak' (chose) !" au lieu de comprendre le sens global.
• La magie du Contexte : Si on donne à l'IA un peu plus de contexte (comme lire les deux phrases avant celle qu'elle doit traduire), elle commence à mieux comprendre la situation. C'est comme si, en lisant la conversation précédente, elle se disait : "Ah, on est dans un contexte décontracté, je peux utiliser l'expression familière !". Mais même avec du contexte, elle reste souvent un peu timide et préfère la version "sûre" et rigide.

🛠️ L'Outil : Un Dictionnaire d'Erreurs

Pour analyser pourquoi les IA font ces erreurs, les chercheurs ont créé un système de "codes couleurs" (des étiquettes) :

• Le code "Mot manquant" (SAK) : L'IA a oublié un ingrédient essentiel.
• Le code "Goût bizarre" (PR) : L'IA a utilisé un mot qui existe, mais que personne n'utilise dans cette situation (comme dire "voiture" au lieu de "bolide" dans un contexte cool).
• Le code "Idiome raté" (ID) : L'IA a pris une expression imagée (ex: "avoir un os à ronger") et l'a traduite littéralement ("j'ai un os à choisir"), ce qui ne veut rien dire en suédois.

💡 Pourquoi c'est important ?

Aujourd'hui, beaucoup d'IA sont entraînées sur des textes qui sont déjà des traductions. C'est un peu comme apprendre à cuisiner en regardant uniquement des livres de cuisine écrits par des étrangers qui ne connaissent pas bien les ingrédients locaux. Résultat : l'IA produit des textes qui sont corrects mais pas naturels.

Cette étude nous dit :

1. Les IA actuelles ont encore du mal à parler comme un humain natif en suédois.
2. Elles sont trop influencées par la langue d'origine (l'anglais).
3. Pour avoir de vraies conversations naturelles, il faut entraîner les IA à ne pas seulement "traduire", mais à "penser" dans la langue cible.

🏁 En résumé

C'est comme si l'IA était un excellent traducteur de dictionnaire, mais un mauvais conteur. Elle sait assembler les mots, mais elle a du mal à saisir l'âme, l'humour et la fluidité d'une conversation réelle. Ce nouveau jeu de données est une boussole pour aider les développeurs à corriger ce "défaut de prononciation" et à rendre les IA plus naturelles, moins robotiques, et plus suédoises ! 🇸🇪✨

Résumé technique

Voici un résumé technique détaillé de l'article « A Dataset for Probing Translationese Preferences in English-to-Swedish Translation », présenté en français.

1. Problématique

Le phénomène du translationisme (ou translationese) désigne la tendance des textes traduits à conserver des traces de la langue source, se distinguant ainsi des textes originaux rédigés dans la langue cible. Bien que ce phénomène soit connu depuis longtemps dans la traduction humaine, il est particulièrement prononcé dans la traduction automatique (TA) et les grands modèles de langage (LLM).

Les traductions générées par les machines tendent à être :

• Plus littérales et moins variées.
• Lexicalement et morphologiquement appauvries.
• Souvent reconnaissables comme des traductions plutôt que comme du texte natif.

Même si les LLMs récents produisent des traductions plus diversifiées que les systèmes de TA spécialisés, ils continuent de montrer un biais vers des formulations littérales, en partie parce qu'une grande partie de leurs données d'entraînement provient de corpus web contenant déjà des traductions. Il existe un manque de ressources pour évaluer et corriger ce biais spécifique dans les langues à ressources limitées comme le suédois.

2. Méthodologie

Construction du Dataset

Les auteurs ont créé le premier jeu de données librement accessible contrastant des phrases traduites (avec translationisme) et des alternatives idiomatiques en suédois, basées sur des sources anglaises.

• Source : 600 phrases issues de la partie anglaise du corpus OpenSubtitles (dialogues parlés).
• Traductions comparées :
  1. OPUS-MT : Un système de traduction neuronale spécialisé (non LLM).
  2. GPT-5 : Un LLM de pointe (OpenAI, 2025).
  3. Humain : Une traduction alternative produite par un annotateur natif suédois.
• Annotations : Chaque paire de phrases est annotée avec des balises d'erreurs spécifiques (jusqu'à 3 par phrase) et une description contextuelle. Le système de balisage personnalisé inclut des catégories majeures (Grammaire, Perte de sens, Mots manquants, Choix de mots incorrects) et mineures (Décalage sémantique, Préférence lexicale), ainsi que des balises descriptives (Idiomes, Argot, Langage spécifique à un domaine, Traduction directe).

Protocole Expérimental

L'étude évalue les préférences intrinsèques de plusieurs LLMs multilingues (LLaMA-3, EuroLLM, Gemma) pour les variantes idiomatiques par rapport aux variantes de traductionisme.

• Configuration "Minimal Pair" : Le modèle doit choisir entre la traduction machine (OPUS ou GPT) et la version humaine.
• Métriques : Utilisation de la probabilité moyenne normalisée par la longueur (MeanLP) pour déterminer quelle variante le modèle préfère, ainsi que le taux de précision (pourcentage de cas où la version humaine est préférée).
• Variations de contexte :
  1. Sans contexte de traduction : Seule la phrase suédoise est présentée.
  2. Avec contexte de traduction : La phrase anglaise source est fournie, avec ou sans 1 à 10 phrases de contexte précédent.

3. Contributions Clés

1. Ressource de Données : Publication du premier dataset ouvert et manuellement annoté pour le suédois, contrastant explicitement le translationisme avec des alternatives idiomatiques, incluant les phrases sources et le contexte.
2. Analyse Fine : Développement d'un système de balisage d'erreurs adapté aux nuances du langage parlé et des idiomes, permettant une analyse granulaire des échecs des modèles (au-delà des simples erreurs grammaticales).
3. Benchmark d'Évaluation : Fourniture d'une base de référence pour évaluer la capacité des modèles à produire un langage naturel et idiomatique en langues non anglaises, en particulier pour les modèles de taille moyenne.

4. Résultats Principaux

• Biais vers le Translationisme : Tous les modèles évalués, y compris les plus grands (Gemma-12B), montrent un biais significatif en faveur des formulations de traductionisme (OPUS et GPT) plutôt que des alternatives humaines, même lorsque les erreurs sont évidentes.
• Impact de la Source Anglaise :
  • Lorsque la phrase source anglaise est fournie (même avec du contexte), les modèles privilégient davantage la traduction littérale.
  • Sans contexte de traduction (seulement la phrase cible), les modèles choisissent plus souvent l'alternative humaine, suggérant que la présence de la source biaise le modèle vers une traduction mot-à-mot.
• Rôle du Contexte : L'ajout de contexte (phrases précédentes) améliore légèrement la capacité des modèles à éviter le translationisme, mais ne résout pas le problème fondamentalement. Pour les comparaisons avec GPT-5, un contexte plus long (10 phrases) semble parfois aider, mais les modèles plus performants ont tendance à préférer davantage les traductions de GPT-5.
• Performance des Modèles :
  • Les traductions de GPT-5 sont globalement meilleures et plus idiomatiques que celles d'OPUS-MT, mais contiennent encore des erreurs subtiles (décalages sémantiques, choix lexicaux peu naturels).
  • Les modèles plus grands (Gemma-12B, LLaMA-8B) obtiennent de meilleurs scores, mais le biais persiste.
• Types d'Erreurs : Les modèles échouent particulièrement sur les traductions directes (DIR) et les idiomes/slang, surtout lorsque le contexte de traduction est fourni. Les erreurs grammaticales grossières (GR) ou les mots manquants (SAK) sont plus facilement évités par les modèles.

5. Signification et Conclusion

Cette étude met en lumière un défi critique pour le développement de LLMs multilingues : l'exposition à la langue source lors de la génération de traduction renforce le biais vers le translationisme, empêchant l'obtention d'un langage naturel et idiomatique.

• Implication pour la recherche : Il est nécessaire de développer des méthodes d'entraînement ou de post-traitement (comme le "polissage" de la traduction) qui réduisent cette dépendance à la structure de la langue source.
• Utilité du Dataset : Ce jeu de données sert d'outil de diagnostic essentiel pour identifier les faiblesses spécifiques des modèles dans la production de langage natif en suédois et, par extension, dans d'autres langues à ressources limitées.
• Limites : Le dataset est basé sur un seul domaine (sous-titres/dialogue) et est de taille modeste en raison de l'annotation manuelle, ce qui ouvre la voie à des travaux futurs sur d'autres domaines (écrits, techniques).

En résumé, bien que les LLMs aient progressé, ils ne produisent pas encore systématiquement des traductions aussi naturelles que des humains, et leur tendance à imiter la structure de la source reste un obstacle majeur à surmonter.