An Investigation of Translationese in the Generations of Multilingual Large Language Models

Lorsqu'une personne s'exprime ou écrit dans une langue qui n'est pas sa langue maternelle, ses mots portent souvent une empreinte digitale subtile et invisible. Elle peut utiliser des structures de phrases qui semblent légèrement rigides, choisir des mots qui sont techniquement corrects mais rarement utilisés par les locaux, ou disposer les expressions d'une manière qui trahit l'influence de sa première langue. Les linguistes appellent ce phénomène le « translationese » (ou style de traduction). C'est l'écho persistant de la langue d'origine, visible même lorsque le texte a été traduit avec succès. Pendant des décennies, ce concept a été étudié dans la traduction humaine, où les chercheurs analysent comment l'acte de traduire modifie la texture d'une langue. Aujourd'hui, cependant, une nouvelle question a émergé dans le domaine de l'intelligence artificielle. Les grands modèles de langage, ces puissants systèmes informatiques capables d'écrire avec fluidité dans des dizaines de langues, deviennent de plus en plus courants. Bien que ces machines puissent produire un texte qui semble parfait en surface, les chercheurs commencent à se demander si elles pensent réellement dans la langue dans laquelle elles écrivent, ou si elles traduisent secrètement tout à partir d'une langue interne dominante, probablement l'anglais, avant de produire le résultat final. Si elles font cela, leur production porterait les mêmes empreintes cachées de la traduction que celles laissées par les traducteurs humains.

Une équipe de chercheurs s'est donné pour mission d'étudier cette possibilité en traitant le texte généré par ces modèles d'intelligence artificielle comme s'il s'agissait d'une traduction. Ils voulaient savoir si les machines produisaient un texte qui semblait avoir été traduit, même lorsqu'on leur demandait d'écrire directement dans une langue spécifique. Pour ce faire, ils ont rassemblé des échantillons de texte dans cinq langues différentes : l'anglais, l'allemand, l'espagnol, le grec et le pashto. Ils ont constitué une vaste collection d'écrits comprenant trois types distincts : du texte écrit naturellement par des locuteurs natifs, du texte véritablement traduit par des humains, et du texte généré par deux des modèles d'IA les plus avancés disponibles. Ils ont également inclus un quatrième type, où l'IA écrit en anglais et un programme informatique distinct traduit ensuite le texte dans la langue cible, afin de voir comment cela se comparait au fait que l'IA écrive directement dans la langue cible. Les chercheurs ont ensuite utilisé un programme informatique sophistiqué entraîné à reconnaître les motifs spécifiques du « translationese ». Ce programme avait été formé sur des milliers d'exemples d'écrits humains et de traductions humaines, apprenant à repérer les différences statistiques subtiles qui séparent un locuteur natif d'un traducteur.

Les résultats ont révélé un schéma clair. Lorsque les modèles d'IA écrivaient en anglais, leur texte était rarement signalé comme étant une traduction, suggérant qu'ils opéraient naturellement dans leur langue dominante. Cependant, dès que les modèles changeaient de langue, l'histoire changeait. En allemand et en espagnol, le texte généré par l'IA présentait de forts signes de « translationese ». Le programme informatique a identifié qu'une partie significative du texte allemand et une grande quantité du texte espagnol possédaient les marqueurs distinctifs de la traduction. Cela suggère que, même lorsqu'on les incite à écrire directement dans ces langues, les modèles peuvent s'appuyer sur un processus interne qui ressemble à la traduction, en convertissant peut-être d'abord les idées pensées en anglais. L'effet était encore plus prononcé lorsque les chercheurs examinaient les mots spécifiques choisis par les modèles. Ils ont constaté que l'IA avait tendance à éviter les erreurs les plus évidentes et maladroites que les humains pourraient commettre, mais qu'elle peinait néanmoins avec la distribution subtile des mots courants. Par exemple, en allemand, les modèles utilisaient certains mots de liaison courants selon des schémas qui correspondaient à un texte traduit plutôt qu'à un discours natif, tandis qu'en espagnol, ils utilisaient les articles comme « le/la » beaucoup moins fréquemment qu'un locuteur natif.

Il est intéressant de noter que le degré de cet effet de « traduction » dépendait fortement de la langue elle-même. Les modèles performaient mieux en grec et en pashto, deux langues disposant de moins de ressources numériques pour l'entraînement, qu'ils ne le faisaient en allemand et en espagnol. Dans ces langues à faibles ressources, le texte généré par l'IA était moins susceptible d'être signalé comme une traduction. Les chercheurs suggèrent que cela pourrait être dû au fait que les données d'entraînement pour l'allemand et l'espagnol contiennent une vaste quantité de matériel déjà traduit, que les modèles ne font que imiter. En revanche, les données d'entraînement pour le grec et le pashto peuvent contenir moins de contenu traduit, forçant les modèles à s'appuyer davantage sur les structures natives disponibles. L'équipe a également demandé à des lecteurs humains de juger un petit échantillon de texte. Étonnamment, les humains étaient souvent incapables de détecter le « translationese » que le programme informatique identifiait si facilement. Les humains remarquaient principalement des choix de mots étranges ou des combinaations bizarres, tandis que l'ordinateur détectait les changements statistiques plus profonds dans la façon dont les mots étaient agencés. Cela indique que, bien que l'IA puisse masquer les erreurs les plus flagrantes, la structure sous-jacente de son écriture trahit un manque de fluidité native.

L'étude conclut que ces puissants modèles de langage ne génèrent pas encore de texte de manière véritablement native pour les langues autres que l'anglais. Au lieu de cela, leur production porte souvent la signature cachée de la traduction, suggérant que leur traitement interne reste peut-être ancré à l'anglais. Cela ne signifie pas que les modèles échouent ; ils sont souvent très efficaces et utiles. Cependant, cela révèle une limitation fondamentale dans la manière dont ils apprennent et opèrent. Ils semblent maîtriser le niveau superficiel de nombreuses langues tout en s'appuyant sur un cadre central basé sur l'anglais pour leur raisonnement. Les chercheurs notent que cette découverte aide à expliquer pourquoi ces modèles éprouvent parfois des difficultés avec les nuances culturelles ou le flux naturel d'une langue qui n'est pas l'anglais. En identifiant ces empreintes cachées, l'étude offre une nouvelle façon de mesurer la véritable qualité du texte généré par machine, allant au-delà de la simple correction pour évaluer la dimension de naturel de la voix que la machine tente d'imiter.