Machine translation of modern Chinese poetry into Japanese: A comparative evaluation of LLMs, neural machine translation systems, and prompt strategies

Le langage est un paysage vaste et mouvant où le sens n'est pas seulement porté par les mots, mais aussi par le rythme, le silence et le poids spécifique d'une expression. Pendant des décennies, les ordinateurs ont appris à traduire ce paysage, passant de systèmes rigides basés sur des règles à des réseaux neuronaux qui imitent la capacité du cerveau humain à trouver des motifs. Ces systèmes modernes, connus sous le nom de traduction automatique neuronale, sont devenus remarquablement doués pour transformer des articles de presse ou des manuels techniques d'une langue à une autre, capturant les faits avec une grande précision. Plus récemment, une nouvelle génération d'intelligence artificielle, appelée modèles de langage de grande taille, est entrée dans le domaine. Contrairement à leurs prédécesseurs, qui étaient spécifiquement entraînés pour traduire, ces modèles sont des penseurs polyvalents capables de suivre des instructions complexes et de comprendre le contexte d'une manière qui ressemble davantage à une conversation. Ils promettent de gérer les aspects désordonnés et créatifs du langage auxquels les machines sont habituellement confrontées. Mais la poésie demeure l'ultime test. Un poème n'est pas seulement un message à décoder ; c'est une expérience construite sur l'imagerie, la nuance culturelle et un équilibre délicat entre ce qui est dit et ce qui est laissé non dit. Traduire un poème exige d'un ordinateur plus que de simplement échanger des mots ; il doit reconstruire un sentiment. Cela soulève une question difficile : ces nouvelles machines conversationnelles peuvent-elles réellement traduire la poésie mieux que les outils établis que nous utilisons quotidiennement, et la façon dont nous leur demandons de travailler modifie-t-elle le résultat ?

Pour le découvrir, des chercheurs ont entrepris de comparer les performances de ces différents systèmes sur la poésie chinoise moderne, un genre connu pour son imagerie condensée et sa profondeur émotionnelle. Ils ont choisi une collection spécifique de douze poèmes de la poétesse contemporaine Yu Xiuhua, s'assurant que les textes étaient récents et n'avaient pas été préalablement traduits par des machines ou des humains. L'équipe a opposé deux des services de traduction en ligne les plus populaires, qui reposent sur des réseaux neuronaux standards, à deux des principaux modèles de langage de grande taille. Pour voir si les instructions données aux machines importaient, ils ont testé les modèles de langage de grande taille sous deux conditions différentes. Dans le premier scénario, ils ont donné aux modèles une commande simple et directe pour traduire le texte. Dans le second, ils ont demandé aux modèles d'expliquer d'abord en détail le sens du poème avant de tenter la traduction, une stratégie conçue pour forcer la machine à comprendre le contexte avant de générer des mots. Les traductions résultantes ont ensuite été évaluées par un panel de huit experts en littérature chinoise et japonaise. Ces experts ont jugé les poèmes non seulement sur la justesse du sens, mais aussi sur la fluidité de la traduction, sur sa capacité à ressembler à un véritable poème et sur sa part de ressemblance avec une production machine.

Les résultats ont révélé un avantage clair pour les nouveaux modèles capables de suivre des instructions. Lorsqu'on leur donnait la commande simple de traduire, les modèles de langage de grande taille produisaient des versions nettement plus fidèles au sens original, plus fluides en japonais et beaucoup plus proches du style poétique initial que les traducteurs en ligne standards. Les outils standards produisaient souvent des traductions grammaticalement correctes mais qui semblaient plates, perdant le rythme et le poids culturel spécifique des mots. Les modèles de langage de grande taille, cependant, semblaient saisir le poème comme une unité globale, préservant la tension et l'imagerie qui font résonner la poésie. Par exemple, là où un traducteur standard pourrait transformer une phrase rituelle en une description littérale de la vitesse, les modèles de langage de grande taille réussissaient à conserver le sens d'un commandement solennel, capturant le ton spirituel de l'original. Ils montraient également beaucoup moins de signes de génération informatique, évitant les structures de phrases rigides qui trahissent souvent la traduction automatique.

Cependant, l'histoire devient plus complexe lorsque les chercheurs ont modifié les instructions. L'idée que donner plus de contexte à une machine — en lui demandant d'expliquer d'abord le poème — conduirait toujours à une meilleure traduction s'est avérée fausse. L'effet de cette stratégie d'« explication préalable » dépendait entièrement du modèle spécifique utilisé. Pour l'un des modèles de langage de grande taille, l'étape supplémentaire consistant à expliquer le poème a en réalité dégradé la traduction. Les poèmes résultants étaient devenus trop explicites, perdant leur mystère et leur compression poétique, comme si la machine avait trop analysé le texte et en avait extrait l'âme. Pour l'autre modèle, cette même stratégie fut un succès ; l'étape d'explication a aidé le modèle à organiser ses pensées, menant à des traductions plus cohérentes et stylistiquement plus fortes. Cela suggère qu'il n'existe pas de « meilleure » façon unique de solliciter ces machines. Ce qui fonctionne pour un système peut entraver un autre, selon la manière dont ce système spécifique traite l'information.

La découverte la plus surprenante fut peut-être ce qui s'est produit lorsque les chercheurs ont comparé les deux modèles de langage de grande taille après que tous deux avaient reçu les instructions détaillées d'explication préalable. Sous ces conditions spécifiques, l'écart de performance entre les deux modèles a disparu. Bien qu'ils aient pu partir de forces et de faiblesses différentes, l'instruction commune les a guidés vers un niveau de qualité similaire. Ils ont produit des traductions statistiquement indiscernables l'une de l'autre en termes d'exactitude, de fluidité et de style. Cela suggère que la façon dont nous demandons à une machine de travailler peut être aussi importante que la machine elle-même. Dans le domaine de la traduction poétique, l'interaction entre le modèle interne et l'instruction humaine crée le résultat final. L'étude conclut que nous ne pouvons pas simplement choisir l'intelligence artificielle la plus puissante et espérer qu'elle gère la littérature parfaitement. Au contraire, traduire la poésie avec des machines est une négociation délicate entre l'outil et les instructions, où l'objectif est de trouver la combinaison spécifique qui permet à la machine de prendre du recul et de laisser le poème respirer.