When the Gold Standard Isn't Necessarily Standard: Challenges of Evaluating the Translation of User-Generated Content
Cet article soutient que l'évaluation de la traduction de contenu généré par les utilisateurs nécessite des cadres conscients des directives, car l'absence d'une seule « norme de référence » pour les langues non standard entraîne des traductions de référence variables et affecte considérablement les performances des grands modèles de langage.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un traducteur engagé pour traduire un ensemble de messages textuels, de tweets et de publications sur des forums. Il ne s'agit pas de lettres formelles ; elles regorgent de fautes de frappe, d'argot, de lettres répétées pour l'emphase (comme « soooooo »), d'émojis, et même de quelques jurons.
Maintenant, imaginez que vous ayez quatre patrons différents vous donnant des instructions sur la façon de gérer ce texte désordonné. C'est exactement ce que les chercheurs de cet article ont étudié. Ils se sont demandé : « Qu'est-ce qui compte comme une « bonne » traduction lorsque le texte original est désordonné, et comment le mesurer équitablement ? »
Voici le détail de leurs découvertes, illustré par quelques analogies du quotidien.
1. La « référence idéale » est en réalité un spectre
Dans le monde de la traduction, il existe généralement une « référence idéale » (Gold Standard) — une traduction parfaite de référence sur laquelle tout le monde s'accorde pour dire qu'elle est juste. Mais les auteurs ont découvert que, pour le contenu généré par les utilisateurs (CGU), il n'existe pas de référence idéale unique. À la place, il y a un spectre.
Ils ont examiné quatre ensembles de données différents (collections de textes traduits) et ont constaté que les « patrons » (les personnes ayant établi les directives) avaient des philosophies très différentes :
- Le « Rédacteur strict » (RoCS-MT) : Ce patron dit : « Corrigez tout ! Corrigez l'orthographe, réparez la grammaire, supprimez l'argot et faites en sorte que cela ressemble à un article de journal bien rédigé. » Ils veulent un résultat propre et standard.
- Le « Conservateur » (PFSMB) : Ce patron dit : « Gardez l'ambiance ! Si le texte original contient des lettres répétées ou de l'argot, la traduction doit en contenir aussi. Ne nettoyez pas ; traduisez simplement le sentiment. »
- Le « Juste milieu » (FooTweets & MMTC) : Ces patrons se situent quelque part entre les deux, corrigeant certaines choses tout en préservant la personnalité du texte.
L'analogie : Imaginez que vous traduisiez une note manuscrite d'un ami.
- Le Rédacteur strict réécrirait la note de votre ami dans une police d'écriture parfaite et tapée, corrigeant sa grammaire et supprimant les gribouillis.
- Le Conservateur traduirait les mots mais garderait le style d'écriture manuscrite, les gribouillis et les marges désordonnées.
- L'article soutient que les deux approches peuvent être « correctes », selon ce que le client souhaite.
2. Le « menu d'actions » pour les traducteurs
Pour comprendre ces différents styles, les chercheurs ont créé un menu de 12 types de choses « désordonnées » (comme les fautes de frappe, les émojis, les hashtags et les jurons) et de 5 actions qu'un traducteur peut entreprendre :
- NORMALISER : Corriger (par exemple, changer « u » en « you »).
- COPIER : Garder exactement tel quel (par exemple, garder un hashtag #WorldCup inchangé).
- TRANSFÉRER : Traduire le « désordre » dans la langue cible (par exemple, changer l'anglais « LOL » en français « MDL »).
- OMETTRE : L'ignorer complètement (par exemple, sauter un nom d'utilisateur).
- CENSURER : Atténuer les mots offensants (par exemple, changer « f**k » en « zut »).
L'article a révélé que différents ensembles de données utilisent différentes combinaisons de ces actions. Un ensemble de données peut dire « Transférez l'argot », tandis qu'un autre dit « Normalisez l'argot ».
3. Les robots IA et le « manuel d'instructions »
Les chercheurs ont testé plusieurs modèles d'IA modernes (modèles de langage de grande taille ou LLM) pour voir comment ils gèrent ces différentes instructions. Ils ont fourni à l'IA le même texte désordonné, mais ont modifié le « manuel d'instructions » (l'invite) pour qu'il corresponde à l'un des quatre ensembles de données différents.
Ce qu'ils ont découvert :
- L'IA est sensible aux instructions : Lorsque l'IA était instruite de « préserver l'argot » (correspondant au patron Conservateur), elle a fait du bon travail. Lorsqu'on lui a dit de « tout corriger » (correspondant au Rédacteur strict), elle l'a fait aussi.
- Un décalage crée de la confusion : Si vous dites à l'IA de « préserver l'argot » mais que vous la notez ensuite par rapport à une traduction de référence de type « Rédacteur strict », l'IA obtient une mauvaise note, même si elle a parfaitement suivi vos instructions. C'est comme noter un élève qui a suivi la recette d'un gâteau face à un juge qui voulait une tarte.
- Certaines IA sont obstinées : Un modèle (Tower) a majoritairement ignoré les instructions et fait ce qu'il voulait de toute façon. Un autre (LLaMA) a refusé de traduire quoi que ce soit s'il contenait des mots « dangereux » comme des jurons, abandonnant ainsi le travail.
4. Le problème de la « fiche de notation »
Comment savoir si la traduction est bonne ? Habituellement, nous utilisons des outils de notation automatique (métriques) qui comparent la sortie de l'IA à la traduction de référence « idéale ».
Le problème : Ces outils de notation sont biaisés.
- Si la traduction de référence est « propre et standard », l'outil de notation adore les traductions propres et déteste les désordonnées.
- Si la traduction de référence est « désordonnée et pleine d'argot », l'outil de notation peut se confondre et attribuer des notes plus basses aux traductions désordonnées, même si elles sont fidèles à l'original.
L'analogie : Imaginez un juge dans un concours de talents. Si le juge cherche un violoniste classique, il donnera une mauvaise note à un guitariste de rock, même si ce guitariste de rock est incroyable dans son domaine. L'article montre que les outils de notation actuels de l'IA sont comme ce juge : ils sont biaisés en faveur du texte « propre » et peinent à évaluer équitablement le texte « désordonné » à moins qu'on ne leur dise exactement quel style attendre.
5. La conclusion principale
L'article conclut que vous ne pouvez pas évaluer une traduction équitablement sans connaître les règles du jeu.
- Pour les créateurs d'ensembles de données : Vous devez être très clair sur vos directives. Voulez-vous que le texte soit nettoyé, ou voulez-vous que la personnalité soit préservée ?
- Pour les développeurs d'IA : Vous devez dire à l'IA exactement quel style utiliser.
- Pour les évaluateurs : Vous ne pouvez pas simplement utiliser une note générique. Vous avez besoin d'un système d'évaluation « conscient des directives » qui comprend si l'IA devait être un « Rédacteur strict » ou un « Conservateur ».
En bref : Une « bonne » traduction ne consiste pas seulement à être précise ; il s'agit d'être précise par rapport au style que vous avez été chargé de produire. Si vous ne définissez pas le style, vous ne pouvez pas juger équitablement le résultat.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.