Imaginez que vous soyez un juge dans un immense concours de talents, mais qu'au lieu de chanteurs, vous jugiez des traductions d'histoires d'une langue à une autre. Pendant des années, la méthode standard consistait à remettre au juge une seule traduction, à lui demander de la noter de manière isolée, puis à passer à la suivante. C'est comme demander à quelqu'un de noter une pomme sans jamais avoir vu d'autres pommes pour comparer. Le problème ? C'est épuisant, coûteux et, de manière surprenante, désordonné. Quand on regarde un seul objet de manière isolée, le cerveau se fatigue, l'humeur change et les notes peuvent varier dans tous les sens. C'est le monde de l'« Évaluation de la Traduction Automatique », un domaine dédié à déterminer la capacité des ordinateurs à traduire les langues humaines. L'objectif est simple : trouver le meilleur traducteur IA afin de pouvoir lui confier des tâches du monde réel. Mais pour cela, les humains doivent agir comme des arbitres, et les anciennes règles de l'arbitrage rendaient le jeu lent et les scores peu fiables.

Entrez en scène une équipe de chercheurs qui a décidé de changer les règles du jeu. Ils ont introduit un nouveau protocole appelé Contrastive Error Span Annotation (cESA). Au lieu de montrer au juge une traduction à la fois, ils présentent trois (ou plus) traductions côte à côte sur le même écran. C'est comme donner au juge un panier de pommes plutôt qu'un seul fruit. Soudain, repérer une pomme cabossée devient beaucoup plus facile car vous voyez les fruits brillants et parfaits juste à côté. Les chercheurs ont découvert que cette méthode de « vision groupée » ne rendait pas seulement les juges plus rapides ; elle les rendait aussi plus cohérents et précis. Ils ont découvert que présenter trois traductions à la fois était le point d'équilibre idéal, permettant de gagner environ 31 % de temps tout en améliant la qualité des scores. Ils ont également vérifié que le fait de voir les autres traductions n'incitait pas les juges à être injustes, et ont constaté que le biais était si infime qu'il n'avait aucune importance. En bref, ils ont prouvé que lorsqu'on laisse les juges comparer des options ensemble, tout le monde obtient un résultat meilleur, plus rapide et plus équitable.

L'ancienne méthode : La pomme solitaire

Pendant longtemps, la façon standard de tester les traducteurs IA était l'« évaluation ponctuelle » (pointwise evaluation). Imaginez que vous corrigez une pile de dissertations. Dans l'ancienne méthode, vous prendriez une dissertation, vous la liriez, vous lui donneriez une note, vous la reposeriez, puis vous prendriez la suivante sans jamais regarder en arrière. Vous pourriez donner un 85 à la première parce qu'elle semblait bonne, mais ensuite vous pourriez donner un 90 à la seconde, même si elle était en réalité moins bonne, simplement parce que vous étiez fatigué ou que la première était vraiment mauvaise. C'est ce qu'on appelle le « bruit d'annotation ». C'est comme essayer de juger la température d'une tasse de café en la touchant une seule fois, dans une pièce froide, sans thermomètre. L'article note que cette méthode souffre d'un « bruit de l'annotateur » élevé et qu'elle est très coûteuse car il faut énormément de juges pour obtenir une moyenne fiable.

La nouvelle méthode : Le panier de fruits

Les auteurs, dirigés par Vilém Zouhar et ses collègues, proposent une nouvelle méthode appelée cESA. Au lieu de regarder une traduction dans le vide, l'annotateur voit plusieurs traductions du même texte source en même temps. Pensez-y comme à une approche de « panier de fruits ». Si vous voyez une pomme légèrement cabossée à côté d'une pomme parfaite, vous remarquerez la bosse bien plus rapidement que si vous regardiez la pomme cabossée seule.

Dans ce nouveau système, le juge regarde un texte source (comme une phrase d'une histoire) et voit, par exemple, trois traductions différentes de modèles d'IA pour ce même texte, côte à côte. Le juge procède ensuite ainsi :

1. Il marque des « segments d'erreur » spécifiques (les mots exacts qui sont faux).
2. Il décide si l'erreur est « majeure » (une grosse erreur) ou « mineure » (un petit glissement).
3. Il donne une note de 0 % à 100 % basée sur une échelle claire.

L'article explique que cela fonctionne grâce à un concept psychologique appelé « évaluation conjointe vs séparée ». Lorsque vous voyez des choses ensemble, vous pouvez repérer des erreurs dans une traduction en les comparant aux autres. Cela aide également à comprendre l'« espace des traductions possibles », rendant votre jugement plus objectif. De plus, vous n'avez pas besoin de relire le texte source original encore et encore pour chaque traduction, ce qui permet de gagner un temps considérable.

L'expérience : Tester le panier de fruits

Pour voir si cette nouvelle méthode fonctionnait réellement, les chercheurs ont mené une expérience massive utilisant des traductions de l'anglais vers le japonais. Ils ont testé 12 modèles d'IA différents (incluant des noms importants comme Gemini, Claude et DeepSeek) en utilisant un ensemble de données de 97 segments provenant de l'actualité, des réseaux sociaux et de vidéos.

Ils ont comparé l'ancienne méthode (montrer une traduction à la fois) avec la nouvelle méthode (montrer 1, 2, 3 ou 4 traductions à la fois). Voici ce qu'ils ont trouvé :

• Vitesse : La nouvelle méthode était nettement plus rapide. En présentant trois modèles à la fois (le « point d'équilibre »), le temps moyen d'annotation par segment est passé de 77,8 secondes à 53,7 secondes. Cela représente une réduction de 31 % du temps par élément.
• Qualité : Les scores étaient plus stables. Les chercheurs ont mesuré l'« accord inter-annotateurs » (à quel point deux juges différents étaient d'accord) et l'« accord intra-annotateur » (à quel point un même juge était d'accord avec lui-même lors d'un second essai). La nouvelle méthode présentait un accord plus élevé, ce qui signifie que les juges étaient plus cohérents.
• Le chiffre magique : Ils ont testé la présentation de 1, 2, 3 et 4 modèles à la fois. Ils ont découvert que présenter 3 modèles était le meilleur compromis. Passer de 1 à 2 modèles permettait de gagner beaucoup de temps, mais ajouter un 4ème modèle n'apportait pas beaucoup plus de gain de temps et rendait l'écran un peu trop encombré. Trois était le nombre parfait pour que les juges soient satisfaits et efficaces.

Répondre aux « Et si... » : Les juges sont-ils biaisés ?

Les chercheurs craignaient que le fait de voir les autres traductions ne trompe les juges. Ils se sont demandé : « Si une traduction très mauvaise est placée à côté d'une bonne, est-ce que la bonne paraîtra trop bonne ? Ou si une excellente est à côté d'une mauvaise, est-ce que la mauvaise paraîtra trop mauvaise ? »

Ils ont mené des tests pour vérifier deux types de biais :

1. Biais de position : La traduction située à gauche reçoit-elle un meilleur score que celle de droite ? Les données n'ont montré presque aucune différence selon la position.
2. Biais de voisinage : Le fait de voir un « leurre » (une traduction très mauvaise ou très bonne) change-t-il le score des autres ? Ils ont trouvé un effet minuscule : si un modèle était placé à côté d'un modèle beaucoup plus fort, son score baissait d'environ 0,5 point en moyenne. Cependant, les auteurs notent que cela est dérisoire par rapport aux différences réelles entre les modèles (qui peuvent être de 10 ou 20 points) ; cela n'a donc pas d'importance réelle. C'est comme si un coureur termine 10 secondes après le vainqueur : peu importe s'il a fini 0,5 seconde plus lentement parce qu'il se trouvait à côté d'un champion du monde.

Le verdict

L'article conclut que la méthode cESA est une meilleure façon de juger les traducteurs IA. Elle est plus rapide, moins coûteuse et produit des scores plus fiables. Les auteurs suggèrent que toute personne effectuant une évaluation humaine des traductions devrait passer à l'affichage de trois modèles à la fois. Ils ont même créé un outil simple (appelé Pearmut) que n'importe qui peut utiliser pour appliquer ce nouveau protocole, avec tutoriels et directives à l'appui.

En fin de compte, l'article suggère qu'en laissant les juges comparer des pommes dans un panier plutôt qu'une par une, nous obtenons une image bien plus claire de quel IA est véritablement la meilleure. C'est un changement simple dans notre façon d'observer le travail, mais cela rend tout le processus de jugement des machines beaucoup plus intelligent et adapté à l'humain.