Source-Free MT Evaluation Is Not MT Evaluation
Cet article soutient que l'évaluation de la traduction automatique doit être fondamentalement ancrée dans la langue source pour garantir l'adéquation, appelant à un changement de paradigme où l'estimation de la qualité est traitée comme une méthode d'évaluation primaire et où les références ne sont utilisées que comme preuves auxiliaires plutôt que comme norme dominante.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'informatique qui traduit les langues, il existe un besoin constant de savoir si la machine fait du bon travail. Imaginez un traducteur qui parle deux langues ; nous avons besoin d'un moyen de vérifier si ce qu'il a écrit dans la seconde langue signifie réellement la même chose que ce qui a été dit dans la première. Pendant des décennies, la méthode standard pour vérifier cela a consisté à comparer la production de la machine à un exemple écrit par un humain de ce à quoi la traduction devrait ressembler. Cet exemple humain est appelé une référence. Si les mots de l'ordinateur correspondent étroitement aux mots de l'humain, le système obtient un score élevé. Cette méthode fonctionne bien pour vérifier si la traduction semble naturelle et grammaticalement correcte dans la nouvelle langue. Cependant, elle possède un angle mort : elle ne peut pas facilement dire si la traduction est fidèle au sens original si l'ordinateur a choisi des mots différents de ceux de l'humain. Une traduction peut être parfaite en termes de sens mais paraître très différente de l'exemple humain, et selon les anciennes règles, elle serait punie pour cette différence.
Une équipe de chercheurs de l'Inde s'est lancée dans l'investigation pour savoir si les outils les plus avancés utilisés aujourd'hui examinent réellement le sens original, ou s'ils sont simplement obsédés par l'appariement avec l'exemple humain. Ils se sont concentrés sur un type spécifique d'outil d'évaluation qui est censé examiner trois choses à la fois : la phrase originale, la traduction de la machine et la référence humaine. Les chercheurs voulaient savoir si ces outils utilisaient véritablement la phrase originale comme guide principal pour juger de l'exactitude, ou s'ils laissaient secrètement la référence humaine dicter le score. Pour le découvrir, ils ont conçu un test ingénieux où ils ont pris une traduction parfaite et ont remplacé soit la phrase originale, soit la référence humaine par quelque chose qui ne correspondait pas. Si un outil est véritablement ancré dans le sens original, changer la phrase originale devrait nuire beaucoup plus à son score que de changer la référence humaine. Si l'outil est biaisé en faveur de la référence, il paniquera lorsque la référence change, même si la traduction fait toujours sens avec l'original.
Les résultats de cette enquête ont révélé une faille surprenante et systématique dans le fonctionnement de ces outils avancés. Lorsque les chercheurs ont testé un outil populaire appelé COMET, ils ont constaté que le changement de la référence humaine faisait chuter le score de manière spectaculaire, tandis que le changement de la phrase originale ne faisait presque aucune différence. En fait, pour presque chaque exemple testé, l'outil était plus de dix fois plus sensible aux changements de la référence humaine qu'aux changements du texte original. Cela signifie que l'outil traitait la référence humaine comme la vérité absolue, plutôt que de traiter la phrase originale comme l'autorité. Même lorsque la traduction de la machine était parfaitement correcte selon la phrase originale, l'outil lui donnait un score terrible simplement parce qu'elle ne correspondait pas à la référence humaine. Les chercheurs ont testé d'autres outils sophistiqués également. L'un d'eux, XCOMET-XXL, prêtait plus attention à la phrase originale que COMET, mais réagissait tout de même beaucoup plus fortement aux changements de la référence humaine. Un autre outil, MetricX, présentait un tableau mitigé : il était fortement biaisé en faveur de la référence lors de la traduction vers l'anglais, mais se comportait de manière plus équitable lors de la traduction de l'anglais vers d'autres langues.
L'étude a également examiné comment les grands modèles de langage, ces systèmes d'intelligence artificielle puissants capables d'écrire et de raisonner, agissent en tant que juges. Lorsque ces modèles sont sollicités pour noter des traductions, ils performent souvent mieux lorsqu'on leur permet de comparer la production de la machine à une référence humaine, plutôt qu'en regardant simplement la phrase originale. Cela suggère que les modèles trouvent plus facile de repérer des similitudes entre deux textes dans une même langue que de déterminer si un texte dans une langue correspond véritablement à un texte dans une autre. Les chercheurs ont découvert que lorsque la phrase originale et la référence humaine divergeaient, les modèles avaient tendance à prendre parti pour la référence, ignorant le sens original. C'est un problème critique car la phrase originale est la seule chose qui définit ce que la traduction est censée signifier. Si une traduction préserve le sens original mais diffère de la référence humaine, c'est une bonne traduction. Si une traduction correspond à la référence humaine mais modifie le sens original, c'est une mauvaise traduction.
Les auteurs soutiennent que l'ensemble du domaine a abordé ce problème à l'envers. Actuellement, les chercheurs traitent la référence humaine comme la norme de référence (gold standard) et considèrent la phrase originale comme un simple plan de secours lorsqu'une référence manque. Le document suggère d'inverser cette relation. La phrase originale devrait être l'autorité primaire pour juger si une traduction est exacte, et la référence humaine devrait être traitée comme un simple exemple possible de la façon dont ce sens pourrait être exprimé. Les chercheurs soulignent qu'une seule référence humaine ne peut jamais capturer toutes les manières dont une phrase pourrait être traduite. Elle peut faire des choix de grammaire ou de style qui ne sont pas requis par le texte original. En s'appuyant trop lourdement sur la référence, les outils d'évaluation punissent les traductions qui sont fidèles à la source mais différentes de l'exemple humain.
Cette recherche ne dit pas que les références humaines sont inutiles. Elles sont toujours très utiles pour vérifier si une traduction semble naturelle et fluide. Cependant, l'étude conclut que tout système qui retire la phrase originale du processus d'évaluation, ou qui permet à la référence humaine de l'emporter sur le sens original, est fondamentalement incomplet. Les chercheurs appellent à une nouvelle approche où les outils d'évaluation sont explicitement conçus pour prioriser la relation entre la phrase originale et la production de la machine. Ils suggèrent que les futurs outils devraient être testés pour s'assurer qu'ils réagissent fortement lorsque le sens original est modifié, et qu'ils traitent la référence humaine comme un indice utile plutôt que comme le dernier mot. Tant que ce changement n'aura pas lieu, les scores que nous voyons pour les systèmes de traduction automatique pourraient mesurer la capacité d'un ordinateur à imiter un auteur humain spécifique, plutôt que sa capacité à comprendre et à préserver le message original.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.