Large Language Models as Annotators for Machine Translation Quality Estimation

Cette étude propose d'utiliser des modèles de langage de grande taille (LLM) pour générer des annotations de type MQM afin d'entraîner un modèle COMET, offrant ainsi une solution rentable et performante pour l'estimation de la qualité de la traduction machine.

L'essentiel

Voici une explication de cette recherche, imagée et simplifiée, comme si nous en discutions autour d'un café.

🌍 Le Problème : Le Traducteur Fatigué et le Chef Exigeant

Imaginez que vous avez un traducteur automatique (comme un robot qui traduit du chinois en anglais). Ce robot fait des erreurs, parfois graves, parfois minimes. Pour l'améliorer, il faut un contrôleur de qualité (un humain) qui lit chaque phrase traduite et note : "C'est parfait", "Il y a une faute de grammaire", ou "Il manque un mot".

Le problème ? Les humains sont lents, chers et fatigués. Ils ne peuvent pas tout vérifier.

D'un autre côté, nous avons des Intelligences Artificielles géantes (les "LLMs" comme GPT-4). Elles sont incroyablement intelligentes et pourraient faire le travail de contrôle. Mais elles sont trop gourmandes en énergie et en argent pour vérifier chaque phrase en direct. C'est comme vouloir payer un chef étoilé 1000 € pour vérifier un sandwich à la cantine : c'est trop cher pour le faire tous les jours.

💡 La Solution : L'Apprentissage par l'Exemple (Le "Stagiaire")

Les auteurs de cette étude ont eu une idée brillante : Et si on utilisait le Chef étoilé (l'IA géante) seulement pour entraîner un apprenti (un petit modèle), au lieu de le faire travailler tout le temps ?

Voici comment ils ont procédé, étape par étape :

1. Le Test de Connaissance (L'Entretien d'embauche)

Avant de se lancer, ils ont interrogé plusieurs IA (GPT-3.5, GPT-4, LLaMA) pour voir si elles comprenaient vraiment le métier de contrôleur de qualité.

• Résultat : Certaines étaient nulles (comme un stagiaire qui ne connaît pas les règles), d'autres excellentes. Ils ont éliminé les moins bonnes.

2. Le Problème de l'Exagération (Le Chef Paranoïaque)

Quand ils ont demandé à l'IA de noter les traductions, ils ont remarqué un truc drôle : l'IA était trop stricte !

• Analogie : Imaginez un professeur de musique qui, au lieu de dire "c'est bien", trouve une fausse note à chaque fois que le chanteur respire. L'IA voyait des erreurs partout, même là où il n'y en avait pas, ou elle les notait comme "catastrophiques" alors que c'était juste un petit détail.
• De plus, l'IA utilisait un langage trop technique et complexe.

3. La Recette Magique (Le Prompt "PPbMQM")

Pour corriger cela, les chercheurs ont créé une recette d'instructions (ce qu'ils appellent un "prompt") très précise. C'est comme donner un manuel de cuisine à l'IA :

• Simplifier le menu : Au lieu de demander 50 types d'erreurs, on ne demande que les 5 plus importantes (comme "Mauvaise précision", "Style bizarre", "Omission").
• La règle des 1 à 5 : Au lieu de dire "C'est grave" ou "C'est léger", on demande à l'IA de donner une note de 1 à 5.
• Le filtre anti-paranoïa : On a décidé que si l'IA donne une note de 1 ou 2 (une erreur minuscule), on l'ignore. On ne garde que les notes 3, 4 et 5. Cela calme l'IA et la rend plus proche de la réalité humaine.

4. L'Entraînement du Robot (Le Apprenti)

Une fois que l'IA géante a généré des milliers de notes "corrigées" et "calibrées" sur des traductions, les chercheurs ont pris ces données pour entraîner un petit modèle (appelé COMET).

• C'est comme si le Chef étoilé (l'IA géante) avait écrit des milliers de fiches de correction, et que l'apprenti (le petit modèle) les avait lues pour apprendre à juger seul.

🏆 Le Résultat : Un Apprenti qui vaut de l'Or

Le petit modèle entraîné avec ces notes "synthétiques" (générées par l'IA) a été testé.

• Le verdict : Il fonctionne aussi bien, voire mieux, que les modèles entraînés par des humains réels !
• Pourquoi ? Parce que l'IA est très cohérente. Les humains, eux, sont parfois d'accord, parfois non (l'un trouve une faute, l'autre non). L'IA, elle, applique toujours la même règle stricte, ce qui aide le petit modèle à apprendre plus vite.

🚀 En Résumé

Cette étude nous dit : "Ne payez pas le Chef étoilé pour travailler tous les jours. Payez-le une fois pour créer un manuel d'instructions parfait, puis laissez l'apprenti faire le travail."

Cela permet de créer des outils de contrôle de qualité pour la traduction qui sont rapides, peu coûteux et très précis, même pour des langues où il y a peu de données humaines disponibles. C'est une victoire pour l'efficacité et l'économie de l'IA !

Résumé technique

Voici un résumé technique détaillé de l'article "Large Language Models as Annotators for Machine Translation Quality Estimation" en français.

1. Problématique

Le domaine de l'Évaluation de la Qualité de la Traduction Automatique (MTQE) a vu l'émergence de métriques basées sur l'apprentissage (comme CometKIWI) qui rivalisent avec les métriques basées sur la référence. Cependant, l'utilisation directe des Grands Modèles de Langage (LLM) comme annotateurs pour la QE pose deux problèmes majeurs :

• Coût et latence : L'inférence des LLM est lente et coûteuse, rendant leur utilisation directe pour annoter de grands volumes de données peu pratique.
• Complexité des annotations : Les schémas d'annotation détaillés comme MQM (Multidimensional Quality Metrics) sont difficiles à opérationnaliser pour les LLM, qui ont tendance à être trop critiques ou à générer des erreurs d'interprétation sur les types d'erreurs spécifiques.

L'objectif de cette recherche est de déterminer si les LLM peuvent être utilisés efficacement pour générer des annotations synthétiques de style MQM afin d'entraîner des modèles de QE appris (comme COMET), offrant ainsi une alternative rentable aux annotations humaines coûteuses.

2. Méthodologie

Les auteurs proposent une approche systématique en plusieurs étapes pour développer un prompt optimisé, nommé PPbMQM (Prompt-Pattern-based-MQM), basé sur GPT-4o.

A. Conception du Prompt (Développement itératif)

Le processus de développement s'est déroulé en quatre phases :

1. Test de connaissances : Évaluation des LLM (GPT-3.5, GPT-4 Turbo, GPT-4o, LLaMA 3) sur leur compréhension de la QE et du schéma MQM. GPT-3.5 a été éliminé en raison de scores faibles.
2. Prompt Zero-Shot : Utilisation d'un prompt initial demandant l'identification d'erreurs avec des types (Accuracy, Fluency, etc.) et des niveaux de sévérité (Majeur/Mineur).
   • Problèmes identifiés : Incohérence des indices de spans (segments d'erreur), taux de parsage faible pour GPT-4 Turbo, et tendance des modèles à être excessivement critiques (trop d'erreurs détectées).
3. Prompt Few-Shot (PPbMQM) : Amélioration du prompt avec :
   • Personas et réflexion : Le modèle est invité à agir comme un traducteur professionnel et à fournir des explications.
   • Format structuré : Sortie obligatoire en JSON.
   • Simplification du schéma MQM : Restriction aux catégories de haut niveau (Accuracy, Fluency, Style, Terminology, Locale Convention) et ajout d'une sous-catégorie Omission.
   • Échelle de sévérité : Remplacement des labels binaires (Majeur/Mineur) par une échelle numérique de 1 à 5. Les scores 4-5 sont mappés à "Majeur" et 1-3 à "Mineur".
   • Filtrage : Pour corriger la tendance des LLM à sur-annoter, les erreurs avec un score de sévérité de 1 ou 2 sont ignorées, ne conservant que les scores 3 (Mineur) et supérieurs.

B. Génération de Données et Entraînement

• Données : Les auteurs ont généré des annotations synthétiques pour 20 703 segments (Chinois-Anglais) et 10 121 segments (Anglais-Allemand) en utilisant le prompt PPbMQM sur GPT-4o.
• Entraînement : Deux modèles COMET-QE (sans référence) ont été entraînés :
  1. Un modèle de base utilisant les annotations MQM humaines (Gold).
  2. Un modèle utilisant les annotations synthétiques PPbMQM générées par le LLM.

3. Contributions Clés

• Méthode PPbMQM : Introduction d'un prompt few-shot optimisé qui intègre une échelle de sévérité pour mieux aligner les LLM sur le jugement humain, réduisant ainsi le bruit des erreurs mineures.
• Analyse de la sévérité : Démonstration que les LLM sont intrinsèquement plus sévères que les annotateurs humains. L'utilisation d'une échelle de 1 à 5 permet de calibrer cette sévérité et d'améliorer la corrélation avec les jugements humains.
• Génération de données synthétiques : Validation que les annotations générées par GPT-4o peuvent servir de données d'entraînement de haute qualité pour des métriques de QE apprises, en particulier pour des paires de langues où les annotations MQM humaines sont rares.

4. Résultats

Les résultats sont évalués via des métriques de corrélation (Pearson, Spearman, Kendall) entre les scores du modèle et les annotations humaines de référence.

• Performance Globale : Les modèles COMET entraînés sur les données synthétiques PPbMQM obtiennent des performances comparables, voire supérieures dans certains cas, à ceux entraînés sur des données humaines.
  • Pour le couple Chinois-Anglais, le modèle PPbMQM atteint une corrélation de Pearson de 0.513 contre 0.470 pour le modèle Gold (sur l'ensemble des données).
  • Pour le couple Anglais-Allemand, les résultats sont également compétitifs.
• Segmentation par Qualité : L'avantage est particulièrement marqué sur les segments de basse qualité (les 25 % inférieurs). Dans cette catégorie, le modèle entraîné sur PPbMQM surpasse systématiquement le modèle entraîné sur des données humaines pour toutes les métriques de corrélation.
  • Interprétation : Les annotations LLM, étant plus cohérentes et moins sujettes aux variations inter-annotateurs humaines (faible accord inter-annotateurs observé sur les données de référence), sont mieux exploitées par le modèle COMET pour détecter les erreurs graves.
• Métriques de Spans : Bien que les LLM détectent plus d'erreurs que les humains (taux de faux positifs sur les erreurs mineures), la corrélation globale des scores de qualité reste forte grâce au filtrage des scores de sévérité bas.

5. Signification et Implications

• Accessibilité des données d'entraînement : Cette approche ouvre la voie à l'entraînement de modèles de QE performants pour des paires de langues à faible ressources, où l'obtention d'annotations MQM humaines est impossible ou trop coûteuse.
• Post-édition automatique : La capacité supérieure du modèle à détecter les erreurs dans les segments de mauvaise qualité est cruciale pour les systèmes de post-édition automatique (APE), où l'identification précise des erreurs graves est prioritaire.
• Optimisation du coût : En utilisant un LLM uniquement pour générer des données d'entraînement (une fois), puis en déployant un modèle COMET léger et rapide pour l'inférence en production, l'approche surmonte les barrières de coût et de latence liées à l'utilisation directe des LLM pour la QE.

Limites notées par les auteurs : Risque de fuite de données (les données de test ayant pu être vues par le LLM lors de son entraînement), couverture limitée à deux paires de langues et quelques domaines (actualités, e-commerce, etc.), et nécessité de tester plusieurs initialisations pour la robustesse statistique.

En conclusion, l'article démontre que les LLM, lorsqu'ils sont guidés par un prompt structuré et une échelle de sévérité adaptée, peuvent servir d'annotateurs efficaces pour créer des données d'entraînement de haute qualité, permettant de former des métriques de QE compétitives sans dépendre entièrement d'annotations humaines massives.