Just Use XML: Revisiting Joint Translation and Label Projection

Ce papier présente LabelPigeon, un cadre novateur utilisant des balises XML pour réaliser simultanément la traduction et la projection d'annotations, démontrant ainsi que cette approche conjointe améliore à la fois la qualité de la traduction et les performances de transfert interlingue sur des tâches comme la reconnaissance d'entités nommées, contrairement aux méthodes précédentes.

L'essentiel

Le Problème : Traduire et Étiqueter, c'est comme cuisiner avec les yeux bandés

Imaginez que vous avez un livre de recettes très célèbre écrit en anglais (une langue riche en ressources). Vous voulez le traduire en 200 autres langues pour que tout le monde puisse cuisiner. Mais il y a un hic : dans ce livre, certains ingrédients importants sont entourés de boîtes en carton (les étiquettes) pour dire "Attention, c'est un ingrédient spécial".

Le problème, c'est que les traducteurs automatiques classiques sont très forts pour traduire le texte, mais ils ont tendance à oublier les boîtes en carton ou à les mettre au mauvais endroit quand ils traduisent.

Jusqu'à présent, la méthode habituelle était la suivante :

1. Le traducteur traduit tout le texte (en oubliant les boîtes).
2. Un deuxième robot, très lent et compliqué, essaie de deviner où remettre les boîtes en carton dans le texte traduit en regardant les mots un par un.

C'est comme si vous faisiez un gâteau, puis que quelqu'un venait après coup essayer de coller des décorations dessus avec du scotch. Ça marche, mais le gâteau peut être abîmé, et c'est long.

La Solution : LabelPigeon, le Chef qui porte des gants de cuisine

Les auteurs de cet article, Thennal, Chris et Hans, ont dit : "Et si on demandait au traducteur de garder les boîtes en carton pendant qu'il traduit ?"

Ils ont créé un outil appelé LabelPigeon. Voici comment ça marche avec une analogie simple :

Imaginez que vous traduisez un texte, mais que vous utilisez un langage spécial où chaque mot important est entouré de balises XML (comme <pomme>, <poire>, <chocolat>).

Au lieu de traduire le texte puis d'essayer de remettre les étiquettes, LabelPigeon apprend à dire : "Ah, je vois <pomme>, je vais traduire 'pomme' par 'pomme' et je garde la balise <pomme> autour du mot français."

C'est comme si le traducteur portait des gants de cuisine spéciaux : dès qu'il touche un ingrédient étiqueté, il le manipule avec soin pour qu'il arrive intact dans le nouveau pays, tout en traduisant le reste du texte parfaitement.

Pourquoi c'est une révolution ? (La surprise)

Jusqu'à présent, les experts pensaient que mettre des étiquettes dans le texte pendant la traduction était une mauvaise idée. Ils croyaient que ça rendait la traduction moins fluide, comme si on parlait avec un bouchon dans la bouche.

Leur découverte ? C'est faux !
En entraînant le modèle (le "cerveau" de l'ordinateur) avec des textes qui ont déjà ces étiquettes, ils ont vu deux choses incroyables :

1. Les étiquettes sont parfaites : Elles arrivent exactement au bon endroit, même si elles sont emboîtées les unes dans les autres (comme des poupées russes).
2. La traduction est MEILLEURE : Paradoxalement, le fait de forcer le modèle à faire attention aux étiquettes l'aide à mieux comprendre la structure de la phrase. C'est comme si le chef, en se concentrant sur les ingrédients spéciaux, cuisinait tout le plat avec plus de précision.

Les Résultats en Bref

Ils ont testé leur méthode sur 200 langues (du swahili au chinois en passant par le tagalog) et sur trois tâches différentes (reconnaître des noms propres, répondre à des questions, comprendre qui parle de qui).

• Résultat : LabelPigeon bat tous les anciens systèmes.
• Gain : Sur certaines tâches, ils ont gagné jusqu'à 40 points de plus que les méthodes précédentes. C'est énorme !
• Vitesse : C'est aussi beaucoup plus rapide car ils n'ont plus besoin de deux robots (un pour traduire, un pour étiqueter). Un seul robot fait tout d'un coup.

En Résumé

Imaginez que vous deviez déménager une maison remplie de meubles fragiles (les étiquettes) dans un autre pays (la traduction).

• L'ancienne méthode : On déménage tout, puis on essaie de remettre les meubles fragiles à leur place en espérant qu'ils ne sont pas cassés.
• LabelPigeon : On demande au camion de déménagement de conduire doucement et de garder les meubles fragiles bien attachés pendant tout le trajet.

Le résultat ? La maison arrive intacte, et le trajet a même été plus fluide. C'est une méthode simple, efficace et qui rend les technologies de langage beaucoup plus accessibles pour les langues qui en ont le plus besoin.

Résumé technique

1. Problématique

Le transfert interlingual de tâches NLP nécessitant des annotations de type "span" (comme la reconnaissance d'entités nommées - NER, l'extraction d'arguments d'événements, ou la résolution de coréférence) repose souvent sur la projection de labels. Cette technique consiste à traduire des données annotées d'une langue à forte ressource (ex: anglais) vers une langue à faible ressource, tout en préservant les étiquettes sur les segments correspondants.

Historiquement, deux approches se sont affrontées :

• Approche séquentielle : Traduction d'abord, puis projection des labels via des modèles d'alignement de mots.
• Approche conjointe (précédente) : Traduction et projection simultanées en insérant des marqueurs (comme des crochets []) dans le texte source avant la traduction.

Le problème majeur identifié dans la littérature récente (notamment par Chen et al., 2023) est que l'approche conjointe, bien qu'efficace pour la projection, dégradait systématiquement la qualité de la traduction. Par conséquent, la communauté a abandonné cette méthode au profit de pipelines complexes à plusieurs étapes (traduction + projection séparée ou utilisation de LLMs contextuels), augmentant ainsi la charge computationnelle et l'ingénierie logicielle.

2. Méthodologie : LabelPigeon

Les auteurs proposent LabelPigeon, un cadre novateur qui réévalue l'hypothèse selon laquelle les marqueurs nuisent inévitablement à la qualité de la traduction. Leur approche repose sur trois piliers :

• Utilisation de balises XML : Contrairement aux crochets simples utilisés précédemment, LabelPigeon utilise des balises XML sémantiques (ex: <a>, <b>, <f>). Ces balises offrent une correspondance directe entre les spans source et cible, gèrent élégamment les imbriquements et les chevauchements, et évitent les erreurs d'appariement par correspondance de chaînes floue.
• Fine-tuning sur des données de haute qualité : Au lieu de générer des données synthétiques, les auteurs utilisent le jeu de données Salesforce Localization XML MT (Hashimoto et al., 2019), un corpus parallèle de haute qualité contenant des balises XML naturelles.
  • Prétraitement : Les balises d'interface utilisateur spécifiques sont remplacées par des balises alphanumériques génériques (<a>, <b>, etc.) pour généraliser la méthode à n'importe quel type de label.
  • Entraînement : Le modèle de base NLLB-200 (3.3B paramètres) est fine-tuné sur ce corpus modifié. Les auteurs ont trouvé que l'entraînement sur trois langues à forte ressource (Allemand, Russe, Chinois) offrait le meilleur équilibre, évitant l'oubli catastrophique observé lors de l'entraînement sur sept langues.
• Inférence simple : Le processus consiste à insérer les balises XML sur les spans annotés, à traduire le texte avec le modèle fine-tuné, puis à extraire les balises via un analyseur XML standard. Cela ne nécessite qu'un seul passage avant (forward pass), sans surcharge computationnelle à l'inférence.

3. Contributions Clés

1. Réfutation de l'hypothèse de dégradation : L'article démontre que, avec un entraînement approprié et le bon choix de marqueurs (XML), la projection conjointe peut améliorer la qualité de la traduction plutôt que de la dégrader.
2. Nouveau schéma d'évaluation directe : Les auteurs introduisent une méthode d'évaluation directe de la projection de labels (sur XQuAD et MLQA) utilisant des métriques de similarité de chaînes (F1 de correspondance de labels), comblant ainsi un vide dans la littérature où l'évaluation se faisait uniquement via des tâches en aval.
3. LabelPigeon : Une méthode simple, efficace et sans surcoût d'inférence qui surpasse les pipelines multi-étapes complexes.

4. Résultats Expérimentaux

Les résultats sont évalués sur trois niveaux :

• Évaluation directe de la projection (11 langues) :

  • LabelPigeon obtient le meilleur score F1 de correspondance de labels (79,2 % sur XQuAD, 79,9 % sur MLQA), surpassant les méthodes d'alignement (Awesome-align) et les méthodes basées sur des marqueurs précédentes (EasyProject).
  • Surprenant, le modèle améliore également les scores COMET (qualité de traduction) par rapport au modèle de base NLLB, même sur des langues non vues pendant le fine-tuning.

• Impact sur la qualité de traduction (203 langues) :

  • Sur le jeu de données FLORES-200 avec des marqueurs insérés synthétiquement, LabelPigeon maintient ou améliore les scores BLEU et chrF++ par rapport au modèle de base, même avec des marqueurs imbriqués complexes.
  • L'analyse montre que l'amélioration provient principalement du fine-tuning supplémentaire sur des données structurées, et non de la présence des marqueurs eux-mêmes.

• Tâches en aval (27 langues) :

  • NER (Reconnaissance d'entités nommées) : Gains substantiels, avec une amélioration moyenne de +14,2 points F1 et des gains spectaculaires sur des langues à faible ressource (ex: +39,9 pour le Tagalog).
  • Résolution de coréférence : Amélioration significative par rapport aux méthodes de base, bien que la tâche reste difficile.
  • Question Réponse (QA) : Performances comparables ou légèrement supérieures à EasyProject.

5. Signification et Impact

Ce travail est significatif car il remet en cause un paradigme établi dans le domaine du transfert interlingual. Il démontre que :

• La séparation stricte entre traduction et projection de labels n'est pas nécessaire.
• L'utilisation de données d'entraînement de haute qualité (XML natif) et d'un fine-tuning ciblé permet de surmonter les défis de la traduction de texte annoté.
• Une approche simple ("Just Use XML") peut surpasser des pipelines complexes basés sur des LLMs ou des contraintes de décodage, offrant une solution efficace, économiquement viable et facile à déployer pour l'annotation de langues à faible ressource.

En conclusion, les auteurs prouvent que la projection de labels conjointe via XML est non seulement viable, mais supérieure, offrant un transfert de connaissances de haute qualité sans compromettre la fluidité de la traduction.