Using Optimal Transport as Alignment Objective for fine-tuning Multilingual Contextualized Embeddings

Cet article propose d'utiliser le transport optimal comme objectif d'alignement pour le fine-tuning des embeddings contextuels multilingues, permettant un apprentissage non supervisé des correspondances lexicales dans leur contexte et améliorant ainsi les performances des tâches de transfert interlingual.

L'essentiel

Imaginez que vous avez deux bibliothèques géantes : l'une contient des livres en français, l'autre en japonais. Chaque livre est écrit par un auteur différent, avec un style unique. Votre but est de créer un "traducteur" intelligent capable de comprendre que l'histoire d'un livre français est la même que celle d'un livre japonais, même si les mots sont totalement différents.

C'est exactement ce que font les chercheurs d'Amazon dans cet article, mais avec des ordinateurs et des langues du monde entier. Voici comment ils ont fait, expliqué simplement :

1. Le Problème : Les Traducteurs "Bêtes"

Jusqu'à présent, pour apprendre à un ordinateur à comprendre plusieurs langues, on lui donnait souvent des listes de mots correspondants (comme un dictionnaire : "Chat" = "Neko").

• Le problème : C'est trop rigide. Dans la vraie vie, le mot "match" en anglais peut signifier un "match" de cricket ou un "match" de chaussures qui vont ensemble. Un simple dictionnaire ne voit pas la différence. De plus, faire ces listes à la main ou avec des outils automatiques prend du temps et fait des erreurs.

2. La Solution : Le Transport Optimal (OT)

Les auteurs proposent une nouvelle méthode appelée Transport Optimal. Pour comprendre, faisons une analogie avec des déménageurs.

Imaginez que vous avez un camion rempli de meubles (les mots de la phrase en français) et que vous devez les placer dans une nouvelle maison (la phrase en japonais).

• L'ancienne méthode : Vous aviez une liste stricte : "Le canapé va dans le salon, la table dans la cuisine". Si la liste était mauvaise, tout le déménagement était raté.
• La nouvelle méthode (Transport Optimal) : Au lieu d'avoir une liste fixe, vous laissez le camion "sentir" la maison. Le camion calcule automatiquement le chemin le plus efficace pour déplacer chaque meuble, même si cela signifie qu'un grand meuble (un mot complexe) doit être décomposé en plusieurs petits, ou que plusieurs petits meubles (mots simples) doivent être regroupés pour former un grand.

Le "Transport Optimal" est comme un GPS ultra-intelligent qui trouve le chemin le moins coûteux (le plus logique) pour transformer une phrase dans une langue en une phrase dans une autre, en tenant compte du contexte.

3. Comment ça marche en pratique ?

Au lieu de forcer l'ordinateur à apprendre des paires de mots à l'avance, ils lui donnent des paires de phrases (une phrase en anglais, sa traduction en espagnol, par exemple) et lui disent :

"Regarde ces deux phrases. Calcule le coût le plus bas pour transformer les mots de la phrase A en mots de la phrase B, en tenant compte de tout le contexte."

L'ordinateur utilise ce calcul (le "coût") comme un signal d'entraînement. C'est comme si le GPS disait : "Tu as fait un détour inutile, corrige ta route !". L'ordinateur ajuste alors sa compréhension des mots pour que, la prochaine fois, le trajet soit plus direct et plus logique.

4. Les Résultats : Pourquoi c'est génial ?

Cette méthode a deux grands avantages :

1. Pas besoin de dictionnaire : L'ordinateur apprend à aligner les mots tout seul, en observant les phrases. Il comprend que "match" de cricket et "match" de chaussures sont différents, car le contexte change la façon dont les mots sont déplacés.
2. Flexibilité : Elle accepte que plusieurs mots d'une langue correspondent à un seul mot dans l'autre (ou l'inverse), ce qui est très courant dans les langues réelles.

Le verdict ?
Quand ils ont testé cette méthode sur deux tâches difficiles (comprendre si deux phrases disent la même chose, et répondre à des questions dans un texte), leur système a battu les meilleurs systèmes existants. C'est comme si leur déménageur avait appris à ranger la maison beaucoup plus vite et plus proprement que les autres, même sans avoir de manuel d'instructions préalable.

En résumé

Les chercheurs ont remplacé les vieux dictionnaires rigides par un système de navigation dynamique. Au lieu de dire "ce mot signifie ça", ils disent "voici le chemin le plus logique pour transformer cette idée en une autre". Cela permet aux ordinateurs de mieux comprendre les nuances, les contextes et les subtilités des langues, même pour celles qui ont peu de ressources numériques.

Résumé technique

1. Problématique

Les représentations de mots contextualisées (comme celles générées par BERT multilingue, mBERT) ont considérablement amélioré les performances en NLP. Cependant, le transfert inter-langue, en particulier pour les langues à ressources limitées, reste un défi.

Les méthodes existantes pour aligner les espaces d'embeddings de différentes langues souffrent de plusieurs limitations :

• Dépendance aux paires de mots pré-calculées : La plupart des approches d'alignement (comme l'objectif L2 ou les méthodes basées sur Procruste) nécessitent des paires de mots alignés (source-cible) générées préalablement par des aligneurs non supervisés (ex: FastAlign).
• Alignements rigides (1-to-1) : Ces aligneurs pré-calculés imposent souvent des contraintes d'alignement un-à-un, ce qui est insuffisant pour capturer des relations linguistiques complexes comme les correspondances un-à-plusieurs ou plusieurs-à-un (ex: un mot composé dans une langue correspondant à une phrase dans une autre).
• Perte d'information contextuelle : Les alignements statiques ne tiennent pas toujours compte du contexte spécifique dans lequel un mot apparaît, ce qui est crucial pour les embeddings contextualisés.

L'objectif de cet article est de proposer une méthode d'alignement non supervisée, capable d'apprendre les alignements de mots au sein du contexte pendant le fine-tuning, sans nécessiter de paires de mots pré-étiquetées.

2. Méthodologie : Le Transport Optimal (OT)

Les auteurs proposent d'utiliser le Transport Optimal (OT), et plus spécifiquement la divergence de Sinkhorn, comme fonction de perte pour guider le fine-tuning d'un modèle de langage multilingue pré-entraîné (mBERT).

Principes clés :

• Alignement Soft (Doux) : Contrairement aux méthodes précédentes qui cherchent une correspondance stricte, l'OT permet des correspondances "soft" (probabilistes). Cela signifie qu'un mot source peut être aligné sur plusieurs mots cibles avec des poids différents, capturant ainsi des relations sémantiques et syntaxiques complexes (un-à-plusieurs, plusieurs-à-un).
• Apprentissage End-to-End : Le modèle n'a pas besoin de paires d'alignement externes. Au lieu de cela, l'OT est optimisé directement sur les embeddings contextuels des phrases parallèles pendant le processus de fine-tuning.
• Fonction de Perte :
  1. Pour chaque paire de phrases parallèles (source et cible), les représentations des mots sont extraites de la dernière couche du LM.
  2. Un problème de transport optimal est résolu pour minimiser le coût de transfert de la distribution des mots source vers la distribution des mots cibles.
  3. La perte totale combine la divergence de Sinkhorn (coût de transport) et un terme de régularisation L2 pour éviter que les embeddings de la langue cible ne s'éloignent trop de leur état initial.
  4. La formule de la perte inclut la divergence de Sinkhorn $S_\epsilon(\alpha, \beta)$ et une pénalité de régularisation sur le déplacement des embeddings.

Configuration Expérimentale :

• Données : Utilisation de corpus parallèles (environ 32M de paires de phrases, 250k utilisées par langue pour l'entraînement). L'anglais est utilisé comme langue cible fixe.
• Modèle : Basé sur mBERT (entraîné sur 104 langues).
• Optimisation : Utilisation de l'algorithme itératif de Sinkhorn pour résoudre le problème d'OT sur des mini-batches de phrases parallèles.

3. Contributions Clés

1. Alignement Non Supervisé sans Paires Pré-calculées : Élimination du besoin d'aligneurs externes (comme FastAlign) et de paires de mots pré-collectées, permettant d'apprendre les alignements directement à partir des données parallèles brutes.
2. Flexibilité des Correspondances : Capacité à gérer des mappings many-to-many (plusieurs-à-plusieurs) grâce à la nature probabiliste du transport optimal, ce qui est plus adapté à la complexité linguistique que les mappings 1-to-1.
3. Intégration dans l'Espace Contextuel : Application de l'OT directement sur les embeddings contextuels (et non statiques), permettant de capturer des informations sémantiques et syntaxiques dynamiques.
4. Performance : Démonstration de gains significatifs sur des tâches de transfert inter-langue en configuration "zero-shot".

4. Résultats

Les méthodes ont été évaluées sur deux tâches principales du benchmark XTREME :

• XNLI (Inférence de texte naturel) : Classification de la relation entre deux phrases (implication, neutralité, contradiction).
• XQuAD (Réponse à des questions) : Identification d'un segment de texte contenant la réponse.

Performances principales (moyenne sur les langues vues) :

• XNLI : Le modèle proposé (WordOT) atteint un score F1 de 75.4, contre 71.9 pour mBERT de base (+1.9%) et 74.6 pour la méthode de référence L2 (+0.8%).
• XQuAD : Le modèle WordOT atteint un score F1 de 74.7 et un EM (Exact Match) de 59.0, surpassant mBERT (F1 73.1, EM 57.0) et L2 (F1 68.0, EM 51.6).
• Comparaison avec l'état de l'art : Les résultats sont compétitifs par rapport à des modèles récents comme AMBER et MAD-X, bien que légèrement inférieurs à XLMR (qui est pré-entraîné sur des données massives).

Analyse des langues à ressources limitées :

• L'ajout de plus de langues (15 au lieu de 5) pendant le fine-tuning améliore les performances sur certaines langues à très faibles ressources (Hindi, Swahili, Turc), bien que cela puisse légèrement réduire la moyenne globale sur les tâches difficiles comme XQuAD en raison de la complexité des différences linguistiques.
• La méthode est robuste même avec des quantités réduites de données parallèles (50k phrases suffisent pour obtenir des performances proches de celles obtenues avec 250k).

5. Signification et Limites

Signification :
Ce travail démontre que le Transport Optimal est un outil puissant pour l'alignement d'espaces d'embeddings multilingues. En évitant les heuristiques d'alignement pré-calculées et en permettant des correspondances flexibles, la méthode améliore la capacité des modèles à transférer des connaissances entre langues, en particulier pour les langues à faibles ressources où les données d'alignement sont rares.

Limites et Perspectives :

• Complexité Computationnelle : Le calcul de l'OT est plus coûteux que les méthodes basées sur L2 (environ 30% de temps d'entraînement en plus) car il doit évaluer les combinaisons de mots source-cible à chaque étape.
• Qualité des Alignements : Bien que l'OT apprenne des alignements contextuels, il peut parfois produire des erreurs si les phrases parallèles ne sont pas de haute qualité ou si la structure syntaxique est très différente (ex: ordre des mots).
• Futur : Les auteurs suggèrent d'explorer d'autres variantes de l'OT (comme Gromov-Wasserstein) pour aligner des espaces de géométrie différente et d'intégrer d'autres objectifs de supervision croisée.

En résumé, cette étude propose une avancée méthodologique significative en remplaçant les alignements statiques et rigides par un apprentissage dynamique et probabiliste des correspondances inter-langues, offrant de meilleures performances pour le transfert de modèles multilingues.