Résumé technique : Affinage par apprentissage par renforcement sans référence pour la traduction automatique

Énoncé du problème

La traduction automatique (TA) en production est dominée par les modèles séquence-à-séquence (Seq2Seq) encodeur-décodeur en raison de leur efficacité et de leurs capacités d'alignement. Cependant, les récentes avancées en apprentissage par renforcement (RL) pour l'affinage, spécifiquement l'optimisation de politique relative par groupes (GRPO), ont été appliquées presque exclusivement aux grands modèles de langage (LLM) à décodeur unique avec $\ge$7 milliards de paramètres. Ces modèles sont souvent peu pratiques pour un déploiement en production à travers la longue traîne des paires de langues du monde en raison des contraintes computationnelles. De plus, les approches RL existantes pour la TA reposent généralement sur des données parallèles ou des références dans la langue cible pour les signaux de récompense, limitant ainsi leur applicabilité dans les scénarios à faibles ressources. Il manque une étude systématique concernant l'efficacité du GRPO sur des architectures encodeur-décodeur efficaces utilisant des signaux de récompense sans référence.

Méthodologie

Les auteurs proposent un pipeline d'affinage par RL sans référence pour le modèle encodeur-décodeur NLLB-200 (600 millions et 1,3 milliard de paramètres) en utilisant l'optimisation de politique relative par groupes (GRPO).

1. Politique et optimisation :

• Modèle : Le modèle de base est NLLB-200. L'entraînement utilise une quantification sur 4 bits (NF4) et une adaptation à faible rang (LoRA) appliquée aux projections de requête et de valeur, permettant l'entraînement sur une seule GPU NVIDIA A10G.
• Algorithme : Le GRPO est employé pour éliminer le besoin d'un modèle de valeur séparé, réduisant ainsi la surcharge mémoire. L'avantage $A_i$ pour chaque hypothèse est estimé à partir de la variation de récompense intra-groupe :
  $$A_i = \frac{r_i - \text{moyenne}(r)}{\text{écart-type}(r) + \epsilon}$$
  où $\epsilon = 10^{-4}$ empêche l'amplification du bruit. La politique est mise à jour via un objectif de substitution PPO tronqué avec une pénalité KL pour empêcher l'écart par rapport au modèle de référence. Le modèle de référence ($\pi_{ref}$) est obtenu en désactivant les adaptateurs LoRA sur le même modèle, évitant ainsi le besoin d'un modèle de référence séparé.

2. Récompense hybride sans référence :
Le signal de récompense ne nécessite aucune donnée parallèle au moment de l'affinage, reposant plutôt sur du texte source monolingue. Il combine deux estimateurs de qualité préentraînés :

• LaBSE : Fournit une adéquation sémantique interlinguale via la similarité cosinus entre les embeddings source et hypothèse.
• COMET-Kiwi : Fournit une estimation de qualité apprise basée sur des annotations d'évaluation directe.
• Récompense hybride : La récompense finale est une moyenne pondérée également ($0,5/0,5$) des scores LaBSE et COMET-Kiwi. Cette combinaison est conçue pour équilibrer la fluidité et la fidélité tout en atténuant les limites des estimateurs individuels sur les langues sous-représentées.

3. Conception expérimentale :

• Expérience A (Évaluation systématique) : Entraîné sur les splits de développement de FLORES-200 (côté source uniquement) à travers 13 langues typologiquement diverses. Évalué par rapport à une base non affinée et à des bases d'affinage supervisé (SFT) (1-époque et 3-époques).
• Expérience B (Transfert inter-domaine) : Entraîné sur 10 000 phrases anglaises monolingues issues de CCNews. Évalué sur FLORES-200 (hors domaine) et NTREX-128 (domaine de l'actualité).
• Ablations : Investigation de la force de régularisation KL ($\beta$) et de la taille des données d'entraînement ($N$).

Résultats clés

1. Gains sans référence constants :
Le GRPO a produit des améliorations constantes par rapport à la base sur les 13 langues et les deux échelles de modèles (600M et 1,3B) sans aucune donnée dans la langue cible.

• Gain maximal : Le chinois traditionnel a montré la plus grande amélioration (+5,03 chrF++ sur le modèle 1,3B).
• Compétitivité avec la SFT : Sur les langues à morphologie complexe avec des bases faibles (par exemple, basque, bengali, swahili), le GRPO a surpassé ou égalé la SFT sur 1-époque et est resté compétitif avec la SFT sur 3-époques, malgré le fait que cette dernière avait accès à des données cibles parallèles pendant l'entraînement.

2. Motif de gain empirique :
L'étude a identifié un motif constant où l'ampleur des gains est la plus grande là où :

• La performance de base est la plus faible.
• La discriminabilité de la récompense (la capacité du modèle de récompense à distinguer les différences de qualité) est la plus élevée.
  Ce motif s'est vérifié pour les langues source anglaise et espagnole, suggérant que les gains sont pilotés par les propriétés de la langue cible plutôt que par des dynamiques d'entraînement spécifiques à la source.

3. Mise à l'échelle du modèle et modes de défaillance :

• Mise à l'échelle : Le modèle 1,3B a généralement surpassé le modèle 600M, bien que certaines langues (par exemple, tibétain, yoruba) aient montré une « mise à l'échelle inversée » où le modèle plus petit performait mieux, agissant potentiellement comme un régularisateur implicite contre les signaux de récompense bruyants.
• Arabe : A systématiquement échoué à s'améliorer, attribué à une base forte (laissant peu de marge), à une morphologie de type racine que COMET-Kiwi peine à évaluer, et à un décalage de domaine.
• Tibétain : A présenté un effondrement de la variance de récompense lors d'un entraînement prolongé (Expérience B), où les hypothèses ont convergé vers des scores similaires, causant une instabilité numérique. Cela a nécessité une sélection du meilleur point de contrôle pour atténuer le problème.

4. Accessibilité pratique :
Le pipeline complet s'exécute sur une seule GPU de 24 Go. Un seuil de fiabilité pour les données d'entraînement a été identifié à environ 500 phrases source ; en dessous de ce seuil, ni le GRPO ni la SFT n'ont produit de gains significatifs. L'approche a présenté un oubli catastrophique nul sur les langues retenues (français, hindi, russe).

Importance et affirmations

L'article prétend démontrer une voie pratique pour améliorer les modèles de TA Seq2Seq de qualité production sans données parallèles. Ses contributions principales sont :

1. Faisabilité du RL sans référence sur des architectures efficaces : Prouver que le GRPO peut efficacement affiner de petits modèles encodeur-décodeur (600M/1,3B) en utilisant uniquement du texte source monolingue, rendant le RL accessible pour les paires de langues à faibles ressources où les grands LLM à décodeur unique sont peu pratiques.
2. Identification d'un motif prédictif : Établir que l'utilité du RL sans référence n'est pas uniforme mais prévisible ; elle est plus efficace pour les langues avec des bases faibles et une haute discriminabilité de récompense. Cela offre une heuristique pour les praticiens afin de sélectionner les langues où cette approche est susceptible de réussir.
3. Compétitivité avec les méthodes supervisées : Démontrer que le GRPO sans référence peut égaler ou dépasser la performance de l'affinage supervisé (SFT) sur des familles de langues spécifiques, même lorsque la SFT a accès à des données parallèles, soulignant le potentiel de l'exploration guidée par la récompense dans les régimes à données rares.

Les auteurs restent modestes, notant que les modèles de récompense eux-mêmes ont été préentraînés sur des données parallèles, limitant l'approche à « zéro ressource » uniquement au stade de l'affinage. Ils reconnaissent également que les motifs observés nécessitent une validation sur un échantillon de langues plus large et que la discriminabilité de récompense actuelle limite le plafond de qualité pour certains types morphologiques (par exemple, l'arabe).