Reinforcement Learning with Semantic Rewards Enables Low-Resource Language Expansion without Alignment Tax

Résumé Technique : Apprentissage par Renforcement avec Récompenses Sémantiques pour l'Expansion vers les Langues à Faibles Ressources

1. Énoncé du Problème

L'expansion des Modèles de Langage de Grande Taille (LLM) vers les langues à faibles ressources entraîne souvent une « taxe d'alignement » : les améliorations dans la langue cible se font au prix d'un oubli catastrophique des capacités générales (par exemple, la performance dans les langues à fortes ressources). Les auteurs soutiennent que ce compromis découle de la rigidité du Raffinement Supervisé (SFT). Le SFT repose sur une maximisation de la vraisemblance au niveau des tokens, forcée par un enseignant, sur des distributions de données étroites et biaisées. Cela impose une imitation de la forme de surface, conduisant à des mises à jour de paramètres excessivement confiantes qui réallouent de manière agressive la capacité de représentation, interférant ainsi avec les connaissances pré-entraînées et dégradant la compétence générale.

2. Méthodologie : Alignement dans l'Espace Sémantique

L'article propose un changement de paradigme, passant de la correspondance de distributions au niveau des tokens à un alignement dans l'espace sémantique, privilégiant la préservation du sens plutôt qu'une imitation rigide de la forme de surface. Cela est mis en œuvre via un cadre d'entraînement en deux étapes propulsé par l'Optimisation de Politique Relative par Groupes (GRPO).

Paradigme d'Entraînement en Deux Étapes :

1. SFT à Démarrage Froid : Une étape de raffinement supervisé légère (5 000 instances, 2 époques) est effectuée pour amorcer une compétence minimale de sortie dans la langue cible (par exemple, un usage correct du script et une cohérence de base). Cela garantit que le modèle peut générer des sorties non dégénérées avant le début de l'apprentissage par renforcement.
2. Apprentissage par Renforcement avec Récompenses Sémantiques : À partir de la politique de démarrage froid, le modèle subit une optimisation GRPO. Au lieu de la vraisemblance au niveau des tokens, le modèle est optimisé à l'aide de récompenses sémantiques au niveau des embeddings.
   • Objectif : Le modèle explore des réalisations linguistiques diverses qui maintiennent une équivalence sémantique avec les textes de référence, plutôt que d'imiter des séquences de tokens spécifiques.
   • Stabilité : Le GRPO intègre des contraintes de région de confiance (via des comparaisons relatives au sein d'un groupe d'échantillons de candidats) pour limiter la dérive de la politique, empêchant ainsi une interférence destructrice avec les représentations pré-entraînées.

Conception de la Récompense :
La fonction de récompense $R(y, y^*)$ combine deux composantes :

• Similarité Sémantique ($R_{sim}$) : Calculée à l'aide de la similarité cosinus entre les embeddings de phrases de la sortie générée $y$ et de la référence $y^*$, dérivés d'un modèle d'embedding bilingue (adapté de CINO/XLM-R). Une fonction de mise en forme par seuil et redimensionnement est appliquée pour concentrer l'apprentissage sur des améliorations significatives au-delà de l'adéquation minimale.
• Cohérence Linguistique ($R_{lang}$) : Une contrainte stricte basée sur des règles (utilisant des plages Unicode et des expressions rationnelles) qui pénalise les sorties mixtes ou hors cible, garantissant que l'optimisation reste strictement dans l'espace de la langue cible à faibles ressources.

3. Contributions Clés

• Paradigme d'Alignement dans l'Espace Sémantique : Les auteurs proposent de découpler la préservation du sens de l'imitation de la forme de surface en utilisant le GRPO avec des récompenses au niveau des embeddings.
• Atténuation de la Taxe d'Alignement : L'approche démontre que des gains significatifs pour les langues à faibles ressources peuvent être obtenus tout en éliminant virtuellement la dégradation des capacités générales (taxe d'alignement) généralement observée dans le SFT.
• Qualité Sémantique Supérieure : La méthode produit des sorties sémantiquement supérieures et préférées par des juges LLM par rapport aux bases de référence SFT, même lorsque le chevauchement de n-grammes (BLEU/ROUGE) est plus faible.
• Représentations Transférables : L'article valide que l'RL sémantique produit des représentations plus robustes et transférables, comme en témoigne une meilleure généralisation en few-shot vers des tâches en aval par rapport aux méthodes supervisées.

4. Résultats Expérimentaux

L'approche a été évaluée sur la Traduction Automatique (TA) Tibétain–Chinois et la Génération de Titres Tibétains (GT).

• Performance des Tâches vs Taxe d'Alignement :
  • Traduction Automatique : Bien que le SFT fort ait obtenu des scores BLEU basés sur la référence plus élevés (0,6006 contre 0,4519 pour l'RL), il a subi une taxe d'alignement significative, faisant chuter les scores de compréhension de lecture chinoise (CMRC) d'environ 5,15 points. En revanche, la méthode RL a préservé les capacités générales (les scores CMRC se sont améliorés ou sont restés stables) tout en atteignant une forte similarité sémantique.
  • Génération de Titres : Le RL a obtenu une préservation des capacités générales comparable au SFT, mais a été préféré par les juges LLM dans 51,2 % des comparaisons par paires contre 35,1 % pour le SFT, malgré des scores ROUGE-L plus faibles.
• Transfert en Few-Shot : Dans un test de transfert de TA vers GT (utilisant uniquement 1 000 échantillons GT), le modèle initialisé par RL a atteint une similarité sémantique plus élevée (0,5690 contre 0,5456) que le modèle initialisé par SFT, indiquant que le RL apprend des caractéristiques plus généralisables et ancrées sémantiquement plutôt que des motifs de surface spécifiques à la tâche.
• Ablation de la Récompense : Les expériences ont confirmé que la combinaison de la similarité d'embedding avec la cohérence linguistique est cruciale. L'ajout de récompenses basées sur BLEU a affaibli les performances, réintroduisant la rigidité de la correspondance au niveau des tokens.

5. Signification et Revendications

L'article revendique que l'Apprentissage par Renforcement avec Récompenses Sémantiques offre une voie plus sûre et plus fiable pour l'expansion inclusive vers les langues à faibles ressources. En déplaçant l'objectif d'alignement de la correspondance de distributions vers un alignement centré sur le sens, la méthode permet aux modèles d'acquérir de nouvelles capacités linguistiques sans l'interférence destructrice typique de la maximisation de vraisemblance non contrainte.

Les auteurs concluent que ce paradigme offre une solution évolutive pour étendre les LLM vers des langues faiblement soutenues dans un contexte de pénurie de données, résolvant efficacement la tension entre l'adaptation à la tâche et la préservation de la compétence générale. L'étude suggère que les métriques basées sur la référence échouent souvent à capturer la véritable qualité sémantique dans les contextes à faibles ressources, et que l'alignement dans l'espace sémantique capture mieux les préférences humaines et la transférabilité.