Résumé Technique : LANG – Apprentissage par Renforcement pour le Raisonnement Multilingue avec Guidance Adaptative par Indices Linguistiques

1. Énoncé du Problème

Bien que l'apprentissage par renforcement avec récompenses vérifiables (RLVR) ait réussi à améliorer le raisonnement multi-étapes dans les grands modèles de langage (LLMs) pour l'anglais, ces bénéfices ne se sont pas pleinement traduits dans des contextes multilingues. Les modèles actuels font face à un compromis fondamental :

• Cohérence linguistique vs Qualité du raisonnement : Contraindre explicitement les modèles à raisonner dans la langue d'entrée entraîne souvent une dégradation significative des performances dans les contextes non anglais, car les capacités de raisonnement solides en anglais du modèle ne se transfèrent pas de manière fiable.
• Dérive linguistique : Lorsque les contraintes linguistiques sont assouplies pour préserver la qualité du raisonnement, les modèles dérivent fréquemment vers l'anglais, réduisant la lisibilité et l'interprétabilité pour les utilisateurs natifs.

Les approches existantes, telles que les contraintes basées sur des invites (prompts) ou l'ajout de récompenses de cohérence linguistique au RL, peinent avec la sparsité des récompenses. Dans les scénarios multilingues, en particulier pour les langues à ressources limitées, les trajectoires satisfaisant des contraintes strictes de langue et de justesse sont extrêmement rares, entravant l'exploration efficace durant l'entraînement.

2. Méthodologie : LANG

Les auteurs proposent LANG, un cadre d'apprentissage par renforcement guidé par des indices adaptatifs linguistiquement conçu pour amorcer l'exploration dans les tâches de raisonnement non anglaises tout en empêchant la dépendance à des aides externes. Le cadre se compose de deux mécanismes centraux :

A. Décroissance Programmée des Indices Multilingues

LANG utilise des indices conditionnés par la langue (traces de raisonnement partielles provenant d'un modèle enseignant) pour guider le modèle étudiant durant les premières phases de l'entraînement. Pour résoudre le problème de la « dépendance aux indices » (où les modèles échouent à raisonner de manière autonome une fois les indices retirés), LANG emploie un calendrier de décroissance par recuit cosinus.

• Mécanisme : À l'étape d'entraînement $t$, un préfixe de l'indice $h$ est injecté dans l'invite. Le ratio de l'indice injecté, $p_t^l$, suit un calendrier cosinus qui commence à 1,0 (guidage complet) et décroît doucement jusqu'à 0,0.
• Objectif : Cela permet de faire passer le modèle des déroulements conditionnés par les indices au raisonnement multilingue autonome, réduisant l'écart entre l'entraînement et l'inférence.

B. Commutation Adaptative Linguistiquement

Reconnaissant que les difficultés d'apprentissage varient selon les langues, LANG évite un point de commutation global unique pour retirer les indices. Au lieu de cela, il catégorise les langues en groupes de ressources (Élevé, Moyen, Faible) et emploie une stratégie de commutation dynamique.

• Mécanisme : Le système surveille un taux de mise à jour effective ($\bar{u}_R(t)$), défini comme la fraction d'instances dans un lot d'un groupe de langues qui produisent au moins une trajectoire avec un avantage positif.
• Critère de Commutation : Lorsque $\bar{u}_R(t)$ dépasse un seuil $\tau$, l'injection d'indices pour ce groupe de langues spécifique est désactivée.
• Avantage : Les langues à ressources limitées conservent les indices plus longtemps pour atténuer la sparsité des récompenses, tandis que les langues à ressources abondantes passent au raisonnement autonome plus tôt, optimisant le rythme d'apprentissage pour la difficulté spécifique de chaque langue.

C. Optimisation de la Politique

Le cadre optimise la politique en utilisant GRPO (Optimisation de la Politique Relative de Groupe). La fonction de récompense est une conjonction de trois critères :

1. Cohérence Linguistique ($R_{lc}$) : La trace de raisonnement et la réponse finale doivent correspondre à la langue d'entrée.
2. Format ($R_{format}$) : Utilisation correcte des balises de réflexion et des réponses encadrées.
3. Précision ($R_{acc}$) : La réponse finale doit correspondre à la vérité terrain.

3. Contributions Clés

• Cadre Novel : Introduction de LANG, qui exploite des indices conditionnés par la langue pour amorcer l'exploration dans le raisonnement non anglais, abordant le problème de la sparsité des récompenses inhérent au RLVR multilingue.
• Alignement Entraînement-Inférence : Le développement d'un calendrier de décroissance progressive des indices et d'une commutation adaptative linguistiquement qui atténuent efficacement l'écart entre l'entraînement et l'inférence, garantissant que les modèles peuvent raisonner de manière autonome au moment du test sans dépendre des indices.
• Validation Empirique : Des expériences extensives démontrant que LANG améliore substantiellement les performances de raisonnement multilingue sans compromettre la cohérence linguistique, surpassant à la fois les bases de référence basées sur des invites et celles basées sur l'entraînement.
• Généralisation : Preuve que la méthode se généralise au-delà du raisonnement mathématique à d'autres tâches multilingues (par exemple, MMLU-ProX, XWinograd) et maintient la cohérence linguistique à travers différentes couches du modèle.

4. Résultats Expérimentaux

Les auteurs ont évalué LANG sur deux benchmarks exigeants : MMATH (10 langues) et PolyMath (18 langues), en utilisant les modèles Qwen2.5 (3B, 7B, 32B) et Llama3.1-8B.

• Gains de Performance : LANG a nettement surpassé la base de référence la plus forte (LC-GRPO). Sur le benchmark MMATH, il a amélioré la métrique Cohérence Linguistique & Précision (LC&Acc) de 24,1 % en moyenne à travers les modèles. Sur PolyMath, il a atteint une amélioration de 18,7 %.
• Langues à Ressources Limitées : Les gains ont été particulièrement prononcés pour les langues à ressources limitées. Par exemple, avec Qwen2.5-7B, LANG a amélioré la LC&Acc de 39,0 % en thaï (MMATH) et de 24,6 % en vietnamien (PolyMath) par rapport à mGRPO.
• Généralisation Hors Distribution : LANG a démontré une forte généralisation aux langues hors domaine et à différentes échelles de modèles, améliorant constamment la LC&Acc par rapport aux bases de référence.
• Analyse par Couches : L'analyse des états cachés intermédiaires a révélé que LANG maintient une haute cohérence linguistique à travers les couches du modèle, empêchant le phénomène de « commutation de langue inter-couches » où les modèles raisonnent en anglais et ne traduisent qu'à la sortie.

5. Signification et Revendications

L'article revendique que LANG fournit une solution robuste au compromis entre la précision du raisonnement et la cohérence linguistique dans les LLMs multilingues. En utilisant des indices comme un échafaudage temporaire qui est progressivement retiré en fonction des progrès d'apprentissage spécifiques à la langue, le cadre permet aux modèles d'intérioriser les motifs de raisonnement multilingues.

Les auteurs soulignent que leur approche est agnostique vis-à-vis de l'enseignant (performant bien avec des indices provenant de différents modèles enseignants) et robuste à la traduction (les gains restent stables quel que soit le modèle de traduction utilisé pour la construction des données). Ils concluent que LANG comble efficacement le fossé entre les capacités de raisonnement centrées sur l'anglais et le besoin d'interprétabilité en langue maternelle, favorisant un alignement linguistique plus cohérent à travers les couches du modèle sans sacrifier les performances.

Le travail reconnaît des limites, notant qu'il repose actuellement sur un seul modèle enseignant (DeepSeek-R1) pour la génération d'indices et que les compromis de performance entre les langues peuvent découler de déséquilibres dans les données de pré-entraînement, suggérant un travail futur axé sur des stratégies centrées sur les données.