💬 NLP

AdaMame: A Training Recipe for Adaptive Multilingual Reasoning

Le document présente AdaMame, une recette d'entraînement en deux étapes combinant le réglage fin supervisé avec un nouvel algorithme GRPO adaptatif (AdaMame-GRPO) pour permettre aux grands modèles de raisonnement de raisonner dans la langue de la requête sans sacrifier la précision ou l'efficacité des jetons, surmontant ainsi le phénomène d'effondrement linguistique.

Auteurs originaux : Dayeon Ki, Kevin Duh, Marine Carpuat

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dayeon Ki, Kevin Duh, Marine Carpuat

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une étudiante brillante et multilingue nommée Ada. Ada est incroyablement douée pour résoudre des problèmes mathématiques, mais elle a une mauvaise habitude : peu importe la langue dans laquelle vous lui posez une question (français, télougou ou thaï), elle s'obstine à réfléchir et à répondre en anglais.

C'est un problème connu sous le nom de « effondrement linguistique » (language collapse). Même si vous lui demandez « Combien y a-t-il d'œufs dans une douzaine ? » en français, Ada peut penser : « Bon, laissez-moi calculer en anglais... 12 œufs », puis simplement traduire la réponse. Elle ne réfléchit pas réellement dans la langue utilisée.

Les tentatives existantes pour corriger cela sont comme un professeur sévère qui dirait : « Si tu ne parles pas français, tu as zéro ! » Cela force Ada à parler français, mais cela la rend souvent nerveuse. Elle peut commencer à bégayer (passer du français à l'anglais au milieu d'une phrase), donner de mauvues réponses parce qu'elle est trop concentrée sur la règle de la langue, ou parler trop longtemps juste pour prouver qu'elle fait des efforts.

AdaMame est une nouvelle recette d'entraînement plus intelligente, conçue pour corriger la mauvaise habitude d'Ada sans la rendre nerveuse ou lente. Voici comment cela fonctionne, décomposé en étapes simples :

La recette d'entraînement en deux étapes

Les auteurs ont entraîné Ada en utilisant un processus en deux étapes, comme un entraîneur préparant un athlète pour les Jeux Olympiques.

Étape 1 : Le « Camp d'immersion » (SFT)
D'abord, ils ont placé Ada dans un camp où elle n'interagit qu'avec des locuteurs natifs de cinq langues différentes (français, portugais, japonais, coréen et thaï).

Ce qu'ils ont fait : Ils lui ont montré des milliers de problèmes mathématiques où le processus de réflexion (les « pensées ») était déjà écrit parfaitement dans la langue locale.
Le résultat : Ada a appris qu'il est possible de résoudre des problèmes mathématiques dans ces langues. Elle a cessé de revenir immédiatement par défaut à l'anglais. Cependant, elle était encore un peu hésitante face à des langues dans lesquelles elle n'avait pas pratiqué (comme le swahili ou le bengali).

Étape 2 : Le « Coach intelligent » (AdaMame-GRPO)
C'est la partie magique. Dans la deuxième étape, ils ont utilisé une méthode d'entraînement spéciale appelée AdaMame-GRPO.

Le problème avec les anciens coachs : Les méthodes précédentes ne récompensaient Ada que si elle avait la bonne réponse et si elle parlait la bonne langue. C'était comme un interrupteur « tout ou rien ». Si elle avait la bonne réponse mais parlait anglais, elle n'obtenait aucune récompense. Cela la rendait craintive face à l'expérimentation.
La solution AdaMame : Le nouvel entraîneur utilise une stratégie de croissance graduelle.
- Au début de l'entraînement : L'entraîneur est indulgent. « Hé, essaie juste de résoudre le problème ! Peu importe si tu réfléchis en anglais ou en français pour l'instant, trouve juste la bonne réponse mathématique. » Cela permet à Ada d'explorer et de trouver la meilleure façon de résoudre le problème.
- Plus tard dans l'entraînement : À mesure que l'entraînement progresse, l'entraîneur augmente progressivement le volume de la règle linguistique. « D'accord, tu deviens douée en maths. Maintenant, tu dois réfléchir dans la langue demandée par l'utilisateur. »
- L'analogie : Imaginez que vous apprenez à un enfant à faire du vélo. Au début, vous le laissez vaciller et tomber (exploration). Une fois qu'il est stable, vous le guidez doucement pour qu'il reste dans sa voie. Vous ne lui criez pas « Reste dans la voie ! » dès la première seconde, sinon il va s'écraser.

Pourquoi est-ce important ?

L'article a testé cette nouvelle méthode par rapport aux méthodes plus anciennes et a constaté trois victoires majeures :

Plus de « changement de code » (Code-Switching) : Ada a arrêté l'habitude agaçante de changer de langue au milieu d'une phrase (par exemple, commencer une pensée en français et la finir en anglais). Elle reste désormais cohérente.
Plus de « sur-réflexion » : Les anciennes méthodes poussaient Ada à parler longuement juste pour prouver qu'elle essayait. AdaMame l'a rendue efficace. Elle utilise moins de mots (tokens) pour obtenir le même résultat.
L'effet « Outsider » : La plus grande amélioration a eu lieu avec les langues à faibles ressources (langues disposant de moins de données, comme le télougou ou le swahili). Alors que les autres méthodes peinaient avec ces langues, AdaMame a permis à Ada d'être étonnamment performante, rendant cette technologie plus équitable pour tout le monde, et pas seulement pour les locuteurs des langues majeures.

L'essentiel

L'article affirme que AdaMame crée un modèle qui est :

Précis : Il obtient la bonne réponse mathématique.
Fidèle : Il réfléchit dans la langue demandée.
Efficace : Il ne perd pas de temps ni de mots.

Il atteint ce que les auteurs appellent une « performance Pareto-optimale », une façon sophistiquée de dire : « Nous avons obtenu le meilleur équilibre possible entre ces trois objectifs sans en sacrifier un pour l'autre. » C'est comme obtenir une voiture qui est rapide, sûre et économe en carburant, alors que les modèles précédents étaient généralement rapides mais peu sûrs, ou sûrs mais lents.

Les auteurs ont publié leurs données et leur code afin que d'autres puissent utiliser cette « recette d'entraînement » pour construire de meilleurs IA multilingues, spécifiquement pour le raisonnement mathématique, sans avoir à dépendre de l'anglais comme langue de pensée par défaut.

Résumé technique : AdaMame – Une recette d'entraînement pour un raisonnement multilingue adaptatif

Énoncé du problème

Les grands modèles de raisonnement (LRM) affichent de hautes performances en anglais mais échouent fréquemment à raisonner dans la langue de l'utilisateur, un phénomène appelé effondrement linguistique (language collapse). Au lieu de générer des traces de raisonnement (Chaînes de Pensée/Chain-of-Thought) dans la langue de la requête, les modèles reviennent par défaut à l'anglais ou s'engagent dans un changement de code (code-switching) au milieu de la trace.

Les tentatives existantes pour rectifier cela via l'apprentissage par renforcement (RL) ajoutent généralement une récompense de fidélité linguistique binaire à l'objectif de précision, en utilisant un ratio de pondération ajusté manuellement. Cependant, l'article identifie trois limitations persistantes de ces approches :

Compromis de précision : Améliorer la fidélité linguistique se fait souvent au détriment de la précision du raisonnement.
Changement de code : Les modèles alternent fréquemment de langues au sein d'une même trace de raisonnement.
Sur-réflexion (Overthinking) : Les modèles consomment des jetons (tokens) excessifs sans gains proportionnels de correction.
De plus, de nombreuses méthodes antérieures nécessitent des traces de raisonnement de référence en anglais pour la supervision et reposent sur des régimes de pondération fixes, ce qui limite la scalabilité et la robustesse.

Méthodologie : AdaMame

Les auteurs proposent AdaMame, une recette d'entraînement en deux étapes conçue pour aligner de manière adaptative le langage de raisonnement avec la langue de la requête tout en optimisant conjointement la précision et l'efficacité des jetons.

Étape 1 : Fine-tuning supervisé (SFT)

Objectif : Établir une capacité fondamentale de raisonnement multilingue et une sensibilité aux motifs spécifiques à chaque langue.
Données : Un ensemble de données de 30 000 traces de raisonnement naturellement occurring à travers cinq langues (français, portugais, japonais, coréen, thaï). Crucialement, ces traces ne sont pas des traductions automatiques de l'anglais mais sont générées et vérifiées pour être fluides dans la langue cible.
Technique : Le modèle est affiné en utilisant l'adaptation de bas rang (LoRA) pour prévenir l'oubli catastrophique et améliorer l'efficacité. Les prompts encouragent explicitement le raisonnement dans la langue de la requête.

Étape 2 : Apprentissage par renforcement (AdaMame-GRPO)

Objectif : Généraliser les capacités de raisonnement à des langues hors domaine et imposer l'alignement linguistique sans sacrifier la précision.
Innovation centrale : Une adaptation de l'optimisation de politique relative au groupe (Group Relative Policy Optimization - GRPO) appelée AdaMame-GRPO.
Mécanisme : Au lieu d'un poids de récompense fixe, la méthode introduit un facteur d'alignement conditionné par la requête ( $\alpha_i(t)$ $α_{i} (t)$ ) qui croît progressivement pendant l'entraînement.
- Phase d'exploration : Au début de l'entraînement, le facteur d'alignement est faible, permettant au modèle d'explorer diverses langues de raisonnement pour maximiser la précision.
- Phase d'exploitation : À mesure que l'entraînement progresse, le facteur augmente, amplifiant les récompenses pour les déploiements où la langue de raisonnement correspond à la langue de la requête.
- Formulation mathématique : La récompense est mise à l'échelle selon $r'(q, o_i, g) = \alpha_i(t) \cdot r(q, o_i, g)$ , où $\alpha_i(t)$ suit un calendrier de croissance cosinus de 0,1 à 1,0.
Avantage : Cette approche ne nécessite aucune trace de raisonnement de référence en anglais et évite le réglage manuel des poids de récompense, utilisant plutôt une stratégie de curriculum « explorer puis exploiter ».

Contributions clés

Recette AdaMame : Un cadre de post-entraînement en deux étapes (SFT + RL) qui aligne de manière adaptative le langage de raisonnement à la requête, résolvant le compromis entre précision et fidélité linguistique.
Publication de Dataset : Un nouvel ensemble de données de 30 000 traces de raisonnement de haute qualité, naturellement occurring, à travers cinq langues, soutenant la recherche sur le raisonnement multilingue sans dépendre de données anglaises traduites par machine.
Algorithme AdaMame-GRPO : Une nouvelle variante de RL qui atteint une performance Pareto-optimale à travers la précision du raisonnement, la fidélité linguistique et l'efficacité des jetons.

Résultats expérimentaux

La méthode a été évaluée sur deux benchmarks (MGSM-Rev2 et MSVAMP) en utilisant deux modèles de base (DISTILL-QWEN 1.5B et QWEN3 4B) à travers 12 langues (5 en domaine, 7 hors domaine).

Optimalité de Pareto : AdaMame-GRPO a atteint le meilleur équilibre entre précision, fidélité linguistique (mesurée par le taux de passage de confusion linguistique, LCPR) et efficacité des jetons (calcul au temps de test, TTC) par rapport à tous les baselines, y compris Vanilla, Prompt, SFT, GRPO standard et M-Thinker.
Généralisation hors domaine : Bien que le SFT ait amélioré les performances en domaine, il s'est mal généralisé aux langues hors domaine. L'étape RL a considérablement amélioré la généralisation, particulièrement pour les langues à faibles ressources (ex: bengali, swahili, telugu), où AdaMame-GRPO a montré les gains les plus importants par rapport aux baselines.
Efficacité des jetons : Contrairement aux méthodes qui induisent une « sur-réflexion », AdaMame-GRPO a entraîné la consommation de jetons la plus faible parmi toutes les variantes testées.
Effet de curriculum : L'analyse a confirmé la dynamique « explorer puis exploiter » : les modèles ont d'abord généré des langues diverses avant de converger progressivement vers la langue de la requête à mesure que le facteur d'alignement augmentait.

Signification et affirmations

L'article affirme qu'AdaMame répond aux limitations fondamentales des approches actuelles de raisonnement multilingue en éliminant le besoin de traces de référence en anglais et de poids de récompense fixes. En implémentant un curriculum adaptatif, la méthode parvient à atténuer l'effondrement linguistique et le changement de code tout en maintenant ou en améliorant la précision du raisonnement.

Les auteurs positionnent ce travail comme une étape vers un raisonnement multilingue plus équitable, démontant qu'une haute performance est possible non seulement pour les langues à hautes ressources, mais aussi pour les contextes de faibles ressources et hors domaine. Ils soutiennent que dépasser les conceptions de récompenses centrées sur l'anglais est essentiel pour entraîner des modèles capables de servir la diversité complète des langues des utilisateurs.

Limites reconnues :

Les expériences sont contraintes par le budget de calcul, limitant la portée à des tailles de modèles spécifiques et à des tâches de raisonnement mathématique.
La méthode repose sur le détecteur de langue LINGUA, qui peut présenter des problèmes de fiabilité avec des traces fortement marquées par le changement de code ou des langues très peu dotées.
Les corpus d'entraînement dépendent de traces générées par GPT-5 NANO, pouvant hériter de ses biais linguistiques spécifiques.