💻 computer science

Efficient Multilingual Reasoning Transfer via Progressive Code-Switching

Cet article présente PCS (Progressive Code-Switching), un cadre efficace qui transfère les capacités de raisonnement de l'anglais vers d'autres langues en passant progressivement d'un raisonnement en alternance codique à un raisonnement entièrement dans la langue cible via une traduction légère et un apprentissage par renforcement, surmontant ainsi les limitations de coût et d'évolutivité des méthodes existantes basées sur la distillation.

Auteurs originaux : Zhijun Wang, Junxiao Liu, Hao Zhou, Hao-Ran Wei, Baosong Yang, Shujian Huang

Publié 2026-07-02

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zhijun Wang, Junxiao Liu, Hao Zhou, Hao-Ran Wei, Baosong Yang, Shujian Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant brillant, un génie des mathématiques, mais il ne sait réfléchir et résoudre des problèmes qu'en anglais. Vous voulez qu'il résolve un problème de mathématiques pour un ami qui parle japonais, mais quand vous demandez à l'étudiant de réfléchir en japonais, il s'embrouille, fait des erreurs ou repasse accidentellement à l'anglais en plein milieu de son raisonnement.

C'est le problème des « Grands Modèles de Raisonnement » actuels (IA). Ils sont excellents en mathématiques en anglais, mais médiocres en mathématiques dans d'autres langues.

Le document propose une nouvelle méthode d'entraînement appelée PCS (Progressive Code-Switching). Voyez cela comme un pont progressif et doux pour aider l'étudiant à apprendre à réfléchir dans une nouvelle langue sans perdre ses compétences mathématiques.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : Le piège du « Changement Brutal »

D'habitude, si vous dites à l'étudiant : « À partir de maintenant, tu dois réfléchir uniquement en japonais », il panique. Il essaie de s'y contraindre, mais son cerveau dérape, il se trompe dans ses calculs, ou il commence à répéter les mêmes mots de façon circulaire. C'est comme essayer de conduire une voiture sur une nouvelle route en tournant soudainement le volant à 90 degrés ; vous risquez de l'accident.

2. La Solution : Le « Pont Bilingue » (Code-Switching)

Au lieu de forcer un changement brutal, le PCS construit un pont. Il commence par laisser l'étudiant réfléchir dans un mélange d'anglais et de japonais.

Le Démarrage à Froid : Imaginez l'étudiant en train de résoudre un problème de mathématiques. Il écrit les premières étapes en anglais (là où il est fort), mais le document lui demande de traduire seulement 30 % des étapes en japonais.
Le Résultat : L'étudiant s'habitue à voir des mots japonais mélangés à sa logique anglaise familière. Cela semble naturel, et non effrayant.

3. L'Entraînement : La « Randonnée Graduelle » (Curriculum Progressif)

C'est la recette secrète. L'entraînement ne reste pas bloqué à 30 % de japonais éternellement. Il agit comme un sentier de randonnée qui ne devient escarpé que lorsque le randonneur devient plus fort.

Phase 1 : L'étudiant résout des problèmes avec 30 % d'étapes en japonais.
Phase 2 : Une fois qu'il maîtrise cela, l'enseignant dit : « D'accord, maintenant fais 50 % d'étapes en japonais. »
Phase 3 : Puis 70 %, puis 90 %, jusqu'à ce que l'étudiant finisse par réfléchir à 100 % en japonais.

Parce que l'étudiant a appris la logique mathématique en anglais d'abord, puis a progressivement traduit la langue du raisonnement, il ne perd jamais sa capacité à résoudre le problème. Il change simplement « l'accent » de ses pensées.

4. Le Système de Récompense : Le « Coach Strict mais Juste »

L'IA est entraînée à l'aide d'un système de récompense (comme un score de jeu vidéo).

L'Objectif : Obtenir la bonne réponse (Précision) ET parler la bonne langue (Cohérence).
L'Astuce : Si l'IA essaie de tricher en écrivant un énorme bloc d'anglais à l'intérieur d'une seule longue phrase juste pour tromper le « détecteur de langue », le système la prend en flagrant délit.
La Différence : D'autres méthodes tentaient de récompenser l'IA simplement parce qu'elle « ressemblait » à la bonne langue, ce qui menait au « détournement de récompense » (l'IA faisait semblant). Le PCS force l'IA à réellement changer la langue de chaque étape progressivement, de sorte qu'elle ne puisse pas tricher.

5. Le Résultat : Un Véritable Génie Multilingue

Le document a testé cette méthode sur cinq langues différentes (français, portugais, japonais, coréen, thaï) en utilisant des problèmes de mathématiques.

Anciennes Méthodes : Soit l'IA réussissait les maths mais parlait anglais, soit elle parlait la bonne langue mais se trompait dans les maths.
Méthode PCS : L'IA réussit les maths ET parle parfaitement la langue cible. Elle a presque totalement réduit l'écart entre les performances en anglais et celles dans les autres langues.

Résumé

Voyez le PCS comme l'apprentissage de la natation pour un enfant.

L'Ancienne Façon : On le jette dans l'eau profonde en disant : « Nage ! » (Il coule ou panique).
La Façon PCS : On commence dans l'eau peu profonde avec des brassards (Anglais + Langue Cible). À mesure qu'il devient plus fort, on retire les brassards étape par étape jusqu'à ce qu'il nage parfaitement dans l'eau profonde (Langue Cible uniquement), sans jamais se noyer.

Le document affirme que cette méthode est moins coûteuse et plus facile que les précédentes car elle n'a pas besoin d'une IA « super-professeur » pour corriger chaque réponse ; elle a juste besoin d'un traducteur simple et d'un programme d'entraînement progressif et intelligent.

Résumé technique : Transfert de raisonnement multilingue efficace via le Code-Switching Progressif

Problématique

Les grands modèles de raisonnement (LRM) tels que DeepSeek-R1 et Qwen3 ont démontré de fortes capacités de raisonnement en anglais, s'appuyant souvent sur l'apprentissage par renforcement avec récompenses vérifiées (RLVR) et des processus de chaîne de pensée (CoT) longs. Cependant, leurs performances se dégradent considérablement lorsqu'ils doivent raisonner dans des langues autres que l'anglais. Lorsqu'ils sont sollicités dans une langue cible, ces modèles reviennent fréquemment au raisonnement en anglais, créant un décalage qui compromet la compréhensibilité et la confiance.

Les approches existantes pour imposer la cohérence linguistique font face à des limitations distinctes :

Contrôle par prompt/préfixe : Souvent peu fiable ou au détriment de la précision par rapport au raisonnement en anglais.
Ajustement supervisé (SFT) : Contraint par la rareté des données de long raisonnement multilingues de haute qualité et sujet à l'introduction d'artefacts de répétition.
Apprentissage par renforcement (RL) avec récompenses linguistiques : Bien qu'encourageant la production dans la langue cible, la performance reste généralement inférieure au raisonnement basé sur l'anglais.
Distillation : Les méthodes de transfert actuelles reposent souvent sur des traces distillées coûteuses provenant de modèles LRM plus puissants ou sur une supervision en ligne de modèles juges externes, ce qui est difficile à mettre à l'échelle.

Méthodologie : Code-Switching Progressif (PCS)

Les auteurs proposent le PCS (Progressive Code-Switching), un cadre de transfert qui ne nécessite qu'une traduction légère et aucun modèle enseignant plus fort ou juge externe. L'idée centrale est de traiter le raisonnement en alternance de codes (un mélange d'anglais et de la langue cible) comme une étape intermédiaire pour le transfert translingue, plutôt que de forcer un passage abrupt à un raisonnement complet dans la langue cible.

Le cadre opère en trois étapes :

1. Définition du raisonnement en alternance de codes (Code-Switched Reasoning)

Le raisonnement en alternance de codes est défini comme un motif alterné où un sous-ensemble des étapes de raisonnement d'une trace en anglais est traduit dans la langue cible. La logique sous-jacente reste le raisonnement de haute qualité en anglais, mais la forme de surface change progressivement.
Une métrique, la Cohérence Linguistique au Niveau de l'Étape (SLC - Step-Level Language Consistency), est définie pour mesurer la proportion d'étapes de raisonnement exprimées dans la langue cible ( $L$ ) par rapport à la langue non cible ( $\bar{L}$ ), en excluant les étapes agnostiques à la langue (ex: expressions mathématiques pures).

2. Initialisation par démarrage à froid (Cold-Start)

Pour permettre au modèle de produire des traces en alternance de codes sans données de raisonnement en langue cible distillées :

Les auteurs prennent des traces de raisonnement en anglais et traduisent une fraction fixe (30 % dans les expériences) des étapes de raisonnement dans la langue cible.
Ces exemples en alternance de codes sont mélangés à des données de questions-réponses standards en anglais.
Le modèle de base subit un ajustement supervisé (SFT) sur ce jeu de données combiné. Ce "démarrage à froid" dote le modèle de la capacité initiale de basculer entre les langues au sein d'une trajectoire de raisonnement.

3. Apprentissage par renforcement progressif (RL)

Après le démarrage à froid, le modèle subit un entraînement par renforcement (RL) suivant une approche d'apprentissage curriculaire :

Conception de la récompense : Le système de récompense inclut des pénalités pour la répétition et les erreurs de format, une récompense de précision, et une Récompense de Cohérence Linguistique au Niveau de l'Étape.
Mécanisme curriculaire : Au lieu d'exiger immédiatement une production à 100 % dans la langue cible, le système commence avec un seuil de SLC faible ( $\tau$ $τ$ ).
- Le seuil $\tau$ est augmenté progressivement (par exemple, de 10 % à 95 %) pendant l'entraînement.
- La récompense n'est positive que si le SLC(T, L) du modèle respecte le seuil actuel $\tau$ .
- Ce programme "du plus facile au plus difficile" évite l'instabilité et la dégradation des performances souvent observées lors de l'imposition directe de contraintes linguistiques strictes.
Mesures de stabilité : Pour éviter que la politique ne s'éloigne trop du modèle de référence (causant une divergence KL élevée), le modèle de référence est réinitialisé vers la politique actuelle chaque fois que la perte KL dépasse un seuil (0,2).

Principales Contributions

Cadre de transfert efficace : Le PCS élimine le besoin de traces de raisonnement en langue cible distillées de modèles plus forts ou de modèles juges externes, en s'appuyant plutôt sur une traduction légère des traces anglaises existantes.
Curriculum progressif : En traitant l'alternance de codes comme une étape de transition et en augmentant progressivement le ratio de la langue cible via un curriculum, le PCS offre un chemin de transfert fluide qui évite l'instabilité de l'application directe de la langue.
Cohérence au niveau de l'étape : Contrairement aux récompenses linguistiques au niveau de la réponse qui peuvent être "hackées" (ex: en insérant des jetons de la langue cible tout en raisonnant en anglais), le PCS impose la cohérence au niveau de l'étape, garantissant que la logique de raisonnement elle-même est transférée.
Efficacité des ressources : La méthode évite la latence et la charge de calcul des modèles juges en ligne requis par d'autres méthodes d'alignement translingue.

Résultats Expérimentaux

Les auteurs ont évalué le PCS sur les benchmarks MMATH et MMLU-ProXmath en utilisant les architectures Qwen3-4B et Qwen3-8B sur cinq langues typologiquement diverses : le français, le portugais, le japonais, le coréen et le thaï.

Métrique Primaire (SLC&Acc) : Le PCS a systématiquement atteint les meilleures performances dans la métrique combinée de la Cohérence Linguistique au Niveau de l'Étape et de la Précision (SLC&Acc), où une réponse doit être à la fois correcte et présenter $\ge 90 \%$ d'étapes dans la langue cible.
Comparaison avec les lignes de base (Baselines) :
- vs Contrôle par Inférence : Le PCS a nettement surpassé les méthodes de contrôle par Prompt et par Préfixe, qui soit échouaient à orienter le raisonnement, soit dégradaient sévèrement la précision.
- vs SFT : Le PCS a évité les artefacts de répétition et les chutes de performance observés dans les lignes de base SFT (particulièrement en japonais).
- vs Lignes de base RL : Le PCS a surpassé le RL Naïf (qui revenait à l'anglais) et le SoftLC RL (qui utilisait des récompenses au niveau de la réponse).
- vs M-Thinker : Le PCS a obtenu des performances comparables ou supérieures sans dépendre d'un modèle juge plus fort. Les auteurs notent que M-Thinker, qui utilise un juge plus fort pour l'alignement translingue, est susceptible de "reward hacking", où le modèle insère des jetons de la langue cible pour passer un détecteur tout en conservant une logique de raisonnement en anglais/chinois.
Études d'ablation : La suppression du curriculum (en utilisant une récompense dense pour le SLC au lieu d'un seuil progressif) a entraîné une augmentation rapide du SLC mais a dégradé la précision, confirmant la nécessité du calendrier de transfert graduel.

Signification et Revendications

L'article affirme que le PCS offre une voie stable et efficace en ressources pour le transfert de raisonnement multilingue. En utilisant l'alternance de codes comme un pont, la méthode parvient à réduire l'écart de performance entre le raisonnement en anglais et celui dans la langue cible tout en maintenant une précision compétitive.

Les auteurs soulignent que leur approche :

Évite le "Reward Hacking" : La contrainte de cohérence au niveau de l'étape empêche les modèles de manipuler les détecteurs linguistiques au niveau de la réponse.
Assure la stabilité : Le curriculum progressif atténue le compromis entre la cohérence linguistique et la précision du raisonnement, souvent observé lorsqu'on pousse directement les modèles vers un raisonnement complet dans la langue cible.
Se généralise : La méthode fonctionne efficacement à travers diverses familles de langues sans nécessiter de réglage spécifique à la langue ou de pipelines de distillation coûteux.

L'étude conclut qu'un transfert de raisonnement multilingue efficace nécessite un changement graduel de la langue de raisonnement, et que le PCS fournit une solution pratique et évolutive pour y parvenir sans les coûts d'infrastructure lourds des méthodes de pointe actuelles.