💬 NLP

Rethinking the Multilingual Reasoning Gap with Layer Swap

Ce papier démontre que l'écart de performance entre le raisonnement en langue maternelle et le raisonnement pivoté en anglais dans les modèles de langage multilingues est nettement plus faible que prévu lorsque l'on utilise une supervision comparable, et propose une technique de « permutation de couches » qui transfère les capacités de raisonnement en anglais des couches intermédiaires vers des spécialistes de la langue maternelle, comblant ainsi efficacement cet écart tout en préservant la langue cible pour la génération de chaînes de pensée.

Auteurs originaux : Maxence Lasbordes, Amélie Chatelain, Djamé Seddah

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maxence Lasbordes, Amélie Chatelain, Djamé Seddah

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le « Médiateur Anglais »

Imaginez que vous posez à un étudiant brillant et multilingue (une IA) un problème mathématique complexe en français. Même si vous avez posé la question en français, l'étudiant commence instinctivement à penser, « Hum, laissez-moi résoudre ceci... » dans sa tête en utilisant l'anglais. Il effectue tout le raisonnement difficile en anglais, et ne revient au français que pour la réponse finale.

Ceci est appelé le raisonnement pivoté sur l'anglais. Cela fonctionne bien, mais présente des inconvénients :

Perte dans la traduction : Si l'étudiant fait une petite erreur de traduction en passant d'une langue à l'autre, la réponse finale peut être incorrecte.
Difficile à comprendre : Si vous ne parlez pas anglais, vous ne pouvez pas voir comment il a résolu le problème, car son « processus de pensée » (Chaîne de Pensée) est dans une langue que vous ne connaissez pas.

Les chercheurs ont essayé de forcer l'étudiant à penser entièrement en français (Raisonnement Natif). Cependant, des études précédentes ont montré que lorsqu'ils faisaient cela, l'étudiant devenait nettement moins bon pour résoudre des problèmes. C'était comme forcer un chef étoilé à cuisiner un plat français en utilisant uniquement des recettes françaises, mais il continuait à se tromper sur les ingrédients parce qu'il était habitué aux mesures anglaises.

La Nouvelle Expérience : Un Test Plus Équitable

Les auteurs de ce document voulaient savoir si l'écart du « Raisonnement Natif » était réel ou simplement dû au fait que les étudiants n'étaient pas assez entraînés. Ils ont décidé de mener une expérience massive et équitable :

Les Étudiants : Ils ont pris une IA de base intelligente (Qwen3-8B) et l'ont entraînée à devenir une spécialiste dans six langues : l'anglais, le français, l'allemand, l'espagnol, le chinois et le swahili.
L'Entraînement : Ils ont fourni à chaque spécialiste une énorme quantité de données d'entraînement (environ l'équivalent de 10 milliards de mots) afin que chacun ait une chance équitable.
La Comparaison : Ils ont comparé deux groupes :
1. Les Penseurs Anglais : Ces étudiants résolvaient les problèmes en anglais mais répondaient dans la langue locale.
2. Les Penseurs Natifs : Ces étudiants résolvaient et pensaient entièrement dans la langue locale.

Le Résultat Surprenant :
Lorsque tout le monde a reçu le même entraînement de haute qualité, l'écart entre les deux groupes s'est considérablement réduit. Les « Penseurs Natifs » étaient presque aussi bons que les « Penseurs Anglais » (seulement 2 à 3 % de moins en moyenne). Cela suggère qu'avec suffisamment de pratique, l'IA peut penser dans sa langue maternelle sans perdre en intelligence.

L'Ingrédient Secret : Le « Échange de Couches »

Même si l'écart était faible, les « Penseurs Anglais » restaient légèrement meilleurs pour les énigmes mathématiques et scientifiques les plus difficiles. Les chercheurs voulaient savoir : Pourquoi ?

Ils ont examiné l'intérieur du « cerveau » de l'IA (ses couches de réseau de neurones) et ont découvert une structure fascinante :

Les Couches Extérieures (Haut et Bas) : Ce sont comme les oreilles et la bouche. Elles gèrent la langue spécifique (entendre le français, parler le français). Ces parties sont très différentes d'une langue à l'autre.
Les Couches Centrales : Ce sont comme le centre logique. Les chercheurs ont découvert que lorsque l'IA apprend à résoudre des problèmes de mathématiques ou de sciences, le « centre logique » ressemble presque exactement, que l'IA parle français, chinois ou anglais. C'est un moteur de raisonnement universel.

La Solution : Le « Échange de Couches »
Puisque la partie « logique » centrale du spécialiste anglais était légèrement plus affûtée, les chercheurs ont effectué une « chirurgie ». Ils ont pris les couches centrales du spécialiste anglais et les ont échangées contre celles des spécialistes natifs.

L'Analogie : Imaginez que vous avez un chef français excellent en cuisine mais légèrement lent pour émincer les légumes. Vous prenez les « mains pour émincer » (les couches centrales) d'un chef anglais de classe mondiale et vous les attachez au chef français.
Le Résultat : Le chef français peut maintenant émincer les légumes aussi vite que le chef anglais, mais il parle toujours français et cuisine des plats français. L'IA continue de penser en français (préservant le « processus de pensée » dans la langue locale) tout en acquérant la puissance de raisonnement du modèle anglais.

Le Résultat Final

En procédant à cet « Échange de Couches », les chercheurs ont comblé 80 à 90 % de l'écart de performance restant pour des langues comme le français et l'allemand. Pour l'espagnol, ils ont complètement comblé l'écart. L'IA peut maintenant :

Penser dans la langue de l'utilisateur (ce qui la rend plus facile à comprendre).
Résoudre des problèmes difficiles aussi bien que si elle pensait en anglais.

Résumé

Le document montre que l'idée selon laquelle « l'IA doit penser en anglais pour être intelligente » est principalement un problème d'entraînement, et non une limite fondamentale. En entraînant correctement l'IA, puis en échangeant le « cerveau central le plus intelligent » d'un modèle anglais, nous pouvons créer une IA qui raisonne parfaitement dans n'importe quelle langue, en gardant le processus de pensée transparent et accessible à tous.

Résumé technique : Repenser l'écart de raisonnement multilingue par échange de couches

Énoncé du problème

Les récents grands modèles de langage (LLM) dotés de capacités de raisonnement génèrent majoritairement des traces de pensée en chaîne (CoT) en anglais, même lorsqu'ils sont sollicités dans des langues non anglaises. Ce régime de « raisonnement pivoté vers l'anglais » (où le modèle raisonne en anglais et répond dans la langue d'entrée) est la configuration par défaut des modèles de raisonnement ouverts. Bien que contraindre le CoT à la langue d'entrée (« raisonnement natif ») soit souhaitable pour l'interprétabilité et la nuance culturelle, des études antérieures suggèrent que cela dégrade considérablement les performances.

Cependant, les mesures précédentes de cet « écart de raisonnement natif » reposent souvent sur des interventions au moment de l'inférence ou un affinage sur des ensembles de données natifs limités, ne parvenant pas à égaler l'échelle de l'affinage post-entraînement en anglais. Il reste à déterminer si l'écart persiste lorsque le raisonnement natif est entraîné sous une supervision à grande échelle strictement comparable.

Méthodologie

Construction des données

Les auteurs ont construit un ensemble de données de raisonnement multilingue à grande échelle couvrant six langues : anglais, français, allemand, espagnol, chinois et swahili.

Source : L'ensemble de données a été dérivé de allenai/DolciThink-SFT-32B, un ensemble de données d'affinage post-entraînement en anglais décontaminé couvrant les mathématiques, le code, les sciences et les connaissances générales.
Échelle : Environ 500 000 échantillons par langue, avec des longueurs de contexte allant jusqu'à 32 768 jetons.
Pipeline de traduction : Pour créer des corpus natifs, la source anglaise a été traduite dans les cinq langues cibles à l'aide de google/gemma-3-27b-it. Pour atténuer la dégradation du contexte long et la perte de traces de raisonnement, les auteurs ont traduit les échantillons composant par composant (question, trace de raisonnement, réponse) par blocs d'environ 2 000 jetons, suivis d'un filtrage rigoureux des sorties vides, des anomalies de compression et des écarts de longueur.

Configuration expérimentale

Modèle de base : Tous les modèles ont été affinés à partir de Qwen/Qwen3-8B-Base.
Régimes d'entraînement : Pour chaque langue non anglaise, deux spécialistes ont été entraînés sur les mêmes paires question-réponse avec des budgets de jetons appariés (~10–11 milliards de jetons par langue) :
1. Spécialiste natif : CoT généré dans la langue cible.
2. Spécialiste pivoté vers l'anglais : Questions et réponses dans la langue cible, mais CoT généré en anglais.
Infrastructure : L'entraînement a utilisé des nœuds H100 distribués avec DeepSpeed ZeRO-3, le parallélisme de séquence Ulysses et FlashAttention-3 pour gérer des longueurs de séquence de 32k.
Benchmarks : L'évaluation couvrait quatre domaines : Mathématiques (MGSM-Rev2, AIME 24/25), Sciences (GPQA-Diamond), Connaissances générales (Global-MMLU-Lite) et Code (HumanEvalPlus).

Technique d'échange de couches

Les auteurs ont introduit une méthode sans entraînement appelée échange de couches (Layer Swap), inspirée de travaux antérieurs sur la composition de modèles.

Analyse dans l'espace des poids : Les auteurs ont analysé les mises à jour d'affinage ( $\Delta\theta$ ) à travers les couches. Ils ont constaté que les mises à jour dans les couches intermédiaires (spécifiquement les couches 13–22) étaient fortement alignées sur les six langues (forte similarité cosinus et faible variance SVD), suggérant un « noyau de raisonnement agnostique à la langue ». En revanche, les couches précoces et tardives montraient une divergence spécifique à la langue.
Mécanisme : La méthode transfère les couches intermédiaires (le « noyau de raisonnement ») du spécialiste anglais vers le spécialiste natif, tout en conservant les couches précoces et tardives du spécialiste natif (qui gèrent l'entrée/sortie spécifique à la langue).
Ablation : Une ablation sur la plage de couches pour le spécialiste français a déterminé que l'échange des couches 13–22 maximisait les performances de raisonnement tout en maintenant une fidélité linguistique d'environ 100 % (c'est-à-dire que le CoT restait en français). Pour le chinois, la fenêtre optimale était légèrement plus précoce (13–20) pour éviter une réversion vers l'anglais.

Résultats clés

L'écart de raisonnement natif sous supervision appariée

Contrairement aux rapports antérieurs suggérant de larges écarts, les auteurs ont constaté que sous une supervision strictement appariée (même volume de données, même modèle de base), l'écart de raisonnement natif est significativement plus faible :

Écart moyen : L'écart de performance entre les spécialistes natifs et pivotés vers l'anglais se réduit à 1,9 %–3,5 % sur les cinq langues non anglaises.
Distribution : L'écart est concentré sur les benchmarks de raisonnement complexe (AIME 24/25), où les spécialistes natifs accusent un retard de 5 à 12 % selon la langue. Sur d'autres benchmarks (par exemple HumanEvalPlus), l'écart est négligeable.
Niveau de ressources : Les langues à haute ressource (français, allemand, espagnol, chinois) présentent des écarts de 1,9–3,1 %, tandis que le swahili, à faible ressource, montre un écart légèrement plus important de 3,5 %.

Efficacité de l'échange de couches

Le transfert des couches intermédiaires du spécialiste anglais vers les spécialistes natifs a produit des améliorations significatives tout en préservant le CoT dans la langue cible :

Réduction de l'écart : L'échange de couches a comblé 83–89 % de l'écart de raisonnement natif pour le français et l'allemand, 60 % pour le swahili et 27 % pour le chinois. Pour l'espagnol, le modèle échangé a atteint le plafond du spécialiste pivoté vers l'anglais.
Fidélité linguistique : Les modèles échangés ont maintenu une fidélité d'environ 100 %, générant un CoT dans la langue cible sans réversion vers l'anglais.
Performance aux benchmarks : La méthode a mené sur HumanEvalPlus pour toutes les langues et sur MGSM-Rev2 pour la plupart. Le déficit de performance restant concernait principalement les tâches intensives en raisonnement (AIME, GPQA).

Ablation de la compréhension d'entrée

Les auteurs ont isolé l'« écart de compréhension » en évaluant les spécialistes natifs sur des entrées anglaises par rapport à des entrées natives.

Résultat : Les spécialistes natifs ont obtenu de meilleurs scores sur les entrées anglaises, bien qu'ils n'aient jamais vu d'anglais pendant l'affinage supervisé (SFT).
Cause : Cela est attribué aux déséquilibres des données de pré-entraînement et au fait que les représentations intermédiaires dans les modèles de base centrés sur l'anglais sont plus alignées avec les espaces anglais pour les langues à haute ressource en script latin que pour les langues typologiquement éloignées ou à faible ressource (comme le swahili).

Signification et contributions

L'article revendique quatre contributions principales :

Publication de l'ensemble de données : Un corpus de raisonnement à CoT long disponible publiquement couvrant six langues (incluant le swahili et le chinois) avec un contexte de 32k et des CoT dans la langue cible.
Mesure contrôlée : Une mesure à grande échelle et strictement contrôlée de l'écart natif vs pivoté vers l'anglais, démontrant que l'écart est beaucoup plus faible (1,9–3,5 %) que précédemment rapporté lorsque les échelles de supervision sont appariées.
Échange de couches : Une technique sans entraînement qui exploite la découverte d'un noyau de raisonnement agnostique à la langue dans les couches intermédiaires. Cette méthode comble la majorité de l'écart restant tout en préservant la génération de CoT natif.
Analyse de la compréhension d'entrée : Une ablation montrant que la compréhension d'entrée reste un goulot d'étranglement principal pour le raisonnement non anglais, distinct du processus de raisonnement lui-même.

Limitations

Les auteurs notent plusieurs limitations :

L'étude est limitée à une seule famille de modèles (Qwen) et une seule échelle (8B).
Le corpus repose sur une traduction automatique, qui peut introduire des artefacts.
L'efficacité de la tokenisation variait selon les langues, ce qui signifie que le « budget de jetons apparié » ne correspondait pas strictement à des nombres d'exemples appariés pour toutes les langues.
Les balayages d'hyperparamètres pour la fenêtre d'échange de couches n'étaient pas exhaustifs.
Les modèles ont été entraînés uniquement par affinage supervisé (SFT) et n'ont pas incorporé d'apprentissage par renforcement (RL) ni d'ajustement par préférence.

Les auteurs concluent que la « recette » de l'échange de couches est directement applicable à d'autres familles de modèles, car le spécialiste anglais requis est souvent disponible prêt à l'emploi, offrant une voie pratique vers un raisonnement natif haute performance sans réentraîner l'ensemble du modèle.