💬 NLP

On-Policy Delta Distillation for Multilingual Math Reasoning

Cet article démontre que l'On-Policy Delta Distillation (OPD $^2$ ), qui exploite l'écart de probabilité entre un enseignant post-entraîné et son modèle de base, améliore considérablement le raisonnement mathématique multilingue en coréen et en japonais tout en réduisant les écarts de performance, bien qu'il souligne la nécessité de données multilingues pour prévenir les dérives de réponses centrées sur l'anglais.

Auteurs originaux : Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han

Publié 2026-08-07

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs sont comme de brillants étudiants multilingues qui ont lu tous les livres de la bibliothèque mais qui peinent toujours à résoudre un problème de mathématiques complexe. Pour les aider à devenir plus intelligents, les scientifiques utilisent une technique appelée « entraînement », qui est un peu comme un entraîneur guidant un étudiant à travers des exercices de pratique. Pendant longtemps, la meilleure façon d'entraîner ces étudiants IA était l'Apprentissage par Renforcement (RL), une méthode où l'ordinateur reçoit une seule note à la toute fin de sa réponse — comme recevoir un « A » ou un « F » sur une dissertation entière sans savoir quelles phrases spécifiques étaient bonnes ou mauges. Cependant, une méthode plus efficace appelée On-Policy Distillation (OPD) a émergé. Au lieu d'attendre une note finale, l'OPD agit comme un maître enseignant qui lit la réponse de l'étudiant mot par mot, en murmurant des corrections et des suggestions pendant que l'étudiant écrit. Ce feedback au niveau du « token » est beaucoup plus précis. Mais voici le hic : la majeure partie de cette recherche n'a été réalisée qu'en anglais. Nous ne savions pas si cette technique de l'« enseignant qui murmure » fonctionnait aussi bien pour des étudiants parlant coréen, japonais ou d'autres langues, ou si elle pouvait aider à combler l'écart entre la capacité de l'IA à parler anglais et sa capacité à parler d'autres langues.

Ce document plonge dans cette question exacte, testant une version surpuissante de la technique appelée On-Policy Delta Distillation (OPD²) sur le raisonnement mathématique en anglais, coréen et japonais. Les chercheurs ont découvert que cette nouvelle méthode change la donne. Tout comme un chef cuisinier expert capable d'enseigner une recette à un étudiant dans n'importe quelle langue, l'OPD² a aidé les modèles d'IA à résoudre des problèmes mathématiques de manière nettement plus efficace dans les trois langues, avec des bonds particulièrement spectaculaires en coréen et en japonais. L'étude suggère que cette méthode est encore meilleure que la version originale car elle se concentre sur le « delta » — la différence spécifique entre ce que le professeur sait et ce que le modèle de base de l'étudiant sait déjà — isolant ainsi efficacement les nouvelles capacités de raisonnement enseignées.

Cependant, le document a également mis au jour un effet secondaire fascinant et légèrement délicat. Lorsque les chercheurs ont essayé d'enseigner à l'IA en utilisant uniquement des problèmes mathématiques en anglais, le modèle est devenu étonnamment meilleur pour résoudre des problèmes mathématiques en coréen et en japonais. C'était comme si l'étudiant avait appris la logique des mathématiques en anglais et pouvait l'appliquer à d'autres langues. Mais il y avait un tournant : bien que les réponses soient correctes, le modèle commençait souvent à écrire ses explications en anglais, même lorsque la question était posée en coréen ou en japonais. Cela suggère que si le « muscle du raisonnement » peut être entraîné dans une langue et transféré à une autre, maintenir la « voix » de la réponse dans la langue cible nécessite de pratiquer avec des données dans cette langue spécifique. Enfin, le document montre que l'OPD² est un outil puissant pour rendre l'IA plus intelligente à travers les langues, mais pour véritablement maîtriser une langue, il faut toujours la parler pendant la pratique.

La découverte centrale : Un meilleur enseignant qui murmure

Les chercheurs ont cherché à voir si l'OPD² (la version avancée de l'enseignant qui murmure) pouvait surpasser l'OPD original lorsqu'il s'agit de traiter plusieurs langues. Ils ont utilisé une famille de modèles d'IA appelés Qwen3 (spécifiquement les versions 1.7B et 8B) et un modèle enseignant massif pour les guider. Les résultats étaient clairs et cohérents : l'OPD² a systématiquement battu l'OPD original sur toute la ligne.

Pensez-y de cette façon : si l'OPD original était un bon tuteur, l'OPD² était un tuteur de génie qui savait exactement ce qui manquait à l'étudiant. Dans les expériences, cette différence a été énorme pour les langues non anglaises. Pour le petit modèle (Qwen3-1.7B), l'OPD² a amélioré le score de mathématiques en coréen de 40,9 à 51,9, et le score en japonais de 37,2 à 52,0. L'OPD original a aidé, mais l'OPD² a poussé ces chiffres encore plus haut. Pour le modèle plus grand et plus intelligent (Qwen3-8B), les améliorations étaient tout aussi fortes, le coréen passant de 57,0 à 64,4 et le japonais de 57,1 à 65,0.

Le document soutient explicitement qu'il ne s'agit pas seulement de copier le style du professeur. En utilisant le « signal delta » (l'écart entre le professeur et son propre modèle de base), l'OPD² a réussi à transférer les capacités de raisonnement à l'étudiant, plutôt que de simplement imiter la production générale du professeur. Cela suggère que la méthode est robuste et fonctionne bien, indépendamment de la langue ou de la taille du modèle.

Combler l'écart linguistique

L'un des plus grands objectifs de cette recherche était de voir si ces méthodes d'entraînement pouvaient réduire l'écart de performance entre l'anglais et les autres langues. Souvent, les modèles d'IA sont bien meilleurs en anglais qu'en coréen ou en japonais. Le document a trouvé que l'OPD² multilingue a généralement aidé à réduire cet écart.

Dans un examen détaillé de « l'écart de précision Anglais-Coréen », les chercheurs ont constaté que, bien que le modèle de base favorise l'anglais par une large marge (parfois de plus de 13 points sur certains tests), l'entraînement OPD a réduit cette disparité. Par exemple, sur le benchmark Global-MGSM, l'écart est passé de 13,4 points à 8,6 points avec l'OPD standard, et est descendu à 9,3 points avec l'OPD². Sur le benchmark HRM8K, l'écart est passé de 12,1 à 9,2 points.

Le document suggère que cela se produit parce que l'entraînement multilingue profite davantage aux langues non anglaises qu'à la langue anglaise, élevant ainsi les performances des plus faibles sans tirer vers le bas les plus forts. Cependant, les auteurs notent prudemment que cet effet n'était pas parfaitement uniforme sur chaque test ; sur certains benchmarks spécifiques comme M-MMLU, l'écart s'est en fait légèrement élargi. Ainsi, bien que la tendance soit positive, ce n'est pas une baguette magique qui corrige instantanément chaque métrique.

La surprise de l'« Anglais uniquement » et le piège de la langue

La découverte la plus surprenante du document est ce qui s'est passé lorsque les chercheurs ont entraîné les modèles en utilisant uniquement des données en anglais. Vous pourriez penser que si vous n'enseignez que les mathématiques en anglais à un étudiant, il échouera en mathématiques coréennes. Mais le document a révélé que l'OPD² en anglais uniquement a en fait considérablement amélioré les scores en coréen et en japonais.

En mode non-réflexion (non-thinking mode), l'entraînement en anglais uniquement a augmenté la moyenne coréenne de 40,9 à 52,6 et la moyenne japonaise de 37,2 à 53,4. Ces chiffres sont presque aussi bons que les scores de l'entraînement multilingue (qui étaient de 51,9 pour le coréen et 52,0 pour le japonais). Cela suggère que la logique du raisonnement mathématique est si universelle qu'elle peut être apprise en anglais et ensuite appliquée à des problèmes coréens ou japonais, même si le modèle n'a pas vu un seul problème de mathématiques coréens pendant l'entraînement.

Cependant, il y a un piège majeur. Le document exclut explicitement l'idée que cela signifie que le modèle a véritablement maîtrisé la langue. Lorsque les chercheurs ont vérifié quelle langue le modèle utilisait réellement dans ses réponses, les résultats étaient frappants.

Entraînement Multilingue : Lorsqu'il a été entraîné sur des langues mixtes, le modèle répondait en coréen 90,5 % du temps (en mode non-réflexion) et en japonais 90,9 % du temps.
Entraînement Anglais Uniquement : Lorsqu'il a été entraîné uniquement en anglais, les réponses « coréennes » du modèle sont tombées à 48,3 % (ce qui signifie qu'il répondait en anglais la moitié du temps), et ses réponses « japonaises » ont chuté à 29,6 %.

Même en « mode réflexion » (où le modèle effectue une étape de raisonnement cachée avant de répondre), la tendance s'est maintenue. Le modèle entraîné uniquement en anglais résolvait les mathématiques correctement mais écrivait souvent la réponse finale en anglais, ignorant le fait que la question était posée en coréen ou en japonais. Le document conclut que si l'entraînement en anglais uniquement peut transférer la capacité de raisonner, il échoue à préserver l' habitude de répondre dans la langue cible. Pour que le modèle parle la langue que vous voulez, vous devez le nourrir de données dans cette langue.

Résumé des conclusions

Le document démontre que l'OPD² est une méthode supérieure pour enseigner le raisonnement mathématique aux IA à travers les langues, surpassant systématiquement l'OPD original. Elle parvient à réduire l'écart de performance entre l'anglais et des langues comme le coréen et le japonais, suggérant que l'entraînement post-apprentissage multilingue est une voie viable vers une IA plus équilibrée. Cependant, l'étude trace également une ligne claire entre la « capacité de raisonnement » et la « génération de langage ». Si les compétences de raisonnement peuvent être apprises dans une langue et appliquées à une autre, le modèle aura naturellement tendance à dériver vers l'anglais à moins qu'il ne soit explicitement entraîné avec des données dans la langue cible. Les auteurs suggèrent que les recherches futures devraient se concentrer sur l'évaluation de la précision de la réponse ET de la langue de la réponse pour véritablement comprendre les capacités multilingues de l'IA.

Résumé technique : Distillation Delta On-Policy pour le raisonnement mathématique multilingue

Énoncé du problème

Bien que la distillation on-policy (OPD) soit apparue comme une alternative prometteuse et efficace à l'apprentissage par renforcement (RL) pour le post-entraînement des grands modèles de langage (LLM), son efficacité dans les contextes multilingues reste peu explorée. La recherche existante s'est principalement concentrée sur les benchmarks de raisonnement en anglais. De plus, la performance spécifique de l'OPD et de sa variante avancée, l'On-Policy Delta Distillation (OPD2), sur les langues d'Asie de l'Est (spécifiquement le coréen et le japonais) est largement méconnue. Il existe un besoin critique de comprendre si ces méthodes de distillation peuvent transférer efficacement les capacités de raisonnement entre les langues et si elles peuvent atténuer les disparités de performance souvent observées entre les tâches de raisonnement en anglais et en langues non anglaises.

Méthodologie

L'étude évalue l'OPD et l'OPD2 en utilisant la famille de modèles Qwen3 (1.7B, 8B et 30B-A3B) pour des tâches de raisonnement mathématique en anglais, en coréen et en japonais.

Mécanismes fondamentaux

Distillation On-Policy (OPD) : Contrairement au RL, qui utilise des récompenses au niveau de la séquence, l'OPD emploie une supervision au niveau du jeton (token). Un modèle étudiant ( $\pi_\theta$ ) génère une réponse, qui est ensuite injectée dans un modèle enseignant ( $\pi^*$ ) pour obtenir les probabilités par jeton. L'étudiant est entraîné pour minimiser la divergence KL entre sa distribution de sortie et celle de l'enseignant, utilisant ainsi la préférence de l'enseignant comme signal de récompense.
On-Policy Delta Distillation (OPD2) : Cette variante améliore l'OPD en modifiant le signal d'apprentissage. Au lieu de comparer l'étudiant à l'enseignant, l'OPD2 calcule le « delta » entre l'enseignant ( $\pi^*$ ) et le modèle de base correspondant de l'enseignant ( $\pi^*_{base}$ ). La récompense est définie par l'écart de log-probabilité : $\log \pi^*(y_t | \dots) - \log \pi^*_{base}(y_t | \dots)$ . Cela isole les capacités acquises lors du post-entraînement (raisonnement) des préférences générales ou des schémas stylistiques inhérents au modèle de base. L'OPD2 incorpore également un centrage de la récompense et un critère de conditionnement pour résoudre les problèmes de convergence.

Configuration expérimentale

Jeux de données : Un ensemble d'entraînement multilingue de 100 000 problèmes (ratio 1:1:1 pour l'anglais, le coréen et le japonais) a été construit à partir de Nemotron-SFT-Multilingual-v2 et Nemotron-Math-v2. Un ensemble d'entraînement exclusivement anglais de 100 000 problèmes a également été créé.
Modèles : Qwen3-1.7B et Qwen3-8B servent d'étudiants ; Qwen3-30B-A3B-2507 sert d'enseignant.
Évaluation : Les modèles ont été testés en modes « thinking » (Chaîne de pensée / Chain-of-Thought) et « non-thinking » sur des benchmarks incluant PolyMath, Global-MGSM, HRM8K et MAWPS.
Métriques : La performance a été mesurée via la précision sur les benchmarks et le « taux de réponse dans la langue cible » (le pourcentage de sorties générées dans la langue de la question d'entrée).

Contributions clés et résultats

1. Supériorité de l'OPD2 dans les contextes multilingues

L'étude démontre que l'OPD2 surpasse systématiquement l'OPD originale à travers toutes les langues et toutes les tailles de modèles.

Gains de performance : Pour Qwen3-1.7B, l'OPD2 a amélioré les scores moyens de 55,1 à 63,6 (anglais), de 40,9 à 51,9 (coréen) et de 37,2 à 52,0 (japonais). Des tendances similaires ont été observées pour le modèle 8B.
Améliorations spécifiques aux langues : Les gains fournis par l'OPD2 par rapport à l'OPD sont particulièrement prononcés en coréen et en japonais. Pour Qwen3-1.7B, l'OPD2 a dépassé l'OPD de 3,1 et 4,0 points en coréen et en japonais respectivement, contre un gain de 2,1 points en anglais. Cela suggère que le signal delta est hautement efficace pour transférer les capacités de raisonnement vers les langues non anglaises.

2. Réduction de l'écart linguistique

L'entraînement multilingue par OPD2 réduit généralement la disparité de performance entre le raisonnement en anglais et en coréen.

Réduction de l'écart : Sur des benchmarks comme Global-MGSM et HRM8K, l'écart de précision entre l'anglais et le coréen a considérablement diminué après l'entraînement par OPD2. Par exemple, l'écart sur Global-MGSM est passé de 13,4 points (base) à 9,3 points (OPD2).
Consistance : L'OPD2 a réduit l'écart anglais-coréen sur six des sept benchmarks rapportés, indiquant que le post-entraînement multilingue bénéficie souvent plus fortement au raisonnement non anglais qu'au raisonnement anglais, réduisant ainsi les disparités translinguistiques sans sacrifier la performance en anglais.

3. Transfert translinguistique vs Génération dans la langue cible

Une conclusion critique concerne la distinction entre le transfert de la capacité de raisonnement et la préservation de la langue.

Transfert anglais uniquement : Étonnamment, un entraînement exclusivement sur des données anglaises (OPD2 English-only) a amélioré la précision des benchmarks en coréen et en japonais à des niveaux comparables à l'entraînement multilingue. Cela indique que les capacités de raisonnement apprises via la supervision anglaise peuvent se généraliser aux entrées non anglaises.
Décalage linguistique : Cependant, l'entraînement English-only entraîne un changement significatif de la langue de réponse. Alors que l'OPD2 multilingue maintenait des taux élevés de réponse dans la langue cible (ex: ~90 % pour le coréen/japonais en mode non-thinking), l'OPD2 English-only a provoqué une chute drastique de ces taux (ex: le coréen est tombé à 48,3 %, le japonais à 29,6 % en mode non-thinking).
Implication : Les modèles entraînés avec des données uniquement anglaises peuvent résoudre des problèmes présentés en coréen ou en japonais, mais génèrent fréquemment le processus de raisonnement et les réponses en anglais. Les données multilingues sont donc essentielles, non pas pour le transfert de la logique de raisonnement, mais pour la préservation de la génération dans la langue cible de cette logique.

Signification

Cet article établit que la Distillation Delta On-Policy (OPD2) est une méthode robuste pour améliorer le raisonnement mathématique multilingue. Il confirme que le signal delta, conçu pour isoler les capacités de raisonnement du post-entraînement, est efficace à travers différentes langues et échelles de modèles.

L'étude met en lumière une distinction nuancée dans le post-entraînement multilingue : bien que les capacités de raisonnement puissent être transférées de l'anglais vers d'autres langues même sans exposition directe à ces langues durant l'entraînement, la préservation de la langue cible dans la sortie nécessite un entraînement multilingue explicite. Par conséquent, les auteurs soutiennent que l'évaluation des modèles multilingues nécessite d'aller au-delà de la simple précision des benchmarks pour inclure des métriques de langue de réponse, garantissant que les capacités de raisonnement acquises sont exprimées dans la langue prévue. Ces conclusions fournissent une base pour étendre l'OPD à des langues au-delà de l'anglais et pour affiner les stratégies de post-entraînement pour un déploiement mondial.