💻 computer science

IRIS: Interleaved Reinforcement with Incremental Staged Curriculum for Cross-Lingual Mathematical Reasoning

L'article présente IRIS, un cadre novateur combinant un apprentissage par renforcement entrelacé avec un curriculum progressif par étapes et un nouveau jeu de données multilingue (CL-Math) afin d'améliorer considérablement les capacités de raisonnement mathématique interlingue, en particulier dans les langues indiennes à ressources limitées.

Auteurs originaux : Navya Gupta, Rishitej Reddy Vyalla, Avinash Anand, Chhavi Kirtani, Erik Cambria, Zhengchen Zhang, Zhengkui Wang, Timothy Liu, Aik Beng Ng, Simon See, Rajiv Ratn Shah

Publié 2026-04-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Navya Gupta, Rishitej Reddy Vyalla, Avinash Anand, Chhavi Kirtani, Erik Cambria, Zhengchen Zhang, Zhengkui Wang, Timothy Liu, Aik Beng Ng, Simon See, Rajiv Ratn Shah

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un élève comment résoudre des problèmes mathématiques complexes. Si vous lui lancez simplement un manuel difficile en lui disant : « Débrouillez-vous », il risque de rester bloqué, de deviner au hasard ou d'abandonner. C'est exactement le problème que les chercheurs ont rencontré avec les modèles d'IA tentant de faire des mathématiques, en particulier lors du passage d'une langue à une autre comme l'anglais, l'hindi et le marathi.

L'article présente une nouvelle méthode d'entraînement appelée IRIS (Interleaved Reinforcement with Incremental Staged Curriculum). Imaginez IRIS comme un système de tutorat hautement structuré, en deux parties, conçu pour transformer une IA confuse en un résolveur de problèmes mathématiques confiant.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Plan d'Entraînement à Deux Axes

Les auteurs ont réalisé que l'enseignement des mathématiques nécessite deux choses différentes se produisant simultanément. Ils ont construit un cadre avec deux « axes » (comme un graphique en X et Y) :

L'Axe Vertical (Gravir l'Échelle de la Difficulté) :
Imaginez un jeu vidéo où vous commencez au « Niveau 1 » (problèmes faciles) et ne passez au « Niveau 2 » que lorsque vous l'avez maîtrisé. La plupart des entraînements d'IA jettent tous les niveaux sur le modèle d'un coup. IRIS est différent. Il commence l'IA sur des problèmes mathématiques faciles, lui permet de devenir bonne dans ce domaine, puis introduit ensuite progressivement des problèmes moyens et difficiles. Cela construit une base solide avant d'affronter les choses difficiles.
L'Axe Horizontal (Le Jeu « Termine l'Histoire ») :
C'est la partie ingénieuse. Habituellement, on montre à une IA un problème et la réponse complète. IRIS change la donne. Il donne à l'IA la question et les premières étapes de la solution, puis dit : « D'accord, vous êtes seul maintenant. Terminez le reste. »
- Phase précoce : L'IA reçoit la plupart des étapes et n'a qu'à écrire les deux dernières.
- Phase ultérieure : L'IA ne reçoit que la question et doit écrire toute la solution à partir de zéro.
  Cela force l'IA à apprendre comment planifier et continuer sa propre réflexion, plutôt que de simplement mémoriser des réponses complètes.

2. La « Récompense Composite » (La Fiche de Notes)

Dans l'apprentissage par renforcement, l'IA reçoit des points (récompenses) pour bien faire. Habituellement, elle ne reçoit des points que si la réponse finale est correcte. Mais en mathématiques, une réponse correcte avec une mauvaise logique est toujours mauvaise.

IRIS utilise une récompense composite, qui ressemble à un enseignant notant un élève sur quatre aspects à la fois :

Avez-vous obtenu la bonne réponse ? (La partie la plus importante).
Vos étapes ont-elles du sens ? (Avez-vous suivi un chemin logique similaire à la bonne ?).
Avez-vous maintenu le flux ? (Avez-vous continué à partir de là où l'étape précédente s'était arrêtée, ou avez-vous recommencé la numérotation ?).
Le nombre est-il formaté correctement ? (Avez-vous produit un nombre propre ?).

Cela garantit que l'IA apprend comment penser, et pas seulement quelle est la réponse.

3. L'« Ancrage Anglais » (La Sauce Secrète Multilingue)

L'un des plus grands défis consiste à enseigner les mathématiques dans des langues disposant de moins de ressources, comme l'hindi ou le marathi. Il n'y a pas autant de données mathématiques de haute qualité disponibles pour ces langues que pour l'anglais.

L'article a découvert un tour de passe-passe fascinant : Utiliser l'anglais comme « Ancrage de Raisonnement ».

Imaginez que la capacité de l'IA à penser logiquement est stockée en anglais, et que sa capacité à parler hindi ou marathi est une compétence séparée.
En entraînant l'IA sur un mélange de problèmes en anglais et en hindi/marathi (même seulement 20 % d'anglais), les données anglaises agissent comme un ancre stable. Elles maintiennent le raisonnement logique de l'IA vif et cohérent.
L'IA « transfère » ensuite cette forte capacité de raisonnement vers l'hindi et le marathi. Sans cet ancre anglais, l'IA peine à maintenir une cohérence logique dans les langues à faibles ressources, restant souvent bloquée ou abandonnant.

4. Les Résultats

Les chercheurs ont testé cela sur un nouveau jeu de données qu'ils ont créé, appelé CL-Math, qui contient 29 000 problèmes mathématiques avec des solutions étape par étape en anglais, en hindi et en marathi.

Meilleures Compétences Mathématiques : Les modèles entraînés avec IRIS ont résolu significativement plus de problèmes correctement que les modèles standards, en particulier sur les questions les plus difficiles.
Boost Linguistique : Les plus grandes améliorations ont été observées en hindi et en marathi. La stratégie « Ancrage Anglais » a aidé l'IA à raisonner dans ces langues bien mieux que si elle avait été entraînée uniquement sur ces langues.
Généralisation : Même s'ils ont été entraînés sur leur jeu de données spécifique, les IA ont mieux performé sur d'autres tests mathématiques standards (comme GSM8K et MATH), prouvant que la méthode fonctionne largement.

Résumé

En bref, IRIS est une méthode d'entraînement qui apprend à l'IA à faire des mathématiques en :

Commençant par des choses faciles et en augmentant la difficulté (Vertical).
Faisant terminer à l'IA des solutions partielles (Horizontal).
La notant à la fois sur la réponse et sur la logique (Récompense Composite).
Utilisant l'anglais comme « roue d'entraînement » pour l'aider à apprendre les mathématiques dans d'autres langues (Ancrage Multilingue).

Le résultat est une IA plus intelligente et plus logique capable de résoudre des problèmes mathématiques dans plusieurs langues, non pas en devinant, mais en comprenant réellement les étapes.

1. Énoncé du Problème

Les Grands Modèles de Langage (LLM) éprouvent des difficultés avec le raisonnement mathématique complexe, en particulier dans les contextes multilingues et à ressources limitées (par exemple, les langues indiennes comme le hindi et le marathi). Les paradigmes d'entraînement existants font face à deux limitations principales :

Sparsité de la Récompense : Un entraînement qui ne récompense que la réponse finale échoue à superviser les étapes intermédiaires du raisonnement, conduisant à des chaînes de logique hallucinées.
Lacunes du Curriculum : L'apprentissage par curriculum standard (progressant des problèmes faciles aux difficiles) échoue souvent à capturer où le raisonnement se brise. À l'inverse, les méthodes de renforcement au niveau des étapes (comme le Curriculum Inverse) manquent souvent de planification de la difficulté, entraînant un apprentissage instable sur des récompenses clairsemées.
Transfert Translingue : Les langues à ressources limitées manquent souvent de données suffisantes pour soutenir indépendamment un raisonnement de haute qualité, et la traduction directe de traces de raisonnement dégrade souvent la cohérence.

2. Méthodologie : Le Cadre IRIS

Les auteurs proposent IRIS (Renforcement Entrelacé avec Curriculum par Étapes Incrémentales), un cadre d'entraînement à deux axes conçu pour découpler l'acquisition de compétences de l'affinement du raisonnement.

A. Le Curriculum à Deux Axes

Axe Vertical (Curriculum au Niveau du Problème) :
- Objectif : Augmenter progressivement la difficulté de la tâche.
- Processus : Le modèle subit un Affinement Supervisé (SFT) par étapes : Facile $\to$ Facile+Moyen $\to$ Facile+Moyen+Difficile.
- Mécanisme : Le modèle apprend des traces de raisonnement complètes pour des problèmes de complexité croissante, établissant une base de modèles de raisonnement avant le début de l'apprentissage par renforcement.
Axe Horizontal (Curriculum de Continuation au Niveau de l'Étape) :
- Objectif : Réduire la dépendance aux préfixes de raisonnement fournis et encourager une planification indépendante.
- Processus : Une approche de Curriculum Inverse. Pour un problème comportant $n$ $n$ étapes, le modèle est entraîné sur $n-1$ $n - 1$ étapes.
  - Étape 0 (La plus facile) : Le modèle reçoit $n-2$ étapes et doit générer uniquement les 2 dernières étapes.
  - Étape $k$ : Le modèle reçoit $n-k-2$ étapes et doit générer le reste.
  - Étape $n-2$ (La plus difficile) : Le modèle reçoit uniquement la question et doit générer la solution complète à partir de zéro.
- Mécanisme : Cela force le modèle à passer de la complétion de chaînes partielles à la génération de trajectoires de raisonnement complètes.

B. Conception de la Récompense Composite (RLVR)

Pour optimiser l'Axe Horizontal, les auteurs utilisent l'Optimisation de Politique Relative par Groupes (GRPO) avec une nouvelle fonction de récompense composite $R_k$ :
$R_k = r_{final} + \lambda_k \cdot r_{cos} + r_{cont} + r_{int}$

Exactitude ( $r_{final}$ ) : Récompense binaire (+2) pour une correspondance exacte de la réponse.
Alignement Cosinus ( $r_{cos}$ ) : Mesure la similarité sémantique entre le suffixe généré et les étapes de raisonnement de référence. Crucialement, ce poids $\lambda_k$ décroît linéairement à mesure que l'étape du curriculum augmente. Il agit comme un stabilisateur dans les premières étapes mais est éliminé dans les étapes difficiles pour encourager des chemins de raisonnement valides et diversifiés.
Continuité ( $r_{cont}$ ) : Récompense la numérotation correcte des étapes et le flux logique (par exemple, continuer là où le préfixe s'est arrêté).
Incitation Entière ( $r_{int}$ ) : Petite prime pour la production de sorties numériques.

C. Stratégie Multilingue : L'Anglais comme Ancrage de Raisonnement

Le cadre introduit une configuration d'entraînement bilingue (par exemple, Anglais + Hindi).

Hypothèse : L'anglais agit comme un "ancrage de raisonnement". Puisque l'anglais dispose de données de raisonnement de haute qualité, il stabilise la dynamique d'apprentissage.
Mécanisme : Le modèle apprend la logique du raisonnement à partir de l'anglais et transfère cette capacité vers les langues à ressources limitées (hindi/marathi), qui se concentrent principalement sur l'expression de cette logique dans un nouveau script. Les expériences montrent qu'un mélange de 20 % d'anglais empêche significativement la stagnation de la récompense dans l'entraînement monolingue à ressources limitées.

3. Contributions Clés

Cadre IRIS : Un curriculum novateur à deux axes combinant un SFT basé sur la difficulté (Vertical) avec un RL par étapes inversées (Horizontal) pour stabiliser le raisonnement à long horizon.
Fonction de Récompense Composite : Un signal de récompense multi-composantes qui équilibre l'exactitude de la réponse avec l'alignement étape par étape et la continuité structurelle, optimisé via GRPO.
Jeu de Données CL-Math : Un nouveau jeu de données multilingue de 29 000 exemples contenant des problèmes mathématiques avec des annotations au niveau des étapes en anglais, hindi et marathi. Il comprend 2 184 exemples faciles, 2 212 moyens et 5 588 difficiles par langue, avec des séparations strictes entraînement/test pour prévenir les fuites de données.
Insights Translingues : Preuve empirique que l'entraînement bilingue (Anglais + Faible Ressource) agit comme un régularisateur nécessaire, permettant un post-entraînement RL stable là où les approches monolingues échouent.

4. Résultats

Les auteurs ont évalué IRIS sur les modèles Qwen2.5-Math-7B et WizardMath-7B.

Performance sur CL-Math :
- IRIS a amélioré la précision du raisonnement jusqu'à +15,8 % sur les problèmes hindi les plus difficiles par rapport aux bases de référence.
- Les configurations bilingues (Anglais-Hindi/Marathi) ont montré des gains substantiels par rapport aux configurations monolingues, confirmant l'hypothèse de l'"ancrage de raisonnement".
Généralisation aux Benchmarks Standards :
- SVAMP : 90,6 % (vs 70,4 % de base).
- GSM8K : 83,9 % (vs 70,6 % de base).
- MATH : 64,6 % (vs 29,5 % de base).
- IRIS a surpassé d'autres modèles spécialisés 7B (MetaMath, DeepSeek-Math) et s'est approché des performances de GPT-4 sur des benchmarks spécifiques.
Études d'Ablation :
- La suppression de l'échauffement SFT vertical ou de la progression du curriculum a considérablement dégradé les performances.
- La simplification de la récompense à l'exactitude seule a réduit la précision, soulignant l'importance de la structure de récompense composite.
- Un mélange de 20 % d'anglais dans l'entraînement marathi a produit le meilleur équilibre, agissant comme un régularisateur.

5. Signification et Impact

Combler le Fossé des Faibles Ressources : IRIS démontre une voie pratique pour améliorer le raisonnement mathématique dans les langues sous-représentées (hindi, marathi) en exploitant les données anglaises à haute ressource sans nécessiter d'énormes jeux de données natifs.
RL Stable pour le Raisonnement : La combinaison de curriculums par étapes et de récompenses d'alignement décroissantes résout les problèmes d'instabilité courants dans l'apprentissage par renforcement pour les tâches de raisonnement, permettant aux modèles d'apprendre une logique complexe et multi-étapes sans s'effondrer.
Science Ouverte : La publication de CL-Math et du code source fournit une ressource critique pour la communauté afin de poursuivre la recherche sur le raisonnement multilingue et l'apprentissage par curriculum.
Alignement Cognitif : Le cadre reflète le développement cognitif humain (apprendre la structure d'abord, puis augmenter la complexité), offrant un paradigme d'entraînement plus robuste que l'optimisation de boîte noire de bout en bout.

En conclusion, IRIS établit que la conception structurée de curriculums combinée au renforcement entrelacé est une stratégie hautement efficace pour débloquer des capacités de raisonnement profond dans les petits modèles de langage, en particulier dans des contextes multilingues.