💬 NLP

OpenSIR: Open-Ended Self-Improving Reasoner

OpenSIR est un cadre d'auto-apprentissage qui permet aux grands modèles de langage d'améliorer continuellement leurs capacités de raisonnement en alternant les rôles de professeur et d'élève pour générer et résoudre de nouveaux problèmes sans annotations externes, atteignant ainsi des gains de performance constants sur les tests de référence en mathématiques et en raisonnement général.

Auteurs originaux : Wai-Chung Kwan, Aryo Pradipta Gema, Joshua Ong Jun Leang, Pasquale Minervini

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wai-Chung Kwan, Aryo Pradipta Gema, Joshua Ong Jun Leang, Pasquale Minervini

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant brillant qui a déjà mémorisé tous les manuels de mathématiques de la bibliothèque. Il est excellent pour résoudre des problèmes standards, mais il a atteint un plafond. Il ne peut plus progresser car il ne fait plus rien apprendre de nouveau ; il se contente de pratiquer les mêmes anciens exercices.

C'est le problème que le papier OpenSIR tente de résoudre.

Le Problème : La « Chambre d'Écho » de l'Apprentissage

Les modèles d'IA actuels (comme ceux qui propulsent DeepSeek-R1 ou OpenAI o1) sont généralement entraînés par Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR). Considérez cela comme un étudiant passant un examen standardisé où un professeur humain corrige chaque réponse.

Le Goulot d'Étranglement : Vous avez besoin de milliers d'exemples annotés par des humains (des professeurs corrigeant des copies) pour faire cela.
La Limite : Une fois que l'étudiant a maîtrisé les tests préparés par l'humain, il cesse de progresser. Il ne peut pas aller au-delà du « niveau humain » car il n'apprend que de ce que les humains ont déjà écrit.

Certains chercheurs ont tenté le Self-Play (auto-jeu), où l'IA joue contre elle-même pour apprendre. Imaginez un joueur d'échecs jouant contre un clone de lui-même.

L'Échec : Les méthodes de self-play précédentes ont échoué avec les modèles avancés. Pourquoi ? Parce que l'IA continuait de générer les mêmes types de problèmes qu'elle connaissait déjà. C'était comme un étudiant qui ne pratiquerait que les tables de multiplication encore et encore, sans jamais essayer l'algèbre ou le calcul différentiel. Il restait coincé dans une boucle de « concepts familiers ».

La Solution : OpenSIR (Le « Professeur-Élève Curieux »)

Les auteurs introduisent OpenSIR (Open-Ended Self-Improving Reasoner). C'est un cadre où un seul modèle d'IA joue simultanément deux rôles : le Professeur et l'Élève.

Considérez cela comme une personne qui est à la fois le coach de sport et l'athlète, mais avec une touche spéciale : elle cherche constamment à inventer de nouveaux entraînements qui sont juste assez difficiles pour être stimulants, mais pas trop difficiles pour être impossibles.

Voici comment le cycle fonctionne, étape par étape :

1. La Graine (L'Étincelle)

Vous commencez avec un problème extrêmement simple, comme « Combien font 1 + 1 ? ». C'est la seule entrée humaine dont vous avez besoin.

2. Le Travail du Professeur (Inventer de Nouveaux Défis)

L'IA (agissant en tant que Professeur) examine la graine simple et essaie d'inventer un nouveau problème mathématique.

Le Piège : Sans guidage, le Professeur inventerait simplement « Combien font 2 + 2 ? » et « Combien font 3 + 3 ? » encore et encore.
La Solution (Récompense de Diversité) : OpenSIR donne au Professeur un « bonus de points » pour la création de problèmes qui sont différents de tout ce qu'il a vu auparavant. C'est comme un chef qui reçoit un bonus pour avoir inventé un plat avec des ingrédients qu'il n'a jamais associés ensemble. Cela force l'IA à explorer de nouveaux concepts mathématiques (comme le calcul, les probabilités ou l'optimisation) plutôt que de répéter l'arithmétique.

3. Le Travail de l'Élève (Résoudre le Défi)

L'IA (agissant en tant qu'Élève) essaie de résoudre le nouveau problème que le Professeur a inventé.

Le Piège : Si le Professeur invente un problème trop difficile ou erroné (par exemple, s'il manque des chiffres), l'Élève ne peut pas le résoudre, et aucun apprentissage ne se produit.
La Solution (Calibration de la Difficulté) : OpenSIR vérifie si le problème est « juste ce qu'il faut ». Il utilise un « Score de Solvabilité ». Si le problème est trop facile, il est ennuyeux. S'il est trop difficile ou erroné, il est inutile. Le système ne récompense que les problèmes qui sont stimulants mais solubles.

4. La Boucle (Co-évolution)

Le Professeur et l'Élève apprennent ensemble.

À mesure que l'Élève devient meilleur pour résoudre les problèmes, le Professeur est contraint d'inventer des problèmes plus difficiles et plus complexes pour continuer à obtenir ses « bonus de points ».
À mesure que le Professeur devient meilleur pour inventer des problèmes complexes, l'Élève apprend à les résoudre.
Ils se poussent mutuellement vers l'avant, créant un cycle d'apprentissage perpétuel sans avoir besoin d'un humain pour corriger la moindre copie.

Pourquoi c'est une Grande Chose

Le papier a testé cela sur sept benchmarks mathématiques différents et trois tests de raisonnement général. Voici ce qui s'est passé :

Battre la référence « Corrigée par l'Humain » : OpenSIR est parti d'un seul problème trivial (« 1+1 »). Malgré le fait d'avoir zéro donnée d'entraînement annotée par l'humain, il a surpassé des modèles entraînés sur plus de 7 000 exemples corrigés par des humains.
Corriger les Modèles « Bloqués » : Les méthodes de self-play précédentes rendaient même les modèles avancés moins performants ou n'apportaient aucune aide. OpenSIR les a systématiquement améliorés.
Généralisation : Les compétences acquises n'étaient pas seulement pour les mathématiques. Parce que l'IA était forcée d'explorer des concepts divers, elle est aussi devenue meilleure dans les tâches de raisonnement général (comme les énigmes logiques).

La Recette Secrète

Le papier a découvert que deux éléments étaient absolument critiques :

La Diversité : Si vous supprimez le « bonus pour la différence », l'IA cesse d'apprendre de nouvelles choses et la performance chute.
La Calibration : Si vous ne vérifiez pas si les problèmes sont solubles, l'IA commence à générer des absurdités, et l'apprentissage s'arrête.

En Résumé

OpenSIR est comme une voiture autonome qui ne se contente pas de rouler sur la route qu'elle a apprise grâce à une carte. Au lieu de cela, elle invente de nouvelles routes, vérifie si elles sont praticables, et apprend à les parcourir, devenant finalement un meilleur conducteur que n'importe quel instructeur humain ne pourrait l'enseigner — et ce, sans qu'un seul humain n'ait jamais eu à lui dire où tourner.

Résumé Technique : OpenSIR : Un raisonneur auto-améliorable à horizon ouvert

Problématique

Les progrès récents dans le raisonnement des grands modèles de langage (LLM), tels que DeepSeek-R1 et OpenAI o1, reposent largement sur l'apprentissage par renforcement avec récompenses vérifiables (RLVR) utilisant d'importants ensembles de données annotées par des humains. Cette dépendance crée un goulot d'étranglement pour la mise à l'échelle et pourrait plafonner les performances des modèles au niveau humain. Si l'auto-jeu (self-play) offre une voie pour surpasser la performance humaine en apprenant à partir de signaux de récompense non ambigus (comme on le voit dans les jeux comme le Go ou le Poker), l'appliquer au raisonnement mathématique se heurte à un obstacle fondamental : les problèmes générés manquent de réponses de vérité terrain pour le feedback.

Les méthodes d'auto-jeu existantes tentent de contourner cela en utilisant des vérificateurs externes (par exemple, des compilateurs) ou des signaux heuristiques (par exemple, le vote majoritaire). Cependant, lorsqu'elles sont appliquées à des modèles ayant déjà subi un post-entraînement significatif sur des données curatées par l'humain, ces méthodes produisent des gains marginaux, voire négatifs. Le papier identifie une limitation plus profonde : les approches antérieures ne parviennent pas à soutenir un apprentissage à horizon ouvert (open-ended learning). Sans incitations explicites à la nouveauté, la composante « enseignant » de l'auto-jeu s'effondre dans des modèles de problèmes familiers, cessant de générer de nouveaux signaux d'apprentissage. Par conséquent, ces méthodes ne peuvent pas pousser les modèles bien entraînés au-delà de leurs capacités actuelles.

Méthodologie : OpenSIR

Les auteurs proposent OpenSIR (Open-Ended Self-Improving Reasoner), un cadre d'auto-jeu où une politique unique $\pi_\theta$ alterne entre les rôles d'enseignant (génération de problèmes) et d'étudiant (résolution de problèmes) sans supervision externe ni données annotées. Le cadre démarre à partir d'un seul problème germe trivial (par exemple, « Combien font 1+1 ? »).

Chaque itération d'entraînement consiste en quatre phases :

Génération de problèmes : L'enseignant génère $G$ nouveaux problèmes conditionnés par des problèmes de référence échantillonnés à partir d'un pool accumulé.
Échantillonnage de solutions : L'étudiant tente plusieurs solutions par problème. Une réponse de référence est déterminée via un vote majoritaire, et un « taux de résolution » est calculé pour mesurer la fiabilité.
Scoring (Évaluation) :
- Score de l'Enseignant (Nouveauté) : Les problèmes sont évalués selon la Difficulté et la Diversité.
  - Difficulté : Mesurée via un score de solvabilité (fonction triangulaire culminant à un taux de résolution optimal, par exemple 0,5–0,9) et la longueur de la solution (encourageant le raisonnement multi-étapes).
  - Diversité : Mesurée via la distance d'embedding (distance cosinus) entre le nouveau problème et le pool de problèmes existants pour assurer l'exploration de nouveaux concepts sémantiques.
- Score de l'Étudiant (Exactitude) : Basé sur l'exactitude de la réponse analysée par rapport à la réponse de référence et sur le formatage approprié.
Mise à jour du modèle : La politique est mise à jour en utilisant un objectif de type GRPO (Group Relative Policy Optimization). Les paires problème-solution de haute qualité sont sélectionnées selon les scores de nouveauté, avec la moitié du batch allouée à l'entraînement de l'enseignant et l'autre moitié à celui de l'étudiant.

Crucialement, OpenSIR utilise un entraînement à double rôle, où l'enseignant et l'étudiant co-évoluent. Cela permet à l'enseignant de calibrer dynamiquement la difficulté des problèmes à mesure que les capacités de l'étudiant s'améliorent, évitant ainsi la génération de problèmes soit trop faciles, soit trop difficiles (et donc invalides).

Principales Contributions

Identification des modes de défaillance : Le papier démontre que les méthodes d'auto-jeu existantes échouent sur les modèles fortement post-entraînés car elles manquent de mécanismes pour maintenir la nouveauté, menant à une génération de problèmes répétitifs et à une dégradation des performances.
Cadre OpenSIR : L'introduction du premier cadre d'auto-jeu capable d'amélioration de soi à horizon ouvert à partir d'un seul germe trivial. Il optimise conjointement la difficulté des problèmes (calibration) et la diversité (exploration) sans vérificateurs externes.
Supériorité Empirique : OpenSIR améliore systématiquement les performances sur sept benchmarks mathématiques (GSM8K, MATH-500, Minerva, OlympiadBench, College Math, AIME 2024/2025) et trois benchmarks de raisonnement général (BBEH, MMLU-Pro, SuperGPQA).

Résultats

Les auteurs ont évalué OpenSIR sur sept benchmarks mathématiques (GSM8K, MATH-500, Minerva, OlympiadBench, College Math, AIME 2024/2025) et trois benchmarks de raisonnement général (BBEH, MMLU-Pro, SuperGPQA).

Modèles d'instruction : Sur Llama-3.2-3B-Instruct et Llama-3.1-8B-Instruct, OpenSIR a obtenu des gains moyens de +3,99 et +3,27 sur le raisonnement mathématique, respectivement. Cela a surpassé les bases GRPO entraînées sur plus de 7 000 exemples annotés par des humains (qui ont gagné +2,69 et +1,91) et d'autres méthodes d'auto-jeu (Absolute Zero, R-Zero), qui ont montré des gains négligeables ou négatifs.
Modèles de raisonnement : Sur des modèles de raisonnement fortement post-entraînés (DeepSeek-R1-Distill-Llama-8B et Qwen3-8B), OpenSIR a amélioré le raisonnement mathématique de +3,71 et +2,41, respectivement. En revanche, les bases GRPO basées sur les données n'ont offert que des gains minimaux, et d'autres méthodes d'auto-jeu ont souvent dégradé les performances.
Transfert de raisonnement général : OpenSIR était la seule méthode à améliorer systématiquement les capacités de raisonnement général, avec des gains de +4,79 et +4,41 sur les modèles de raisonnement. Cela suggère que l'entraînement sur des problèmes nouveaux auto-générés développe des compétences de raisonnement transférables, et pas seulement une maîtrise mathématique.
Études d'ablation :
- Récompense de Diversité : Supprimer la récompense de diversité a réduit la précision mathématique d'environ 2,7 points et le raisonnement général de 2,5 points, tout en divisant par deux le nombre de concepts uniques explorés.
- Entraînement à double rôle : L'entraînement de l'étudiant uniquement (avec un enseignant fixe) a entraîné une chute significative des performances et une instabilité de la difficulté des problèmes, confirmant la nécessité de la co-évolution.
- Robustesse du germe : La méthode a fonctionné de manière cohérente, que le germe initial soit un problème d'arithmétique trivial, un problème de géométrie ou un problème de niveau compétition.

Signification

Le papier affirme qu'OpenSIR représente un paradigme convaincant pour le développement autonome du raisonnement mathématique à horizon ouvert. En combinant la calibration de la difficulté et les récompenses de diversité, il permet aux modèles d'étendre récursivement leurs capacités au-delà des limites des données annotées par l'humain.

Les auteurs soulignent que cette approche élimine la dépendance vis-à-vis des vastes ensembles de données curatées, qui constituent un goulot d'étranglement pour la mise à l'échelle. Les résultats suggèrent que les modèles peuvent efficacement amorcer leur raisonnement mathématique par auto-amélioration récursive, à condition que le système soit explicitement incité à explorer de nouveaux concepts plutôt qu'à répéter des concepts familiers. Bien que le papier note que les performances finissent par stagner après un entraînement prolongé, il établit que l'auto-jeu piloté par la nouveauté est une voie viable et nécessaire pour pousser les LLM au-delà du niveau humain dans les tâches de raisonnement.