🤖 AI

Instruction-Conditioned Exploration with Asymmetric Reinforcement Learning and Self-Distillation

Cet article propose l'Exploration Conditionnée par Instruction (ICE) combinée à un objectif d'Apprentissage par Renforcement Asymétrique et d'Auto-Distillation pour améliorer l'exploration des LLM et transférer des comportements diversifiés vers la politique à l'instant du test, réalisant ainsi des gains de performance significatifs dans les tâches de raisonnement mathématique.

Auteurs originaux : Jim Dilkes, Vahid Yazdanpanah, Sebastian Stein

Publié 2026-08-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jim Dilkes, Vahid Yazdanpanah, Sebastian Stein

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent comment résoudre un casse-tête complexe. Vous possédez un outil puissant appelé « Apprentissage par Renforcement » (Reinforcement Learning ou RL), qui est comme un entraîneur de jeu vidéo. Le robot tente un mouvement, reçoit un signal « bon travail ! » ou « réessaie », et apprend lentement à gagner. Mais voici le hic : dans le monde des Grands Modèles de Langage (LLM) — les cerveaux d'IA qui écrivent du texte et résolvent des problèmes mathématiques — les « mouvements » ne sont pas de simples boutons comme « sauter » ou « tirer ». Ce sont des mots. Et il existe des dizaines de milliers de mots à choisir.

Si vous dites simplement au robot d'« essayer des choses au hasard » pour apprendre, il produira généralement du charabia. Échanger aléatoirement un mot dans une phrase, c'est comme essayer de réparer un moteur de voiture en jetant des pièces au hasard dessus ; cela fonctionne rarement. Ainsi, le robot a tendance à s'enfermer dans les quelques choses qu'il connaît déjà, manquant ainsi des façons plus astucieuses de résoudre les problèmes. La grande question pour les scientifiques est la suivante : comment amener ces cerveaux d'IA à explorer de nouvelles façons de penser, plus diverses, sans pour autant qu'ils disent n'importe quoi ? Ce document s'attaque précisément à ce problème, en proposant une méthode ingénieuse pour forcer le robot à essayer différentes « stratégies » pendant qu'il apprend, puis pour lui apprendre à utiliser ces stratégies même lorsque les indices ont disparu.

La stratégie de la « Consigne Secrète »

Les chercheurs, Jim Dilkes et son équipe de l'Université de Southampton, ont conçu une méthode qu'ils appellent Instruction-Conditioned Exploration (ICE) (Exploration Conditionnée par l'Instruction). Voyez cela comme ceci : imaginez que vous entraînez un joueur d'échecs. Au lieu de simplement dire « Joue une partie », vous lui donnez une « consigne secrète » différente pour chaque partie qu'il pratique. Une feuille pourrait dire : « Aujourd'hui, concentre-toi uniquement sur l'attaque du côté du roi », tandis qu'une autre dit : « Défends tes pions à tout prix ».

Dans la méthode du papier, ils prennent un problème mathématique et y attachent une ou plusieurs différentes « consignes comportementales ». Ce ne sont pas les réponses ; ce sont juste des indices incitatifs comme « Cherche la symétrie dans ce problème » ou « Essaie de diviser cela en morceaux plus petits ». En forçant l'IA à générer des réponses en portant ces différents « chapeaux », le modèle explore une variété de solutions bien plus large que s'il le faisait de lui-même. C'est comme forcer un élève à résoudre le même problème de mathématiques de cinq manières différentes, juste pour voir laquelle fonctionne le mieux.

Le Professeur et l'Élève

C'est ici que la magie opère. Le modèle d'IA joue en fait deux rôles à la fois : un Professeur et un Élève.

Le Professeur : Cette version de l'IA reçoit les « consignes secrètes » (les instructions). Elle essaie de résoudre les problèmes en utilisant ces indices. Lorsqu'elle obtient une très bonne réponse, elle reçoit une récompense.
L'Élève : Cette version de l'IA est la « vraie » que nous voulons utiliser plus tard. Elle ne voit jamais les consignes. Elle voit simplement le problème mathématique brut.

L'équipe utilise un tour de formation spécial appelé Asymmetric-RL/SD. C'est un peu comme un chef cuisinier expert (le Professeur) préparant un repas délicieux en utilisant un mélange d'épices secret. L'élève (l'Élève) regarde le chef cuisiner, goûte le plat final et essaie d'apprendre comment le cuisiner si bien qu'il puisse recréer ce goût délicieux en utilisant uniquement des ingrédients de base, sans le mélange d'épices secret.

Les chercheurs ont découvert qu'en laissant le Professeur explorer avec les indices, puis en « distillant » (transférant) ce savoir à l'Élève, l'Élève devient bien meilleur pour résoudre les problèmes de son propre chef.

Ce qu'ils ont trouvé

L'équipe a testé cela sur un modèle d'IA spécifique appelé Qwen3-1.7B (un « petit » modèle capable de fonctionner sur des ordinateurs portables et des téléphones) résolvant des problèmes mathématiques. Ils ont comparé leur nouvelle méthode à une technique de formation standard appelée DAPO.

Le Résultat : Lorsque le modèle a été entraîné avec leur méthode de « Consigne Secrète » (ICE) et le transfert « Professeur-à-Élève » (Asymmetric-RL/SD), il est devenu 5,0 % meilleur pour résoudre correctement les problèmes mathématiques dès le premier essai par rapport à la méthode standard.
La Preuve : Ce n'était pas un coup de chance. Ils ont répété l'expérience cinq fois avec des graines aléatoires différentes (comme lancer les dés cinq fois), et leur méthode a gagné les 5 fois. L'amélioration était suffisamment constante pour que les chercheurs soient très confiants dans le fait qu'il s'agit d'un effet réel, et non de la chance.
Le Long Terme : Ils ont également testé cela avec des réponses plus longues (contexte de 8K), et le modèle s'est toujours amélioré, bien que le gain soit un peu plus faible.

Cependant, il existe une limite. Lorsqu'ils ont essayé cela sur un modèle plus grand (4 milliards de paramètres), la méthode n'a pas amélioré les résultats par rapport à l'entraînement standard. Cela suggère que ce tour de passe-passe des « instructions » fonctionne mieux pour les petits modèles qui sont juste à la limite de pouvoir résoudre le problème, les aidant à atteindre de nouveaux sommets qu'ils ne pourraient atteindre seuls.

Pourquoi cela importe

Le plus cool, c'est qu'une fois l'entraînement terminé, vous n'avez plus besoin des instructions. Le modèle « Élève » est prêt à partir, résolvant des problèmes mathématiques de son propre chef sans aucune instruction supplémentaire. Cela signifie que vous pouvez obtenir une IA plus intelligente et plus capable sur votre téléphone ou votre ordinateur portable sans avoir besoin de transporter une liste géante d'indices. C'est une façon d'apprendre à l'IA à être plus créative et méticuleuse pendant sa « scolarité » afin qu'elle devienne un meilleur décideur pour le reste de sa vie.

Les chercheurs admettent qu'ils cherchent encore à savoir jusqu'où cela va, car cela n'a pas fonctionné sur le modèle plus grand qu'ils ont testé. Mais pour les modèles d'IA quotidiens plus petits qui alimentent nos appareils, cette « Exploration Conditionnée par l'Instruction » semble être une nouvelle façon prometteuse d'aider à penser différemment.

Résumé Technique : Exploration Conditionnée par Instruction avec Apprentissage par Renforcement Asymétrique et Auto-Distillation

1. Énoncé du Problème

L'apprentissage par renforcement (RL) post-entraînement est devenu une méthode standard pour améliorer les grands modèles de langage (LLM), particulièrement pour les tâches ayant des résultats vérifiables. Cependant, les auteurs soutiennent que les méthodes classiques d'exploration par RL, qui reposent sur une sélection d'actions stochastiques (par exemple, $\epsilon$ -greedy ou injection de bruit), sont mal adaptées aux LLM. Dans les LLM, les « actions » sont des jetons (tokens) tirés de vastes vocabulaires qui doivent former des séquences cohérentes ; la perturbation aléatoire au niveau du jeton produit généralement un texte incohérent plutôt que des trajectoires novatrices et viables.

De plus, des études récentes indiquent que le post-entraînement par RL tend à « aiguiser » la distribution de sortie du modèle, augmentant la probabilité des réponses correctes connues tout en réduisant la couverture des comportements divers (rétrécissement du support). Cela limite la capacité du modèle à découvrir de nouvelles stratégies de raisonnement. Les méthodes d'exploration existantes opèrent soit au niveau du jeton (échouant à traiter la diversité sémantique), soit reposent sur une médiation de contexte qui manque de mécanismes explicites pour transférer les comportements de l'entraînement vers les politiques de test. Le défi central est d'induire une exploration diversifiée pendant l'entraînement sans compromettre la performance de la politique non conditionnée utilisée lors de l'inférence.

2. Méthodologie

Le papier propose un cadre en deux parties : l'Exploration Conditionnée par Instruction (ICE) pour la diversité lors de l'entraînement et l'Asymmetric-RL/SD pour le transfert de comportement.

2.1 Exploration Conditionnée par Instruction (ICE)

ICE est une approche basée sur des modèles (templates) pour la « composition de support ». Au lieu de s'appuyer sur des perturbations de jetons aléatoires, ICE complète l'invite de la tâche $x$ par une instruction comportementale $I$ échantillonnée à partir d'un ensemble fixe $\mathcal{I} = \{I_1, \dots, I_N\}$ .

Politique Enseignante (Teacher Policy) : Pendant l'entraînement, le modèle (agissant comme un enseignant) génère des déploiements (rollouts) conditionnés par $x + I$ . Ces instructions fournissent une guidance de haut niveau (par exemple, « Demandez : quelle symétrie ce problème possède-t-il ? ») pour pousser le modèle vers des stratégies de résolution de problèmes distinctes.
Politique Composite : La politique d'entraînement devient un mélange : $\pi^{comp}_\theta(y|x) = \sum_{I \in \mathcal{I}} p(I)\pi_\theta(y|x, I)$ . Cela élargit le support de la distribution de texte généré par rapport à une invite de tâche singulière.
Compromis : Bien que cela augmente la couverture des stratégies, cela risque d'introduire des instructions non utiles qui réduisent la précision.

2.2 Asymmetric-RL/SD

Pour transférer les comportements appris par l'enseignant conditionné par instruction à la politique non conditionnée de test, les auteurs introduisent l'Asymmetric-RL/SD, un objectif d'auto-distillation combinant l'apprentissage par renforcement et la distillation de connaissances.

Enseignant ( $\pi^T_\theta$ ) : La politique conditionnée par instruction.
Étudiant ( $\pi^S_\theta$ ) : La politique non conditionnée (utilisée au moment du test), partageant les paramètres $\theta$ avec l'enseignant.
Fonction d'Objectif : L'objectif d'entraînement $J(\theta)$ $J (θ)$ combine :
1. Un terme de RL : un terme de maximisation de la récompense pour la politique de l'enseignant (en utilisant la variante DAPO de GRPO).
2. Un terme de Distillation : un terme de divergence KL directe ( $J^{KL}_S$ ) qui tire la politique de l'étudiant vers les déploiements corrects de l'enseignant.
Asymétrie : Contrairement à l'auto-distillation standard qui équilibre souvent les récompenses pour les deux politiques, l'Asymmetric-RL/SD fixe le poids de la récompense de l'étudiant à $\alpha=1$ (maximisation de la récompense de l'enseignant uniquement) et applique le terme KL uniquement à l'étudiant, filtrant les déploiements de l'enseignant pour n'inclure que ceux ayant des réponses correctes ( $R=1$ ). Cela garantit que l'étudiant apprend à répliquer les comportements utiles et vérifiés découverts par l'enseignant sans être pénalisé pour l'exploration de chemins incorrects par l'enseignant.

3. Contributions Clés

Exploration Conditionnée par Instruction (ICE) : Une nouvelle méthode pour induire des déploiements diversifiés lors du post-entraînement par RL en conditionnant la génération sur un ensemble d'instructions comportementales distinctes de haut niveau, élargissant ainsi le support de la politique pendant l'entraînement.
Objectif Asymmetric-RL/SD : Un nouvel objectif d'entraînement qui combine le RL sur une politique enseignante avec une auto-distillation de la KL directe vers un étudiant non conditionné. Cela transfère explicitement les bénéfices de l'exploration conditionnée par instruction à la politique de test.
Validation Empirique : Une étude multi-graines sur différentes échelles de modèles (1.7B, 4B) et longueurs de contexte (4K, 8K) démontrant l'efficacité de l'approche sur des tâches de raisonnement mathématique.

4. Résultats

Les expériences ont été menées avec des modèles Qwen3 sur des benchmarks de raisonnement mathématique (AIME, HMMT, MATH-500).

Configuration 1.7B / 4K :
- L'ICE avec Asymmetric-RL/SD a amélioré le pass@1 de 5,0 % par rapport à la ligne de base DAPO.
- Cette configuration a obtenu 5 victoires sur 5 sur le benchmark avec un intervalle de confiance bootstrap de 95 % excluant zéro.
- L'amélioration par rapport à l'utilisation du RL seul avec des instructions (sans le terme de distillation) était plus faible et moins certaine, suggérant que le signal de distillation explicite est crucial pour le transfert.
- La convergence de l'entraînement n'a pas été ralentie par l'inclusion d'instructions diverses.
Configuration 1.7B / 8K :
- Une amélioration plus faible mais persistante de 3,5 % (3/5 victoires) a été observée, indiquant que la méthode se généralise à des contextes plus longs, bien que le gain soit moindre.
Configuration 4B / 4K :
- La méthode n'a pas amélioré le DAPO (résultant en un changement de -3,3 %). Les auteurs notent que le modèle de base 4B possède peut-être déjà une capacité suffisante, laissant moins de « marge de progression » pour que des stratégies exploratoires apportent de la valeur par rapport au modèle 1.7B.
Couverture vs Précision :
- Alors que le post-entraînement par RL augmente généralement le pass@1 mais diminue le pass@k (couverture) pour des $k$ élevés, l'Asymmetric-RL/SD a amélioré le pass@1 par rapport à DAPO tout en maintenant une couverture comparable.
- L'échantillonnage avec les instructions comportementales lors de l'inférence (même pour le modèle de base) a permis de récupérer une couverture élevée, suggérant que les instructions elles-mêmes font émerger des solutions correctes indépendamment du processus de RL.

5. Signification et Revendications

Le papier affirme que l'exploration conditionnée par instruction, couplée à un mécanisme de transfert d'auto-distillation explicite, peut améliorer les capacités de raisonnement hors-échantillon des petits modèles de langage (spécifiquement à l'échelle 1.7B) au-delà des standards de RL comme DAPO.

Les implications clés soulignées par les auteurs incluent :

Efficacité des Coûts : La méthode n'ajoute aucun coût d'inférence ; la politique de test est non conditionnée et standard. Les gains sont obtenus entièrement via un processus d'entraînement modifié.
Utilité des Petits Modèles : Améliorer les petits modèles est crucial pour le déploiement sur des appareils grand public (téléphones, ordinateurs portables) où les modèles plus grands sont irréalisables.
Mécanisme d'Action : Les résultats suggèrent que le simple partage de paramètres est insuffisant pour transférer les comportements de l'enseignant ; le signal de distillation de la KL directe est nécessaire pour incorporer les stratégies découvertes par l'enseignant dans la politique de l'étudiant.

Les auteurs restent modestes quant à la portée de l'étude, notant que les gains ne se sont pas transférés au modèle 4B dans les conditions testées et que l'étude est limitée au raisonnement mathématique avec des récompenses binaires. Ils positionnent leur travail comme une étape vers la caractérisation de l'endroit où ces gains s'appliquent à travers différentes échelles de modèles et contextes.