🤖 machine learning

Manifold Bandits: Bayesian Curriculum Learning over the Latent Geometry of Large Language Models

Ce document introduit le Bayesian Manifold Curriculum (BMC), un cadre sensible à la structure qui reformule l'échantillonnage de problèmes dans l'apprentissage par renforcement des LLM en tant que problème de bandit à structure de variété afin d'optimiser le compromis entre productivité de l'apprentissage, diversité des tâches et utilité d'évaluation en exploitant les relations géométriques latentes entre les tâches plutôt qu'en se reposant uniquement sur une sélection basée sur la difficulté.

Auteurs originaux : Darrien McKenzie, Nicklas Hansen, Xiaolong Wang

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Darrien McKenzie, Nicklas Hansen, Xiaolong Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant très brillant mais très jeune (le Grand Modèle de Langage) comment résoudre des énigmes complexes. Vous disposez d'une immense bibliothèque d'énigmes allant de « Comment faire mes lacets ? » à « Comment construire une fusée ? ».

Par le passé, les chercheurs ont tenté d'enseigner à cet étudiant en utilisant deux stratégies principales :

Le choix aléatoire : Piocher des énigmes au hasard dans un chapeau. C'est lent car l'étudiant pourrait s'ennuyer avec des problèmes trop faciles ou abandonner face à des problèmes impossibles.
La stratégie du « Juste Milieu » : Ne choisir que des énigmes qui sont « juste assez difficiles » — ni trop faciles, ni trop dures. Cela fonctionne bien, mais cela présente un défaut : cela traite chaque énigme comme un élément totalement séparé et isolé. Cela ignore le fait que « construire une fusée » et « piloter un avion » sont liés. Si l'étudiant apprend l'aérodynamisme avec l'un, il devrait être meilleur pour l'autre.

Ce document présente une nouvelle façon plus intelligente d'enseigner, appelée Curriculum de Variété Bayésienne (BMC - Bayesian Manifold Curriculum). Voici comment cela fonctionne, en utilisant des analogies simples :

1. La « Carte Mentale » (L'Arbre de Tâches Latentes)

Au lieu de traiter chaque énigme comme une entité séparée et sans rapport, le BMC observe la carte mentale interne de l'étudiant.

Imaginez que l'étudiant possède une carte mentale où les idées similaires sont situées proches les unes des autres. Les « énigmes de mathématiques » se trouvent dans un quartier, les « énigmes de codage » dans un autre, et les « énigmes de sciences » dans un troisième. Au sein du quartier « Mathématiques », il y a des rues plus petites pour « l'Algèbre » et le « Calcul ».

Le BMC construit un arbre hiérarchique (comme un arbre généalogique) basé sur cette carte mentale. Il n'a pas besoin qu'un enseignant humain étiquette ces groupes ; il déduit la structure en observant comment le cerveau de l'étudiant représente les problèmes.

L'analogie : Pensez à l'organisation d'une bibliothèque, non pas seulement par « Fiction » et « Non-fiction », mais en créant une carte dynamique qui montre quels livres sont réellement similaires dans leur style de narration, même s'ils se trouvent dans des sections différentes.

2. Le « Guide Touristique Intelligent » (Apprentissage Bayésien)

Une fois la carte construite, le BMC agit comme un guide touristique qui décide quelles énigmes présenter à l'étudiant ensuite. Il utilise une méthode appelée Apprentissage Bayésien, qui consiste essentiellement à « apprendre de l'expérience et mettre à jour ses croyances ».

Le facteur « Surprise » : Si l'étudiant résout une énigme qu'on attendait qu'il rate, le guide s'excite. S'il échoue à une énigme qu'on attendait qu'il réussisse haut la main, le guide devient curieux.
L'effet de ricochet : C'est la partie magique. Si l'étudiant apprend quelque chose de nouveau sur l'« Algèbre », le guide ne se contente pas de mettre à jour la section « Algèbre » de la carte. Comme la carte sait que l'« Algèbre » est connectée au « Calcul », le guide met également à jour sa croyance sur la capacité de l'étudiant à réussir des problèmes de « Calcul », même s'il n'en a pas encore vu.
L'analogie : Imaginez que vous enseigniez à quelqu'un à conduire. S'il s'améliore pour faire un créneau, vous ne pensez pas seulement : « Il est bon pour le créneau ». Vous mettez aussi à jour votre croyance selon laquelle il progresse probablement dans la « manipulation d'espaces restreints » en général, ce qui vous aide à décider de ce que vous allez lui enseigner ensuite.

3. Les trois équilibres

Le document soutient qu'un bon enseignant doit équilibrer trois éléments, que les auteurs appellent Productivité, Diversité et Utilité.

Productivité (Le « Signal d'Apprentissage ») : Choisissons-nous des énigmes qui apprennent réellement quelque chose de nouveau à l'étudiant ? (c'est-à-dire des énigmes assez difficiles pour être intéressantes, mais pas impossibles).
Diversité (La « Couverture ») : Enseignons-nous seulement un type d'énigme (comme uniquement les mathématiques), ou veillons-nous à ce qu'il voie une grande variété de problèmes (mathématiques, codage, sciences) ? Si vous n'enseignez que les mathématiques, l'étudiant risque d'échouer en sciences.
Utilité (Le « Test en Conditions Réelles ») : Enseignons-nous les compétences spécifiques dont l'étudiant aura besoin pour l'examen final ? Parfois, les énigmes les plus « productives » (celles qui donnent le meilleur signal d'apprentissage) ne sont pas celles qui l'aideront le plus lors de l'examen final.

4. Le Résultat : Un Curriculum plus Intelligent

Les chercheurs ont testé cela sur un ensemble de données mathématiques. Ils ont constaté que :

Les anciennes méthodes (comme choisir simplement des énigmes de « difficulté moyenne ») restaient souvent bloquées dans une boucle, ignorant des types de problèmes rares mais importants.
Le BMC a réussi à trouver le « point idéal ». Il a maintenu l'étudiant stimulé (Productivité) tout en s'assurant qu'il ne manque pas de types de problèmes rares (Diversité).
Le virage de l'« Utilité » : Ils ont même créé une version appelée BMC-T qui pouvait recevoir l'instruction suivante : « Hé, l'examen final portera principalement sur les mathématiques chinoises ». Le système a alors subtilement déplacé son focus d'enseignement pour mieux couvrir ces domaines spécifiques, sans perdre les bénéfices des autres types de problèmes.

L'essentiel

Ce document affirme que pour enseigner efficacement à une IA, on ne peut pas se contenter de regarder la difficulté d'un problème. Il faut comprendre comment l'IA perçoit la relation entre les problèmes. En construisant une carte de ces relations et en utilisant un guide intelligent qui met à jour ses connaissances pour choisir la prochaine leçon, on peut enseigner à l'IA plus rapidement, de manière plus large et mieux la préparer aux tests spécifiques auxquels elle fera face.

C'est la différence entre un enseignant qui se contente de vous donner des feuilles d'exercices au hasard et un enseignant qui comprend votre cerveau, connaît la connexion entre vos compétences et conçoit un programme personnalisé qui atteint le point d'équilibre entre défi, variété et pertinence réelle.

Résumé Technique : Manifold Bandits – Apprentissage de Curriculum Bayésien sur la Géométrie Latente des Grands Modèles de Langage

1. Énoncé du Problème

L'apprentissage par renforcement (RL) est devenu une méthode primaire pour améliorer les capacités de raisonnement des Grands Modèles de Langue (LLM), particulièrement à travers des algorithmes d'optimisation relatives au groupe comme GRPO, DAPO et GSPO. Ces méthodes reposent sur la variance de la récompense au sein d'un groupe de rollouts pour générer des gradients de politique. Si un modèle résout systématiquement ou échoue systématiquement à un prompt, la variance de la récompense est nulle, ce qui ne produit aucun signal d'apprentissage et gaspille les ressources de calcul.

Les méthodes actuelles d'apprentissage de curriculum adaptatif tentent de remédier à cela en priorisant les prompts de difficulté intermédiaire (ceux susceptibles de générer une variance non nulle). Cependant, ces approches cadrent généralement la sélection de problèmes comme un problème de bandit multi-bras standard avec des bras indépendants. Ce cadrage néglige deux dynamiques critiques de l'entraînement des LLM :

Non-stationnarité Endogène : La distribution de récompense sur les prompts évolue non seulement en raison de facteurs externes, mais aussi comme une conséquence directe des propres mises à jour et décisions d'échantillonnage du modèle.
Hétérogénéité Structurée : Les problèmes ne sont pas indépendants ; les prompts de types similaires partagent des schémas de raisonnement et des caractéristiques latentes. Ignorer ces relations conduit à une exploration inefficace.

De plus, les stratégies actuelles se concentrent souvent uniquement sur la productivité (maximiser le signal d'apprentissage immédiat) tout en négligeant la diversité (couverture de l'espace des tâches) et l'utilité (pertinence par rapport aux benchmarks d'évaluation en aval). Cela peut conduire à une couverture étroite et à une généralisation sous-optimale.

2. Méthodologie

Les auteurs proposent le Bayesian Manifold Curriculum (BMC), un cadre qui reformule la sélection de problèmes comme un problème de bandit structuré sur une variété (manifold) avec une non-stationnarité endogène. La méthodologie se compose de trois composantes clés :

A. Arbres de Tâches Latents

Au lieu de traiter les prompts comme des bras indépendants, le BMC construit un Arbre de Tâches Latent hiérarchique directement à partir des représentations internes du modèle de politique.

Construction : L'arbre est construit de manière récursive en utilisant les plongements (embeddings) d'une couche intermédiaire du modèle de politique. À chaque nœud, les embeddings sont réduits via PCA, projetés via UMAP, et regroupés par HDBSCAN.
Critère d'arrêt : La récursion s'arrête lorsqu'une région passe un "Test de Carte" (Chart Test), vérifiant que la variété locale est approximativement lisse et cohérente (faible dimensionnalité intrinsèque et connectivité).
Objectif : Cette hiérarchie approxime la variété de tâches latente du modèle, organisant les prompts en régions multi-échelles qui reflètent la perception interne des relations entre les tâches par le modèle, plutôt que de s'appuyer sur des annotations externes ou des taxonomies fixes.

B. Bayesian Manifold Curriculum (BMC)

Le BMC effectue une prise de décision structurée sur l'Arbre de Tâches Latent en utilisant un cycle en trois étapes :

Sélection Descendante (Échantillonnage de Thompson Hiérarchique) : Pour former un lot d'entraînement, les agents parcourent l'arbre de la racine vers les feuilles. À chaque nœud, ils échantillonnent les estimations de récompense pour les nœuds enfants à partir d'une distribution de croyance gaussienne ( $\mathcal{N}(\mu, \sigma^2)$ ) et sélectionnent l'enfant ayant l'échantillon le plus élevé. Cela équilibre l'exploration (diversité) et l'exploitation (productivité) à travers différents niveaux d'abstraction.
Modélisation de la Croyance Non-Stationnaire (Filtrage Bayésien) : Les nœuds feuilles (prompts individuels) maintiennent des croyances sur leur signal d'apprentissage attendu (variance de la récompense). Ces croyances sont mises à jour en ligne à l'aide d'un filtre bayésien léger inspiré du modèle Normal–Inverse-Gamma. Le mécanisme de mise à jour incorpore la surprise (erreur de prédiction standardisée) et la péremption (temps écoulé depuis le dernier échantillonnage) pour s'adapter aux capacités évolutives du modèle.
Propagation de Croyance Ascendante (Bayes Empirique) : Après les mises à jour, l'information se propage vers le haut. Les croyances des nœuds parents sont estimées comme des moyennes pondérées par la précision des croyances de leurs enfants, ajustées pour l'hétérogénéité du sous-arbre. Cela permet aux observations d'un prompt d'informer les croyances sur les prompts apparentés dans la même région, exploitant ainsi la structure latente.

C. Extension Orientée Utilité (BMC-T)

Pour répondre au désalignement entre la productivité de l'entraînement et la performance d'évaluation en aval, les auteurs introduisent le BMC-T. Cette variante biaise l'échantillonnage vers les régions de la distribution d'entraînement qui chevauchent une distribution cible (par exemple, un benchmark d'évaluation spécifique) dans l'espace latent. Elle traite l'Arbre de Tâches Latent comme un modèle d'intervention approximatif, supposant que l'entraînement sur des tâches proches produit des effets de transfert plus forts.

3. Contributions Clés

Arbres de Tâches Latents : Une méthode hiérarchique pour approximer la structure de la variété des tâches directement à partir des plongements du modèle, fournissant une représentation multi-échelle des relations entre les prompts sans étiquettes externes.
Bayesian Manifold Curriculum (BMC) : Un cadre de curriculum adaptatif sensible à la structure qui effectue une prise de décision bayésienne sur ces arbres, permettant une exploration efficace tout en tenant compte de la non-stationnarité endogène induite par le modèle.
Compromis Productivité–Diversité–Utilité : Une analyse diagnostique démontrant que les curricula adaptatifs ne peuvent être caractérisés uniquement par la performance en aval. Les auteurs distinguent trois axes :
- Productivité : Signal d'apprentissage (variance de la récompense).
- Diversité : Couverture de la variété des tâches.
- Utilité : Pertinence par rapport à des benchmarks d'évaluation spécifiques.
  Ils montrent que ces axes ne sont pas interchangeables ; optimiser l'un ne garantit pas l'optimisation des autres.

4. Résultats Expérimentaux

Les auteurs ont évalué le BMC sur des tâches de raisonnement mathématique en utilisant le jeu de données DAPO-Math-17K et les modèles Qwen3 (4B et 8B) avec GSPO et GRPO.

Efficacité de l'Entraînement (Productivité) : Le BMC et son ablation "Difficulty Only" ont atteint des vitesses d'apprentissage comparables à l'Échantillonnage Dynamique (qui régénère les lots pour assurer la variance), mais avec un temps de calcul (wall-clock time) nettement inférieur, restant proche de l'efficacité de l'Échantillonnage Uniforme.
Couverture et Partage d'Information (Diversité) : Le BMC a réussi à équilibrer la diversité de "Tree Only" (qui met l'accent sur la couverture) avec la productivité de "Difficulty Only". Les métriques ont montré que le BMC offrait une meilleure couverture des régions sous-représentées (exposition pondérée par la rareté) et que l'Arbre de Tâches Latent expliquait une variation significative des signaux d'apprentissage (gain de structure), confirmant que les signaux d'apprentissage sont corrélés à la structure latente.
Performance d'Évaluation (Utilité) :
- L'Échantillonnage Dynamique a mal performé sur les benchmarks moins représentés (ex: mathématiques en chinois, sciences hors-domaine) en raison d'un filtrage implicite des types de prompts rares.
- Le BMC a obtenu de fortes performances sur le benchmark hors-domaine GPQA-Diamond, suggérant que l'optimisation conjointe de la productivité et de la diversité favorise des capacités qui ne sont pas capturées par les évaluations standards de mathématiques en domaine de distribution.
- Le BMC-T a démontré que l'utilité peut être pilotée : cibler des benchmarks spécifiques (ex: AIME2024) a amélioré les performances sur ces benchmarks précis tout en préservant la productivité globale, confirmant que différents types de problèmes portent des pertinances d'évaluation distinctes.

5. Signification et Revendications

L'article soutient que la difficulté seule est insuffisante pour obtenir de hautes performances en aval. Maximiser le signal d'apprentissage (productivité) ne garantit pas de meilleurs résultats si le modèle n'est pas exposé aux types de problèmes qui stimulent la généralisation vers les tâches cibles.

Les auteurs affirment que la sélection de problèmes doit être formulée comme un problème de bandit structuré sur une variété de la géométrie latente de la politique. En dérivant la structure du curriculum à partir des propres représentations apprises de la politique (adhérant à la "Bitter Lesson" consistant à utiliser les données et le calcul pour apprendre la structure plutôt que d'imposer des définitions humaines), le BMC offre un moyen de :

Naviguer dans les compromis entre productivité, diversité et utilité.
Exploiter la non-stationnarité endogène où les décisions d'échantillonnage façonnent les futurs paysages de récompense.
Généraliser à travers les domaines, les langues et les modalités sans nécessiter de taxonomies définies par l'homme ou de modèles d'embedding externes.

Le travail met en lumière le phénomène de "zone morte d'évaluation" : un modèle peut être entraîné de manière productive sur un ensemble spécifique de problèmes, mais si ces problèmes ne s'alignent pas sur la distribution d'évaluation, la performance en aval peut ne pas s'améliorer. Le BMC-T fournit un mécanisme pour y remédier en orientant l'effort d'entraînement vers les régions de la variété latente pertinentes pour la cible.