Résumé Technique : Curriculum Sensible au Transfert pour le RLVR Multi-Domaine

Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) a amélioré avec succès les capacités de raisonnement des grands modèles de langage (LLM) dans des domaines uniques comme les mathématiques et la programmation. Cependant, étendre cela à des suites de raisonnement multi-domaines (couvrant les mathématiques, la programmation, la logique, la simulation, les tableaux et les sciences STEM) présente un défi critique : les compétences de raisonnement se transfèrent de manière inégale d'un domaine à l'autre.

Les approches actuelles de l'entraînement multi-domaine reposent généralement sur des calendriers d'échantillonnage fixes ou des curricula ajustés à la main. Bien que des approches récentes basées sur la « apprenabilité » (comme SEC) adaptent l'échantillonnage en fonction du domaine sur lequel la politique s'améliore actuellement (en utilisant les avantages on-policy), elles souffrent d'un angle mort fondamental : elles ne tiennent pas compte de la transférabilité inter-domaines. Un domaine peut être hautement apprenable localement (fournissant des gradients immédiats forts), mais ses mises à jour peuvent ne pas bénéficier, ou même nuire, aux performances sur d'autres domaines. À l'inverse, un domaine moins évidemment apprenable pourrait générer des mises à jour de gradients qui améliorent largement la politique sur l'ensemble de la suite. Les méthodes existantes risquent de trop s'engager dans des domaines localement riches mais globalement étroits, laissant inexploité un potentiel important d'amélioration inter-domaines.

Méthodologie : Curriculum Sensible au Transfert (TAC)

Les auteurs proposent le Transfer-Aware Curriculum (TAC), un curriculum automatisé de type bandit en ligne qui intègre la transférabilité inter-domaines comme un signal de premier rang pour la sélection des domaines. TAC opère au sein du cadre d'optimisation de politique relative de groupe (GRPO - Group Relative Policy Optimization) et formule la sélection des domaines comme un problème de bandit multi-bras.

Composants Clés

1. Formulation de Bandit :

   • Chaque domaine de raisonnement est traité comme un « bras ».
   • À chaque étape d'entraînement, le curriculum échantillonne un domaine basé sur une estimation de valeur $Q_m$ dérivée d'un signal de rétroaction $S_m$.
   • La distribution d'échantillonnage est mise à jour à l'aide d'une distribution de Boltzmann sur des valeurs augmentées par l'UCB (Upper Confidence Bound) pour équilibrer l'exploration et l'exploitation.

2. Signal de Rétroaction Dual ($S_m$) :
   Le signal de rétroaction pour chaque domaine est une combinaison pondérée de deux termes :

   • Apprenabilité Locale ($\hat{L}_m$) : Dérivée de la moyenne de l'avantage GRPO absolu. Elle capture le signal d'apprentissage immédiat (amélioration active) au sein du domaine. Elle est normalisée via un score z glissant pour gérer les variations d'échelle.
   • Transférabilité Inter-Domaines ($T_m$) : Un nouveau signal auto-supervisé estimant à quel point une étape de gradient sur le domaine $m$ s'aligne avec les directions de gradient des autres domaines.
     • Mécanisme : Au lieu de calculer des gradients complets de haute dimension, TAC utilise des gradients projetés (via des projections aléatoires, par exemple des esquisses de type TRAK) pour représenter la direction de mise à jour dans un espace de faible dimension.
     • Suivi d'État : Chaque domaine maintient une moyenne mobile exponentielle (EMA) de ses vecteurs de gradient projetés.
     • Métrique d'Alignement : La similitude cosinus par paire entre l'état du gradient d'un domaine et les états de tous les autres domaines actifs est calculée périodiquement. Le score de transférabilité $T_m$ est la moyenne des similitudes cosinus, normalisée via une mise à l'échelle min-max dans une plage $[0, 1]$.
     • Efficacité : Ce signal est calculé entièrement à partir des gradients déjà générés lors de l'entraînement RL standard, ne nécessitant aucun déploiement supplémentaire, aucune sonde de test, ni aucune annotation oracle. L'overhead est négligeable (<1 % du temps de calcul).

3. Intégration du Signal :
   Le score final est $S_m = \beta \hat{L}_m + (1-\beta) T_m$. Le coefficient $\beta$ équilibre les deux signaux. La méthode met à jour dynamiquement les estimations de valeur pour les bras échantillonnés et non échantillonnés (en utilisant l'apprenabilité mise en cache et des estimations de transférabilité fraîches), permettant au curriculum de déplacer son attention même lorsqu'un domaine n'est pas actuellement échantillonné.

Principales Contributions

1. Curriculum Bandit Sensible au Transfert : Le premier cadre de curriculum pour le RL multi-domaine qui optimise explicitement la transférabilité inter-domaines parallèlement à l'apprenabilité locale. Il répond à la limitation des méthodes précédentes qui ne considèrent que « ce que la politique peut apprendre maintenant » plutôt que « ce qui aide la politique à apprendre partout ».
2. Signal de Géométrie de Gradient Auto-Supervisé : Une méthode efficace pour estimer la transférabilité en utilisant les cosinus de gradients projetés. Ce signal est adaptatif (évolue avec la politique) et relatif (classe les domaines en fonction de l'alignement actuel plutôt que de la magnitude absolue), évitant ainsi le besoin de validations externes coûteuses.
3. Validation Empirique : Démontré sur une suite de six domaines de raisonnement (Math, Codegen, Logique, Simulation, Tableaux, STEM) en utilisant les modèles Qwen3-1.7B et Llama3.2-3B.

Résultats Expérimentaux

L'article évalue TAC par rapport à quatre bases de référence :

• Base : Aucun entraînement RL.
• Random : Échantillonnage aléatoire proportionnel (uniforme ou pondéré par la taille des données).
• M2O (Math-to-Others) : Un curriculum à deux étapes conçu à la main (entraînement sur les maths, puis sur les autres).
• SEC : Un curriculum bandit basé uniquement sur l'apprenabilité ($\beta=1$).

Principales Conclusions :

• Performance Supérieure : TAC atteint la meilleure précision moyenne macro sur les deux architectures de modèles. Sur Qwen3-1.7B, il améliore la base la plus forte (SEC) de +1,8 point de pourcentage (+5,6 % relatif). Sur Llama3.2-3B, il améliore M2O de +1,6 point de pourcentage (+5,4 % relatif).
• Robustesse à l'Imbalance : Dans les expériences avec des budgets de données asymétriques (où Math et STEM ont 3x plus de données que les autres domaines), TAC surpasse SEC de +1,5 point. La base de référence basée uniquement sur l'apprenabilité (SEC) s'engage trop dans les domaines dominants (Math/STEM) même lorsque leurs mises à jour cessent de bénéficier aux autres, tandis que le signal de transférabilité de TAC redirige l'échantillonnage vers des domaines moins représentés mais hautement transférables (comme Table et Logique).
• Dynamique du Curriculum : L'analyse montre que le domaine le plus apprenable (souvent STEM ou Math) n'est pas fréquemment le plus transférable. SEC a tendance à s'« ancrer » sur le domaine le plus apprenable tôt dans l'entraînement, tandis que TAC déplace dynamiquement l'échantillonnage vers les domaines ayant un alignement de gradient élevé (ex: Table), menant à une généralisation plus large.
• Ablations : Supprimer le terme de transférabilité ($\beta=1$) provoque une chute brutale de performance, confirmant sa nécessité. La méthode est robuste aux variations d'hyperparamètres, particulièrement le coefficient de mélange $\beta$, qui culmine autour de 0,2 (indiquant un fort besoin de signaux de transférabilité même en présence d'apprenabilité).

Signification et Revendications

L'article affirme que la transférabilité inter-domaines est un signal clé, jusqu'ici sous-utilisé, pour la conception de curricula en RL multi-domaine.

• Changement de Paradigme : Ce travail va au-delà de l'optimisation des gains locaux immédiats (apprenabilité) pour optimer l'alignement géométrique des mises à jour à travers toute la suite d'entraînement.
• Efficacité : Il démontre que des signaux de curriculum de haute qualité peuvent être dérivés « gratuitement » des gradients d'entraînement existants, ce qui en fait un ajout pratique aux pipelines RLVR actuels sans coût de calcul significatif.
• Généralisation : Les résultats suggèrent qu'une politique unique peut raisonner de manière compétente à travers des tâches hétérogènes si le curriculum d'entraînement tient explicitement compte de la façon dont les compétences se transfèrent, plutôt que de traiter les domaines comme des silos indépendants ou de s'appuyer sur des calendriers statiques.
• Limites : Les auteurs notent que TAC cible la distribution d'échantillonnage et est complémentaire, et non un substitut, aux avancées des optimiseurs, des modèles de récompense ou des architectures. De plus, l'implémentation actuelle repose sur des récompenses vérifiables (RLVR) ; l'extension de ces signaux à des domaines non vérifiables (reposant sur des juges LLM) est laissée aux travaux futurs.

En résumé, TAC établit que pour le raisonnement multi-domaine, savoir où le modèle s'améliore est insuffisant ; il faut aussi savoir où ces améliorations se propageront.