Résumé Technique : INFUSER – L'auto-évolution guidée par l'influence améliore le raisonnement

1. Énoncé du Problème

Les progrès récents dans le raisonnement des grands modèles de langage (LLM) reposent largement sur l'apprentissage par renforcement avec récompenses vérifiables (RLVR). Cependant, la scalabilité du RLVR est entravée par la rareté des données d'entraînement de haute qualité et vérifiables, dont la curation est coûteuse. L'auto-évolution offre une voie de passage en permettant au modèle de générer ses propres données d'entraînement à partir de documents non structurés ou de ses propres sorties, éliminant ainsi le besoin de modèles enseignants externes ou de corpus curés.

Les méthodes d'auto-évolution existantes font face à deux limitations principales :

1. L'ancrage (Grounding) : Les méthodes de pur auto-jeu (ex: R-Zero) reposent uniquement sur les connaissances préalables du modèle, risquant de produire des réponses de référence hallucinées. Les méthodes basées sur des exécuteurs (ex: AZR) restaurent la vérifiabilité mais sont limitées aux domaines possédant des exécuteurs formels (code, mathématiques), échouant à exploiter l'abondance de textes non structurés.
2. Objectifs du Générateur : Les approches ancrées dans les documents (ex: SPICE) récompensent souvent le générateur en fonction d'heuristiques de difficulté (ex: maximiser le taux d'échec du solveur à environ 50 %). La difficulté est un indicateur grossier de l'utilité ; une question peut être « difficile » en raison d'une ambiguïté ou d'un désalignement avec la source, sans garantir l'amélioration du solveur sur la distribution cible.

La question centrale abordée est : Pouvons-nous entraîner un générateur pour produire des données d'entraînement ancrées dans des documents qui améliorent réellement le solveur actuel sur une distribution cible, tout en co-évoluant avec lui ?

2. Méthodologie : INFUSER

Les auteurs proposent INFUSER (INFluence-gUided Self-Evolution Improves Reasoning), un cadre de co-entraînement itératif qui traite l'auto-évolution comme un jeu bilatéral entre un Générateur ($\pi_\phi$) et un Solveur ($\pi_\theta$). Tous deux sont initialisés à partir du même modèle pré-entraîné.

2.1 Formulation du Jeu Bilatéral

• Niveau Inférieur (Solveur) : Le solveur s'entraîne sur un curriculum de paires question-réponse (QA) ($Q_\phi$) générées par le générateur à partir d'un ensemble de documents non structurés ($D_{doc}$). Le solveur optimise l'amélioration de sa précision sur ce curriculum en utilisant un RLVR standard (ex: Dr.GRPO).
• Niveau Supérieur (Générateur) : Le générateur vise à produire un curriculum $Q_\phi$ tel qu'après la mise à jour du solveur, la performance de celui-ci s'améliore sur une distribution cible ($P$).
• Nature Coopérative : Contrairement à l'auto-jeu antagoniste, le générateur est récompensé pour aider le solveur à s'améliorer sur la distribution cible, et non pour le vaincre.

2.2 Score d'Influence Sensible à l'Optimiseur

Pour éviter le coût prohibitif de la différenciation bilatérale exacte (rétropropagation à travers toute la boucle d'entraînement du solveur), INFUSER emploie une approximation de premier ordre inspirée des fonctions d'influence.

• Ancre de l'ensemble de développement : Un petit ensemble de développement tenu à l'écart ($D_{dev}$), échantillonné de la distribution cible $P$, est utilisé pour définir la « direction d'amélioration ». Le gradient de la performance du solveur sur $D_{dev}$ ($\hat{g}_{dev}$) sert de vecteur cible.
• Calcul de l'Influence : Pour chaque paire QA générée $(q, a_\phi)$, le système estime la direction de mise à jour des paramètres du solveur ($\hat{\Gamma}(q, a_\phi)$) induite par l'entraînement sur cette paire spécifique. Cette direction est préconditionnée par l'état de l'optimiseur AdamW pour refléter l'étape de mise à jour réelle.
• Signal de Récompense : La récompense du générateur est la similarité cosinus entre le gradient cible ($\hat{g}_{dev}$) et la direction de mise à jour induite ($\hat{\Gamma}$) :
  $$s(q, a_\phi) = \text{cossim}(\hat{g}_{dev}, \hat{\Gamma}(q, a_\phi))$$
  Un score positif indique que l'entraînement sur $(q, a_\phi)$ s'aligne avec l'amélioration de la performance sur la distribution cible. Ce score remplace la métrique traditionnelle de « difficulté ».

2.3 DuGRPO : Dual-Normalized GRPO

Le score d'influence est un signal continu et bruité, ce qui pose des défis pour l'optimisation de politique par groupe relatif (GRPO) standard.

• Défi : Normaliser les récompenses uniquement au sein d'un groupe de documents (style GRPO) amplifie le bruit dans les groupes à faible variance. Normaliser uniquement à travers le batch (style BatchNorm) permet aux groupes à haute variance de dominer.
• Solution : Les auteurs proposent le DuGRPO, un estimateur d'avantage à double normalisation qui combine la normalisation intra-groupe et inter-groupe :
  $$\hat{A}_{gen} = \frac{s(q, a_\phi) - \mu_d}{\sigma_d + \sigma_B + \epsilon}$$
  où $\sigma_d$ est l'écart-type au sein du groupe de documents et $\sigma_B$ est l'écart-type moyen à travers le batch. Cela stabilise l'entraînement en amortissant le bruit de faible variance tout en empêchant la dominance de la haute variance.

2.4 Boucle d'Entraînement

L'algorithme procède par phases par itération :

1. Référence de Dev : Calculer le gradient cible $\hat{g}_{dev}$ à partir des rollouts du solveur sur $D_{dev}$.
2. Génération : Le générateur échantillonne des documents et produit des paires QA.
3. Évaluation du Solveur : Le solveur tente de répondre aux questions générées ; les gradients par question sont estimés.
4. Scoring d'Influence : Calculer les scores d'influence en utilisant la similarité cosinus avec $\hat{g}_{dev}$.
5. Mises à jour : Mettre à jour le générateur en utilisant DuGRPO avec les scores d'influence comme récompenses ; mettre à jour le solveur en utilisant Dr.GRPO avec des récompenses de correction binaire.

3. Contributions Clés

1. Auto-évolution Guidée par l'Influence : Un nouveau cadre qui remplace les récompenses de difficulté du générateur par un score d'influence sensible à l'optimiseur, optimisant directement l'utilité sur une distribution cible plutôt que la simple difficulté.
2. DuGRPO : Une nouvelle variante de politique de gradient conçue spécifiquement pour la nature continue et bruitée des récompenses basées sur l'influence, permettant un entraînement stable du générateur.
3. Co-évolution Ancrée dans les Documents : Une méthode qui exploite des manuels non structurés pour générer des données d'entraînement, évitant le besoin d'enseignants externes ou d'exécuteurs tout en maintenant la vérifiabilité via le propre raisonnement du solveur.
4. Scalabilité : Démontrer qu'un générateur de 8B en co-évolution peut surpasser un générateur de 32B figé sur des tâches de mathématiques et de codage, suggérant que l'adaptation est plus critique que l'échelle brute du modèle pour la génération de curriculum.

4. Résultats Expérimentaux

Les expériences ont été menées sur des ancres Qwen3-4B-Base et Qwen3-8B-Base, comparant INFUSER à des bases solides (R-Zero, AZR, R-Few, SPICE) et à une base de raisonneur général.

• Gains de Performance : INFUSER a obtenu les scores les plus élevés sur 8 des 14 benchmarks. Sur Qwen3-8B-Base, il a montré des améliorations relatives de plus de 20 % sur OlympiadBench (Math), SuperGPQA et GPQA-Diamond par rapport au modèle de base.
• Scalabilité : Les gains de performance d'INFUSER étaient cohérents à travers les tailles de modèles (4B à 8B), tandis que les bases comme R-Zero et SPICE montraient une dégradation significative des performances lors de l'augmentation de l'échelle.
• Qualité du Générateur : L'analyse a montré que le générateur en co-évolution produit des questions de plus en plus bien posées et stimulantes au fil du temps. L'écart "Fort-vs-Faible" (différence de précision entre un modèle fort et le modèle de base sur les questions générées) a augmenté, indiquant que le générateur crée des questions difficiles pour le modèle de base mais solubles par des modèles plus forts (c'est-à-dire des défis de raisonnement de haute qualité).
• Études d'Ablation :
  • Nécessité du Générateur : Supprimer le générateur (entraînement direct sur $D_{dev}$) a conduit à un surapprentissage sur l'ensemble de dev et à une mauvaise généralisation.
  • Co-évolution : Un générateur 8B figé a sous-performé le générateur 8B en co-évolution, particulièrement en mathématiques. Un générateur 32B figé a surpassé le générateur 8B en co-évolution sur les tâches riches en connaissances (raisonnement général, médical), mais a été surpassé sur les mathématiques et le code, soulignant que l'adaptation bat l'échelle pour le raisonnement.
  • Composants : Le score d'influence sensible à l'optimiseur et la normalisation DuGRPO ont tous deux été jugés essentiels ; les supprimer entraînait une régression de la performance au niveau d'un générateur figé.
• Extensions :
  • Ancres avec Fine-tuning d'Instruction : INFUSER a réussi à améliorer une ancre avec fine-tuning d'instruction (OLMo-3-7B-Instruct-SFT), dominant sur 10 des 13 benchmarks.
  • RLVR Hybride : Combiner l'auto-évolution ancrée dans les documents avec un RLVR mathématique vérifiable par règles a stabilisé l'« effondrement de la longueur de réponse » observé dans l'entraînement purement scientifique, réduisant la variance des graines en mathématiques.

5. Signification et Revendications

L'article affirme qu'INFUSER offre une voie scalable vers un raisonnement plus fort en convertissant des corpus non structurés abondants en signaux d'entraînement structurés et alignés sur l'utilité, sans dépendre de jeux de données curés ou de modèles enseignants.

• Changement de Paradigme : Il déplace l'objectif du générateur de « rendre les choses difficiles » vers « rendre les choses utiles », en utilisant les fonctions d'influence pour aligner la génération de curriculum avec la trajectoire d'apprentissage du solveur.
• Efficacité : Il démontre qu'un générateur plus petit en co-évolution peut surpasser un générateur beaucoup plus grand et figé sur des tâches de raisonnement, suggérant que le processus d'adaptation du curriculum est plus précieux que la connaissance statique d'un modèle plus large.
• Généralisabilité : Le cadre est montré comme étant flexible, fonctionnant avec des modèles de base et des modèles avec fine-tuning d'instruction, et capable d'intégrer d'autres signaux RLVR (comme les vérificateurs mathématiques) pour stabiliser la dynamique d'entraînement.

Les auteurs concluent que bien que le cadre dépende actuellement d'un petit ensemble de dev pour ancrer la direction cible, il représente une direction prometteuse pour l'augmentation des capacités de raisonnement en couplant la génération de curriculum basée sur l'utilité avec des pools de documents plus vastes et des horizons d'entraînement plus longs.