Résumé technique : Sur l'écart de généralisation de l'auto-évolution des modèles de langage raisonnant

Énoncé du problème

Les progrès récents des grands modèles de langage (LLM) ont démontré des avancées significatives dans les tâches de raisonnement complexe, souvent portées par des techniques de post-entraînement telles que le réglage fin supervisé (SFT) et l'apprentissage par renforcement à partir de rétroactions humaines (RLHF). Cependant, ces méthodes reposent généralement sur des données étiquetées par l'humain ou des récompenses externes vérifiables. Un domaine d'intérêt croissant est l'Auto-Évolution (SE - Self-Evolution), où les modèles s'améliorent en utilisant des signaux de supervision générés uniquement par eux-mêmes.

La question centrale abordée dans ce travail est la suivante : Dans un cadre de boucle fermée strict, où l'algorithme de SE n'a accès qu'à un ensemble de prompts non étiquetés et à un modèle de base, à quel point une supervision générée en interne peut-elle se rapprocher d'un entraînement supervisé par un oracle ?

Bien que des travaux antérieurs suggèrent que la SE peut améliorer les performances, ils soulignent également des risques tels que l'effondrement du modèle (model collapse) et les rendements décroissants. Ce document cherche à quantifier empiriquement l'« écart de généralisation » entre les modèles auto-évolués et ceux entraînés avec une supervision de vérité terrain (oracle), en isolant les effets des signaux internes sans outils externes, environnements symboliques ou intervention humaine.

Méthodologie

Cadre et configuration

Les auteurs proposent un cadre d'auto-évolution hors ligne unifié où un seul modèle de base $M$ est instancié dans deux rôles :

1. Générateur ($G$) : Propose des solutions candidates.
2. Vérificateur ($V$) : Évalue la qualité de ces solutions.

Le cadre opère sur un ensemble de prompts non étiquetés $D$. Tous les tracés de raisonnement, solutions, récompenses et étiquettes de préférence doivent être dérivés de $M$ lui-même. L'étude évalue quatre stratégies représentatives au sein de ce cadre :

1. Vérification à passage unique (SimpleSE) : Le vérificateur juge des réponses candidates statiques. Pour atténuer le bruit, un mécanisme de vote majoritaire avec seuillage est utilisé : une réponse est étiquetée positive si le taux de correction du vérificateur dépasse un seuil $\tau$, négative s'il est inférieur à $1-\tau$, et rejetée autrement.
2. Révision multi-tours avec feedback (RevisionSE) : Le vérificateur fournit un feedback textuel sur les solutions incorrectes, et le générateur révise sa sortie. Des paires de préférence sont extraites lorsqu'une révision transforme une solution incorrecte en une solution correcte.
3. Entraînement itératif : Le jeu générateur-vérificateur est appliqué de manière répétée. Le modèle est affiné (fine-tuned) sur les données de préférence générées, et le modèle mis à jour est utilisé pour le cycle suivant de génération et de vérification.
4. Apprentissage curriculaire (Curriculum Learning) : L'entraînement progresse des instances les plus faciles vers les plus difficiles (par exemple, des problèmes de « Knights and Knaves » avec moins de personnes vers ceux avec plus de personnes), plutôt qu'un mélange aléatoire.

Jeux de données et modèles

• Benchmark principal : Tâches de raisonnement logique Knights and Knaves (KK). Ce jeu de données est choisi pour ses solutions déterministes, sa difficulté contrôlée (paramétrée par le nombre de personnes) et son test de base propre pour la généralisation facile-vers-difficile.
• Benchmarks secondaires : OpenThoughts3 (raisonnement mathématique), GSM8K, MATH500, MATHHard, et TabMWP pour évaluer la robustesse au-delà de la logique déterministe.
• Modèles : L'étude utilise principalement la famille Gemma-3-it (1B, 4B, 12B, et 27B comme limite supérieure) et Qwen-2.5-Instruct. Des variantes ajustées par instruction sont utilisées pour garantir que le modèle peut suivre les prompts système pour la génération et la vérification.
• Objectif d'entraînement : Les paires de préférence générées $(y_w, y_l)$ sont utilisées pour affiner la politique via l'Optimisation de Préférence Directe (DPO).
• Référence Oracle : Une configuration où les solutions de vérité terrain sont utilisées pour étiqueter les exemples comme corrects ou incorrects, servant de limite supérieure de performance.

Contributions clés

1. Analyse systématique de la SE en boucle fermée : Le document fournit une comparaison unifiée des méthodes de SE sous une contrainte stricte de boucle fermée, isolant leurs effets par rapport à l'optimisation de préférence supervisée par un oracle. Il évalue plusieurs stratégies (vérification, révision, itération, curriculum) sur le benchmark KK.
2. Effet de la qualité de la supervision interne : L'étude démontre que la qualité du signal du vérificateur est critique. Le feedback multi-tours (RevisionSE) produit les meilleures performances, particulièrement pour les modèles plus larges (12B), où il égale presque l'entraînement supervisé par un oracle. Cependant, cela s'accompagne d'un coût computationnel élevé.
3. Bootstrapping et généralisation : Les auteurs étudient le transfert « facile-vers-difficile ». Bien que l'entraînement itératif et l'apprentissage curriculaire améliorent la capacité à résoudre des exemples plus difficiles (ex: instances KK avec 6 à 8 personnes), la capacité à améliorer la généralisation hors distribution (OOD) reste limitée par rapport à la supervision par oracle.
4. Quantification de l'écart persistant : Même avec des stratégies de SE de plus en plus structurées et intensives en calcul, un écart de performance d'environ 8 à 13 % par rapport à la supervision par oracle persiste dans la plupart des configurations. Cet écart est observé tant sur les données contrôlées de KK que sur les paramètres du monde réel d'OpenThoughts3.

Résultats

Performance sur Knights and Knaves (KK)

• Modèle de base : Gemma 3 4B atteint 31,0 % de précision.
• Supervision Oracle : L'entraînement avec des signaux de vérité terrain porte la précision à 53,3 %.
• Stratégies d'Auto-Évolution :
  • Vérification à passage unique (SimpleSE) : 40,7 %.
  • Feedback multi-tours (RevisionSE) : 42,2 %.
  • Entraînement itératif : 44,1 %.
  • Apprentissage curriculaire : 44,8 %.
• Effets d'échelle :
  • Modèle 1B : Montre une amélioration négligeable (0,6 %) ou même une dégradation avec RevisionSE, soulignant un seuil de capacité où les petits modèles introduisent du bruit qui corrompt l'apprentissage.
  • Modèle 4B : Réalise des gains significatifs mais reste environ 8 à 13 % en dessous de l'oracle.
  • Modèle 12B : RevisionSE atteint 52,8 % de précision, égalant presque la référence oracle de 53,6 %. Cela suggère que les modèles plus larges possèdent des capacités intrinsèques de vérification et de révision suffisantes pour combler l'écart.

Performance sur les benchmarks du monde réel

Sur OpenThoughts3 et d'autres benchmarks de raisonnement (GSM8K, MATH500), les gains d'auto-amélioration sont modestes. Par exemple, sur MATH500, SimpleSE n'améliore Gemma 4B que de 1,6 %. Le document note que pour les problèmes ouverts, les vérificateurs internes peinent à distinguer les chemins de raisonnement plausibles mais erronés des chemins corrects, ce qui conduit à des gains plus faibles que pour les tâches déterministes de KK.

Compromis computationnels

L'étude constate que l'augmentation du nombre de passages du vérificateur ($n_2$) est généralement plus rentable que l'augmentation du nombre de générations de candidats ($n_1$). Des seuils de confiance modérés (ex: $\tau = 0,7$) offrent un bon équilibre entre précision et rappel.

Signification et affirmations

Le document affirme quand la SE en boucle fermée peut aider et comment la supervision générée en interne reste insuffisante sous une formulation minimale.

• Limites des signaux internes : La conclusion principale est que, sous une contrainte stricte de boucle fermée, le feedback interne seul ne constitue pas un substitut général aux récompenses vérifiables ou aux solutions de vérité terrain curatées. Bien que la SE puisse « affiner » la confiance d'un modèle dans ses modes de solution existants (améliorant le Pass@1), elle n'apprend pas de manière fiable au modèle à résoudre des problèmes beaucoup plus difficiles sans signaux externes.
• Seuil de capacité : L'auto-amélioration dépend fortement de l'échelle du modèle. Les modèles plus petits (ex: 1B) échouent souvent à s'auto-évoluer efficacement en raison du bruit du vérificateur, tandis que les modèles plus larges (12B+) peuvent exploiter le feedback multi-tours pour approcher la performance de l'oracle.
• Écart de généralisation : Un écart persistant existe entre les modèles auto-évolués et les modèles entraînés par oracle, particulièrement pour la généralisation hors distribution (OOD) et les tâches de raisonnement ouvert. Le document suggère que si la SE est utile pour distiller les capacités de vérification latentes, elle ne peut remplacer pleinement le besoin d'une supervision externe de haute qualité dans les domaines de raisonnement complexes.

En résumé, ce travail fournit une base empirique rigoureuse montrant que, bien que l'auto-évolution offre des améliorations mesurables, elle plafonne actuellement en dessous du plafond de performance atteignable avec une supervision par oracle, à moins que le modèle ne soit suffisamment large pour agir comme son propre vérificateur et réviseur fiable.