Résumé technique : Auto-évolution orchestrée par la confiance (COSE)

Énoncé du problème

Les modèles de langage de grande taille (LLM) auto-évoluants visent à améliorer leurs capacités de raisonnement en générant leurs propres tâches d'entraînement, en les résolvant et en apprenant à partir de retours d'information auto-générés, sans dépendre entièrement d'une supervision curatée par l'humain. Cependant, un goulot d'étranglement critique existe dans les domaines où les solutions ne peuvent pas être vérifiées par exécution (par exemple, le code) ou par correspondance exacte (par exemple, les mathématiques). Dans ces environnements « à domaine ouvert », le modèle doit agir à la fois comme Validateur (jugement de la validité de la tâche) et comme Juge (évaluation de la correction de la réponse).

Le défi central réside dans le bruit des retours d'information auto-générés. Un modèle capable de générer des tâches difficiles peut manquer de la capacité nécessaire pour les valider correctement ou pour juger de la justesse des solutions proposées. Lorsque le modèle valide à tort une tâche défectueuse ou juge incorrectement une mauvaise réponse comme correcte, ces erreurs sont converties en signaux de récompense. Dans les boucles d'auto-évolution standard, ces signaux erronés entraînent des mises à jour de gradient qui renforcent des schémas de raisonnement incorrects, conduisant à une instabilité d'optimisation ou à une dégradation des performances. Les approches existantes dépendent soit de vérificateurs externes (limitant la généralité), soit traitent tous les retours d'information auto-générés comme une supervision également fiable, échouant à prendre en compte l'incertitude inhérente au processus de génération de ces retours.

Méthodologie : COSE

Les auteurs proposent COSE (Confidence-Orchestrated Self-Evolution), un cadre qui utilise la confiance intrinsèque du LLM comme signal d'incertitude léger pour moduler le processus d'apprentissage. COSE utilise un seul modèle de base $\pi_\theta$ sollicité pour jouer quatre rôles : Proposeur (génère des questions), Validateur (évalue la qualité des questions), Résolveur (génère des réponses) et Juge (évalue la justesse des réponses).

L'innovation centrale réside dans l'estimation de la confiance directement à partir de la distribution de sortie au niveau des jetons du Validateur et du Juge lors de la génération des retours, plutôt que de traiter ces retours comme des étiquettes de vérité terrain.

1. Estimation de la confiance

COSE calcule la confiance ($c$) sur la base de l'entropie normalisée de la distribution de sortie au niveau des jetons du modèle. Pour un jeton généré $t$ avec une distribution de probabilité $P_t$ sur le vocabulaire $\mathcal{V}$ :
$$c_t = 1 - \frac{H(P_t)}{\log |\mathcal{V}|}$$
La confiance au niveau de la séquence ($c_{seq}$) est la moyenne des confiances au niveau des jetons. Cette métrique sert d'heuristique pour l'incertitude : une faible entropie (confiance élevée) implique que le modèle est certain de son jugement, tandis qu'une forte entropie (confiance faible) indique une incertitude.

2. PPO pondéré par la confiance

COSE intègre ces scores de confiance dans la fonction objectif de l'optimisation de politique proximale (PPO) pour mettre à l'échelle la contribution du gradient de chaque échantillon.

• Poids du Proposeur ($w_P$) : Ajuste les mises à jour en fonction de la qualité de la question ($v$) et de la confiance du Validateur ($c_V$) :
  $$w_P(q) = \text{clip}(v(q) \cdot c_V(q), 0.1, 1.0)$$
• Poids du Résolveur ($w_S$) : Ajuste les mises à jour en fonction de la qualité de la question, de la confiance du Validateur et de la confiance du Juge ($c_J$) :
  $$w_S(q, a) = \text{clip}(v(q) \cdot c_V(q) \cdot c_J(q, a), 0.1, 1.0)$$
  En plafonnant le poids à une borne inférieure de 0,1 plutôt que de rejeter entièrement les échantillons incertains, COSE préserve l'exploration tout en empêchant les retours d'information à faible confiance et à forte variance de dominer l'optimisation.

3. Replay priorisé par la confiance

Le tampon de replay priorise l'échantillonnage de questions qui sont non seulement valides, mais qui se situent également près de la frontière actuelle des capacités du modèle. La priorité est définie comme suit :
$$\text{priority}(q) \propto v(q) \cdot c_V(q) \cdot \max(4p(q)(1-p(q)), 0.1)$$
Ici, $p(q)$ est le taux de résolution moyen. Le terme $4p(q)(1-p(q))$ est maximisé lorsque $p(q) \approx 0.5$, concentrant l'entraînement sur des questions que le modèle peut résoudre environ la moitié du temps (la « frontière d'apprentissage »). Les termes de confiance garantissent que les questions avec une validation incertaine ne soient pas sur-échantillonnées.

Contributions clés

1. Identification du goulot d'étranglement de l'optimisation : L'article identifie le bruit des retours d'information auto-générés (à la fois validation et jugement) comme un goulot d'étranglement central de l'optimisation dans les LLM auto-évoluants, distinct de la simple pénurie de données.
2. Formulation du contrôle d'entraînement : Les auteurs formulent le problème comme une tâche de contrôle d'entraînement par échantillon, où l'influence d'un signal de retour d'information sur l'apprentissage est modulée par sa confiance intrinsèque.
3. Validation empirique : Grâce à des expériences extensives sur 19 benchmarks retenus et quatre architectures de modèles de base (familles Qwen et Llama, de 0,6 à 4 milliards de paramètres), les auteurs démontrent que COSE améliore systématiquement les modèles de base et surpasse ou reste compétitif par rapport aux précédentes bases de référence d'auto-évolution (AZR, MAE, R-Zero).

Résultats expérimentaux

L'évaluation couvre le raisonnement général, les mathématiques et la génération de code.

• Raisonnement général : COSE atteint les performances moyennes les plus élevées sur les quatre architectures. Notamment, sur les modèles plus faibles Qwen3-0.6B et Llama-3.2-3B, COSE génère des gains substantiels (par exemple, +28,5 points sur Qwen3-0.6B), surpassant nettement les bases de référence. Les auteurs attribuent cela au fait que les modèles plus faibles produisent des retours d'information plus bruyants ; la pondération par la confiance de COSE atténue efficacement l'impact de ces erreurs, tandis que les bases de référence les renforcent.
• Mathématiques : COSE montre les améliorations les plus importantes sur les benchmarks mathématiques difficiles (par exemple, Olympiad-Bench, Minerva). Les résultats suggèrent que le contrôle par la confiance est particulièrement vital lorsque le Juge doit distinguer entre des déductions plausibles mais incorrectes, un scénario où l'auto-jugement naïf échoue souvent.
• Génération de code : Dans les domaines avec vérification exécutable (code), COSE reste compétitif. Bien que les méthodes reposant sur des vérificateurs externes (comme AZR) performant parfois légèrement mieux sur des architectures spécifiques, COSE ne subit pas de régression significative. Cela indique que la pondération par la confiance ne nuit pas aux performances dans les domaines où les retours d'information sont déjà fiables.
• Études d'ablation : La suppression du PPO pondéré par la confiance entraîne la baisse de performance la plus significative, particulièrement en mathématiques, confirmant que le contrôle de la force du gradient est le principal moteur du succès. La suppression de la priorité de replay a un effet négatif plus faible mais constant.

Importance et affirmations

L'article affirme que l'auto-évolution devient plus efficace lorsque les modèles non seulement apprennent de leurs propres retours d'information, mais contrôlent également la force avec laquelle les retours incertains affectent l'entraînement.

• Robustesse : COSE fournit un mécanisme pour empêcher l'amplification des erreurs dans les boucles d'auto-évolution. Il permet aux modèles de bénéficier de données auto-générées même lorsque le Validateur/Juge est imparfait, à condition que le modèle puisse reconnaître sa propre incertitude.
• Généralisabilité : Contrairement aux méthodes restreintes aux domaines exécutables, COSE permet l'auto-évolution dans des tâches de raisonnement à domaine ouvert où les vérificateurs externes sont indisponibles.
• Modestie : Les auteurs déclarent explicitement que la confiance est un signal d'incertitude heuristique, et non une garantie de correction. Ils reconnaissent que des sorties à haute confiance peuvent encore être erronées, en particulier sur des problèmes adversariaux ou hors distribution. De plus, la méthode repose sur l'accès aux probabilités au niveau des jetons (logits), limitant son application directe aux API boîte noire sans stratégies d'échantillonnage supplémentaires. Les expériences sont menées sur des modèles à poids ouverts relativement petits (0,6 à 4 milliards de paramètres), et le comportement de mise à l'échelle vers des modèles plus grands reste une question ouverte pour les travaux futurs.

En résumé, COSE représente un passage du traitement des retours d'information auto-générés comme une supervision uniforme à leur traitement comme un signal pondéré, où le poids est déterminé par la confiance du modèle dans la production de ce signal. Cette approche stabilise le processus d'auto-évolution, en particulier dans le régime intermédiaire difficile où les modèles s'améliorent mais où leurs capacités d'auto-évaluation restent bruyantes.