Résumé Technique : EVOLM – Modèles de Langage Auto-Évolutifs grâce à des Rubriques Discriminatives Co-Évoluées

1. Énoncé du Problème

Les méthodes actuelles de post-entraînement pour les grands modèles de langage (LLM), en particulier l'apprentissage par renforcement à partir de feedback humain (RLHF), dépendent fortement d'une supervision externe pour générer des signaux de récompense. Ces sources incluent les annotations de préférences humaines, les juges propriétaires basés sur des API (LLM-as-a-judge), les modèles de récompense scalaires, ou les réponses vérifiables de vérité terrain. Chacune impose un plafond fondamental à l'amélioration du modèle : le jugement humain ne peut superviser des capacités au-delà de ses propres limites ; les API propriétaires créent des dépendances et des barrières de coûts ; les modèles de récompense scalaires sont vulnérables au piratage de récompense ; et les récompenses vérifiables sont restreintes aux domaines disposant de réponses de vérité terrain.

Bien que les LLM encodent une connaissance évaluative substantielle issue du pré-entraînement, les méthodes actuelles échouent à structurer cette connaissance latente en un signal d'entraînement fiable et auto-suffisant. Le défi central consiste à extraire et structurer cette capacité évaluative sous une forme permettant un scoring fiable sans supervision externe, autorisant ainsi le modèle à s'améliorer au-delà des limites des critères d'évaluation statiques.

2. Méthodologie : EVOLM

Les auteurs proposent EVOLM, un cadre de post-entraînement permettant à un seul modèle de langage de co-évoluer ses propres capacités de génération (politique) et d'évaluation (rubrique). L'innovation centrale réside dans la structuration explicite de la connaissance évaluative en rubriques discriminatives – des critères en langage naturel optimisés pour aider un petit juge figé à distinguer entre les réponses préférées et les réponses non préférées.

2.1 Composants Principaux

• Modèle de Politique ($\pi_\theta$) : Génère des réponses aux questions.
• Générateur de Rubriques ($\rho_\phi$) : Produit des critères d'évaluation spécifiques à l'instance (rubriques) en langage naturel pour une question donnée.
• Juge Figé ($J$) : Un petit modèle de langage fixe (par exemple, Qwen3-1.7B) qui note les réponses par rapport aux rubriques générées. Les paramètres du juge restent figés tout au long de l'entraînement.

2.2 Objectif et Mécanisme d'Entraînement

EVOLM traite la rubrique comme une variable latente et formalise la génération de rubriques via une inférence variationnelle. L'objectif est de maximiser l'utilité discriminative de la rubrique : une rubrique est « bonne » si, lorsqu'elle est appliquée par le juge figé, elle attribue un score plus élevé à la réponse préférée ($a^+$) qu'à la réponse non préférée ($a^-$).

L'objectif d'entraînement maximise la borne inférieure de l'évidence (ELBO), récompensant les rubriques qui élargissent l'écart de score entre les réponses préférées et non préférées :
$$\mathcal{L}_{rubric}(\phi) = \mathbb{E}_{r \sim \rho_\phi(r|q)} [\log \sigma(J(q, r, a^+) - J(q, r, a^-))] - \text{KL}(\rho_\phi(r|q) \| \rho_{ref}(r|q))$$
En pratique, cela est optimisé à l'aide d'une récompense basée sur la marge combinée à une récompense de format pour garantir que la rubrique adhère à un schéma JSON structuré, analysable par le juge.

2.3 Boucle d'Entraînement Co-Évolutive

La méthode alterne entre deux phases en utilisant l'algorithme GRPO (Group Relative Policy Optimization) :

1. Phase 1 (Mise à jour de la Politique) : Le générateur de rubriques est figé. La politique génère des réponses, qui sont notées par le juge figé en utilisant les rubriques actuelles. La politique est mise à jour pour maximiser ces récompenses dérivées des rubriques.
2. Phase 2 (Mise à jour de la Rubrique) : La politique est figée. Des paires de préférences $(a^+, a^-)$ sont construites à partir des propres sorties de la politique. Le générateur de rubriques produit des rubriques candidates, qui sont notées par le juge sur les deux réponses. Le générateur de rubriques est mis à jour pour maximiser la marge de score entre les réponses préférées et non préférées.

2.4 Construction de Paires de Préférences

Pour éviter les étiquettes externes, EVOLM construit des paires de préférences entièrement à partir des propres sorties de la politique en utilisant trois méthodes complémentaires :

• Contraste Temporel : Associe une réponse actuelle ($a^+$) à une réponse antérieure ($a^-$) issue d'un point de contrôle d'entraînement précédent. À mesure que la politique s'améliore, l'écart temporel crée un curriculum naturel de difficulté croissante.
• Question Inférée (IQ) : La politique infère la question à laquelle une réponse préférée répond, puis génère une réponse non préférée pour cette question inférée afin de tester la pertinence.
• Conditionnée par la Rubrique (RC) : Génère une réponse préférée conditionnée par la rubrique et une réponse non préférée conditionnée uniquement par la question, testant ainsi l'utilité de la rubrique.

3. Contributions Clés

• Cadre Auto-Évolutif : EVOLM est la première méthode à définir formellement la qualité d'une rubrique comme une utilité discriminative et à entraîner un générateur de rubriques de bout en bout sans supervision externe, API propriétaires ou vérificateurs spécifiques à la tâche.
• Co-Évolution : Le cadre établit une boucle de rétroaction où l'amélioration de la politique force les rubriques à se préciser (pour rester discriminatives), et des rubriques plus précises fournissent des récompenses plus informatives pour stimuler une amélioration supplémentaire de la politique.
• Mécanisme d'Enrichissement des Rubriques : L'analyse qualitative révèle que les rubriques entraînées évoluent d'étiquettes abstraites vers des vérifications concrètes et vérifiables. Elles intègrent des valeurs attendues spécifiques (par exemple, « la réponse est 144 ») et décomposent les contraintes en sous-tâches vérifiables individuellement, transformant le jugement holistique en un appariement de motifs que même de petits juges peuvent effectuer de manière fiable.
• Généralisation : Les rubriques apprises se transfèrent efficacement vers des politiques invisibles, différentes familles de modèles et des domaines hors distribution (par exemple, tâches de recherche approfondie) sans réentraînement.

4. Résultats Expérimentaux

Les expériences ont été menées en utilisant Qwen3-8B comme générateur de politique/rubrique et Qwen3-1.7B comme juge figé.

• Performance en Aval : La politique entraînée avec EVOLM a obtenu une moyenne de 69,3 % sur la suite OLMo3-Adapt (12 benchmarks), surpassant :
  • Les politiques entraînées avec des rubriques suggérées par GPT-4.1 (66,7 %).
  • Les politiques entraînées avec des rubriques suggérées par Qwen3-8B (67,5 %).
  • Les modèles de récompense scalaires de l'état de l'art (SkyWork-RM-V2) à 59,7 %.
  • D'autres méthodes RL basées sur des rubriques (RAR, RRD, RLCER, RUBRIC-ARM) qui variaient de 66,7 % à 67,6 %.
• Qualité des Rubriques : Les rubriques apprises ont surpassé GPT-4.1 sur RewardBench-2 de 25,7 % (46,0 % contre 20,3 % sur des métriques spécifiques, bien que le résumé cite une amélioration de 25,7 % par rapport aux rubriques GPT-4.1 sur le benchmark).
• Généralisation :
  • Transversalité des Politiques : Les rubriques entraînées sur Qwen3-8B ont amélioré les performances en aval sur des politiques Qwen3-4B et Llama-3.1-8B invisibles par rapport aux rubriques suggérées par GPT-4.1.
  • Transversalité des Juges : Les rubriques entraînées avec un juge de 1,7B sont restées efficaces lorsqu'elles étaient appariées à des juges plus grands (Qwen3-8B, OLMo-3-7B), montrant des gains significatifs par rapport aux bases suggérées.
  • Hors Distribution : Sur des tâches de recherche approfondie (HealthBench, ResearchQA), les rubriques EVOLM ont obtenu un accord par paires plus élevé avec des rubriques humaines d'experts que GPT-4.1 (58,4 % contre 52,5 % sur HealthBench).
• Études d'Ablation :
  • Taille du Juge : Un petit juge de 1,7B a produit la meilleure politique en aval, suggérant que la qualité du contenu de la rubrique est plus critique que la capacité du juge.
  • Dynamiques d'Entraînement : L'entraînement co-évolutif a surpassé l'entraînement séquentiel (entraînement des rubriques puis de la politique), soulignant l'importance de la boucle de rétroaction adaptative.
  • Sur-optimisation de la Récompense : Le modèle de récompense scalaire, bien qu'il domine les benchmarks statiques (RewardBench-2 : 86,4 %), a produit la politique en aval la plus faible, confirmant que les critères statiques échouent à s'adapter à la distribution de politique changeante.

5. Signification et Revendications

L'article revendique qu'EVOLM démontre que structurer la capacité évaluative d'un modèle en rubriques discriminatives co-évoluées permet l'auto-amélioration sans supervision externe.

Les auteurs soutiennent que chaque source de récompense externe impose un plafond : le jugement humain ne peut superviser au-delà de ses propres capacités, et les critères statiques ne peuvent s'adapter à la distribution de sortie qu'une politique d'apprentissage crée. En co-évoluant les critères d'évaluation avec la politique, EVOLM supprime ces contraintes. La structure d'évaluation apprise s'avère transférable à travers des politiques, des juges et des domaines invisibles, suggérant une voie vers une auto-amélioration autonome et évolutive dans les modèles de langage.

Ce travail positionne les rubriques non pas seulement comme un outil d'interprétabilité, mais comme un mécanisme pour extraire la connaissance évaluative latente du pré-entraînement et la structurer en un signal d'entraînement fiable et auto-suffisant.