💬 NLP

Think-with-Rubrics: From External Evaluator to Internal Reasoning Guidance

Ce papier présente « Think-with-Rubrics », un nouveau paradigme qui transforme les grilles d'évaluation d'outils d'évaluation externes en guides de raisonnement internes en amenant les LLM à générer des grilles d'évaluation parallèlement aux réponses pendant l'entraînement, ce qui se traduit par des améliorations constantes des performances par rapport aux références basées sur la récompense existantes.

Auteurs originaux : Jiachen Yu, Zhihao Xu, Junjie Wang, Yujiu Yang

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiachen Yu, Zhihao Xu, Junjie Wang, Yujiu Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à écrire une histoire, à résoudre une énigme ou à suivre un ensemble complexe d'instructions. Autrefois, nous apprenions à ces robots à deviner, puis à évaluer leur travail après qu'ils l'eussent terminé. S'ils se trompaient, nous leur disions : « Voici la note, réessayez. » Cela ressemble à un professeur qui rend une copie avec un gros « Échec » en rouge au bas, mais sans aucune note indiquant comment corriger les erreurs spécifiques.

L'article « Think-with-Rubrics » propose une méthode plus intelligente pour enseigner. Au lieu de simplement noter la réponse finale, il apprend au robot à rédiger sa propre grille d'évaluation avant même de commencer le travail.

Voici comment l'article décompose cela, en utilisant des analogies simples :

1. Le Problème : Le Critique « Après-Coup »

Actuellement, la plupart des entraînements d'IA utilisent des Rubriques comme Récompenses. Imaginez un entraîneur sportif qui ne se présente qu'après la fin du match. L'entraîneur regarde le score final et dit : « Tu as raté le ballon trois fois. » Le joueur apprend du score, mais il n'avait pas la liste de contrôle de l'entraîneur dans sa tête pendant qu'il jouait. Il ne pouvait pas utiliser les règles pour guider ses mouvements en temps réel.

2. La Solution : L'Entraîneur « Avant-Coup »

Les auteurs introduisent Think-with-Rubrics. Cela modifie le processus de réflexion du robot. Désormais, avant même que le robot n'écrive le moindre mot de la réponse, il doit d'abord générer une Rubrique (une liste de contrôle de règles) pour lui-même.

L'Analogie : Imaginez que vous préparez un gâteau.
- Ancienne méthode : Vous faites cuire le gâteau, vous le goûtez, puis le juge dit : « C'est trop salé et le glaçage est désordonné. » Vous réessayez la prochaine fois.
- Nouvelle méthode (Think-with-Rubrics) : Avant d'allumer le four, vous écrivez une liste de contrôle : « 1. Utiliser exactement 2 tasses de farine. 2. Pas de sel. 3. Le glaçage doit être lisse. » Vous faites ensuite cuire le gâteau tout en vérifiant constamment votre propre liste.

En forçant l'IA à écrire les règles en premier, ces règles deviennent partie intégrante de son « processus de pensée » plutôt qu'une simple note externe.

3. Le Fonctionnement de l'Entraînement (Le Système de « Double-Vérification »)

L'article décrit un processus d'entraînement en deux étapes principales, comme un étudiant se préparant à un grand examen :

Étape 1 : Apprendre le Format (Échauffement SFT)
Le robot se voit montrer des exemples de la manière de rédiger une liste de contrôle suivie d'une réponse. Il apprend la structure : <Rubrique> puis <Réponse>. C'est comme apprendre à un étudiant à formater correctement ses devoirs afin que le professeur puisse les lire.
Étape 2 : L'Apprentissage par Renforcement (La Phase « Entraîneur »)
C'est là que la magie opère. Le robot génère sa propre liste de contrôle et sa réponse. Ensuite, un « Vérificateur » (un juge intelligent) vérifie deux choses :
1. La Vérification Dorée : La réponse correspond-elle à la liste de contrôle parfaite, créée par un humain ? (C'est la note externe).
2. L'Auto-Vérification : La réponse respecte-t-elle réellement la propre liste de contrôle du robot ? (C'est la cohérence interne).

L'Idée Maîtresse :
L'article a découvert que si vous n'utilisez que la « Vérification Dorée » (la note humaine), le robot s'améliore dans le suivi des règles humaines mais peut toujours être désordonné dans sa propre réflexion. Mais si vous ajoutez l'« Auto-Vérification », le robot apprend à être cohérent avec lui-même.

4. La Découverte Surprenante : L'Auto-Évolution

La découverte la plus excitante de l'article est que le robot peut en réalité s'enseigner lui-même sans avoir besoin de la liste de contrôle d'un enseignant humain !

L'Analogie : Imaginez un étudiant si doué pour créer ses propres guides d'étude et s'y tenir qu'il finit par obtenir de meilleures notes que les étudiants qui ne comptent que sur la clé de réponses du professeur.
Le Résultat : L'article montre qu'un modèle entraîné uniquement à suivre ses propres listes de contrôle générées (sans listes de contrôle « Dorées » humaines) a performé aussi bien, et parfois même mieux, que les modèles entraînés avec des listes de contrôle humaines. Cela suggère que l'IA peut « s'auto-évoluer » en devenant meilleure pour créer ses propres règles puis les suivre.

5. Pourquoi Cela Fonctionne Mieux

Les auteurs expliquent que cette méthode fonctionne car elle résout un problème spécifique : l'Incohérence.
Souvent, une IA peut penser : « Je dois être concis », puis écrire un long paragraphe. Il y a un décalage entre ce qu'elle pense devoir faire et ce qu'elle fait réellement.

Think-with-Rubrics force l'IA à déclarer : « Je serai concis », puis à le prouver immédiatement en écrivant une réponse courte.
L'entraînement récompense l'IA non seulement pour avoir raison, mais pour être cohérente avec son propre plan.

Résumé des Résultats

L'article a testé cette méthode sur plusieurs références (comme IFEval et IFBench) et a constaté :

La nouvelle méthode a systématiquement battu les anciennes méthodes « Rubrique-comme-Récompense » d'une moyenne d'environ 3,87 points.
Elle a bien fonctionné sur des modèles d'IA à la fois grands et petits.
Elle a rendu le processus de pensée de l'IA plus court et plus efficace (condensant la « réflexion » en une liste de contrôle structurée).

En résumé : L'article apprend à l'IA à arrêter de deviner et à commencer à planifier. En obligeant l'IA à rédiger son propre manuel de règles avant de commencer à travailler, puis en la récompensant pour s'y tenir, l'IA devient plus fiable, plus cohérente et capable de s'améliorer elle-même sans une supervision humaine constante.

Résumé Technique : Penser-Avec-Critères

1. Énoncé du Problème

Les approches actuelles d'apprentissage par renforcement (RL) pour les grands modèles de langage (LLM) excellent dans les tâches vérifiables où des étiquettes de vérité terrain existent. Cependant, étendre le RL à des tâches ouvertes de suivi d'instructions non vérifiables reste difficile en raison de l'absence de signaux de récompense fiables. Les solutions existantes reposent souvent sur des récompenses scalaires ou des modèles de récompense génératifs monolithiques, qui fournissent une supervision trop grossière pour capturer la qualité nuancée des réponses.

Bien que les paradigmes récents « Critères-comme-Récompense » aient amélioré la situation en décomposant les tâches en critères structurés et interprétables, une limitation critique persiste : les critères sont traités uniquement comme des évaluateurs externes. Dans les cadres actuels, les critères sont appliqués a posteriori pour mesurer la performance après que le modèle a généré une réponse. Cette conception empêche les critères de guider activement le processus de génération ou la trajectoire de raisonnement du modèle, les laissant disjoints de la trace de raisonnement principale de la politique.

2. Méthodologie : Penser-Avec-Critères

Les auteurs proposent PENSER-AVEC-CRITÈRES, un paradigme novateur qui internalise la génération de critères comme une partie intrinsèque du processus de raisonnement du modèle. Au lieu de générer directement une réponse, le modèle construit d'abord un critère auto-généré pour définir les critères de succès, puis génère une réponse conditionnée à ces critères.

2.1 Paradigme Central

La trajectoire de politique $\tau$ est factorisée en deux étapes séquentielles :

Génération de Critères : Le modèle génère un critère auto-généré $\hat{r}$ basé sur l'instruction d'entrée $x$ : $\hat{r} \sim \pi_\theta(\hat{r} | x)$ .
Génération de Réponse : Le modèle génère la réponse finale $y$ conditionnée à la fois à l'instruction et au critère auto-généré : $y \sim \pi_\theta(y | x, \hat{r})$ .

Cela transforme le modèle d'un exécutant passif en un délibérateur actif qui établit des règles de succès avant de raisonner.

2.2 Flux de Travail d'Entraînement

Le processus d'entraînement se compose de deux étapes :

Étape 1 : Échauffement par SFT
Pour garantir que le modèle adhère au format spécifique <critère>...</critère><réponse>...</réponse> et pour éviter que le RL ne gaspille des étapes sur la conformité au format, les auteurs effectuent un affinage supervisé (SFT).

Distillation de l'Enseignant : Les réponses sont distillées à partir de Gemini-2.5-Flash sur le jeu de données Openrubrics.
Objectif : Maximiser la vraisemblance sur l'ensemble de la trajectoire, en initialisant la politique avec une structure stable qui sépare la construction des critères de la génération de la réponse.

Étape 2 : Entraînement RL
Le modèle est optimisé à l'aide de l'algorithme DAPO avec un système de récompense composite $R(\tau) = \alpha R_{gold} + \beta R_{self} + \gamma R_{fmt}$ .

Vérificateur de Critères : Un vérificateur spécialisé et léger (distillé à partir de Qwen3-32B-Instruct) évalue si une réponse satisfait des critères spécifiques, en produisant un score de conformité pondéré.
Récompense de Cohérence avec le Critère Or ( $R_{gold}$ ) : Mesure la conformité de la réponse finale par rapport au critère « or » de vérité terrain ( $r^*$ ) provenant d'Openrubrics.
Récompense de Cohérence avec le Critère Auto-généré ( $R_{self}$ ) : Mesure la conformité de la réponse finale par rapport au critère propre généré par le modèle ( $\hat{r}$ ). Cela impose un alignement interne.
Récompense de Format ( $R_{fmt}$ ) : Empêche le « piratage de récompense » (par exemple, générer des critères triviaux) en garantissant que le critère et la réponse sont correctement analysés et que le nombre de critères tombe dans une plage raisonnable (5–15, avec un pic à 10).

2.3 Hypothèse Clé

Les auteurs émettent l'hypothèse que l'optimisation conjointe de $R_{gold}$ et $R_{self}$ crée une boucle de rétroaction : si une réponse satisfait le critère auto-généré et obtient également un score élevé sur le critère or, le critère auto-généré est implicitement encouragé à s'aligner sur la norme or ( $S(y, \hat{r}) \uparrow \land S(y, r^*) \uparrow \Rightarrow \hat{r} \approx r^*$ ).

3. Contributions Clés

Changement de Paradigme : Transforme les critères de métriques d'évaluation externes en étapes cognitives internes, permettant aux modèles d'adapter dynamiquement les critères à des contextes spécifiques au sein de la chaîne de raisonnement.
Flux de Travail d'Entraînement Unifié : Introduit une méthode combinant la supervision par critères auto-générés et critères or, démontrant que la supervision explicite sur la qualité des critères est inutile ; l'apprentissage des critères émerge grâce à l'optimisation conjointe de la cohérence des réponses.
Auto-évolution Évolutive : Démontre que les modèles peuvent atteindre des performances compétitives en utilisant uniquement une supervision par critères auto-générés, suggérant une voie vers une auto-évolution évolutive sans dépendance aux annotations externes.

4. Résultats Expérimentaux

Des expériences ont été menées sur les modèles Qwen3-8B et Qwen3-4B à travers trois benchmarks de suivi d'instructions : IFEval, IFBench et InfoBench.

Gains de Performance : Penser-Avec-Critères surpasse systématiquement la ligne de base « Critères-comme-Récompense » (qui utilise les critères or uniquement comme récompenses externes).
- Sur le modèle 8B, le réglage de récompense mixte a réalisé une amélioration moyenne de 3,87 points par rapport à la ligne de base.
- Sur le modèle 4B, l'amélioration a été de 4,16 points.
Composition de la Récompense : Le réglage de récompense mixte (combinant la cohérence or et auto-générée) a produit les meilleurs résultats. Cependant, le réglage « Récompense auto-générée uniquement » (57,17 % en moyenne) a légèrement surpassé le réglage « Récompense or uniquement » (56,81 %), validant la faisabilité de l'auto-évolution.
Efficacité : La longueur de réflexion moyenne pour Penser-Avec-Critères (231 jetons) était significativement plus courte que la réflexion standard (401 jetons), indiquant que les critères condensent les exigences vitales en un processus rationalisé.

Analyse du Mécanisme

Amélioration Implicite de la Qualité : La supervision via les critères or améliore implicitement la qualité des critères auto-générés, même sans comparaison directe au niveau des critères.
Cohérence Interne : La supervision par critères auto-générés améliore considérablement la cohérence entre les propres critères du modèle et ses réponses. Les modèles non entraînés échouent souvent à suivre leurs propres critères générés ; l'auto-supervision atténue cette incohérence interne.
Qualité des Critères vs Performance : Bien que la supervision uniquement auto-générée améliore la performance de suivi d'instructions, les critères résultants ne sont pas nécessairement de meilleurs évaluateurs à usage général (comme le montre RewardBench-2). Leur valeur réside dans le maintien de la cohérence des contraintes au cours du processus de génération du modèle lui-même.

5. Importance et Revendications

L'article revendique que PENSER-AVEC-CRITÈRES offre une solution robuste pour aligner les LLM avec des instructions ouvertes en comblant le fossé entre la modélisation de la récompense et la génération de politique.

Guidage Actif : En traitant les critères comme des étapes de raisonnement internes plutôt que comme des vérifications externes, le modèle guide activement sa propre génération vers les résultats souhaités, imitant la métacognition humaine.
Potentiel d'Auto-évolution : La capacité du modèle à s'améliorer en utilisant uniquement des critères auto-générés suggère une voie viable pour une auto-évolution évolutive, réduisant la dépendance aux annotations de vérité terrain externes.
Généralisabilité : Le paradigme reste efficace à travers différentes échelles de modèles (de 4B à 8B) et diverses configurations de poids de récompense, démontrant une robustesse.

Les auteurs concluent que l'intégration de la génération de critères dans la trajectoire de raisonnement est un paradigme général pour l'alignement des tâches ouvertes, offrant une approche plus structurée et auto-cohérente que les méthodes traditionnelles de « réflexion » ou de « chaîne de pensée ».