💬 NLP

QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards

QUBRIC est un nouveau cadre qui surmonte les limitations structurelles de l'apprentissage par renforcement basé sur des rubriques existantes en co-concevant des requêtes basées sur des scénarios et des rubriques ancrées dans l'enseignant, permettant ainsi un entraînement efficace sur des tâches ouvertes et atteignant des gains de performance significatifs dans les benchmarks de raisonnement et de suivi d'instructions.

Auteurs originaux : Rongzhi Zhang, Rui Feng, Zhihan Zhang, Jingfeng Yang, Qingyu Yin, Xin Liu, Zixuan Zhang, Priyanka Nigam, Bing Yin, Tuo Zhao, Chao Zhang

Publié 2026-06-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rongzhi Zhang, Rui Feng, Zhihan Zhang, Jingfeng Yang, Qingyu Yin, Xin Liu, Zixuan Zhang, Priyanka Nigam, Bing Yin, Tuo Zhao, Chao Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot comment écrire une excellente histoire ou résoudre un problème complexe. Dans le monde de l'intelligence artificielle, cela s'appelle l'Apprentissage par Renforcement (RL). Habituellement, nous enseignons aux robots en leur donnant un score clair de "Oui" ou de "Non". Par exemple, en mathématiques, si la réponse est "42", le robot reçoit une étoile d'or. Si c'est "43", il n'obtient rien. Cela fonctionne très bien pour les mathématiques et le codage.

Mais que se passe-t-il lorsqu'il n'y a pas de réponse unique ? Que faire si vous demandez : "Comment faire une bonne tasse de café ?" ou "Écrivez une histoire morale sur un chien perdu" ? Il n'y a pas de "42" ici. C'est là qu'intervient le papier QUBRIC.

Le Problème : Le Piège de la "Question Vague"

Les auteurs ont découvert un obstacle majeur dans la façon dont nous enseignons actuellement aux robots comment gérer ces questions ouvertes.

Pensez-y de cette manière : Vous demandez à un élève : "Explique comment faire un gâteau."

L'ancienne méthode : Vous essayez de créer une liste de contrôle (une grille d'évaluation) pour que l'enseignant puisse noter la réponse. Mais comme la question est très large, la liste de contrôle finit par être vague. "A-t-il mentionné la farine ?" "A-t-il mentionné les œufs ?" Il est difficile d'être équitable.
La correction naïve : Quelqu'un essaie de rendre la question plus spécifique : "Explique comment faire un gâteau en utilisant le Guide du Maître Pâtissier 2024."
- Le désastre : Le robot ne possède pas ce guide. Il n'existe pas ! Le robot refuse donc de répondre (parce qu'il ne trouve pas le guide) ou invente un faux guide. La liste de contrôle de l'enseignant se contente alors de vérifier : "A-t-il refusé de répondre ?" ou "A-t-il menti ?" Le robot ne reçoit aucun retour utile sur comment faire un gâteau. Il apprend simplement à se taire ou à mentir.

Le papier appelle cela l'"Échec de Référence Fabriquée" (Fabricated Reference Failure). Vous ne pouvez pas noter un robot sur un livre de règles qui n'existe pas.

La Solution : QUBRIC (L'approche du "Co-concepteur")

Les auteurs ont créé un nouveau système appelé QUBRIC. Au lieu de simplement créer une liste de contrôle pour une question désordonnée, QUBRIC modifie la question et la liste de contrôle ensemble, comme une équipe d'architectes et d'inspecteurs travaillant côte à côte.

Voici comment cela fonctionne, en utilisant une analogie simple :

1. Le Détective des "Points Clés" (Réécriture de la Question)

Au lieu de demander au robot d' "Expliquer l'apprentissage automatique" (ce qui est trop vaste), le système examine ce qu'un expert humain (l' "Enseignant") dirait. Il extrait les faits les plus importants et les plus précis (les Points Clés).

Analogie : Imaginez que vous vouliez apprendre à un enfant ce que sont les "Animaux". Au lieu de cela, vous dites : "Imagine que tu es un soigneur dans un zoo spécifique avec un lion affamé. Le lion ne mange que de la viande provenant du côté nord de l'enclos. Comment le nourris-tu ?"
Pourquoi cela fonctionne : Vous n'avez pas changé le sujet (il s'agit toujours des animaux/de l'alimentation), mais vous avez créé un scénario spécifique avec un espace de réponse clair. Vous ne demandez pas un faux livre ; vous demandez une solution à un problème réel et contenu.

2. L'Inspecteur "Contrastif" (Création de la Liste de Contrôle)

Maintenant, le système génère la liste de contrôle (la grille d'évaluation). Il ne se contente pas de deviner à quoi ressemble une bonne réponse. Il compare la réponse parfaite de l' "Enseignant" à la réponse actuelle de l' "Étudiant" (le robot).

Analogie : L'inspecteur regarde la réponse de l'Enseignant et dit : "Ah, l'Enseignant a mentionné de vérifier les dents du lion avant de le nourrir. L'Étudiant a oublié cela."
La liste de contrôle devient : "La réponse mentionne-t-elle la vérification des dents du lion ?"
C'est une Grille Constitutive (Constitutive Rubric) : La règle est autonome. Vous n'avez pas besoin de connaître des faits extérieurs pour évaluer ; il suffit de vérifier si le détail spécifique est présent.

3. Le "Filtre de Difficulté" (Sélection des Problèmes d'Entraînement)

Tous les problèmes ne sont pas bons pour l'apprentissage.

Si la question est trop facile, le robot connaît déjà la réponse. Aucun apprentissage ne se produit.
Si elle est trop difficile, le robot échoue à chaque fois et se retrouve confus.
QUBRIC agit comme un entraîneur qui ne choisit que des problèmes d'entraînement où l'étudiant a une chance de 20 % à 50 % de réussir. C'est le "point idéal" où l'apprentissage se produit réellement.

Qu'est-ce qui s'est passé ? (Les Résultats)

Les auteurs ont testé ce système sur un robot qui était bon pour suivre des instructions mais pas très doué pour le raisonnement complexe.

Le Test : Ils ont demandé au robot de gérer des tâches difficiles et ouvertes (comme écrire des histoires créatives ou résoudre des énigmes logiques complexes) et même des tâches qu'il n'avait jamais vues auparavant (comme le raisonnement juridique ou les dilemmes moraux).
Le Résultat : Le robot s'est considérablement amélioré.
- Sur un test "Arena" difficile de suivi d'instructions, il a progressé de 5,5 points.
- Sur trois types de raisonnement complètement différents (juridique, moral, narratif), il s'est amélioré de 6,3 points en moyenne.

La Grande Leçon

Le papier prouve que vous ne pouvez pas simplement donner une liste de contrôle à un robot pour une question vague et espérer qu'il apprenne. La question elle-même doit être conçue pour être vérifiable.

En réécrivant la question en un scénario spécifique et réaliste (ancré dans des faits réels, et non dans de faux livres) et en construisant ensuite une liste de contrôle basée sur ce scénario spécifique, le robot reçoit un retour clair et utile. Il apprend à mieux réfléchir, et non pas seulement à deviner ou à refuser de répondre.

En bref : QUBRIC nous enseigne que pour apprendre à un robot comment réfléchir, il faut d'abord lui poser le bon type de question. On ne peut pas noter un étudiant sur un examen qui n'a pas de sens.

Résumé Technique : QUBRIC – Co-conception de requêtes et de rubriques pour le RL au-delà des récompenses vérifiables

1. Énoncé du problème

L'apprentissage par renforcement avec des récompenses vérifiables (RLVR) a permis des avancées significatives dans des domaines comme les mathématiques et le codage, où des réponses de vérité terrain fournissent des signaux de récompense clairs. Cependant, étendre le RL à des tâches ouvertes (par exemple, le respect d'instructions, le raisonnement juridique, la génération de récits) reste un défi en raison de l'absence de réponses vérifiables.

Les approches existantes traitent généralement la distribution des requêtes comme étant fixe tout en optimisant les rubriques (critères structurés d'évaluation), ou elles remodèlent les requêtes pour créer des contraintes exécutables. Les auteurs identifient un goulot d'étranglement structurel : la qualité de la rubrique est fondamentalement limitée par la structure de la requête.

Les requêtes ouvertes produisent des rubriques vagues que les juges ne peuvent pas appliquer de manière cohérente.
Le rétrécissement naïf (rendre une requête spécifique sans ancrage) introduit souvent des références fabriquées (par exemple, citer des directives ou des documents inexistants). Cela provoque un effondrement des rubriques, qui finissent par tester si un modèle refuse de répondre plutôt que s'il raisonne correctement, ce qui résulte en des signaux de récompense non informatifs où toutes les réponses échouent.

Le papier soutient que la structure de la requête et la conception de la rubrique sont couplées : une requête doit être resserrée de manière à fournir une cible de raisonnement déterminée pour le générateur de rubriques.

2. Méthodologie : QUBRIC

QUBRIC est un pipeline en trois étapes qui co-conçoit les requêtes et les rubriques hors ligne avant l'entraînement. Il repose sur le principe que la requête doit être réécrite pour supporter des rubriques constitutives (des critères qui peuvent être évalués en utilisant uniquement le texte de la rubrique et la réponse, sans connaissance externe).

Étape 1 : Réécriture de requête ancrée sur des points clés

Au lieu de rétrécir arbitrairement les requêtes ouvertes, QUBRIC ancre le processus de réécriture dans le contenu réel des réponses de haute qualité.

Extraction de points clés : Des réponses de référence sont générées par plusieurs modèles enseignants. Les "points clés" (composants de connaissance atomiques) sont extraits. Les requêtes présentant un fort désaccord entre les modèles (espaces de réponses larges) sont prioritaires.
Construction de scénarios : Le système sélectionne 1 à 2 points clés et réécrit la requête sous forme de question basée sur un scénario. Le scénario inclut un contexte réaliste (rôles, contraintes, données) qui rend la requête autonome. Les points clés sélectionnés deviennent la réponse centrale déterminée à la nouvelle requête.
Validation : Une vérification par prompt garantit que la requête réécrite ne fuit pas la réponse, maintient la cohérence interne et que les points clés répondent correctement à la nouvelle requête.
Filtrage de l'apprenabilité : Seuls les couples requête-rubrique où le taux de réussite de la politique d'initialisation se situe dans un couloir de 20 à 50 % sont conservés. Cette heuristique garantit que les données d'entraînement consistent en des exemples informatifs (ni trop faciles, ni impossibles).

Étape 2 : Génération de rubriques contrastives au niveau de la requête

Les rubriques sont générées hors ligne en contrastant une réponse d'enseignant forte avec une réponse de politique faible.

Analyse contrastive : Le générateur identifie le contenu présent dans la réponse de l'enseignant mais absent dans la réponse de la politique, ainsi que les exigences de base partagées.
Conception constitutive : Les rubriques sont conçues pour être atomiques, non ambiguës, non piratables et orthogonales. Elles intègrent directement la connaissance de notation (ex: "La réponse explique X à cause de Y" plutôt que "La réponse est scientifiquement exacte").
Pondération : Les rubriques sont classées comme Critiques (poids 3), Importantes (poids 2) ou Optionnelles (poids 1) selon leur importance pour la tâche.

Étape 3 : Apprentissage par renforcement avec rubriques

La politique est optimisée en utilisant l'optimisation de politique relative au groupe (GRPO - Group Relative Policy Optimization).

Formulation de la récompense : La récompense totale $R(q, y)$ est une somme pondérée de rubriques globales (sécurité, facticité, formatage) et de rubriques au niveau de la requête (raisonnement spécifique à la tâche).
$R(q, y) = \alpha \sum_{g \in G} w_g \cdot r_g(y) + \beta \sum_{r \in R(q)} w_r \cdot r_r(q, y)$
Entraînement : Pour chaque requête, $K$ réponses de déploiement sont générées, notées indépendamment par un juge LLM par rapport au ensemble statique de rubriques, et utilisées pour calculer les avantages relatifs au groupe pour les mises à jour de la politique.

3. Contributions clés

Identification du couplage structurel : Le papier démontre que la qualité de la rubrique se dégrade lorsque les requêtes manquent de structure, menant à des échecs de type "référence fabriquée" ou de vague précision. Il établit que la structure de la requête est un prérequis pour un RL efficace basé sur les rubriques.
Framework QUBRIC : Un pipeline novateur intégrant la réécriture de requête ancrée sur des points clés, la génération de rubriques contrastives et le filtrage de l'apprenabilité pour produire des paires d'entraînement de haute qualité et évaluables.
Validation empirique : À travers des ablations appariées, les auteurs montrent que les gains ne sont pas obtenus par le RL de rubriques seul ou le rétrécissement de requête seul, mais spécifiquement par la co-conception des deux.

4. Résultats expérimentaux

Les auteurs ont évalué QUBRIC sur des benchmarks de suivi d'instructions, des tâches de transfert trans-domaines et un benchmark propriétaire de shopping.

Suivi d'instructions (Instruction Following)

ArenaHard : QUBRIC a obtenu un gain de +5,5 points par rapport à la ligne de base SFT (71,0 $\to$ 76,5) sur les prompts difficiles et un gain de +7,3 points sur l'écriture créative.
AdvancedIF : Amélioration à 84,2 de précision au niveau de la rubrique.
Compromis : Une légère baisse a été observée sur IFEval (-1,7 pp), indiquant un arbitrage entre la conformité stricte du format et la qualité de la réponse, ce qui est cohérent avec les observations antérieures.
Baselines : QUBRIC surpasse "Rubric-RL avec les requêtes originales" (68,6 contre 76,5 sur ArenaHard) et "AutoIF-RLVR" (qui excelle dans le format mais dégrade la qualité des contenus ouverts).

Transfert trans-domaine

Entraîné uniquement sur des données de suivi d'instructions, QUBRIC a été transféré sur trois benchmarks non vus :

MoReBench (raisonnement moral), PLawBench (raisonnement juridique) et MuSR (raisonnement narratif).
Gain moyen : +6,3 points par rapport à la ligne de base SFT.
Amélioration significative : +8,85 points sur PLawBench, suggérant que la méthode améliore les capacités de raisonnement structuré même dans des domaines non rencontrés.
Comparaison : Surpasse à la fois les baselines du domaine IF (AutoIF-RLVR et Rubric-RL avec les requêtes originales) sur ces tâches de transfert.

Utilité du Shopping (Shopping Helpfulness)

Sur un benchmark propriétaire de 200 requêtes :

Les rubriques au niveau de la requête ont élevé l'indice "Helpfulness-implicit" de 55,11 (récompenses vérifiables uniquement) à 67,64.
La combinaison des rubriques globales et de celles au niveau de la requête maintient une haute utilité (67,81) tout en atténuant les effets secondaires comme les recommandations en double ou les hallucinations d'identifiants introduites par l'optimisation de la requête seule.

5. Signification et affirmations

Le papier affirme que la co-conception des requêtes et des rubriques fait du RL basé sur les rubriques un complément pratique au RLVR pour les tâches sans réponses strictement vérifiables.

Mécanisme : L'idée centrale est que le rétrécissement naïf mène à des échecs de "référence fabriquée" où les modèles sont pénalisés pour ne pas refuser de répondre. En ancrant le rétrécissement dans des points clés dérivés de l'enseignant, QUBRIC crée des scénarios où l'espace de réponse est assez étroit pour des rubriques constitutives précises.
Généralisation : Les améliorations sont concentrées sur les dimensions liées au raisonnement, suggérant que la méthode aide les modèles à apprendre à raisonner plutôt qu'à simplement mémoriser des motifs ou suivre des formats rigides.
Faisabilité : L'étude valide que les juges LLM peuvent noter de manière fiable les rubriques constitutives (atteignant 75–86 % de précision par rapport aux annotations de référence), rendant l'approche scalable sans intervention humaine pour chaque étape.

Les auteurs concluent que bien que le RL basé sur les rubriques ait été exploré, son efficacité est limitée par la qualité des requêtes sous-jacentes. QUBRIC démontre que modifier la structure de la requête pour permettre une évaluation précise des rubriques est une condition nécessaire pour un RL réussi dans les domaines ouverts.