🤖 AI

Inducing Reward-Free Judging Rubrics that Reduce Over-Crediting in Agent Evaluation

Le papier introduit RubricForge, une méthode qui fait évoluer des grilles d'évaluation lisibles par l'humain à partir de trajectoires de vérité terrain afin de réduire significativement la sur-créditation des comportements d'agents échoués lors d'évaluations sans récompense, en privilégiant la fidélité et la réduction des faux positifs par rapport à l'accord brut avec des bases génériques.

Auteurs originaux : Darragh Quinn, David Dylan, Roisin Healy, Fionn Carroll, Maeve Donnelly, Cormac Sheehan

Publié 2026-08-17

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Darragh Quinn, David Dylan, Roisin Healy, Fionn Carroll, Maeve Donnelly, Cormac Sheehan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où nous construisons des assistants numériques — des agents intelligents capables de réserver des vols, d'acheter des vêtements ou d'écrire du code en parlant à des ordinateurs et des sites web. Ces agents deviennent incroyablement doués pour paraître convaincants et polis. Mais voici la partie délicate : comment savoir s'ils ont réellement accompli la tâche, ou s'ils ont simplement raconté une histoire très fluide et convaincante sur ce qu'ils ont fait ? Par le passé, nous devions vérifier chaque travail manuellement, comme un enseignant corrigeant chaque dissertation à la main. Mais aujourd'hui, il y a trop d'agents pour les vérifier un par un. Ainsi, des scientifiques ont commencé à utiliser une seconde IA pour servir de « juge » afin de noter le premier. C'est comme embaucher un professeur robot pour corriger le travail d'un autre robot. Le problème est que ces professeurs robots sont souvent faciles à duper. Ils adorent les belles histoires. Si un agent écrit un rapport long, fluide et assuré, mais qu'en réalité il n'a pas réussi à réserver le vol, le juge pourrait tout de même lui donner un « A » simplement parce que l'écriture était si agréable. Cela est dangereux car cela signifie que nous pourrions livrer des logiciels défectueux qui semblent parfaits sur le papier mais qui plantent dans la réalité.

Ce document présente une nouvelle méthode ingénieuse pour entraîner ces juges robots afin qu'ils ne tombent pas dans le piège du « beau parleur ». Au lieu de simplement dire au juge ce qu'il doit chercher avec un manuel de règles générique, ou de modifier le cerveau du juge (ce qui est coûteux et difficile à comprendre), les auteurs ont créé une méthode appelée RUBRICFORGE. Voyez cela comme un détective formant un nouveau partenaire. Au lieu de simplement donner au partenaire une liste de règles, ils lui montrent un petit tas de cas réels où ils savent exactement qui s'en est tiré et qui ne l'a pas fait. Le détective demande ensuite au partenaire d'écrire un nouvel ensemble de règles basé sur ces cas spécifiques, et ils continuent d'affiner ces règles jusqu'à ce que le partenaire puisse repérer les faux parfaitement. Le résultat est un ensemble d'instructions écrites en langage clair que le juge suit. La grande surprise ? Cette nouvelle méthode ne rend pas nécessairement le juge plus enclin à être d'accord avec la « vérité » sur des questions simples par oui ou par non. Au contraire, elle rend le juge bien meilleur pour détecter le type spécifique d'erreur qui compte le plus : donner une note de passage à un échec qui avait simplement l'air très convaincant.

L'histoire du robot « beau parleur »

Dans le monde de l'intelligence artificielle, nous avons ces « agents » qui agissent comme des employés numériques. Ils tentent d'accomplir des tâches comme acheter une chemise ou corriger un bug. Pour voir s'ils ont bien fait leur travail, nous utilisons généralement une « vérité de terrain » (ground truth) — une clé de correction parfaite et immuable. Par exemple, si l'agent devait acheter une chemise rouge, la vérité de terrain est une vérification de la base de données : « Est-ce qu'une chemise rouge a été ajoutée au panier ? »

Mais vérifier cette base de données est lent, coûteux ou parfois impossible si la tâche implique de l'argent réel ou des actions dangereuses. Nous utilisons donc une seconde IA, un « Juge », pour examiner la conversation de l'agent et deviner s'il a réussi. Le problème est que ces Juges sont biaisés. Ils sont comme un enseignant qui donne un A à un étudiant qui écrit une magnifique dissertation mais se trompe en mathématiques. Ils préfèrent les réponses fluides, assurées et longues, même si la tâche réelle a échoué. C'est ce qu'on appelle la « sur-créditabilité » (over-crediting). C'est un tueur silencieux car si vous pensez que votre agent fonctionne parce que le Juge a dit « Réussite », alors qu'il est en fait défectueux, vous pourriez le sortir au public et causer un désastre.

La solution : RUBRICFORGE

Les auteurs, Darragh Quinn et son équipe, voulaient corriger cela. Ils ne voulaient pas simplement écrire un meilleur manuel de règles à la main (ce qui est lent et pourrait passer à côté de choses) ou réentraîner le cerveau du Juge (ce qui est coûteux et crée une « boîte noire » que nous ne pouvons pas comprendre). À la place, ils ont inventé RUBRICFORGE.

Voici comment cela fonctionne, étape par étape :

Le terrain d'entraînement : Ils prennent un petit ensemble de tentatives réelles d'agents où ils connaissent déjà le résultat réel (la « vérité de terrain »). Certaines ont réussi, d'autres ont échoué.
L'évolution : Ils utilisent un processus appelé « évolution réflexive ». Imaginez un robot essayant d'écrire un manuel de règles. Il écrit un brouillon, le teste sur les cas connus, et voit où il a fait des erreurs. Ensuite, il examine les erreurs et se demande : « Pourquoi ai-je fait cette erreur ? Quel était le véritable indice que j'ai manqué ? » Il réécrit le manuel pour corriger cette erreur spécifique. Il fait cela encore et encore, devenant plus intelligent à chaque essai.
Le gel : Une fois que le manuel de règles est parfait pour les cas d'entraînement, ils le « gèlent ». Ils ne modifient pas du tout le cerveau du Juge ; ils lui donnent simplement cet ensemble d'instructions nouveau et ultra-spécifique.
Le test : Ils utilisent ce Juge gelé sur de nouvelles tentatives d'agents non vues. Parce que le Juge suit un manuel de règles textuel, chaque fois qu'il donne une note, il peut indiquer précisément quelle règle il a utilisée. C'est transparent.

Ce qu'ils ont découvert : La découverte du « plus difficile à duper »

Les résultats étaient fascinants et un peu contre-intuitifs. Les auteurs ont été très honnêtes sur ce qu'ils ont trouvé et ce qu'ils n'ont pas trouvé.

D'abord, ils ont vérifié si le nouveau Juge était plus souvent d'accord avec la « vérité » qu'un Juge standard et générique. La réponse est : pas vraiment. Sur un test simple de réussite ou d'échec, la nouvelle méthode et l'ancienne méthode étaient pratiquement à égalité. Le document stipule explicitement que la différence dans l'accord global n'était pas statistiquement significative. En d'autres termes, si vous demandiez simplement : « Étaient-ils d'accord avec la clé de correction ? », la nouvelle méthode n'a pas remporté de victoire claire.

Cependant, la véritable victoire réside dans la sécurité. Le document se concentre sur un type spécifique d'erreur : le Faux Succès (False Pass). C'est lorsqu'un Juge déclare « Succès » à un agent qui a en réalité échoué. Cette erreur est dangereuse car elle implique de livrer un logiciel défectueux.

Le Juge standard a donné un « Succès » à des agents ayant échoué environ 17,3 % du temps (sur le jeu de données $\tau$ -bench).
Le nouveau Juge RUBRICFORGE n'a donné un « Succès » à des agents ayant échoué qu'environ 11,5 % du temps.

C'est une chute énorme. La nouvelle méthode a détecté trois cas spécifiques où l'ancien Juge avait été dupé par une belle histoire, et le nouveau Juge a correctement déclaré « Échec ». Crucialement, le nouveau Juge n'a jamais commis d'erreur que l'ancien n'avait pas déjà commise ; il a seulement détecté plus d'erreurs. Il est « plus difficile à duper ».

Le piège de la « fluidité trompeuse »

Le document souligne que cet avantage apparaît surtout lorsque l'agent est « fluide » — c'est-à-dire lorsqu'il parle beaucoup et semble très sûr de lui.

Dans le domaine Airlines (une tâche difficile), l'ancien Juge a été dupé 43,8 % du temps sur les tentatives ratées.
Le nouveau Juge n'a été dupé que 25,0 % du temps.
Cela était particulièrement vrai pour les agents utilisant une stratégie d'« auto-évolution » qui rédigeaient des rapports longs et détaillés. L'ancien Juge adorait les longs rapports ; le nouveau Juge regardait les preuves et voyait l'échec.

Le document a également examiné les scores « gradués » (comme une note de 0 à 100). Ici, la nouvelle méthode était meilleure pour le classement (savoir quel agent était meilleur que l'autre), mais l'ancienne méthode était légèrement meilleure pour donner le chiffre exact. Les auteurs précisent avec prudence : si vous avez besoin de comparer des agents pour voir qui est le meilleur, utilisez la nouvelle méthode. Si vous avez besoin d'un score précis pour un rapport, l'ancienne méthode pourrait être légèrement plus précise.

Pourquoi cela importe

La conclusion la plus importante est un changement dans la façon dont nous devons mesurer le succès. Le document soutient que pour les agents d'IA, l'accord n'est pas l'objectif ; la fidélité est l'objectif. Un juge qui est d'accord avec la vérité 90 % du temps mais qui rate les 10 % d'agents défectueux qui ont l'air parfaits est inutile. Un juge qui détecte ces agents défectueux, même s'il est légèrement moins parfait sur d'autres points, est sûr à utiliser.

En ancrant les règles du Juge dans des exemples réels et étiquetés d'échecs, les auteurs ont créé un système qui résiste au piège de la « Loi de Goodhart » (où l'optimisation d'une métrique rend la métrique inutile). Ils n'ont pas seulement rendu le Juge plus intelligent ; ils l'ont rendu plus honnête. Le verdict final ? La nouvelle méthode est plus difficile à duper qu'elle ne l'est à être d'accord avec la vérité, et c'est exactement ce dont nous avons besoin pour faire confiance à nos agents d'IA dans le monde réel.

Résumé Technique : Induction de Rubriques de Jugement sans Récompense pour Réduire la Sur-Crédit dans l'Évaluation d'Agents

1. Énoncé du Problème

L'évaluation d'agents basés sur des modèles de langage à grande échelle repose de plus en plus sur des systèmes de type « LLM-as-a-judge » (le LLM comme juge) car le signal de vérité terrain (une récompense d'environnement exécutable) est souvent coûteux, lent ou destructeur à interroger lors du déploiement. Les juges automatiques actuels reposent généralement soit sur des rubriques rédigées à la main (ex: G-EVAL), soit sur des poids de modèles affinés (fine-tuned).

Le papier identifie un mode de défaillance critique et asymétrique dans ces juges existants : la sur-crédit (over-crediting). Les juges ont tendance à récompenser des récits fluides, verbeux et confiants, même lorsque la trajectoire réelle de l'agent ne parvient pas à atteindre l'objectif véritable (par exemple, une confirmation de réservation qui narre le succès mais ne valide jamais la transaction).

Faux Positif (Sur-crédit) : Noter une trajectoire échouée comme un succès. Cela est dangereux car cela certifie silencieusement des agents défectueux, gonfle les taux de réussite et masque les régressions.
Faux Négatif : Noter une trajectoire réussie comme un échec. C'est simplement inefficace, ce qui coûte un nouvel essai ou un échantillon rejeté.

Les auteurs soutiennent que pour qu'un évaluateur sans récompense soit sûr pour le déploiement, la métrique principale de succès ne doit pas être l'accord agrégé avec la vérité terrain, mais plutôt la minimisation du taux de faux positifs.

2. Méthodologie : RUBRICFORGE

Le papier propose RUBRICFORGE, une méthode qui induit le texte d'une rubrique de jugement d'agent plutôt que de l'écrire à la main ou d'affiner les poids du modèle. L'innovation centrale est l'optimisation de la chaîne de caractères de la rubrique elle-même tout en gardant le modèle juge gelé.

Composantes Clés

Noyau Gelé (Frozen Backbone) : Un seul modèle de langage (Qwen2.5-7B) sert à la fois d'agent et de juge. Les poids du modèle ne sont jamais mis à jour ; seule la chaîne de caractères de la rubrique est optimisée.
Évolution Réflexive : La rubrique est fait évoluer via GEPA (un algorithme d'évolution de prompt réflexif).
- Entrée : Un petit ensemble de trajectoires étiquetées par la vérité terrain (pool d'entraînement).
- Processus : La rubrique actuelle évalue les trajectoires d'entraînement. Les cas mal évalués (où le verdict du juge diffère de l'étiquette de vérité terrain) sont collectés.
- Réflexion : Un méta-prompt présente la rubrique actuelle, les cas mal évalués et leurs étiquettes réelles. Le modèle est instruit de proposer une rubrique révisée qui identifie correctement les preuves observables de l'échec (ex: « erreurs d'outil », « confirmation manquante ») plutôt que de simplement mémoriser l'étiquette.
- Sélection : Les rubriques évoluées sont évaluées sur un ensemble de validation isolé. La meilleure rubrique est sélectionnée.
Gel et Application : La rubrique sélectionnée est gelée textuellement. Au moment du test, elle est appliquée à des trajectes isolées en un seul appel de modèle sans accès à l'environnement.

Choix de Conception Clés

Ancrage (Grounding) : L'induction est ancrée dans des étiquettes de résultats externes et programmatiques, empêchant la rubrique de dériver vers les biais internes du juge (fluidité).
Interprétabilité : Puisque l'artefact optimisé est un texte lisible par l'humain, chaque verdict peut être attribué à des critères spécifiques et nommés (ex: « Authentification Réussie », « Vérification de Commande »).
Sécurité : Le contrat de sortie est un JSON strict ; tout échec de parsing par défaut à un verdict d'échec, garantissant que le système est conservateur (direction sûre) plutôt que de valider de manière spéculative des agents défectueux.

3. Principales Contributions

RUBRICFORGE : Une méthode d'induction de métrique automatique qui fait évoluer une rubrique de jugement contre des étiquettes de vérité terrain en utilisant un noyau gelé, produisant des critères concrets, lisibles par l'humain et ancrés dans les trajectoires.
Fidélité plutôt qu'Accord : Le papier démontre que l'induction améliore significativement la fidélité (réduction des faux positifs) même si elle n'améliore pas significativement l'accord binaire brut.
Amélioration du Classement : Sur les tâches graduées, la rubrique induite classe les résultats de manière plus fidèle (corrélation de Spearman plus élevée) que les juges génériques, malgré un étalonnage de score absolu légèrement inférieur.
Protocole d'Évaluation : Les auteurs proposent un protocole complet pour l'évaluation sans récompense comprenant :
- Un plafond de récompense oracle.
- Une sonde spécifique du taux de faux positifs.
- Une distinction entre la fidélité du classement et l'étalonnage absolu.
- Une attribution de type « leave-one-out » par critère.
- Une stratification par difficulté et par fluidité.

4. Résultats Expérimentaux

Les expériences ont été menées sur $\tau$ -Bench (service client retail/compagnie aérienne, récompense binaire) et WEBSHOP (shopping, récompense graduée).

$\tau$ -Bench (Succès Binaire)

Accord : RUBRICFORGE a atteint une précision de 0,774 contre 0,726 pour G-EVAL. Cependant, cette différence n'était pas statistiquement significative (McNemar $p = 0,248$ ). Les auteurs précisent que sur les étiquettes binaires difficiles, le juge 7B gelé est proche de son plafond d'accord.
Sur-crédit (Taux de Faux Positifs) : C'est ici que la méthode excelle.
- Taux de faux positifs de G-EVAL : 0,173 (9/52 échecs).
- Taux de faux positifs de RUBRICFORGE : 0,115 (6/52 échecs).
- Résultat : RUBRICFORGE sur-crédite environ deux fois moins souvent. Toute la marge entre les deux juges se compose de trois trajectoires où G-EVAL a échoué (sur-crédité) et RUBRICFORGE a correctement identifié l'échec. Il y a eu zéro inversion (RUBRICFORGE n'a jamais validé une trajectoire que G-EVAL a jugée en échec).
Études de Cas : Les trois trajectoires capturées étaient fluides mais échouaient en raison d'erreurs observables spécifiques (ex: « commande non trouvée », « discordance de paiement »). RUBRICFORGE les a correctement identifiées via ses critères induits (ex: « Vérification de Commande », « Exécution de la Requête »), là où G-EVAL était influencé par le récit final confiant.

WEBSHOP (Récompense Graduée)

Classement : RUBRICFORGE a atteint une corrélation de Spearman de 0,410 contre 0,370 pour G-EVAL, indiquant une meilleure fidélité dans l'ordonnancement des résultats.
Étalonnage : G-EVAL était légèrement meilleur pour l'étalonnage du score absolu (différence d'erreur absolue moyenne de -0,048, $p = 2 \times 10^{-4}$ ). Les auteurs notent que les scores de RUBRICFORGE ont tendance à être plus décisifs (0,2 ou 1,0), ce qui affine le classement mais gonfle l'erreur absolue par rapport aux récompenses graduées lisses.

Stratification

L'avantage de RUBRICFORGE n'était pas uniforme. Il se concentrait dans les domaines difficiles (Aérien vs Retail) et les politiques fluides (RSEA vs ReAct). La méthode était la plus efficace pour capturer les trajectoires « fluides mais erronées », qui constituent le mode de défaillance principal des juges génériques.

5. Signification et Revendications

La revendication centrale du papier est modeste mais précise : L'induction rend un évaluateur sans récompense « plus difficile à tromper qu'à accorder ».

Pertinence du Déploiement : Pour un évaluateur sans récompense, le taux de faux positifs est la métrique de déploiement critique. Un faux positif livre un agent défectueux ; un faux négatif coûte simplement un nouvel essai. RUBRICFORGE réduit considérablement ce type d'erreur dangereuse sans dégrader les performances sur les autres métriques.
Ancrage vs Loi de Goodhart : Les auteurs lient leur méthode à la loi de Goodhart. Un juge non ancré optimise pour « paraître réussi » (fluidité), entraînant une dérive de la métrique. En ancrant l'induction de la rubrique dans des étiquettes externes vérifiables, RUBRICFORGE résiste à cette dérive, conférant ainsi de la fidélité.
Interprétabilité : Contra à l'affinage boîte noire, la rubrique induite est textuelle. Les praticiens peuvent inspecter, éditer et auditer les critères spécifiques (ex: « Authentification Réussie ») qui dictent un verdict, rendant le processus d'évaluation transparent.

Les auteurs concluent que bien que l'accord agrégé soit souvent la métrique phare, ce n'est pas la bonne métrique pour l'évaluation sans récompense. La véritable valeur de RUBRICFORGE réside dans sa capacité à réduire le risque asymétrique de livrer des agents défectueux, grâce à l'ancrage de l'objectif d'évaluation dans les résultats réels plutôt que dans les intuitions détachées du juge.