A Rubric-Supervised Critic from Sparse Real-World Outcomes

Ce papier propose un modèle critique supervisé par des rubriques comportementales dérivées des traces d'interaction, permettant d'apprendre à partir de retours humains rares et bruyants pour améliorer le reranking, l'arrêt anticipé et la sélection de données dans le développement d'agents de codage.

L'essentiel

🍳 Le Problème : L'Apprenti qui Cuit dans le Noir

Imaginez que vous avez un robot cuisinier (l'agent de codage) très intelligent.

• Dans les écoles de cuisine (les benchmarks académiques) : On lui donne une recette précise. S'il réussit à faire le plat et que le goût correspond exactement à la norme, on lui met un "A". C'est simple, rapide et tout est vérifiable.
• Dans la vraie vie (le monde réel) : C'est beaucoup plus chaotique. Le client (l'humain) arrive, dit "Je veux quelque chose de spécial", le robot commence à cuisiner, le client change d'avis, le robot se trompe, le client s'énerve, puis finalement, le client accepte le plat ou le jette à la poubelle.

Le problème, c'est que dans la vraie vie, le robot ne reçoit jamais de note claire.

• Parfois, le client part sans rien dire (silence = succès ? échec ?).
• Parfois, le client dit "C'est bon" des heures plus tard, alors que le robot a déjà fait 50 autres plats.
• Parfois, le plat est mangé, mais il était trop salé (le code fonctionne, mais il est moche).

Les chercheurs se sont demandé : Comment apprendre à notre robot à bien cuisiner s'il ne reçoit jamais de notes claires ?

💡 La Solution : Le "Critique" et la "Grille d'Évaluation"

L'équipe propose de créer un Critique (un modèle d'IA spécialisé) qui agit comme un mentor expérimenté. Mais au lieu de simplement dire "C'est bon" ou "C'est raté", ce Critique utilise une Grille d'Évaluation (Rubric).

Imaginez que ce Critique ne regarde pas seulement si le plat est fini, mais qu'il observe comment le robot a travaillé, étape par étape, en notant 24 petits détails comportementaux :

• Le robot a-t-il mal compris la demande ?
• A-t-il ignoré une consigne ?
• A-t-il fait des essais inutiles en boucle ?
• Le client a-t-il semblé frustré ?
• Le robot a-t-il utilisé les bons ustensiles ?

C'est comme si le Critique disait : "Attends, tu as oublié de saler l'eau (insuffisance d'analyse) et tu as brûlé les pâtes (boucle d'échec), même si le client a fini par manger le plat."

🛠️ Comment ça marche ? (La Méthode)

1. Découper l'histoire en "Scènes" (Segments) :
   Au lieu de regarder toute la conversation d'un coup, le Critique la découpe en petites scènes : "Le client demande X" -> "Le robot fait Y" -> "Le client réagit". Chaque scène est une unité de travail.

2. La Grille Dense (Les 24 critères) :
   Pour chaque scène, le Critique remplit une fiche de 24 cases (les "Rubrics"). Ces cases sont faciles à voir dans l'histoire (on peut les "voir" en regardant le robot agir), même si on ne sait pas encore si le projet final a réussi. Cela donne beaucoup de données pour apprendre.

3. Le Signal Rare (Le résultat final) :
   Parfois, on sait si le projet a réussi (le client a validé le code, le "Pull Request" a été accepté). C'est rare (seulement 4% des cas), mais c'est très précieux.

4. L'Entraînement Mixte :
   Le Critique apprend en même temps :

   • À remplir la grille de 24 cases pour toutes les scènes (données abondantes).
   • À prédire si la scène a mené au succès pour les rares cas où on connaît le résultat (données rares).

C'est comme entraîner un arbitre de football : il apprend à reconnaître les fautes (les 24 critères) sur chaque match, même s'il ne voit pas toujours le résultat final du championnat.

🚀 À quoi ça sert ? (Les Résultats)

Une fois ce Critique entraîné, il devient super utile pour trois choses :

1. Le "Meilleur des 8" (Best-of-K) :
   Au lieu de laisser le robot cuisiner une seule fois et espérer, on lui demande de préparer 8 versions différentes du plat. Le Critique les goûte toutes et choisit la meilleure.

   • Résultat : Cela améliore énormément la réussite des tâches (plus de 15% de gain).

2. L'Arrêt Tôt (Early Stopping) :
   Si le Critique sent que le robot est en train de rater son coup (il brûle tout, il s'énerve), il dit : "Stop ! Arrête tout, ça ne va pas marcher."

   • Résultat : On économise 83% de l'énergie informatique en ne laissant pas le robot perdre son temps sur des échecs évidents.

3. La Sélection des Données d'Entraînement :
   Pour améliorer le robot, on ne peut pas utiliser n'importe quel exemple. Le Critique aide à trier les meilleures histoires pour réentraîner le robot, en gardant seulement les moments où il a bien agi, même si le résultat final était flou.

🌟 En Résumé

Ce papier dit : "Ne vous fiez pas uniquement au résultat final (le plat mangé), car c'est trop rare et bruité. Observez le processus (la façon de cuisiner) avec une grille de critères précis."

En transformant les interactions humaines floues en une grille de 24 critères observables, ils ont créé un "mentor" capable de guider les robots codeurs dans le monde réel, là où les notes scolaires classiques ne fonctionnent plus. C'est un pas de géant pour rendre les agents IA plus fiables et plus efficaces dans nos vies quotidiennes.

Résumé technique

Titre : Un Critique Supervisé par Rubriques à partir de Résultats Réels Épars

1. Problématique

Les agents de codage basés sur les LLM (Large Language Models) obtiennent d'excellents résultats sur les benchmarks académiques (comme SWE-bench) grâce à des récompenses vérifiables et immédiates (ex: réussite des tests unitaires). Cependant, dans des environnements réels, les agents interagissent avec des humains dans une boucle de rétroaction continue.

• Décalage de supervision : Dans le monde réel, le succès n'est pas binaire (tests pass/fail) mais dépend de la pertinence, de la maintenabilité et de la réduction de la charge de travail de l'utilisateur.
• Sparsité et bruit : Les signaux de succès réels (ex: fusion d'une Pull Request, survie du code) sont rares (seulement 4-6% des segments d'interaction), retardés (souvent à la fin de l'interaction) et bruyants (confondus par des facteurs humains externes).
• Conséquence : Il est difficile d'entraîner des modèles d'évaluation (critiques) robustes pour guider l'entraînement ou l'inférence, car la plupart des données d'interaction réelles sont non étiquetées en termes de succès final.

2. Méthodologie

L'article propose un cadre pour apprendre un modèle « Critique » capable d'évaluer les trajectoires d'agents à partir de traces d'interaction réelles, en combinant des signaux d'outcome épars avec une supervision dense basée sur des comportements.

A. Modélisation des Interactions en Segments

• Les conversations multi-tours sont découpées en segments : unités de travail autonomes allant d'une demande utilisateur à l'action de fin (finish) de l'agent.
• Une hiérarchie est établie : PR (Pull Request) → Commits → Segments.
• Proxies de résultat :
  • Fusion de PR (PR Merge) : Signal binaire global, mais peu précis pour attribuer le crédit à un segment spécifique.
  • Survie du Code (Code Survival) : Mesure continue (0 à 1) de la proportion de code écrit par l'agent qui subsiste dans le diff final fusionné. C'est un signal plus fin et attribuable aux segments.

B. Critic Rubrics (Rubriques de Critique)
Pour pallier la rareté des labels de succès, les auteurs introduisent 24 rubriques comportementales observables directement dans la trace d'interaction, sans besoin de connaître le résultat final.

• Catégories :
  1. Problèmes comportementaux de l'agent (13 indicateurs binaires) : ex: incompréhension de l'intention, boucles d'échec, tests insuffisants, gestion de fichiers erronée.
  2. Motifs de suivi utilisateur (8 indicateurs binaires) : ex: demandes de clarification, corrections, frustration, demandes de réversion.
  3. Problèmes d'infrastructure (2 indicateurs) : ex: échecs externes vs causés par l'agent.
• Annotation : Ces rubriques sont annotées à grande échelle sur toutes les segments (100% des données) en utilisant un LLM de pointe (o3) comme annotateur, agissant comme un observateur externe.

C. Entraînement Semi-Supervisé Multi-Tâches
Le modèle critique (basé sur Qwen3-4B) est entraîné avec un objectif conjoint :

1. Prédiction des Rubriques : Supervision dense sur 100% des segments (les 24 caractéristiques comportementales).
2. Prédiction du Succès : Supervision sparse sur seulement 4-6% des segments (labels de survie du code ou fusion de PR).

• Cette approche permet d'utiliser les 96% de données non étiquetées en succès comme données d'entraînement informatives via les rubriques.

3. Contributions Clés

1. Cadre de Supervision par Rubriques : Introduction d'une taxonomie de 24 caractéristiques comportementales qui transforment des données non étiquetées en signaux d'apprentissage denses.
2. Apprentissage Semi-Supervisé de Critiques : Démonstration qu'un modèle entraîné conjointement sur des rubriques et des résultats épars surpasse les modèles entraînés uniquement sur des résultats ou uniquement sur des benchmarks.
3. Hiérarchie de Données Réelles : Méthodologie robuste pour attribuer les résultats de fusion de PR et la survie du code à des segments spécifiques d'interactions multi-tours.
4. Modèle Critique Déployable : Publication d'un modèle (OpenHands-Critic-4B-v1.0) capable de scorer des trajectoires en temps réel.

4. Résultats Expérimentaux

A. Évaluation Intrinsèque et Transfert

• Échec des modèles basés uniquement sur les benchmarks : Les critiques entraînés uniquement sur des données de type benchmark (SWE-Gym) échouent sur des données réelles (AUC ~0.45-0.48, proche du hasard), confirmant le décalage entre les tests unitaires et le succès réel.
• Supériorité de la Survie du Code : L'entraînement sur le proxy « Code Survival » (plus fin) donne de meilleurs résultats que sur la « Fusion de PR » (plus bruité).
• Robustesse Multi-Backbone : Les critiques supervisés par rubriques généralisent bien entre différents LLM (ex: Claude Sonnet vs Opus), tandis que les modèles « Succès uniquement » surajustent (overfit) à un backbone spécifique.

B. Impact sur les Tâches en Aval

• Reranking (Best-of-K) : Sur SWE-bench, l'utilisation du critique pour classer 8 trajectoires améliore le taux de résolution de +15,9 points par rapport à un choix aléatoire (passant de 57,9% à 73,8%).
• Arrêt Anticipé (Early Stopping) : Le critique permet d'arrêter les trajectoires échouées tôt, réduisant le coût de calcul de 83% (moyenne de 1,35 tentatives au lieu de 8) tout en maintenant une performance supérieure de +17,7 points par rapport au hasard.
• Curration de Données pour le SFT : L'utilisation du score du critique pour sélectionner les données d'entraînement (SFT) améliore les performances de l'agent (+1,2% par rapport à l'entraînement aléatoire), prouvant que le critique identifie efficacement les exemples d'apprentissage utiles.

5. Signification et Impact

• Bridging the Gap : Ce travail comble le fossé entre l'évaluation académique (tests unitaires) et l'évaluation réelle (interaction humaine), offrant une méthode scalable pour apprendre des évaluateurs à partir de données de production.
• Efficacité Computationnelle : En permettant l'arrêt anticipé et un meilleur reranking, cette approche réduit considérablement le gaspillage de ressources de calcul lors de l'inférence.
• Amélioration de l'Entraînement : La capacité à filtrer et sélectionner des données réelles pour le fine-tuning (SFT) ouvre la voie à l'amélioration continue des agents sans dépendre de benchmarks synthétiques.
• Transparence : La nature des rubriques offre une interprétabilité des échecs (ex: « manque de débogage », « incompréhension de l'intention »), ce qui est crucial pour le débogage et l'amélioration des agents.

En résumé, l'article démontre que l'intégration de signaux comportementaux denses (rubriques) avec des résultats réels épars permet de construire des évaluateurs d'agents robustes, généralisables et essentiels pour le déploiement d'agents de codage autonomes dans des environnements de production complexes.