🤖 AI

Steer, Don't Solve: Training Small Critic Models for Large Code Agents

Cet article propose l'entraînement de petits modèles critiques supervisés et affinés pour fournir un pilotage intra-trajectoire aux grands agents de code, démontrant que cette approche améliore significativement les performances sur des benchmarks tels que SWE-bench Verified tout en réduisant à la fois les coûts computationnels et les longueurs de trajectoire par rapport à un entraînement de bout en bout ou à une notation post-hoc.

Auteurs originaux : Shubham Gandhi, Yiqing Xie, Atharva Naik, Ruichen Zhu, Carolyn Rose

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shubham Gandhi, Yiqing Xie, Atharva Naik, Ruichen Zhu, Carolyn Rose

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Le GPS vs Le Conducteur

Imaginez que vous essayez de conduire une voiture de New York à Los Angeles. Vous avez un conducteur très habile (l'Agent de Code) qui sait parfaitement tourner le volant, appuyer sur l'accélérateur et changer les vitesses. Cependant, ce conducteur s'embrouille parfois sur la vue d'ensemble. Il peut tourner en rond, prendre un mauvais tour parce qu'il a mal lu un panneau, ou essayer de foncer dans un mur parce qu'il pense que c'est une porte.

Habituellement, pour corriger cela, les gens essaient de réentraîner le conducteur de zéro. Mais c'est coûteux, cela prend du temps, et le conducteur pourrait toujours rester coincé sur les mêmes routes déroutantes.

Cet article propose une solution différente : Au lieu de réentraîner le conducteur, nous embauchons un petit GPS intelligent (le Modèle Critique).

Le Conducteur (Agent) : Il fait tout le travail réel (écrire du code, exécuter des commandes). Il ne change pas ; nous ne modifions pas son cerveau.
Le GPS (Critique) : Il ne touche pas au volant. À la place, il observe le conducteur toutes les quelques minutes. Si le conducteur commence à tourner en rond ou se dirige vers une falaise, le GPS dit : « Hé, tu tournes en boucle ! Tu essaies de réparer le mauvais fichier. Arrête-toi et repense ta stratégie. »

L'article montre que ce petit GPS est beaucoup moins cher à embaucher qu'un navigateur humain super intelligent, et qu'il aide le conducteur à atteindre la destination beaucoup plus rapidement et plus souvent.

Le Problème : Pourquoi le simple « Entraînement » ne suffit pas

Les auteurs ont remarqué que lorsque l'on entraîne de gros agents de codage IA à résoudre des bugs logiciels, ils deviennent très bons dans la mécanique (taper du code, utiliser des outils). Mais ils échouent souvent sur la stratégie (élaborer le bon plan).

C'est comme apprendre à un étudiant à écrire des dissertations. Vous pouvez lui apprendre une grammaire et une orthographe parfaites (la mécanique), mais s'il ne sait pas organiser ses pensées ou rester dans le sujet (la stratégie), la dissertation sera quand même un désastre.

Lorsque vous essayez d'entraîner l'IA à faire les deux en même temps, elle atteint un « plafond ». Elle stagne. Les auteurs ont découvert qu'environ 65 % des échecs n'étaient pas dus au fait que l'IA écrivait un mauvais code, mais parce qu'elle avait un raisonnement défaillant.

La Solution : Un « Petit Critique »

L'équipe a construit un système où un petit modèle d'IA (le Critique) s'assoit à côté du grand agent de codage.

La Configuration : Le grand agent tente de résoudre un problème. Tous les 5 ou 10 pas, il fait une pause.
Le Point de Contrôle : Le petit Critique examine ce que l'agent a accompli jusqu'à présent.
Le Conseil : Le Critique donne un conseil court et de haut niveau.
- Mauvais conseil : « Supprime la ligne 42 et écris une boucle ici. » (C'est du « pilotage de l'arrière » et l'article dit que c'est une mauvaise chose car le petit modèle n'est pas assez intelligent pour mieux connaître le code que le grand).
- Bon conseil : « Tu répètes la même commande trois fois. Tu es coincé dans une boucle. Essaie une approche différente. » (C'est du « guidage » ou steering).
La Reprise : Le grand agent lit le conseil et continue son travail.

Comment ils ont entraîné le GPS

Pour apprendre au petit Critique comment donner de bons conseils, ils n'ont pas simplement deviné. Ils ont utilisé un « Enseignant » (une IA massive et très coûteuse appelée Claude-Opus-4.6) pour générer d'abord les conseils.

L'Enseignant : L'IA coûteuse observait l'agent travailler et rédigeait des conseils parfaits et de haut niveau.
L'Élève : Le petit modèle d'IA peu coûteux (Qwen3-8B) étudiait ces notes. Il a appris à imiter le style du conseil (se concentrer sur la stratégie, pas sur les lignes de code spécifiques) sans avoir besoin d'être aussi intelligent que l'Enseignant.

Découverte Cruciale : L'article a montré que le type de conseil importe le plus.

Si l'Enseignant donnait des instructions de code spécifiques, le petit élève ne pouvait pas bien les apprendre.
Si l'Enseignant donnait une stratégie de haut niveau (ex: « Tu es coincé », « Vérifie tes hypothèses »), le petit élève l'apprenait parfaitement.

Les Résultats : Plus Rapide, Moins Cher et Plus Intelligent

L'équipe a testé cela sur un benchmark célèbre appelé SWE-bench, qui est un test de 500 bugs logiciels réels.

Cela fonctionne sur différents conducteurs : Ils ont entraîné le Critique en utilisant un type d'agent de codage (CWM-32B). Ensuite, ils ont utilisé ce même Critique pour aider deux agents de codage différents (modèles Qwen) qu'il n'avait jamais vus auparavant.
- Résultat : Les nouveaux agents sont devenus nettement meilleurs pour résoudre des bugs simplement en écoutant le Critique.
Cela permet d'économiser de l'argent : L'« Enseignant » (Claude-Opus) est très cher à faire fonctionner. L'« Élève » (Qwen3-8B) est minuscule et bon marché.
- Résultat : Le système utilisant le petit Critique était 30 à 92 fois moins cher que d'utiliser l'Enseignant coûteux.
Cela fait réellement gagner du temps : Sur l'un des grands agents, le Critique n'a pas seulement rendu l'agent plus intelligent ; il a permis à l'agent de cesser de perdre du temps. L'agent a terminé les tâches plus rapidement, ce qui a permis d'économiser encore plus d'argent. En fait, l'ensemble du système (Agent + Critique) était moins cher que l'Agent travaillant seul.

La « Recette Secrète »

L'article souligne deux raisons principales pour lesquelles cela a fonctionné :

Séparation des préoccupations : L'Agent se concentre sur l'action (coder), et le Critique se concentre sur la réflexion (stratégie). Ils ne se battent pas pour savoir qui est aux commandes.
Pas de pilotage de l'arrière : Il est strictement interdit au Critique de dire « Écris cette ligne de code spécifique ». Il dit seulement « Tu fais fausse route ». Cela empêche le petit modèle de donner des instructions spécifiques erronées qui pourraient confondre le grand modèle.

Résumé

Considérez cet article comme un plan pour construire une équipe plutôt qu'un super-héros. Au lieu d'essayer de créer une seule IA géante et parfaite qui fait tout (ce qui est difficile et coûteux), ils ont construit un système où un petit coach spécialisé guide un travailleur puissant.

Le coach ne fait pas le travail, mais en donnant les bons coups de pouce de haut niveau, le travailleur résout des problèmes qu'il n'aurait pas pu résoudre seul, et l'équipe entière termine la tâche plus rapidement et pour moins d'argent.

Résumé Technique : Piloter, plutôt que Résoudre (Steer, Don't Solve)

Énoncé du Problème

L'entraînement de bout en bout des agents de code est gourmand en ressources et atteint souvent un plateau concernant le raisonnement de niveau stratégique requis pour résoudre des problèmes de code complexes. Des preuves empiriques suggèrent que si les agents peuvent apprendre des compétences d'implémentation de bas niveau (exécution d'appels d'outils, édition de code), leur raisonnement de haut niveau (dépannage, planification, recherche) reste sous-développé lorsqu'ils sont optimisés conjointement avec l'exécution. Environ 65 % des échecs des agents de code proviennent d'un raisonnement défaillant plutôt que d'actions incorrectes. Les méthodes de post-entraînement actuelles, qui couplent le raisonnement de niveau stratégique avec le comportement d'implémentation, ont tendance à saturer rapidement, laissant l'agent incapable de généraliser efficacement les modèles. De plus, les modèles critiques existants sont généralement post-hoc, évaluant des trajectoires terminées plutôt que de fournir une guidance intra-trajectoire pour détourner l'agent de l'échec pendant l'exécution.

Méthodologie

Les auteurs proposent un paradigme « Piloter, plutôt que Résoudre » : geler l'agent de code et entraîner un modèle critique distinct et plus petit pour fournir un feedback de haut niveau, de niveau stratégique, pendant l'exécution de l'agent.

Architecture Centrale

Agent Gelé ( $\pi_A$ ) : L'agent de code (par exemple, CWM-32B, variantes de Qwen3) reste gelé tout au long du processus. Il est responsable de toutes les actions concrètes, des appels d'outils et des éditions de code.
Intervention du Critique : Tous les $k$ pas (par exemple, $k=5$ ou $10$), un modèle critique $C$ inspecte la trajectoire partielle $\tau_{1:t}$ et l'historique de l'agent.
Boucle de Feedback : Le critique génère une critique textuelle courte $f_t$ qui est ajoutée au contexte de l'agent avant son étape suivante. Le critique n'interagit pas directement avec l'environnement.

Conception et Entraînement du Critique

Distillation de l'Enseignant : Un modèle de pointe (Claude-Opus-4.6) agit comme un critique enseignant ( $C_T$ ) pour générer des données d'entraînement. Le critique étudiant ( $C_\theta$ ) est un modèle plus petit (Qwen3-8B) entraîné via un ajustement fin supervisé (SFT) sur ces critiques.
Prompts Concis vs Détaillé : Le papier identifie un choix de conception critique concernant le format du feedback.
- Prompt Détaillé : Permet à l'enseignant de fournir des instructions spécifiques au niveau de l'action (ex: « exécute cette commande », « édite ce fichier »). Bien qu'efficace pour un enseignant puissant, cela mène à un comportement de « conduite en siège arrière » (backseat driving) où l'agent se contente de copier la solution de l'enseignant plutôt que de raisonner.
- Prompt Concis : Contraint l'enseignant à un feedback de haut niveau uniquement. Il interdit les changements de code spécifiques ou les approches techniques, se concentrant plutôt sur la taxonomie des erreurs (ex: « Répétition d'étape », « Dérive de la tâche ») et la redirection stratégique. Le critique étudiant entraîné est distillé à partir de ce prompt concis pour garantir qu'il apprenne à piloter plutôt qu'à dicter.
Conscience du Budget : Lors de l'inférence, une fois que l'agent approche de sa limite d'étapes (ex: étape 100 sur 150), des instructions de conscience du budget sont ajoutées à l'entrée du critique, l'incitant à prioriser la recommandation de soumission si l'agent est bloqué ou possède une correction.
Données d'Entraînement : Les trajectoires sont collectées en faisant intervenir le critique enseignant dans l'exécution de l'agent gelé. Le corpus d'entraînement utilise un signal de supervision « concis ». Pour assurer la transférabilité, les auteurs collectent des données d'un agent (CWM-32B) et testent sur d'autres, ou mélangent des trajectoires d'agents cibles dans le corpus.

Configuration de l'Évaluation

Benchmark : SWE-bench Verified (500 problèmes GitHub vérifiés par des humains).
Agents Testés : CWM-32B (dense), Qwen3-32B (dense), et Qwen3-Next-80B-A3B (MoE).
Métriques : Taux de résolution (passage des tests cachés), Taux localisé, Taux de non-vide, et Coût (USD par instance).
Mécanisme de Repli : Si une exécution guidée par le critique échoue à soumettre dans le budget, une exécution de base (sans critique) est exécutée comme repli pour assurer une comparaison de coût équitable.

Résultats Clés

Gains de Performance : Le critique entraîné améliore significativement le taux de résolution des agents gelés.
- Sur CWM-32B, un critique entraîné uniquement sur les trajectoires de CWM-32B a amélioré le taux de résolution de +3,8 points (29,2 % $\to$ 33,0 %).
- Sur Qwen3-32B, le même critique (entraîné uniquement sur les données de CWM-32B) a amélioré le taux de résolution de +3,4 points (9,6 % $\to$ 13,0 %).
- Sur Qwen3-Next-80B-A3B, le gain est de +3,0 points (20,8 % $\to$ 23,8 %).
- L'ajout de trajectoires de l'agent cible dans le corpus d'entraînement a davantage augmenté les gains, atteignant +5,2 points sur Qwen3-32B et +4,4 points sur Qwen3-Next-80B-A3B.
Transférabilité : Un critique entraîné sur les trajectoires d'un seul agent est transférable efficacement à des agents non vus, avec des architectures différentes (dense vs MoE) et des tailles différentes, suggérant que le signal de pilotage appris est indépendant de l'agent.
Efficacité des Coûts :
- Le critique entraîné de 8B coûte 30 à 92 fois moins cher que l'enseignant Claude-Opus-4.6.
- Crucialement, sur l'agent Qwen3-Next-80B-A3B, le système guidé par le critique est moins coûteux de bout en bout (0,04 $ contre 0,11 $) que l'agent non guidé. Cela s'explique par le fait que le critique raccourcit les trajectoires de l'agent (réduisant le calcul de l'agent) suffisamment pour compenser le coût des appels au critique.
Résultats d'Ablation :
- L'entraînement est essentiel : Un critique de 8B standard (non entraîné) n'a apporté aucun gain de performance par rapport à la ligne de base.
- Le format du prompt compte : Bien que l'enseignant ait été plus performant avec des prompts détaillés, l'étudiant entraîné a été plus performant avec des prompts concis. Le prompt détaillé a provoqué un comportement de « conduite en siège arrière » chez l'enseignant, un comportement que l'étudiant 8B ne pouvait pas reproduire fidèlement ou généraliser, entraînant une performance moindre lors de la distillation.

Signification et Revendications

Le papier affirme être la première étude de l'entraînement de modèles critiques spécifiquement pour les agents de code en tant qu'alternative de séparation des préoccupations à l'augmentation de l'échelle de l'agent lui-même.

Complément Pratique : Les résultats démontrent qu'un petit critique bien entraîné est un complément pratique et rentable pour augmenter l'échelle de l'entraînement des agents. Il récupère les capacités de raisonnement stratégique que l'entraînement de bout en bout laisse sous-développées.
Séparation des Préoccupations : En découplant la stratégie (critique) de l'exécution (agent), le système apprend des modèles plus simples et plus généralisables. Le critique gère le diagnostic de haut niveau et la redirection, tandis que l'agent gère l'implémentation.
Efficacité : L'approche atteint des améliorations Pareto-optimales, offrant une précision plus élevée à des coûts moindres par rapport aux agents non guidés et aux systèmes utilisant des modèles de pointe coûteux comme critiques.

Les auteurs concluent que l'entraînement de modèles critiques est une voie viable pour améliorer les agents de code sans les coûts prohibitifs du réentraînement des agents eux-mêmes ou de la dépendance à des enseignants coûteux et opaques lors de l'inférence.