Scrouting: Cost-Aware Routing of Coding Agents by Scouting the Repository First

Imaginez un monde où les ordinateurs peuvent écrire du code pour réparer des logiciels défectueux, mais où leur embauche coûte extrêmement cher. Considérez ces « codeurs IA » comme une équipe de détectives d'élite : certains sont des superstars capables de résoudre presque n'importe quel mystère, mais ils facturent une fortune de l'heure. D'autres sont des détectives intelligents et capables, qui coûtent une fraction du prix, mais pourraient passer à côté des indices les plus subtils. Pendant longtemps, la grande question dans ce domaine était : « Comment savoir quel détective embaucher pour une affaire spécifique ? » La plupart des gens essayaient de deviner simplement en lisant la description du problème (le « texte du ticket »), espérant prédire si le détective bon marché serait suffisant ou s'il fallait appeler la superstar coûteuse.

Mais voici le pièment : lire la description d'un problème, c'est comme essayer de résoudre un crime en se contentant de lire le rapport de police sans jamais visiter la scène du crime. Le document que vous allez lire explore une idée plus intelligente : et si nous envoyions d'abord un petit éclaireur bon marché sur la scène du crime ? Cet éclaireur ne cherche pas à résoudre tout le mystère ; il se contente d'explorer les lieux, de trouver les parties défectueuses et de rédiger un rapport rapide et vérifié. Ensuite, un gestionnaire utilise ce rapport pour décider quel détective embaucher. Cette approche, appelée « scouting » (éclage), suggère que connaître le contexte du problème est bien plus précieux que de simplement deviner en se basant sur le titre du problème.

---

L'histoire de SuperScout : Le détective qui prospecte d'abord

Découvrez SuperScout, un nouveau système conçu pour réparer les bugs logiciels sans se ruiner. L'équipe derrière ce projet a réalisé que l'ancienne méthode d'embauche des codeurs IA était inefficace. Habituellement, un routeur (un décideur) examine un rapport de bug et choisit immédiatement un modèle. Mais les auteurs ont découvert quelque chose de surprenant : si l'on observe les résultats des corrections de logiciels passées, les modèles « superstars » résolvent presque tout ce que les modèles moins chers peuvent résoudre, plus quelques cas supplémentaires. Cela signifie que tenter de router pour l' exactitude (choisir le modèle parfait pour obtenir le plus de corrections) est une impasse ; on ne peut pas vraiment faire mieux qu'en embauchant toujours le modèle le plus cher.

Ainsi, l'équipe a inversé la tendance. Au lieu de chercher la perfection, ils ont décidé d'être conscients du coût. Leur objectif n'était pas de résoudre plus de problèmes que le meilleur modèle, mais de résoudre le même nombre de problèmes pour une fraction infime du prix.

La pièce en trois actes : L'éclaireur, la vérification et l'envoi

Le système SuperScout fonctionne comme une chaîne de montage en trois étapes :

1. L'Éclaireur (SuperScout-7B) : D'abord, un petit modèle d'IA de 7 milliards de paramètres (considérez-le comme un stagiaire junior) est envoyé dans le dépôt de logiciels. Son travail n'est pas de réparer le bug, mais d'explorer le code, de trouver les fichiers spécifiques impliqués et de tenter d'écrire un test qui prouve l'existence du bug. Il produit un « handoff » (un transfert) — une note structurée contenant les fichiers suspects, un test de reproduction et des notes de détective.
2. La Porte de Sécurité (Verify-then-Strip / Vérifier puis supprimer) : Voici le tour de magie. Les notes de l'étudiant ne sont pas acceptées aveuglément. Avant que le détective principal ne voie les notes, un « sandbox » (une zone de test isolée et sécurisée) exécute le test de reproduction de l'étudiant. Si le test ne parvient pas réellement à casser le code (ce qui signifierait que l'étudiant a halluciné ou s'est trompé), cette affirmation est supprimée et jetée. Seuls les faits vérifiés et réels passent à l'étape suivante.
3. Le Routeur de CV : Enfin, un gestionnaire examine la tâche et les « pensées cachées » de l'étudiant (les états de données internes du modèle de l'éclaireur) pour décider quel « réparateur » embaucher. Le vivier de réparateurs comprend quatre modèles d'IA de pointe différents, allant du moins cher au plus coûteux. Le routeur choisit le plus économique qu'il estime capable de gérer la tâche. Si l'éclaireur n'a rien trouvé, le réparateur travaille simplement à partir du rapport de bug original.

La grande révélation : Le transfert fait le plus gros du travail

Lorsque l'équipe a testé SuperScout sur 266 bugs de logiciels Python réels (un défi massif connu sous le nom de SWE-bench Pro), les résultats ont été choquants.

• Le Score : SuperScout a résolu 159 des 266 tâches.
• La Compétition : Le meilleur modèle unique et le plus cher (Claude Opus 4.6) a résolu 158 des 266 tâches.
• Le Coût : SuperScout a obtenu ce résultat pour environ 0,23 $ par résolution, tandis que le modèle solo coûteux coûtait 1,27 $ par résolution. C'est environ un cinquième du coût !

La découverte la plus fascinante, cependant, ne concernait pas la prise de décision du routeur. Lorsque les chercheurs ont supprimé le routeur et ont simplement envoyé chaque tâche au modèle le moins cher (Kimi K2.5) avec le transfert vérifié de l'éclaireur, celui-ci a résolu 159 tâches — exactement le même nombre que le système complet SuperScout.

Cela suggère que le transfert vérifié est le véritable héros. Le fait d'envoyer un éclaireur pour explorer le dépôt et fournir un rapport vérifié a élevé la performance des modèles moins chers à un niveau tel qu'ils pouvaient égaler les plus coûteux. La décision de routage elle-même n'ajoutait pas beaucoup de magie ; elle servait simplement à s'assurer que les modèles bon marché reçoivent le transfert.

Pourquoi cela importe (et ce que ce n'est pas)

Le document écarte explicitement plusieurs points :

• Router pour l'exactitude est un échec : On ne peut pas vraiment améliorer le nombre de tâches résolues en changeant de modèle en fonction du texte du problème ; le meilleur modèle gagne de toute façon.
• Le texte du transfert n'est pas destiné au routeur : Curieusement, nourrir le routeur avec le texte du rapport de l'éteur a en réalité dégradé ses performances. Le routeur fonctionne mieux en utilisant les « états cachés » (l'activité cérébrale interne) du modèle de l'éclaireur plutôt que les notes écrites. Les notes sont destinées au réparateur, pas au gestionnaire.
• Ce n'est pas une solution miracle pour tout : Le système a été testé sur un ensemble spécifique de 266 tâches Python. Bien que le modèle éclaireur ait montré qu'il pouvait fonctionner sur des langages pour lesquels il n'a jamais été entraîné, la performance du système complet sur d'autres benchmarks reste non testée.

Les auteurs précisent que ce n'est pas une solution définitive pour tous les temps. Les résultats sont spécifiques à cet ensemble de tâches et aux modèles actuels. Cependant, le mécanisme est robuste : en envoyant un petit éclaireur pour vérifier les faits avant d'embaucher un réparateur, vous pouvez redistribuer la puissance de résolution. Le transfert élève les modèles moins chers, les rendant presque aussi performants que les plus coûteux, tandis que le coût de l'éclaireur est négligeable (moins d'un centime par tâche).

En résumé, SuperScout nous enseigne que dans le monde du codage par IA, le contexte est roi. Ne vous contentez pas de deviner qui embaucher en vous basant sur la description du poste ; envoyez d'abord un éclaireur sur les lieux, vérifiez ce qu'il trouve, puis laissez le travailleur le moins cher capable de le faire accomplir la tâche. C'est une façon plus intelligente et moins coûteuse de construire des logiciels, prouvant que parfois, la meilleure façon d'économiser de l'argent est de faire un peu de préparation au préalable.