Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents
Cet article introduit Risa, une méthode de mise à l'échelle au moment de l'inférence pour les agents logiciels qui exploite les traces de routage MoE natives pour guider une exploration diversifiée et sélectionner les solutions finales par consensus aux points de décision clés, atteignant ainsi des taux de résolution améliorés sur SWE-bench Verified sans nécessiter de juges externes ou de correspondance de chaînes de caractères de réponse.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'intelligence artificielle, il existe une classe croissante de programmes conçus pour agir comme des ingénieurs logiciels. Ces agents ne se contentent pas de répondre à des questions ; ils naviguent dans des environnements numériques complexes, lisent du code, exécutent des tests et écrivent des correctifs pour réparer des logiciels défectueux. Pour résoudre un problème difficile, un agent doit souvent prendre une longue chaîne de décisions, essayant différents outils et commandes jusqu'à ce qu'il trouve une solution. Parce que ces tâches sont si complexes, les chercheurs ont découvert qu'en donnant à l'agent plus de puissance de calcul pour essayer de nombreux chemins différents à la fois, on obtient souvent de meilleurs résultats. Cependant, un nouveau problème surgit lorsque l'agent essaie de nombreux chemins : comment choisir la meilleure solution parmi une foule de candidats ? Contraquirement à un problème mathématique simple où il y a une seule réponse claire, un correctif logiciel peut se présenter sous de nombreuses formes différentes, ce qui rend difficile de déterminer quelle version est véritablement la meilleure sans l'exécuter réellement dans un système réel, ce qui est lent et coûteux.
Une équipe de chercheurs de l'Université de Fudan et de l'Institut d'Innovation de Shanghai a développé une nouvelle façon de résoudre ce problème de sélection en écoutant le « processus de pensée » interne de l'IA elle-même, plutôt qu'en attendant le résultat final. Ils se sont concentrés sur un type spécifique d'architecture d'IA connu sous le nom de mélange d'experts clairsemés (sparse mixture-of-experts). Dans ces modèles, chaque fois que l'IA génère un mot, un petit routeur interne décide quels sous-réseaux spécialisés, ou « experts », doivent effectuer le travail. Ce routeur laisse une trace, un enregistrement de quels experts ont été choisis et de quelle manière ils ont contribué. Les chercheurs ont réalisé que cette trace agit comme une empreinte digitale unique du comportement de l'IA. Même si deux solutions différentes semblent complètement différentes en surface, le chemin interne emprunté par l'IA pour les créer pourrait révéler si elle explore de nouveaux terrains ou si elle converge vers une réponse solide.
Les chercheurs ont construit un système qu'ils appellent Risa, qui utilise ces empreintes digitales internes pour guider le voyage de l'agent. Lorsqu' l'agent est dans les premières étapes de la résolution d'un problème, Risa l'encourage à continuer d'explorer. Pour ce faire, le système vérifie l'historique récent de l'agent ; si l'IA est sur le point de prendre une étape qui ressemble trop à ce qu'elle vient de faire, le système l'oriente vers une action différente, plus novatrice. Cela empêche l'agent de rester bloqué dans une boucle de répétition de ses propres erreurs. Cependant, une fois que l'agent commence à écrire un correctif — un ensemble de changements pour réparer le code — la stratégie change. À ce stade, le système recherche un accord parmi les différents candidats. Si plusieurs tentatives différentes, qui ont commencé à partir de points distincts, arrivent toutes à une structure interne similaire pour leur correctif, le système considère cela comme un signal fort que la solution est correcte.
Pour tester cette idée, l'équipe a mené des expériences sur un benchmark standard appelé SWE-bench Verified, qui contient des centaines de tâches de réparation de logiciels réels. Ils ont utilisé plusieurs modèles d'IA différents et les ont laissés tenter les tâches à plusieurs reprises. Dans un ensemble de tests, ils ont comparé leur nouvelle méthode guidée par le routage contre une approche simple où le choix final est fait de manière aléatoire. Les résultats ont montré une amélioration claire. En utilisant le système de routage, le taux de réussite des agents pour réparer le logiciel est passé d'environ 45 % à plus de 48 %. Cela peut sembler être un petit chiffre, mais dans le monde de la réparation automatique de logiciels, où chaque point de pourcentage représente un progrès significatif, c'est un gain considérable. Le système a si bien fonctionné qu'il a égalé la performance de méthodes qui reposent sur la comparaison du texte réel des solutions, mais sans avoir besoin d'exécuter le code ou d'utiliser un juge séparé pour vérifier la réponse.
L'étude a également révélé que l'information la plus utile ne se trouvait pas dans l'intégralité de l'historique de la production de l'IA, mais dans des moments de décision spécifiques. Lorsque l'IA devait choisir entre plusieurs façons plausibles d'écrire une ligne de code, ces choix spécifiques laissaient une marque distincte sur la trace de routage interne. En se concentrant uniquement sur ces points de décision critiques, le système pouvait faire la différence entre un coup de chance et une solution bien raisonnée. Cette approche a fonctionné à travers différents types de modèles d'IA, suggérant que la trace de routage interne est un signal fiable qui peut être utilisé pour coordonner des tâches complexes. Les chercheurs ont conclu qu'en prêtant attention à la manière dont l'IA alloue ses ressources internes, plutôt qu'à ce qu'elle dit, nous pouvons construire des agents qui sont meilleurs pour explorer, plus cohérents lorsqu'ils s'engagent dans une solution, et finalement plus performants pour résoudre des problèmes difficiles.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.