🤖 AI

One Tool Is Enough: Reinforcement Learning for Repository-Level LLM Agents

L'article présente RepoNavigator, un agent LLM entraîné par apprentissage par renforcement qui atteint l'état de l'art en matière de localisation des problèmes au niveau du dépôt en utilisant un seul outil « aller à la définition » conscient de l'exécution, surpassant ainsi des modèles plus grands et fermés sans recourir à la distillation.

Auteurs originaux : Zhaoxi Zhang, Yitong Duan, Yanzhi Zhang, Yiming Xu, Zhixiang Wang, Kun Liang, Weikang Li, Jiahui Liang, Deguo Xia, Jizhou Huang, Jiyan He, Yunfang Wu

Publié 2026-05-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zhaoxi Zhang, Yitong Duan, Yanzhi Zhang, Yiming Xu, Zhixiang Wang, Kun Liang, Weikang Li, Jiahui Liang, Deguo Xia, Jizhou Huang, Jiyan He, Yunfang Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Se perdre dans une bibliothèque numérique

Imaginez que vous êtes un détective essayant de réparer une machine cassée dans une immense bibliothèque à plusieurs étages. Cette bibliothèque contient des millions de livres (fichiers de code), tous connectés de manière complexe. Quelqu'un vous dit : « Quelque chose ne va pas avec la fonctionnalité de « séparabilité », » mais ils ne vous disent pas quel livre ni quelle page regarder.

Par le passé, les détectives IA (LLM) tentaient de résoudre ce problème en transportant une gigantesque boîte à outils remplie de dizaines d'outils spécialisés différents : un outil « Recherche par auteur », un outil « Trouver par titre », un outil « Vérifier l'index », un outil « Lire la table des matières », et ainsi de suite.

Le Problème : Porter tous ces outils est lourd et confus. L'IA est souvent submergée, choisit le mauvais outil, ou les utilise dans le mauvais ordre. C'est comme essayer de trouver une aiguille spécifique dans une botte de foin tout en jonglant avec dix lampes de poche différentes.

La Nouvelle Solution : Le « Saut Magique »

Les auteurs de ce papier, RepoNavigator, ont décidé d'essayer une approche différente. Ils se sont demandé : Et si nous ne donnions au détective qu'un seul outil ultra-puissant ?

Ils ont créé un outil unique appelé « Saut » (Jump).

Comment ça marche : Imaginez que le détective lit un livre et voit un mot qu'il ne comprend pas (un « symbole »). Au lieu de deviner où chercher, il dit simplement « Saut ! » à ce mot. Instantanément, le détective est téléporté à la page exacte où ce mot a été défini à l'origine.
L'Analogie : Pensez-y comme un « Ctrl+Clic » sur un lien hypertexte dans un site web. Vous n'avez pas besoin de chercher sur tout l'internet ; vous cliquez simplement sur le lien, et vous êtes emmené directement à la source.

L'Entraînement : Apprendre en faisant (Apprentissage par Renforcement)

L'IA n'a pas simplement reçu cet outil en espérant le meilleur. Les auteurs l'ont entraînée en utilisant une méthode appelée Apprentissage par Renforcement (RL).

L'Ancienne Façon : Habituellement, pour enseigner à une IA, vous lui montrez des exemples d'autres IA intelligentes résolvant des problèmes (comme un élève copiant les devoirs de son professeur). Ce papier dit : « Non, ne faisons pas cela. »
La Nouvelle Façon : Ils ont laissé l'IA essayer de résoudre le problème par elle-même.
1. L'IA fait une hypothèse et utilise l'outil « Saut ».
2. Si elle saute au bon endroit, elle reçoit une « friandise » (une récompense).
3. Si elle saute au mauvais endroit ou reste bloquée, elle reçoit un « non » (une pénalité).
4. Au fil de milliers d'essais, l'IA apprend le meilleur chemin à prendre, comprenant exactement quels mots « sauter » pour trouver la partie cassée du code.

Les Résultats : Le Petit est Puissant

Le papier a testé ce système sur des projets logiciels réels (comme ceux que l'on trouve sur GitHub). Les résultats ont été surprenants :

Les petits modèles battent les grands modèles : Une petite IA (7 milliards de paramètres) entraînée avec cette méthode a mieux performé que des IA plus grandes et plus coûteuses (14 milliards de paramètres) qui utilisaient l'ancienne approche « plusieurs outils ».
Battre les géants : La plus grande version de leur IA (32 milliards de paramètres) a surpassé même les modèles propriétaires les plus avancés (comme GPT-5) sur la plupart des tests.
La simplicité gagne : En utilisant un seul outil au lieu de cinq ou six, le système est devenu plus rapide, plus fiable et plus facile à contrôler. Cela a prouvé que vous n'avez pas besoin d'un couteau suisse quand un seul scalpel parfaitement affûté fait le travail mieux.

Résumé

Le papier soutient que, pour naviguer dans du code complexe, moins c'est plus. Au lieu de donner à une IA une boîte à outils encombrée de nombreux outils de recherche, donnez-lui un seul outil « Saut » qui suit le flux réel de l'exécution du code. En entraînant cet agent simple à apprendre par essais et erreurs (Apprentissage par Renforcement), il devient incroyablement doué pour trouver exactement où corriger un bug, surpassant souvent des systèmes beaucoup plus grands et plus complexes.

Résumé Technique : Un Outil Suffit : Apprentissage par Renforcement des Agents LLM pour la Navigation de Code au Niveau du Dépôt

Énoncé du Problème
Localiser des fichiers et des fonctions spécifiques nécessitant une modification au sein de vastes dépôts logiciels constitue un défi majeur en raison du volume colossal de code et de la complexité structurelle. Les agents existants basés sur les grands modèles de langage (LLM) abordent généralement cela comme une tâche de récupération au niveau du dépôt, en s'appuyant sur plusieurs outils auxiliaires (par exemple, SearchClass, SearchMethods, GetImports). Les auteurs soutiennent que ces pipelines multi-outils souffrent de deux problèmes principaux :

Désalignement avec la Logique d'Exécution : Les abstractions de haut niveau comme les classes ou l'héritage disparaissent souvent après la compilation, tandis que l'exécution réelle du code repose sur des sauts séquentiels et la résolution de symboles. Les outils existants échouent souvent à refléter ce flux d'exécution.
Complexité et Propagation d'Erreurs : La gestion de multiples outils complique le contrôle du modèle. Étant donné que les espaces de définition des outils sont illimités, les modèles préentraînés peinent à intérioriser la sémantique de nombreux outils sans un post-entraînement extensif, ce qui entraîne des erreurs de formatage et un échec de l'analyse des paramètres. De plus, l'entraînement de bout en bout pour la résolution complète des problèmes est prohibitif en termes de calculs en raison de la nécessité d'une évaluation des correctifs basée sur Docker.

Méthodologie : RepoNavigator
L'article propose RepoNavigator, un agent LLM conçu pour la localisation de problèmes au niveau du dépôt, qui répond à ces défis grâce à une conception minimaliste et à l'apprentissage par renforcement (RL).

Conception d'Outil Unifié (Jump) : Au lieu d'une suite d'outils de récupération, RepoNavigator utilise un seul outil structurellement ancré : Jump. Cet outil, implémenté via un serveur de langage (par exemple, Pyright pour Python), résout la définition précise d'un symbole invoqué. Il abstrait la navigation consciente de l'exécution fournie par les IDE modernes, permettant à l'agent de parcourir la base de code en suivant les définitions de symboles (par exemple, d'un appel de fonction à sa définition, puis à ses dépendances).
Architecture de l'Agent : L'agent fonctionne dans une boucle raisonner → agir → observer. À chaque étape, la politique décide soit de générer un raisonnement en langage naturel, soit d'invoquer l'outil Jump avec un symbole et un chemin de fichier spécifiques. L'outil renvoie l'extrait de code de définition, qui devient l'observation pour l'étape de raisonnement suivante.
Entraînement par Apprentissage par Renforcement : RepoNavigator est entraîné de bout en bout directement à partir d'un modèle préentraîné de base en utilisant l'Optimisation de Politique Relative par Groupe (GRPO).
- Pas de Distillation : Contrairement aux travaux antérieurs (par exemple, RepoSearcher, LocAgent) qui reposent sur un ajustement fin supervisé (SFT) avec des trajectoires distillées à partir de modèles propriétaires (comme Claude ou GPT), cette méthode ne nécessite aucun modèle « enseignant ».
- Fonction de Récompense Hybride : La récompense $R$ $R$ combine deux composantes :
  1. Récompense de Résultat : Mesurée par le coefficient de Dice entre l'ensemble prédit des emplacements de code et la vérité terrain.
  2. Récompense d'Outil : Basée sur le taux de réussite des appels d'outils (correction du format et existence du symbole).
- Objectif : L'agent apprend à optimiser les trajectoires à long terme pour identifier les fichiers et fonctions corrects tout en maîtrisant l'utilisation de l'outil unique.

Contributions Clés

Premier Agent de Localisation Entraîné par RL à partir de Modèles Préentraînés : Les auteurs présentent le premier agent de localisation au niveau du dépôt entraîné directement à partir d'un modèle open-source préentraîné utilisant le RL, éliminant la dépendance à la distillation de modèles propriétaires.
Paradigme d'Outil Unique Conscient de l'Exécution : La conception introduit un outil Jump unifié qui s'aligne sur la sémantique réelle de l'exécution du code (résolution de symboles), contrastant avec les abstractions de haut niveau fragmentées des agents multi-outils précédents.
Efficacité et Évolutivité : L'article démontre qu'un outil unique et puissant améliore considérablement l'efficacité et la contrôlabilité par rapport aux pipelines multi-outils complexes, permettant des performances de pointe avec une surcharge computationnelle réduite.

Résultats Expérimentaux
Des expériences ont été menées sur SWE-bench Verified et SWE-bench Pro (sous-ensemble Python), utilisant les modèles Qwen2.5 (7B, 14B, 32B) comme références.

Performance : RepoNavigator atteint des performances de pointe (SOTA) sur les deux métriques de localisation au niveau de la fonction et du fichier (Sample-F1 et IoU).
- Le modèle 7B surpasse les références 14B.
- Le modèle 14B dépasse les concurrents 32B.
- Le modèle 32B excède les modèles propriétaires (par exemple, GPT-5, Claude 3.7 Sonnet) sur la plupart des métriques.
Efficacité de l'Entraînement : L'agent entraîné par RL surpasse les références sans entraînement et même les méthodes basées sur la distillation (comme RepoSearcher), malgré l'absence d'utilisation d'un modèle enseignant plus puissant pour le démarrage.
Impact en Aval : Lorsqu'il est utilisé pour localiser des problèmes en vue de la génération de correctifs en aval (en remplaçant le module de localisation dans Agentless), RepoNavigator améliore le taux final de résolution des problèmes.
Études d'Ablation :
- Mécanisme de Récompense : La récompense hybride (résultat + succès de l'outil) est cruciale ; la suppression du taux de succès de l'outil dégrade les performances.
- SFT vs RL : L'entraînement direct par RL à partir du modèle préentraîné produit de meilleurs résultats qu'un pipeline impliquant un SFT suivi d'un RL, remettant en question la nécessité d'un « démarrage à froid » via SFT.
- Nombre d'Outils : Ajouter plus d'outils (par exemple, GetClass, GetFunc) à l'outil Jump dégrade en réalité les performances, confirmant que moins d'outils, mais plus capables, sont préférables.

Signification et Revendications
L'article affirme que l'intégration d'un outil unique et structurellement ancré avec un entraînement par RL fournit une solution efficace et évolutive pour la localisation de problèmes au niveau du dépôt. En reflétant le flux réel de l'exécution du code et en simplifiant la manipulation des outils, RepoNavigator réduit la fragilité de l'enchaînement des outils et la complexité de l'espace d'action. Les résultats suggèrent que pour les tâches de raisonnement à long terme en ingénierie logicielle, la profondeur de l'exploration consciente de l'exécution (via un outil robuste unique) est plus critique que la diversité des outils. Cette approche démocratise l'accès aux agents haute performance en éliminant la dépendance aux modèles enseignants propriétaires pour la distillation.