Résumé Technique : Apprentissage de l'Exécution Parallèle Adaptative pour une Localisation de Code Efficace

Énoncé du Problème

La localisation de code — l'identification d'entités de code spécifiques (fichiers, fonctions, extraits) nécessaires pour résoudre un problème logiciel — est un goulot d'étranglement critique dans les pipelines de développement logiciel automatisés. Des études récentes indiquent que les agents de pointe consacrent plus de 50 % de leurs ressources computationnelles à cette tâche. Les approches actuelles reposent généralement sur une exécution d'outils séquentielle, où les agents affinent itérativement les requêtes et inspectent les résultats tour par tour.

Ce paradigme séquentiel fait face à un compromis fondamental sous des budgets computationnels serrés (nombre d'interactions limité) :

1. Privation d'Information : Les agents épuisent leur quota d'interactions avant d'avoir recueilli suffisamment de preuves contextuelles, ce qui entraîne une dégradation brutale de la précision.
2. Parallélisme Inefficace : Bien que l'exécution parallèle d'outils (invoquer plusieurs outils en un seul tour) offre une solution pour augmenter la densité d'information, les implémentations naïves imposent souvent une largeur de parallélisme fixe. Cela génère une redondance élevée ; l'article note que 34,9 % des appels d'outils parallèles imposés dans les systèmes existants sont redondants, n'apportant aucun gain d'information incrémentiel tout en gaspillant des ressources et en introduisant du bruit.

Le défi central est de parvenir à un parallélisme complet mais non redondant : maximiser la couverture d'information pour éviter la privation tout en éliminant l'exploration de code précédemment examiné ou non pertinent.

Méthodologie : FuseSearch

Les auteurs proposent FuseSearch, un agent de localisation de code minimaliste qui reformule la localisation de code parallèle comme une tâche conjointe d'optimisation qualité–efficacité.

1. Ensemble d'Outils Minimaliste

FuseSearch fonctionne sans infrastructure auxiliaire (ex: graphes de code, AST ou parseurs spécifiques au langage). Il repose sur trois outils en lecture seule, agnostiques au langage :

• grep : Recherche de motifs par expressions régulières dans le contenu des fichiers.
• glob : Correspondance de motifs de chemins de fichiers.
• read_file : Lecture du contenu des fichiers avec spécification optionnelle de plage de lignes.

2. Formulation à Double Objectif

Le cadre optimise deux métriques complémentaires :

• Qualité de Localisation ($F1$) : Mesurée via la précision, le rappel et les scores F1 aux niveaux fichier et fonction.
• Efficacité de l'Outil ($e$) : Définie comme le ratio du gain d'information unique par rapport au nombre total d'invocations.
  • Pour chaque appel d'outil $i$, le gain d'information $g_i$ est calculé en comparant les entités retournées à l'historique cumulatif des entités découvertes ($H$).
  • $g_i = \frac{|E_i \setminus H|}{|E_i|}$ si $|E_i| > 0$, sinon $0$.
  • L'efficacité $e$ est la moyenne des gains d'information sur les $k$ appels d'outils dans une trajectoire : $e = \frac{1}{k} \sum g_i$.

3. Pipeline d'Entraînement d'Optimisation Conjointe

FuseSearch utilise une approche d'entraînement en deux étapes pour apprendre des stratégies de parallélisme adaptatives :

• Étape 1 : Fine-Tuning Supervisé (SFT) avec Filtrage à Double Métrique

  • Un modèle enseignant performant (Kimi-K2-Instruct) synthétise les trajectoires d'entraînement.
  • Pour garantir une initialisation de haute qualité, les trajectoires sont filtrées pour ne conserver que celles satisfaisant à la fois $F1 \geq \rho_F$ et $e \geq \rho_e$.
  • Cela produit un jeu de données d'environ 6K trajectoires de haute qualité utilisées pour le fine-tuning de modèles de base (Qwen3-4B et Qwen3-30B), établissant une base pour une exécution parallèle fiable (2 à 8 outils par tour).

• Étape 2 : Apprentissage par Renforcement (RL) avec Récompense Conjointe

  • En utilisant l'Optimisation de Politique Relative de Groupe (GRPO), le modèle est davantage optimisé pour maximiser à la fois $F1$ et $e$.
  • La fonction de récompense est conçue comme suit :
    $$R(\tau) = \alpha \cdot F1(\tau) + \gamma \cdot (F1(\tau) \cdot e(\tau))$$
  • Raisonnement de Conception : Le terme linéaire ($\alpha \cdot F1$) assure une récompense de base pour la localisation correcte. Le terme multiplicatif ($\gamma \cdot F1 \cdot e$) agit comme une "porte douce" (soft gate), amplifiant les récompenses uniquement lorsque une haute qualité est atteinte avec une haute efficacité. Cela empêche le modèle d'optimiser l'efficacité au détriment de la précision (ex: lire des fichiers non pertinents mais nouveaux) ou la précision au détriment d'une redondance massive.

4. Parallélisme Adaptatif

Contrairement aux approches à largeur fixe, FuseSearch apprend à moduler dynamiquement la largeur de recherche en fonction du contexte de la tâche, évoluant d'une phase d'exploration (parallélisme large pour recueillir du contexte) vers une phase de raffinement (appels ciblés et précis), équilibrant ainsi la largeur d'exploration et la précision.

Contributions Clés

1. Métrique d'Efficacité d'Outil : L'introduction de "l'efficacité de l'outil" pour quantifier la nouveauté de l'information dans la recherche de code, intégrée dans un cadre d'entraînement sensible à l'efficacité (SFT + RL) pour optimiser conjointement l'efficacité et l'effet de la recherche.
2. Agent FuseSearch : Un agent de localisation minimaliste utilisant uniquement trois outils en lecture seule qui égale ou dépasse les performances de systèmes complexes reposant sur la navigation de graphes ou le parsing AST.
3. Amélioration de la Qualité par l'Efficacité : Démonstration que l'entraînement sensible à l'efficacité améliore naturellement la qualité de la localisation en éliminant les signaux bruyants et redondants, permettant à des modèles compacts (4 milliards de paramètres) de surpasser des agents plus larges, séquentiels ou lourds en infrastructure.

Résultats Expérimentaux

Évalué sur SWE-bench Verified (386 exemples), FuseSearch-4B (entraîné) démontre une performance supérieure par rapport aux bases séquentielles et aux autres méthodes basées sur des agents :

• Qualité de Localisation :
  • A atteint 84,7 % de F1 au niveau fichier et 56,4 % de F1 au niveau fonction.
  • Surpasse largement la meilleure base séquentielle (RepoSearcher) (ex: +46,5 % de F1 fichier).
  • Égale les performances de modèles propriétaires (Claude Haiku 4.5) tout en utilisant des modèles open-source (Qwen3-4B).
• Gains d'Efficacité :
  • Accélération de 93,6 % du temps de calcul (wall-clock time) par rapport à l'exécution séquentielle.
  • Réduction de 67,7 % des tours d'interaction.
  • Réduction de 68,9 % de la consommation de tokens.
• Impact Aval : Utilisé comme module de pré-recherche pour un agent principal (Kimi-K2), FuseSearch a réduit les tours d'interaction de 23,1 % et le temps de tâche de bout en bout de 28,5 % sans sacrifier les taux de réussite des solutions.

Signification et Revendications

L'article soutient que l'entraînement sensible à l'efficacité est une étape cruciale vers un développement logiciel automatisé de classe production. En reformulant l'exécution parallèle non pas seulement comme une tactique de réduction de latence, mais comme un problème d'optimisation conjointe, FuseSearch démontre que :

• L'exploration redondante est une cause primaire tant du coût élevé que de la dégradation de la précision.
• Apprendre à distinguer l'information "nouvelle" de l'information "redondante" permet à des modèles compacts (4B paramètres) de surpasser des agents plus grands, séquentiels ou lourds en infrastructure.
• Le parallélisme adaptatif, évoluant de l'exploration large vers le raffinement ciblé, est la clé pour surmonter la privation d'information sous des budgets computationnels serrés.

Les auteurs concluent que leur approche permet de créer des agents qui sont non seulement précis, mais aussi pratiquement viables sur le plan computationnel, répondant au "compromis coût-précision" qui limite actuellement le déploiement de la localisation automatisée dans des contextes sensibles au temps.