Résumé Technique : Exploration de Dépôts par Agents : Une Évaluation Multi-Tâches

Énoncé du Problème

L'exploration de dépôts logiciels (MSR) nécessite fréquemment de classer des artefacts — tels que des commits, des lignes de code, des revues ou des dépôts entiers — dans des catégories spécifiques. Le marquage humain traditionnel est coûteux, chronophage et sujet aux erreurs. Bien que l'apprentissage automatique (ML) et les grands modèles de langage (LLM) offrent des alternatives, ils se heurtent à un goulot d'étranglement critique : l'ingénierie de contexte.

Les approches standard de LLM exigent que les humains pré-conçoivent le contexte (par exemple, en sélectionnant des diffs de code spécifiques, des métadonnées ou des contenus de fichiers) pour les adapter au prompt du modèle. Ce processus est laborieux et conduit souvent à des mauvaises classifications ou à de l'incertitude lorsque le contexte fourni est insuffisant ou lorsque la taille de l'artefact dépasse la fenêtre de contexte du modèle. À l'inverse, l'exploration de dépôts par agents propose que des agents LLM puissent explorer autonomement les dépôts en utilisant des outils de développement standards (par exemple, bash, git) pour récupérer dynamiquement le contexte nécessaire à la classification, évitant ainsi le besoin d'une pré-ingénierie humaine. Cependant, il reste à déterminer si ces contextes auto-récupérés peuvent égaler la qualité de classification des entrées curatées par l'homme.

Méthodologie

Les auteurs ont mené une évaluation empirique multi-tâches comparant les approches par agents aux baselines LLM simples à travers quatre tâches distinctes de classification MSR.

Configuration Expérimentale

• Tâches :
  1. Herbold (Commits Enchevêtrés) : Classifier si une ligne spécifique dans un commit de correction de bug contribue à la correction ou est sans rapport (par exemple, refactorisation, espaces blancs).
  2. Härtel (Revue de Sécurité) : Déterminer si un commentaire de revue sur une Pull Request (PR) discute d'un défaut de sécurité potentiel.
  3. Levin (Activités de Maintenance) : Classifier les commits comme correctifs, adaptatifs ou perfectifs.
  4. Munaiah (Classification de Dépôts) : Distinguer les projets logiciels ingénierés des devoirs, des jouets ou des expériences personnelles.
• Approches :
  • LLM Simples : Reçoivent un contexte pré-conçu (par exemple, diffs complets, messages de commit, README) en une seule étape. Les variantes incluent la Chaîne de Pensée (CoT), Sans CoT, et une baseline de mémorisation (sans contexte).
  • LLM par Agents : Opèrent dans un conteneur Docker isolé avec accès au dépôt complet. Ils exécutent autonomement une séquence de commandes bash (par exemple, git checkout, grep, cat) pour explorer le dépôt et rassembler des preuves avant de classifier. Deux variantes d'appel d'outils ont été testées : Native (sortie structurée spécifique au fournisseur) et Séquence d'Arrêt (commandes balisées XML).
• Modèles : Les expériences ont utilisé Claude 3.7 Sonnet, Mistral Large 3 et Llama 3.3 70B via Amazon Bedrock.
• Métriques : Précision de classification (utilisant un modèle bayésien hiérarchique pour tenir compte de la difficulté des échantillons), utilisation des ressources (tokens, temps, coût) et modes d'échec (débordement de contexte, erreurs d'outils).
• Échelle : 4 943 classifications valides sur 4 943 expériences (excluant les erreurs de débordement de contexte pour les LLM simples dans certaines métriques).

Contributions Clés

1. Cadre par Agents : Introduction d'un cadre simple pour l'exploration de dépôts par agents où les agents utilisent des commandes bash standards dans des conteneurs isolés pour récupérer dynamiquement le contexte nécessaire à la classification.
2. Évaluation Comparative : Fourniture d'une comparaison directe de la précision, de l'utilisation des ressources et des modes d'échec entre les approches par agents et les approches LLM simples à travers quatre tâches diverses.
3. Diagnostic de la Vérité Terrain : Diagnostic manuel de 100 cas où les approches étaient en désaccord avec la vérité terrain, révélant des ambiguïtés dans les directives de marquage originales et des limites des labels produits sous un contexte limité.

Résultats

1. Robustesse et Évolutivité

L'avantage principal des agents est leur robustesse à la taille du contexte.

• Débordement de Contexte : Les LLM simples ont fréquemment rencontré des erreurs de débordement de fenêtre de contexte (par exemple, 9 erreurs pour Llama, 7 pour Sonnet) lorsque les artefacts (comme des dépôts complets ou de grands diffs) dépassaient les limites du modèle. Les agents n'ont rencontré aucune erreur de débordement de contexte.
• Échelle des Coûts : Les coûts des LLM simples étaient corrélés linéairement à la taille du contexte pré-conçu. Les coûts des agents montraient une corrélation quasi nulle avec la taille de l'artefact car les agents lisaient sélectivement uniquement les lignes nécessaires.
• Efficacité des Coûts : Bien que les agents soient généralement plus coûteux (facteurs de 1,2x à 3,2x plus élevés) en raison de multiples appels d'outils et de l'accumulation de tokens, ils devenaient plus rentables que le Sonnet simple lorsque le contexte conçu dépassait environ 30K tokens.

2. Précision de Classification

• Performance Compétitive : Les agents ont atteint une précision compétitive par rapport aux LLM simples, malgré le fait qu'ils récupèrent leur propre contexte plutôt que de recevoir une entrée pré-conçue.
• Variance Spécifique aux Tâches :
  • Herbold (Lignes) : Toutes les approches ont eu du mal (précision de 46 à 56 %), sans gagnant clair.
  • Härtel (Sécurité) : Les agents ont performé de manière comparable au Sonnet simple. Notamment, le Llama simple a obtenu les meilleurs résultats lorsque les erreurs étaient exclues, probablement en raison de sa tendance à prédire "peu clair" (une stratégie valide pour cette tâche ambiguë).
  • Levin (Commits) : Haute précision pour tous les modèles (87–93 %), sans différence significative entre les agents et les LLM simples.
  • Munaiah (Dépôts) : Les agents ont montré un léger avantage, en particulier Agent Mistral, qui avait 78 % de chances d'être significativement meilleur que Mistral simple. Cette tâche a montré le signal le plus fort d'un avantage des agents.
• Gestion de l'Incertain : Tanto les agents que les LLM simples ont eu du mal à identifier correctement les labels "peu clair", optant souvent par défaut pour une catégorie spécifique. Les agents, ayant un accès plus large au contexte, avaient tendance à sous-exprimer l'incertitude.

3. Modes d'Échec et Désaccords

• Erreurs d'Outils : Les agents avaient des taux d'erreurs d'appel d'outils non fatals d'environ 1,7–2,2 % mais se rétablissaient dans les étapes suivantes.
• Désaccords avec la Vérité Terrain : Le diagnostic manuel de 100 cas de désaccord a révélé :
  • Ambiguïtés de Spécification : De nombreux désaccords provenaient de définitions de tâches vagues (par exemple, distinguer le nettoyage des espaces blancs de la refactorisation).
  • Limites du Contexte : Certains labels de vérité terrain étaient probablement incorrects ou "peu clairs" car les annotateurs humains originaux manquaient du contexte plus large auquel les agents avaient accès.
  • Conclusion : Les métriques de précision par rapport à la vérité terrain existante peuvent sous-estimer la performance des approches ayant un accès plus large au contexte.

Importance et Revendications

L'article revendique que l'exploration de dépôts par agents est une alternative viable et robuste à la classification LLM traditionnelle basée sur l'ingénierie de contexte.

• Indépendance vis-à-vis de la Taille de l'Artefact : Les agents évoluent indépendamment de la taille de l'artefact, évitant les goulots d'étranglement de fenêtre de contexte qui affectent les LLM simples.
• Précision Compétitive : Malgré la complexité de la récupération dynamique, les agents égalent la précision des entrées curatées par l'homme, suggérant que le goulot d'étranglement de "l'ingénierie de contexte" peut être automatisé sans sacrifier la qualité.
• Réévaluation de la Vérité Terrain : L'étude suggère que les vérités terrains MSR existantes, souvent dérivées d'un contexte limité, peuvent contenir des ambiguïtés ou des erreurs inhérentes. Les approches avec un accès plus large au contexte (comme les agents) peuvent fournir des classifications plus précises que ne l'impliquent les labels actuels "référence".

Les auteurs concluent que, bien que les agents soient actuellement plus coûteux pour les petits artefacts, leur capacité à gérer de grands dépôts complexes sans débordement en fait un choix supérieur pour la recherche en ingénierie logicielle évolutive.