Résumé Technique : Du Laboratoire aux Applications Réelles : Évaluation du Raisonnement Agentique au Niveau du Dépôt

Énoncé du Problème

À mesure que les grands modèles de langage (LLM) évoluent vers des agents logiciels autonomes, la compétence centrale requise a changé : il ne s'agit plus d'exécuter un raisonnement localisé au sein de fragments de code isolés, mais de maintenir une cohérence logique à travers de vastes systèmes de fichiers interdépendants. Les auteurs définissent cette capacité comme le Raisonnement au Niveau du Dépôt.

Les méthodes d'évaluation actuelles souffrent d'un écart critique :

1. Benchmarks Isolés : Des jeux de données comme CRUXEval et REval opèrent dans des « environnements de laboratoire » en utilisant des fragments isolés, dépourvus des dépendances inter-fichiers et des contextes architecturaux complexes du logiciel réel.
2. Évaluations Boîte Noire : Des cadres comme SWE-bench évaluent les agents dans des environnements de dépôts réels mais fonctionnent comme des boîtes noires, vérifiant uniquement si un problème est résolu sans fournir d'insight sur pourquoi un agent échoue.

Ce manque de diagnostic granulaire obscurcit les goulots d'étranglement cognitifs spécifiques empêchant les agents de passer à l'échelle pour des tâches d'ingénierie logicielle réelles.

Méthodologie : RepoReason

Pour combler ces lacunes, les auteurs introduisent RepoReason, un benchmark de diagnostic en boîte blanche centré sur la Vérification Abductive par Assertions. Le pipeline de construction est conçu comme un système de défense en cinq phases pour garantir que les tâches sont logiquement authentiques, résistantes à la contamination des données et exemptes de superficialité.

1. Philosophie de Conception : Les Assertions comme Ancres Sémantiques

Contrairement à la prédiction traditionnelle d'Entrée/Sortie ou à l'interrogation brute de traces (qui permettent un apprentissage par raccourcis via l'analyse statique), RepoReason utilise des assertions de tests unitaires comme ancres sémantiques.

• Raisonnement Abductif : La tâche est formulée comme suit : « Étant donné l'historique d'exécution complexe, quel est l'état actuel du système ? » Le modèle doit déduire une valeur déterministe pour satisfaire une assertion masquée (par exemple, assert len(cache) == <masque>).
• Découplage : Cette approche sépare le raisonnement logique central du bruit syntaxique (par exemple, erreurs de formatage, hallucinations d'API), garantissant que les échecs reflètent des déficits de raisonnement authentiques.

2. Cadre de Mutation Piloté par l'Exécution (Anti-Mémorisation)

Pour empêcher les modèles de s'appuyer sur des données de pré-entraînement (mémorisation par cœur) ou des corrélations fallacieuses, les auteurs mettent en œuvre un mécanisme de Mutation Pilotée par l'Exécution :

• Oracle Sémantique : L'environnement d'exécution de code agit comme un Oracle Sémantique.
• Mutation : Un LLM enseignant effectue des mutations visuelles et logiques unifiées (renommage de variables, modification de constantes, restructuration de code) tout en préservant strictement la séquence d'appels API originale pour maintenir une complexité de raisonnement invariante.
• Régénération de la Vérité Terrain : Le code muté est exécuté pour capturer les valeurs réelles d'exécution. Ces valeurs sont utilisées pour reconstruire des assertions correspondant au style de la base de code originale (par exemple, préserver l'usage de is par rapport à ==).
• Validation : Un contrôle strict garantit l'exécutabilité, la validité des assertions et la préservation de l'API.

3. Filtrage Structurel et Protocole de Valeur Déterministe

• Filtrage Basé sur les Traces : Pour éliminer la superficialité logique, le système capture les traces d'exécution en utilisant sys.settrace(). Un système de scoring pondéré priorise l'intensité computationnelle (nombre d'appels), la profondeur d'exécution (profondeur de la pile) et les dépendances inter-modules. Seules les tâches à haute complexité (Score ≥ 0,30) sont conservées.
• Protocole de Valeur Déterministe : Pour assurer la reproductibilité, le protocole filtre les valeurs non déterministes (par exemple, horodatages, adresses mémoire aléatoires) et impose que les valeurs masquées représentent des états d'exécution concrets (littéraux, constantes globales ou constructeurs résolubles par paramètres).

4. Cadre de Diagnostic Cognitif

Le benchmark quantifie la complexité du raisonnement à l'aide de trois métriques orthogonales dérivées du tranchage dynamique de programme :

1. Charge de Lecture (ESV - Volume de Tranche Effectif) : Mesure le volume de code source causalement pertinent requis. Un ESV élevé indique une Surcharge de Contexte.
2. Profondeur de Simulation (MCL - Longueur de la Chaîne de Mutation) : Mesure le nombre d'étapes de mise à jour d'état dynamique. Un MCL élevé indique des Déficits de Suivi d'État.
3. Largeur d'Intégration (DFI - Fan-in de Dépendance) : Mesure le nombre d'entrées logiques amont indépendantes déterminant la valeur de l'assertion. Un DFI élevé indique des Déficits d'Aggrégation.

Résultats Expérimentaux

Les auteurs ont évalué des modèles de pointe (incluant Claude-Sonnet-4.5, DeepSeek-v3.1-Terminus, GPT-5.2, Kimi-K2 et Qwen3-Coder) sur sept dépôts Python divers (allant d'environ 1,2 k à 776 k lignes de code).

Principales Constatations

• Dégradation des Performances : Tous les modèles ont présenté un déclin clair de la précision à mesure que la difficulté de la tâche augmentait (Facile → Difficile).
• Le Déficit d'Aggrégation : La découverte la plus significative est un Déficit d'Aggrégation prévalent. À mesure que la Largeur d'Intégration (DFI) augmente, la précision chute brutalement. Lorsque le DFI dépasse 20 sources amont indépendantes, la plupart des modèles (sauf Claude) tombent en dessous de 40 % de précision.
• Effets de Falaise :
  • Lecture : Un déclin abrupt des performances se produit lorsque le Volume de Tranche Effectif (ESV) dépasse 600 lignes de code.
  • Simulation : Une perte significative de cohérence survient au-delà de 100 étapes d'exécution (MCL).
• Spécificités des Modèles :
  • Claude-Sonnet-4.5 a maintenu la précision la plus élevée à tous les niveaux, mais a néanmoins montré de la fragilité dans l'intégration multi-sources.
  • DeepSeek-v3.1 a démontré l'architecture la plus équilibrée, montrant une robustesse exceptionnelle face à un DFI élevé.
  • GPT-5.2 a été le plus vulnérable sur toutes les dimensions.
• Corrélation Partielle : Même après contrôle de la charge de lecture (ESV) et de la profondeur de simulation (MCL), le DFI reste la seule métrique présentant une corrélation négative statistiquement significative avec la précision, confirmant qu'il s'agit du principal goulot d'étranglement cognitif.

Contributions

L'article revendique quatre contributions principales :

1. De la Prédiction à la Vérification Abductive : Pionnier d'un paradigme au niveau du dépôt qui passe de la prédiction directe des résultats à la vérification d'assertions masquées, découplant l'intelligence architecturale du bruit syntaxique.
2. Le Cadre de l'Oracle Sémantique : Résolution du « Dilemme Richesse-Contamination » via la Mutation Pilotée par l'Exécution, garantissant que les tâches sont logiquement authentiques mais non mémorisées.
3. Instrument de Diagnostic en Boîte Blanche : Introduction d'un système de diagnostic granulaire (ESV, MCL, DFI) qui mappe les échecs de raisonnement vers des goulots d'étranglement cognitifs spécifiques (surcharge de contexte, suivi d'état, agrégation).
4. Révélation Empirique des Déficits d'Aggrégation : Fourniture de la première analyse quantitative du raisonnement agentique à travers d'immenses bases de code, identifiant la Largeur d'Intégration (DFI) comme la barrière principale pour les agents de nouvelle génération.

Importance et Limites

Importance :
L'article soutient que la voie vers l'optimisation de la prochaine génération d'ingénierie logicielle agentique nécessite de dépasser le raisonnement local. Les résultats suggèrent que les recherches futures doivent prioriser la synthèse d'informations à large spectre et la cohérence d'état à longue chaîne pour surmonter les déficits d'aggrégation identifiés. L'approche de diagnostic en boîte blanche offre une feuille de route pour identifier des échecs cognitifs spécifiques plutôt que de s'appuyer sur des métriques de réussite/échec de bout en bout.

Limites :
Les auteurs reconnaissent plusieurs contraintes :

• Portée Linguistique : Limitée actuellement au Python, bien que l'architecture soit conçue pour être portable.
• Profondeur Logique : La profondeur du raisonnement est partiellement bornée par la complexité des suites de tests originales du dépôt, bien que le moteur de mutation étende cette diversité.
• Profondeur de Trace : Une profondeur d'appel maximale de 3 est utilisée pour le calcul des métriques afin d'optimiser le rapport signal/bruit, filtrant les fonctions d'infrastructure de bas niveau.
• Implication des LLM : Bien que les LLM soient utilisés dans les étapes de mutation et de résolution de variables, les valeurs de vérité terrain sont dérivées strictement de l'exécution concrète du code, et non de la génération par le modèle.