Résumé Technique : Des Correctifs aux Trajectoires (P2T)

Énoncé du Problème

La méthode dominante pour inculquer des capacités d'investigation et de raisonnement aux agents de génie logiciel (SWE) open source est le Fine-Tuning Supervisé (SFT) sur de longues trajectoires générées par des modèles enseignants puissants. Cependant, le SFT standard traite chaque réponse conservée comme une cible d'imitation. Par conséquent, les agents étudiants héritent non seulement des résultats réussis, mais aussi des défauts des étapes intermédiaires, tels que des sauts non fondés, des boucles redondantes et une exploration spéculative.

Les pipelines actuels de construction de données reposent sur un échantillonnage de rejet filtré par le résultat : ils ne conservent que les trajectoires où le correctif final passe une suite de tests. Cette approche souffre de trois limitations critiques :

1. Absence de Supervision du Processus : Elle ne fournit aucun retour d'information sur les étapes de raisonnement intermédiaires, seulement sur le résultat terminal.
2. Inefficacité : Les trajectoires conservées contiennent souvent des vues de fichiers redondantes, des appels d'outils non informatifs et des boucles, augmentant les coûts d'inférence.
3. Gaspillage de Données : Elle rejette les instances où l'enseignant échoue à produire un correctif validé, même si l'investigation de l'enseignant a révélé des faits intermédiaires précieux.
4. Risque de Fuite : Utiliser simplement le correctif de référence ($p^\star$) pour guider la génération risque une « fuite de solution », où l'agent effectue des modifications ou formule des affirmations avant de rassembler les preuves nécessaires, conduisant à des sauts injustifiés que l'étudiant imite ensuite.

Le défi central consiste à construire des données d'entraînement qui soient simultanément efficaces (chaque étape réduit l'écart épistémique vers la correction appropriée grâce à un raisonnement fondé) et efficientes (chaque étape porte une information, évitant la redondance), sans exposer le correctif de référence à l'agent étudiant.

Méthodologie : P2T (Correctifs vers Trajectoires)

Les auteurs proposent P2T, un cadre qui traite le correctif de référence rédigé par le développeur ($p^\star$) comme une information privilégiée lors de la curation des données. L'étudiant ne voit jamais $p^\star$ ; au lieu de cela, le processus de curation distille $p^\star$ dans une structure latente pour guider la construction de la trajectoire.

P2T opère en deux phases :

Phase 1 : Distillation du Graphes de Processus (Phase Inverse)

Le correctif de référence $p^\star$ est converti en un graphe de processus latent $G^\star_i = (V_i, E_i)$.

• Nœuds ($V_i$) : Représentent des faits contextuels intermédiaires (par exemple, emplacements de fichiers, comportements d'exécution) et des jalons de solution (par exemple, scripts de reproduction, plans de correction, modifications) qu'un développeur compétent doit établir avant que le correctif ne soit déductible.
• Arêtes ($E_i$) : Encodent les relations de prérequis, assurant un ordre topologique où un nœud n'est découvrable qu'une fois ses prérequis établis.
• Construction : Une boucle itérative Propositeur-Critique utilisant des agents LLM :
  • Propositeur : Identifie les faits ou jalons manquants nécessaires pour dériver $p^\star$.
  • Critique : Fait respecter la non-fuite, élaguant tout nœud dont le « déverrouilleur » (l'action requise pour le découvrir) présuppose la connaissance de $p^\star$ lui-même.
• Résultat : Un graphe $G^\star$ qui encode les prérequis nécessaires au correctif sans révéler le correctif lui-même.

Phase 2 : Réalisation de Trajectoires Bi-Objectifs à Horizon Récedant (Phase Avancée)

Les trajectoires sont construites en échantillonnant des continuations aveugles à partir d'un modèle enseignant et en les curant par rapport à $G^\star$.

• Génération de Candidats : À chaque fenêtre glissante, le système échantillonne $K$ « graines aveugles » auprès de l'enseignant. Il génère ensuite des « variantes mutées » en appliquant au plus une modification localisée à une étape de graine, la redirigeant vers un nœud disponible dans $G^\star$.
• Sélection Bi-Objectif : Le système sélectionne un segment basé sur deux critères :
  1. Efficacité : Mesurée par un score de progression ($Prog_t$) qui compte les nouveaux nœuds établis dans $G^\star$, pénalisant les affirmations prématurées. Une porte de fondement garantit qu'aucune étape ne fait référence à des entités ou ne formule d'affirmations non encore soutenues par l'historique visible.
  2. Efficience : Mesurée par la longueur de la trajectoire (nombre de tokens ou nombre d'étapes).
• Règle de Validation : Le système applique une règle de « plus court au-dessus du plancher » : parmi les segments répondant à un seuil minimum d'efficacité, il valide le plus court. Cela garantit que la trajectoire est concise tout en maintenant un ancrage rigoureux.
• Terminaison : Le processus se répète jusqu'à la génération d'un correctif. Seules les trajectoires où le correctif final passe la suite de tests sont admises dans le jeu de données SFT.

Contributions Clés

1. Formulation du Problème : Les auteurs présentent la construction de données pour le SFT d'agents SWE comme un problème d'optimisation bi-objectif sur l'efficacité par étape et la longueur de la trajectoire, démontrant que l'échantillonnage de rejet filtré par le résultat standard échoue à fournir des signaux sur l'un ou l'autre axe.
2. Cadre P2T : Un cadre de curation novateur qui utilise $p^\star$ comme information privilégiée. Il distille $p^\star$ en un graphe de processus non fuyant $G^\star$ et réalise des trajectoires courtes, fondées et guidées par $G^\star$ sans exposer le correctif à l'étudiant.
3. Validation Empirique : En utilisant uniquement 1,8k d'instances curées issues de SWE-Gym, P2T réalise des améliorations simultanées en efficacité et en efficience par rapport aux bases de référence filtrées par le résultat.

Résultats Expérimentaux

Les auteurs ont évalué P2T sur SWE-bench Verified et SWE-bench Lite en utilisant deux modèles étudiants (Qwen2.5-Coder-14B/32B) et deux curateurs enseignants (Qwen3-Coder-480B, GLM-5-FP8).

• Gains de Performance : Sur SWE-bench Verified, P2T a amélioré le Pass@1 de jusqu'à +10,8 points (par exemple, passant de 39,6 % à 50,4 % pour l'étudiant 32B) par rapport à la base de référence d'échantillonnage de rejet par validation de test.
• Gains d'Efficience : P2T a réduit les coûts d'inférence par instance d'environ 15 % (par exemple, passant de 0,92 $à 0,78$), démontrant que les trajectoires curées sont significativement plus courtes et moins redondantes.
• Analyse de la Qualité :
  • Les trajectoires curées étaient 9,3 % plus courtes et 31,0 % moins redondantes (en termes d'actions de visualisation de fichiers) que les déploiements rejetés.
  • Ces améliorations structurelles se sont transférées aux étudiants entraînés, qui ont émis des déploiements 10,3 % plus courts et 19,5 % moins redondants que ceux des étudiants entraînés sur la base de référence.
• Études d'Ablation :
  • La suppression de la vérification de fondement a entraîné une baisse d'environ 7,2 points de Pass@1, confirmant la nécessité de prévenir les sauts non fondés.
  • La suppression de la règle du plus court au-dessus du plancher a augmenté la longueur de la trajectoire et le nombre de tokens, réduisant le Pass@1, indiquant que les trajectoires plus courtes contiennent moins de bruit d'imitation.
  • Une étude de la valeur de l'information a confirmé que les gains sont pilotés par l'information encodée dans $G^\star$ plutôt que par la simple machinerie de curation ou l'échelle des données.

Importance et Revendications

L'article revendique que l'unité de supervision appropriée pour des agents capables n'est ni la trajectoire ni l'artefact terminal isolément, mais la structure qui les relie.

• Facteur d'Information Privilégiée : P2T démontre que les correctifs de référence, souvent rejetés comme de simples vérités terrain, peuvent être exploités comme des signaux privilégiés pour façonner des données d'entraînement de haute qualité sans compromettre la capacité de l'étudiant à apprendre de véritables compétences d'investigation.
• Optimisation Simultanée : Ce travail remet en question le compromis entre exploration (efficacité) et efficience. En utilisant un graphe de processus pour ancrer la progression, P2T atteint à la fois des taux de résolution plus élevés et des coûts d'inférence plus faibles, prouvant qu'une « exploration prudente et bien fondée » ne nécessite pas nécessairement un « raccourcissement agressif » invitant à des raccourcis non étayés.
• Qualité des Données sur l'Échelle : Les résultats suggèrent que la qualité par trajectoire, dérivée d'une supervision de processus fondée sur des principes, est un moteur plus puissant de la performance des agents que le simple déploiement du volume de données filtrées par le résultat.

Les auteurs adoptent une position modeste, reconnaissant des limitations telles que la dépendance aux suites de tests exécutables et aux correctifs de référence, ainsi que la nature empirique (plutôt que formelle) des vérifications de fondement médiées par les LLM. Ils positionnent P2T comme une étape vers une approche plus structurée de la supervision de processus dans les agents de génie logiciel.