Résumé Technique : Remodelage du Signal pour GRPO dans la Réparation de Code Agentique à Faible Retour

Énoncé du Problème

L'article aborde le défi de l'entraînement d'agents de code utilisant l'Optimisation de Politique Relative par Groupe (GRPO) dans des environnements à faible retour. Dans la réparation de code agentique (spécifiquement les tâches de « compilation-correction »), le retour d'exécution en ligne (par exemple, le succès de la compilation) est fiable mais sémantiquement incomplet. Un correctif peut compiler avec succès sans pour autant corriger l'erreur sémantique visée (par exemple, en supprimant du code nécessaire ou en ajoutant des squelettes non sécurisés), ou il peut échouer à compiler en raison d'instabilité environnementale plutôt que d'un échec de la politique.

Le GRPO standard repose sur la comparaison de plusieurs déroulements à partir du même prompt pour générer des avantages. Cependant, dans des contextes à faible retour, trois distorsions critiques du signal empêchent des comparaisons significatives au sein du groupe :

1. Échec de la Sémantique du Résultat : Les récompenses binaires (succès/échec de compilation) confondent les raccourcis syntaxiques avec les réparations authentiques, incitant l'agent à optimiser pour un succès de surface plutôt que pour la correction sémantique.
2. Crédit de Processus Diffus : Les trajectoires à long horizon reçoivent une seule récompense scalaire, rendant impossible la distinction entre les étapes de réparation efficaces et les répétitions non informatives ou les répétitions.
3. Comparabilité Intra-Groupe Brisée : Les problèmes d'infrastructure (par exemple, dépassements de temps de conteneur, contentions de file d'attente de compilation) et la dégénérescence de la politique (par exemple, répétition catastrophique) se mélangent aux échecs de réparation authentiques dans le bac de récompense zéro, faussant le classement relatif des déroulements.

Les auteurs soutiennent que la solution ne réside pas dans la réécriture de l'objectif d'apprentissage par renforcement (RL), mais dans le remodelage des signaux d'entraînement injectés dans le cadre GRPO existant pour restaurer la validité des comparaisons au sein du groupe.

Méthodologie

L'approche proposée, le Remodelage du Signal, introduit trois interventions minimales qui modifient les signaux d'entrée du GRPO sans altérer son mécanisme de calcul d'avantage normalisé par groupe.

1. Récompenses de Résultat Empilées (Restauration du Classement Sémantique)

Au lieu d'une récompense binaire {0, 1} basée uniquement sur la compilation, les auteurs proposent une structure de récompense à trois niveaux :

• $R=0$ : Échec de la compilation.
• $R=0.5$ : Succès de la compilation, mais le correctif est sémantiquement incohérent avec la réparation minimale suffisante de référence (Ground-Truth, GT).
• $R=1$ : Succès de la compilation et cohérence sémantique avec la réparation GT.
  La cohérence sémantique est déterminée par un juge LLM puissant (Kimi-K2.5) comparant le correctif de l'agent à un correctif GT raffiné. Ce niveau intermédiaire ($R=0.5$) préserve le signal de classement pendant l'entraînement lorsque les réparations sémantiques entièrement correctes sont rares, empêchant l'effondrement du signal de classement.

2. Scores de Processus au Niveau de l'Étape (Localisation du Crédit)

Pour résoudre la diffusion du crédit dans les trajectoires longues, la méthode introduit des scores de processus au niveau de l'étape ($s_i \in [0, 1]$).

• Ces scores sont attribués par un juge à des étapes individuelles d'appel d'outil au sein d'une trajectoire ayant compilé avec succès.
• Crucialement, ces scores n'entrent pas dans la normalisation de la récompense scalaire du GRPO. Ils agissent plutôt comme des poids de perte au niveau du token.
• Les étapes à fort score (par exemple, modifications réussies, vérifications) reçoivent des poids de gradient plus élevés, tandis que les étapes à faible score (par exemple, inspections de fichiers redondantes) sont pondérées à la baisse. Cela réalloue la force de mise à jour au sein d'une trajectoire sans modifier l'avantage relatif entre différentes trajectoires.

3. Gouvernance des Déroulements Consciente de la Cause d'Échec (Assurance de la Comparabilité)

Pour garantir que les déroulements au sein d'un même groupe sont comparables en termes d'exécution, le système implémente un mécanisme de routage basé sur la cause de l'échec :

• Masquage de la Trajectoire Complète : Les échantillons échouant en raison d'exceptions environnementales non apprenables (par exemple, échec d'initialisation du conteneur, débordement de contexte, délais système) sont entièrement masqués de l'objectif de perte. Ils contribuent toujours à la moyenne/variance du groupe pour la normalisation mais ne génèrent aucun gradient.
• Maintien de la Dernière Étape : Les échantillons présentant une dégénérescence de la politique (par exemple, répétition catastrophique, appels d'outil excessifs) sont masqués jusqu'à la dernière étape, ne conservant que la dernière étape comme échantillon de pénalité pour aligner le retour négatif avec le point spécifique de l'échec.
• Terminaison Normale : Les trajectoires valides procèdent au jugement sémantique.
  De plus, le système découple la concurrence pour l'inférence GPU, les E/S du bac à sable et la compilation afin d'empêcher la contentions de ressources de biaiser la distribution d'échantillonnage.

Comparaison des Limites : Distillation au Niveau du Token

L'article examine également si la distillation privilégiée au niveau du token (utilisant des indices disponibles pendant l'entraînement mais pas au moment du test) peut remplacer le crédit de processus au niveau de l'étape. Deux méthodes, $\pi$-Distill (KL direct) et OPSD (KL inverse), sont testées. Les résultats montrent que l'alignement au niveau du token échoue à améliorer la justesse du résultat dans les trajectoires longues, car le signal est dilué par des tokens non critiques et perturbe la dynamique d'optimisation au niveau de la trajectoire.

Résultats Clés

Des expériences ont été menées sur une tâche de compilation-correction utilisant le modèle Qwen3-Coder-30B avec un jeu de données de réparations minimales suffisantes dérivées de journaux CI internes.

• Gain de Bout en Bout : Le GRPO entièrement remodelé a amélioré la précision stricte de compilation et sémantique passant de la performance zero-shot du modèle de base de 0,385 à 0,535 (un gain de 15,0 points de pourcentage).
• Rôle des Récompenses Empilées : La comparaison d'une récompense binaire (compilation uniquement) avec la récompense empilée a montré que les récompenses binaires provoquaient un pic précoce du taux de compilation suivi d'une dégradation, échouant à améliorer la correction sémantique. La récompense empilée (niveau $R=0.5$) était essentielle pour un entraînement stable et un contrôle de trajectoire.
• Rôle des Scores de Processus : L'ajout de scores de processus au niveau de l'étape à la référence de récompense empilée a amélioré davantage la précision de 0,48 à 0,53 et réduit le nombre moyen d'étapes d'évaluation de 23,50 à 17,02. Cela démontre que le crédit de processus améliore simultanément l'efficacité et la justesse, plutôt que de troquer l'exploration contre le succès.
• Échec de la Distillation : Les méthodes de distillation au niveau du token ($\pi$-Distill et OPSD) ont sous-performé la référence GRPO. $\pi$-Distill a conduit à une terminaison prématurée (apprentissage de la soumission anticipée), tandis que OPSD a conduit à une faible entropie et à une dégradation des compétences d'outil. Cela confirme que l'alignement local au niveau du token ne peut remplacer la sémantique du résultat ou le crédit de processus dans ce contexte.

Signification et Revendications

L'article revendique que pour les tâches agentiques à faible retour, le remodelage du signal est une stratégie plus efficace que la modification de l'objectif de RL ou l'ajout de supervision inadaptée.

1. Recadrage du Problème : Les auteurs postulent que l'échec du GRPO dans les contextes à faible retour ne provient pas de l'algorithme lui-même, mais de l'invalidité de la comparaison au sein du groupe causée par des signaux incomplets.
2. Intervention Minimale : La méthode proposée laisse le calcul d'avantage central du GRPO inchangé. Elle assure simplement que les entrées (récompenses, poids de processus et sélection d'échantillons) satisfont les prérequis pour une optimisation relative significative.
3. Inadéquation de Granularité : Les résultats négatifs sur la distillation au niveau du token mettent en évidence une inadéquation fondamentale : dans les tâches agentiques à long horizon, le succès est déterminé par quelques points de décision critiques (appels d'outil, terminaison), tandis que la supervision au niveau du token est diluée par des tokens non critiques. Par conséquent, le crédit de processus au niveau de l'étape et la sémantique du résultat sont nécessaires et ne peuvent être remplacés par un alignement dense au niveau du token.

Ce travail suggère un principe de conception pour le RL agentique futur : lorsque l'objectif est correct mais que le retour est incomplet, remodeler le signal pour récupérer l'ordre sémantique, le crédit localisé et la comparabilité des échantillons est plus efficace que d'ajouter une supervision auxiliaire qui ne s'aligne pas avec la granularité de la décision.