Résumé Technique : La Moyenne Extrapolative des Poids Révèle les Frontières Correctitude–Efficacité en RL pour le Code

Énoncé du Problème

En Apprentissage par Renforcement (RL) pour la génération de code, en particulier dans le cadre de la programmation compétitive, les modèles font face à un double objectif : la correctitude fonctionnelle (réussir tous les cas de test) et l'efficacité computationnelle (résoudre dans les limites de temps et de mémoire). L'entraînement RL standard peine souvent à équilibrer ces deux aspects, car l'optimisation pour une efficacité stricte peut entraîner des échecs de correctitude, tandis que l'optimisation pour la correctitude sur de petites entrées peut produire des solutions inefficaces échouant sur des tests de stress plus larges.

Les travaux existants sur la fusion de modèles (par exemple, "Rewarded Soups") ont montré que l'interpolation linéaire des poids entre des points de contrôle entraînés sous différents objectifs de récompense peut tracer une frontière de Pareto entre ces objectifs. Cependant, il reste à déterminer si la moyenne extrapolative des poids (moyenne des poids avec des coefficients en dehors de l'intervalle $[0, 1]$) peut étendre ces frontières vers de nouveaux points de contrôle utiles sans entraînement supplémentaire. Plus précisément, l'extrapolation peut-elle naviguer au-delà des limites des exécutions RL individuelles pour découvrir des politiques qui ne sont ni purement correctes ni purement efficaces, mais complémentaires ?

Méthodologie

Configuration Expérimentale

Les auteurs investiguent cette question en utilisant la programmation compétitive comme cadre contrôlé où la rigueur du vérificateur sert d'axe expérimental naturel.

• Modèles : Les expériences sont menées sur des modèles de 7B et 32B paramètres (Qwen 2.5 7B et CWM-SFT 32B).
• Environnement d'Entraînement : Trois configurations RL distinctes sont utilisées :
  1. Raisonnement Pur : Génération en un seul tour.
  2. Utilisation d'Outils : Raisonnement multi-tours avec des appels d'outils Python.
  3. Codage Agentique : Interaction multi-tours avec un terminal isolé (sandbox).
• Balayage de la Rigueur de la Récompense : À partir d'un point de contrôle partagé issu d'un Affinement Supervisé (SFT), des exécutions RL indépendantes sont entraînées sur le jeu de données CodeContestsPlus. La fonction de récompense est un signal binaire imbriqué basé sur des seuils de longueur d'entrée ($k$) :
  • $R_k(y) = 1$ si la solution passe tous les tests avec une longueur d'entrée $< 10^k$.
  • $R_\infty(y) = 1$ si la solution passe tous les tests (suite complète).
  • Cela crée une famille ordonnée de points de contrôle allant d'une "faible couverture" (relâchée, petites entrées) à une "haute couverture" (stricte, tests de stress complets).

Moyenne des Poids

L'opération centrale est la moyenne linéaire des poids entre deux extrémités, $\theta_{low}$ (faible couverture) et $\theta_{high}$ (haute couverture) :
$$\theta_\alpha = \alpha \theta_{high} + (1 - \alpha) \theta_{low}$$

• Interpolation : $\alpha \in [0, 1]$.
• Extrapolation : $\alpha \notin [0, 1]$ (par exemple, $\alpha < 0$ ou $\alpha > 1$).

Évaluation

Les points de contrôle sont évalués sur le benchmark LiveCodeBench (LCB) (données de test retenues, couverture complète). Les résultats sont catégorisés en :

1. Correct : Passe tous les tests.
2. Échec d'Optimisation : Passe les petits tests mais dépasse les limites de temps/mémoire sur les plus grands.
3. Échec de Correctitude : Échoue en raison d'erreurs de logique ou d'exceptions d'exécution dans les limites.
4. Erreur de Format : Sortie non analysable.

Contributions et Résultats Clés

1. Émergence d'une Frontière Correctitude–Efficacité

L'étude révèle que la variation de la rigueur du vérificateur ne produit pas un simple classement des points de contrôle. Au contraire, sur des problèmes difficiles, elle trace une frontière correctitude–efficacité :

• L'entraînement à faible couverture réduit les échecs de correctitude mais augmente les échecs d'optimisation (solutions inefficaces).
• L'entraînement à haute couverture réduit les échecs d'optimisation mais augmente les échecs de correctitude (les modèles tentent des algorithmes efficaces mais échouent sur la logique).
• Stabilité du Taux de Résolution : Le taux de résolution global reste presque constant le long de la frontière ; le compromis est principalement entre comment le modèle échoue (inefficacité vs incorrectitude), et non si il résout le problème.

2. L'Interpolation Rétablit la Frontière

L'interpolation linéaire entre les extrémités à faible et haute couverture rétablit avec succès la frontière tracée par les points de contrôle entraînés indépendamment. Une seule direction d'interpolation dans l'espace des poids suffit pour parcourir le compromis entre les échecs d'optimisation et de correctitude.

3. L'Extrapolation Étend la Frontière

Crucialement, la moyenne extrapolative des poids étend cette frontière au-delà des extrémités atteintes par toute exécution RL unique :

• Au-delà des Limites RL : Pour $\alpha > 1$ et $\alpha < 0$, les points de contrôle extrapolés continuent la même courbe de compromis, atteignant des niveaux de ratios d'échec d'optimisation/correctitude qu'aucun point de contrôle RL individuel n'avait atteint.
• Stabilité : Cette continuation est stable sur une large plage (par exemple, $\alpha \in [-0.5, 1.5]$). Une extrapolation extrême ($|\alpha| > 2$) conduit à une dégradation principalement due aux erreurs de format (épuisement des tokens) plutôt qu'à un effondrement de la logique de la frontière.
• Généralisation : Ce phénomène se maintient dans les trois configurations d'inférence (raisonnement, utilisation d'outils, codage agentique) et pour les deux échelles de modèles (7B, 32B), à condition que la difficulté du problème soit adaptée aux capacités du modèle.

4. Mise à l'Échelle au Moment de l'Inférence via des Ensembles

L'article démontre que les points de contrôle extrapolés sont des politiques complémentaires :

• Rotation par Problème : Différents points le long de l'axe extrapolé résolvent différents sous-ensembles de problèmes difficiles. Bien que le taux de résolution global soit plat, les problèmes spécifiques résolus varient considérablement.
• Gains par Ensemble : En combinant des points de contrôle le long de la frontière étendue (interpolation + extrapolation), les auteurs améliorent la métrique pass@250 sur LCB/hard de 3,3 % par rapport au meilleur point de contrôle unique pour un budget d'échantillons équivalent.
• Diversité : Le pool extrapolé fournit des solutions uniques pour des problèmes que les pools basés uniquement sur l'interpolation manquent, en particulier sur les problèmes les plus difficiles.

5. Qu'est-ce qui Déplace la Frontière ?

Les auteurs contrastent la forme de récompense statique avec l'entraînement conditionné par l'échec :

• Forme de Récompense Statique : Attribuer un crédit partiel pour la réussite de petits tests (discrète ou continue) maintient le modèle sur la même frontière. Il ne fait que repondérer les résultats existants sans introduire de nouvelles informations.
• Entraînement Conditionné par l'Échec : Utiliser le contexte d'échec (code échoué + statistiques d'exécution) pour entraîner une politique de réparation (correction en ligne) montre le potentiel de déplacer la frontière vers l'extérieur, améliorant à la fois les taux de correction et les taux de réussite initiaux, suggérant que des signaux d'échec plus riches sont nécessaires pour dépasser le compromis existant.

Signification et Revendications

L'article revendique que la couverture imbriquée des tests unitaires en RL pour le code induit une frontière correctitude–efficacité qui peut être naviguée, étendue et exploitée via la moyenne extrapolative des poids.

• Nouveauté : Il établit que l'extrapolation n'est pas seulement une curiosité mathématique mais une méthode pratique pour accéder à une "continuation" de la frontière de Pareto, générant des politiques diversifiées qu'aucune exécution d'entraînement unique ne produit.
• Utilité Pratique : Les points de contrôle extrapolés servent de mécanisme peu coûteux, sans entraînement, pour la mise à l'échelle au moment de l'inférence, élargissant la couverture des problèmes résolus sans calcul RL supplémentaire.
• Limites : La frontière est induite par le compromis spécifique entre correctitude et efficacité dans la programmation compétitive. Les auteurs notent que déplacer la frontière elle-même (améliorer le front de Pareto) nécessite probablement des signaux d'entraînement révélant pourquoi les programmes échouent (par exemple, entraînement conditionné par l'échec) plutôt que simplement des tests plus stricts.

Ce travail suggère un nouveau paradigme pour le RL dans le code : plutôt que de chercher un seul point de contrôle "optimal", les praticiens peuvent exploiter la moyenne des poids pour explorer un spectre de comportements complémentaires, étendant les capacités des modèles existants par de simples opérations arithmétiques sur les poids.