Résumé technique : Au-delà de Pass@k : RLVR conscient de la redondance pour la génération de code multi-échantillons

Énoncé du problème

Les grands modèles de langage (LLM) pour la génération de code sont généralement évalués dans des contextes d'échantillonnage répété en utilisant la métrique Pass@k, qui mesure la probabilité qu'au moins l'un des $k$ programmes échantillonnés passe les tests unitaires. Bien que les récentes méthodes d'Apprentissage par Renforcement basé sur des Vérificateurs (RLVR) aient réussi à améliorer la correction exécutable en optimisant par rapport aux retours des tests, le comportement de ces modèles concernant la redondance au niveau de l'implémentation reste mal compris.

Le problème central abordé est que les objectifs RL standards (optimisation pour une correction isolée) et les objectifs conscients de Pass@k (optimisation pour le succès du groupe) peuvent induire des comportements de génération qualitativement différents. Plus précisément, il est incertain si les gains de performance sous un budget d'échantillonnage fini découlent de la découverte de motifs d'implémentation diversifiés et distincts ou de la concentration des générations autour d'un ensemble restreint de solutions quasi-dupliquées. Les métriques actuelles comme Pass@k ne distinguent pas ces deux scénarios, masquant potentiellement un manque de diversité qui pourrait limiter les performances à des budgets d'échantillonnage plus importants ($k$).

Méthodologie

1. Diagnostic de la redondance : JPlag

Pour quantifier la redondance d'implémentation, les auteurs utilisent JPlag, un système de détection de plagiat conçu pour le code. Contrairement aux métriques de chevauchement lexical (par exemple, les n-grammes) qui sont sensibles aux modifications superficielles (renommage de variables, mise en forme), JPlag utilise une tokenisation et un appariement conscients du langage pour détecter les similarités structurelles.

• Métrique : L'article définit la Diversité JPlag (JDiv) comme $1 - \text{moyenne des similarités par paires}$. Un JDiv plus élevé indique une redondance plus faible.
• Utilité : JPlag sert d'outil de diagnostic pour analyser comment différents objectifs RL utilisent le budget d'échantillonnage et comme base pour un nouveau signal d'entraînement.

2. Objectifs RLVR de référence

L'étude compare trois approches existantes :

• Base-RLVR (Correction uniquement) : Attribue des récompenses additives pour chaque échantillon correct au sein d'un groupe. Le crédit est attribué indépendamment aux générations réussies.
• Pass@k-RLVR : Utilise une récompense au niveau du groupe où le succès dépend du fait qu'au moins un échantillon dans le groupe soit correct. Le crédit est attribué via un avantage « leave-one-out », récompensant les échantillons qui modifient le statut de succès du groupe.
• PKPO (Optimisation de politique Pass@k) : Étend les principes de Pass@k à des groupes plus grands que $k$ en moyennant les avantages « leave-one-out » sur tous les sous-ensembles de $k$.

3. Méthode proposée : JPlag-RLVR

Les auteurs proposent un objectif RLVR conscient de la redondance qui enrichit les récompenses exécutables standard avec un signal direct anti-redondance.

• Fonction de récompense : $R(x, Y^{(n)}) = R_{\text{corr}}(x, Y^{(n)}) + \lambda_{\text{div}} R_{\text{div}}(x, Y^{(n)})$.
  • $R_{\text{corr}}$ est la récompense de correction standard.
  • $R_{\text{div}}$ est une récompense scalaire anti-redondance dérivée de la similarité JPlag (spécifiquement, l'inverse de la similarité moyenne par paires).
• Attribution du crédit : Pour s'assurer que le signal d'entraînement dépend de la contribution marginale d'un échantillon à la diversité du groupe, les auteurs utilisent une construction d'avantage « leave-one-out » pour la composante diversité. Un échantillon reçoit un avantage positif si son inclusion réduit la redondance du groupe, et un avantage négatif s'il duplique des générations existantes.
• Implémentation : La méthode est appliquée sur trois modèles (Qwen3-4B, Qwen3-8B, Olmo3-7B) et trois benchmarks (MBPP, Code-Contest, TACO-Cobalt).

Résultats clés

1. Analyse des objectifs existants

• RLVR Correction uniquement : Bien qu'elle améliore Pass@1, cette approche augmente systématiquement la redondance. La dynamique d'entraînement montre qu'à mesure que Pass@1 s'améliore, la diversité JPlag diminue, indiquant que le modèle se concentre sur un ensemble restreint d'implémentations quasi-dupliquées.
• Objectifs conscients de Pass@k : Ces méthodes (Pass@k-RLVR, PKPO) maintiennent implicitement une redondance plus faible et une diversité JPlag plus élevée par rapport aux références de correction uniquement. Elles tendent à améliorer les performances de manière plus significative à des budgets plus importants (Pass@10, Pass@100) en couvrant un ensemble plus large de motifs d'implémentation.

2. Performance de JPlag-RLVR

• Gains à budget fini : Décourager directement les générations quasi-dupliquées via JPlag-RLVR améliore de manière fiable les performances exécutables à budget fini. À travers les modèles et les benchmarks, cela égale ou dépasse souvent les objectifs spécialisés conscients de Pass@k.
  • Exemple : Sur MBPP avec Qwen3-8B, JPlag-RLVR a amélioré Pass@1 de 79,1 à 90,0 et Pass@10 de 88,0 à 98,5, tout en augmentant simultanément la diversité JPlag de 0,305 à 0,927.
• Optimisation du compromis : La méthode atteint un compromis supérieur, déplaçant les modèles « vers le haut et vers la droite » dans l'espace performance-redondance (Pass@k plus élevé, JDiv plus élevé) par rapport aux références.
• Robustesse : Les améliorations persistent à travers différentes graines aléatoires et ne sont pas pilotées par quelques tâches aberrantes. Les gains sont distribués sur les invites.

3. Études d'ablation

• Pas seulement l'entropie : L'augmentation de la température d'échantillonnage améliore Pass@100 mais dégrade Pass@1 et produit des gains inférieurs à un entraînement explicite anti-redondance.
• Pas seulement la verbosité : Les gains ne sont pas causés par des complétions plus longues ou des variations de texte superficielles ; les longueurs de code exécutable restent comparables entre les méthodes.
• La correction est essentielle : L'entraînement avec des récompenses de diversité seulement (sans correction) augmente JDiv mais provoque l'effondrement des performances exécutables. Le signal anti-redondance doit être associé à la récompense du vérificateur.
• Spécificité du signal : Bien que des récompenses de diversité lexicale simples (1-gramme) offrent une certaine amélioration, les récompenses basées sur JPlag produisent les résultats les plus forts, suggérant que la similarité consciente de la structure du code est un signal plus efficace pour réduire les implémentations répétées que la variation de surface.

Importance et affirmations

L'article affirme identifier la redondance d'implémentation à la fois comme un diagnostic critique et une cible d'optimisation pratique pour la génération de code par échantillonnage répété.

1. Valeur diagnostique : L'étude démontre que les modèles optimisant pour des résultats exécutables similaires peuvent présenter des structures de redondance très différentes. Le RLVR de correction uniquement tend à concentrer les générations, tandis que les objectifs conscients de Pass@k encouragent naturellement la diversité.
2. Cible d'optimisation : Les auteurs montrent que pénaliser explicitement les générations quasi-dupliquées via la similarité JPlag est une intervention simple mais efficace. Elle améliore les performances à budget fini sans nécessiter de schémas complexes d'attribution de crédit ni de compter sur des variations de sortie superficielles.
3. Implication pratique : La génération de code à budget fini ne doit pas être comprise uniquement par la correction marginale. La manière dont un modèle alloue son budget d'échantillonnage à travers différents motifs d'implémentation est un facteur clé pour maximiser les performances Pass@k.

Les auteurs restent modestes concernant les limites, notant que JPlag est une mesure de similarité structurelle approximative plutôt qu'un oracle d'équivalence sémantique, et que leurs expériences sont limitées à des modèles spécifiques à poids ouverts et à des benchmarks de programmation compétitive à horizon court. Ils ne prétendent pas que la méthode résout tous les problèmes de diversité dans la génération de code, mais soulignent son efficacité dans le contexte spécifique du RL basé sur des vérificateurs.