Technische Samenvatting: Voorbij Pass@k: Redundantie-bewuste RLVR voor Multi-Sample Codegeneratie

Probleemstelling

Grote Taalmodellen (LLMs) voor codegeneratie worden doorgaans geëvalueerd in herhaalde-steekproefsettings met behulp van de Pass@k-metriek, die de waarschijnlijkheid meet dat ten minste één van de $k$ gesteste programma's de eenheidstests doorstaat. Hoewel recente Verifier-gebaseerde Versterkende Leer (RLVR)-methodes succesvol de uitvoerbare correctheid hebben verbeterd door te optimaliseren op testfeedback, blijft het gedrag van deze modellen met betrekking tot redundantie op implementatieniveau slecht begrepen.

Het kernprobleem dat wordt aangepakt, is dat standaard RL-doelstellingen (optimaliseren voor geïsoleerde correctheid) en Pass@k-bewuste doelstellingen (optimaliseren voor groepssucces) kwalitatief verschillende generatiegedragingen kunnen induceren. Specifiek is het onduidelijk of prestatiewinsten onder een beperkt steekproefbudget voortkomen uit het ontdekken van diverse, onderscheidende implementatiepatronen of uit het concentreren van generaties rond een smalle set van bijna-duplicaatoplossingen. Huidige metrieken zoals Pass@k onderscheiden niet tussen deze twee scenario's, wat mogelijk een gebrek aan diversiteit maskeert dat de prestaties bij grotere steekproefbudgetten ($k$) zou kunnen beperken.

Methodologie

1. Redundantiediagnostiek: JPlag

Om implementatieredundantie te kwantificeren, maken de auteurs gebruik van JPlag, een plagiaatdetectiesysteem dat is ontworpen voor code. In tegenstelling tot lexicale overlapmetrieken (bijv. n-grams) die gevoelig zijn voor oppervlakkige bewerkingen (variabelenaamwijziging, opmaak), gebruikt JPlag taalbewuste tokenisatie en matching om structurele gelijkenissen te detecteren.

• Metriek: Het artikel definieert JPlag Diversiteit (JDiv) als $1 - \text{gemiddelde paarsgewijze gelijkenis}$. Een hogere JDiv duidt op lagere redundantie.
• Nuttigheid: JPlag dient als diagnostisch hulpmiddel om te analyseren hoe verschillende RL-doelstellingen het steekproefbudget benutten, en als basis voor een nieuw trainingsignaal.

2. Baseline RLVR-doelstellingen

De studie vergelijkt drie bestaande benaderingen:

• Base-RLVR (Alleen correctheid): Toekennen van additieve beloningen voor elk correcte steekproef binnen een groep. Credit wordt onafhankelijk toegewezen aan succesvolle generaties.
• Pass@k-RLVR: Gebruikt een groepsbeloning waarbij succes afhankelijk is van of ten minste één steekproef in de groep correct is. Credit wordt toegewezen via een 'leave-one-out' voordeel, waarbij steekproeven worden beloond die de successtatus van de groep veranderen.
• PKPO (Pass@k Policy Optimization): Breidt Pass@k-principes uit tot groepen groter dan $k$ door 'leave-one-out'-voordelen te middelen over alle $k$-subsets.

3. Voorgestelde Methode: JPlag-RLVR

De auteurs stellen een Redundantie-bewuste RLVR-doelstelling voor die standaard uitvoerbare beloningen aanvult met een direct anti-redundantie-signaal.

• Beloningsfunctie: $R(x, Y^{(n)}) = R_{\text{corr}}(x, Y^{(n)}) + \lambda_{\text{div}} R_{\text{div}}(x, Y^{(n)})$.
  • $R_{\text{corr}}$ is de standaard correctheidsbeloning.
  • $R_{\text{div}}$ is een scalaire anti-redundantiebeloning afgeleid van JPlag-gelijkenis (specifiek, het omgekeerde van de gemiddelde paarsgewijze gelijkenis).
• Credittoewijzing: Om ervoor te zorgen dat het trainingsignaal afhankelijk is van de marginale bijdrage van een steekproef aan de diversiteit van de groep, gebruiken de auteurs een leave-one-out-voordeel-constructie voor het diversiteitscomponent. Een steekproef ontvangt een positief voordeel als de opname de redundantie van de groep vermindert, en een negatief voordeel als het bestaande generaties dupliceert.
• Implementatie: De methode wordt toegepast op drie modellen (Qwen3-4B, Qwen3-8B, Olmo3-7B) en drie benchmarks (MBPP, Code-Contest, TACO-Cobalt).

Belangrijkste Resultaten

1. Analyse van Bestaande Doelstellingen

• Alleen-Correctheid RLVR: Hoewel dit de Pass@1 verbetert, verhoogt deze aanpak systematisch de redundantie. Trainingsdynamiek toont aan dat naarmate Pass@1 verbetert, de JPlag-diversiteit afneemt, wat aangeeft dat het model zich concentreert op een smalle set van bijna-duplicaatimplementaties.
• Pass@k-bewuste Doelstellingen: Deze methodes (Pass@k-RLVR, PKPO) houden impliciet een lagere redundantie en een hogere JPlag-diversiteit in vergelijking met alleen-correctheid-baselines. Ze neigen om prestaties bij grotere budgetten (Pass@10, Pass@100) significant meer te verbeteren door een bredere set implementatiepatronen te dekken.

2. Prestaties van JPlag-RLVR

• Winsten bij Beperkt Budget: Het direct ontmoedigen van bijna-duplicaatgeneraties via JPlag-RLVR verbetert betrouwbaar de uitvoerbare prestaties bij beperkt budget. Over modellen en benchmarks heen komt het vaak overeen met of overtreft het gespecialiseerde Pass@k-bewuste doelstellingen.
  • Voorbeeld: Op MBPP met Qwen3-8B verbeterde JPlag-RLVR Pass@1 van 79,1 naar 90,0 en Pass@10 van 88,0 naar 98,5, terwijl tegelijkertijd de JPlag-diversiteit toenam van 0,305 naar 0,927.
• Optimalisatie van Trade-offs: De methode bereikt een superieure trade-off, waarbij modellen "omhoog en naar rechts" bewegen in de ruimte van prestatie-redundantie (hogere Pass@k, hogere JDiv) in vergelijking met baselines.
• Robuustheid: Verbeteringen blijven bestaan over verschillende random seeds en worden niet gedreven door een paar uitschieter-taken. De winsten zijn verdeeld over prompts.

3. Ablatiestudies

• Niet Alleen Entropie: Het verhogen van de steekproeftemperatuur verbetert Pass@100 maar verslechtert Pass@1 en levert kleinere winsten op dan expliciete anti-redundantietraining.
• Niet Alleen Woordrijkdom: De winsten worden niet veroorzaakt door langere voltooiingen of oppervlakkige tekstvariaties; de lengtes van uitvoerbare code blijven vergelijkbaar tussen methodes.
• Correctheid is Essentieel: Training met alleen diversiteitsbeloningen (zonder correctheid) verhoogt JDiv maar zorgt ervoor dat uitvoerbare prestaties instorten. Het anti-redundantie-signaal moet worden gekoppeld aan de verifiërbeloning.
• Signaalspecificiteit: Hoewel eenvoudige lexicale (1-gram) diversiteitsbeloningen enige verbetering bieden, leveren JPlag-gebaseerde beloningen de sterkste resultaten op, wat suggereert dat op code-structuur gerichte gelijkenis een effectiever signaal is voor het verminderen van herhaalde implementaties dan oppervlakkige variatie.

Betekenis en Claims

Het artikel claimt implementatieredundantie te identificeren als zowel een kritieke diagnostische maatstaf als een praktische optimalisatiedoelstelling voor codegeneratie met herhaalde steekproeven.

1. Diagnostische Waarde: De studie toont aan dat modellen die optimaliseren voor vergelijkbare uitvoerbare uitkomsten, sterk verschillende redundantiestructuren kunnen vertonen. Alleen-correctheid RLVR neigt generaties te concentreren, terwijl Pass@k-bewuste doelstellingen op natuurlijke wijze diversiteit aanmoedigen.
2. Optimalisatiedoelstelling: De auteurs tonen aan dat het expliciet straffen van bijna-duplicaatgeneraties via JPlag-gelijkenis een eenvoudige maar effectieve interventie is. Het verbetert prestaties bij beperkt budget zonder complexe credittoewijzingsschema's te vereisen of te vertrouwen op oppervlakkige outputvariaties.
3. Praktische Implicatie: Codegeneratie bij beperkt budget mag niet uitsluitend worden begrepen via marginale correctheid. Hoe een model zijn steekproefbudget toewijst over onderscheidende implementatiepatronen, is een sleutelfactor in het maximaliseren van Pass@k-prestaties.

De auteurs blijven modest wat betreft beperkingen, en merken op dat JPlag een benaderende maatstaf voor structurele gelijkenis is in plaats van een semantische equivalentie-orakel, en dat hun experimenten beperkt zijn tot specifieke open-weight modellen en benchmarks voor competitief programmeren met een korte horizon. Ze claimen niet dat de methode alle diversiteitsproblemen in codegeneratie oplost, maar benadrukken wel de effectiviteit ervan in de specifieke context van verifiër-gebaseerde RL.