Technische Samenvatting: Promptoptimalisatie voor LLM-codegeneratie via Versterkend Leren

Probleemstelling

Hoewel Large Language Models (LLM's) geautomatiseerde software-engineering hebben geavanceerd, met name bij het genereren van code uit natuurlijke taal, bevat hun output vaak functionele en logische gebreken. Deze fouten beperken de praktische inzetbaarheid en maken handmatig debuggen noodzakelijk. Hoewel statische prompt-engineeringstechnieken (zoals Chain-of-Thought) veelvoorkomende problemen kunnen mitigeren, missen ze aanpassingsvermogen wanneer iteratieve verfijning op basis van tussentijdse feedback vereist is. Bestaande adaptieve benaderingen, zoals evolutionaire algoritmen (bijv. EPiC) of versterkingsleer (RL)-kaders (bijv. Reflexion), behandelen vaak lexicale en semantische promptwijzigingen geïsoleerd of vertrouwen op spaarzame binaire correctiesignalen. Hierdoor wordt rijke informatie uit gedeeltelijke correctheid niet benut en worden meerdere transformatiedimensies niet samenhangend geïntegreerd.

Methodologie

De auteurs stellen een op versterkend leren gebaseerd kader voor dat promptverfijning modelleert als een sequentieel besluitvormingsprobleem. De kerncomponenten van de methodologie omvatten:

1. Kaderarchitectuur

Het systeem maakt gebruik van een Proximal Policy Optimization (PPO)-agent om prompts iteratief te verbeteren. Het proces werkt binnen een aangepaste Gymnasium-compatibele omgeving waarin:

• Staat: De huidige prompt wordt gecodeerd als een 384-dimensionale semantische embedding met behulp van de MiniLM-zins-omzetter. Opmerkelijk is dat de staatsrepresentatie alleen de prompt bevat; deze codeert geen gegenereerde code, runtime-uitzonderingen of uitvoeringstraces.
• Actieruimte: De agent kiest uit een hybride actieruimte die drie strategieën omvat:
  1. Directe Generatie: Behoud van de huidige prompt (benutting van decoderingsstochasticiteit).
  2. Lexicale Mutatie: Een door genetische algoritmen geïnspireerde aanpak die token-niveau invoeging, verwijdering, vervanging en kruising omvat, geleid door prestaties van testgevallen.
  3. Semantische Herschrijving: Hoger niveau herschikking en verduidelijking van de prompt met behulp van een vooraf getraind model, volgens een zelfreflecterend paradigma.
• Omgevingslus: De agent observeert de prompt, steekt een actie, past de transformatie toe, geeft de nieuwe prompt door aan een bevroren codegeneratiemodel en evalueert de output tegenover unit-tests.

2. Beloningsstructuur

Een belangrijke innovatie is het gebruik van een gevormde beloningsfunctie afgeleid van feedback van unit-tests, in plaats van uitsluitend te vertrouwen op binaire succes/mislukkingssignalen. De beloning $R_{i,t}$ wordt gedefinieerd als:

• $1.0$ als de doorloopratio $\rho_{i,t} = 1.0$ (alle tests geslaagd).
• $\rho_{i,t}$ als $0 < \rho_{i,t} < 1.0$ (gedeeltelijke correctheid).
• $-1$ als $\rho_{i,t} = 0$ (geen tests geslaagd).
• $-2$ als de uitvoering faalt (syntaxisfouten of runtime-uitzonderingen).

Dit ontwerp biedt dichter leerlijke signalen, waardoor de agent krediet kan krijgen voor incrementele verbeteringen en uitvoeringsfouten zwaarder wordt bestraft om syntactisch ongeldige code te ontmoedigen.

3. Evaluatiemetrieken

Het kader wordt geëvalueerd aan de hand van twee metrieken:

• Strict Pass@1: De primaire metriek, waarbij een taak alleen als succesvol wordt beschouwd als een oplossing op enig moment alle tests doorloopt.
• SoftPass@1: Een hulpmetriek die de cumulatieve kans meet om tests te doorlopen over verfijningstappen heen, gebruikt om tussentijdse voortgang te analyseren.

Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. Sequentiële Formulering: Promptoptimalisatie voor codegeneratie wordt geformuleerd als een sequentieel besluitvormingsprobleem en geïmplementeerd als een PPO-gebaseerde RL-omgeving.
2. Hybride Actieruimte: De definitie van een gecombineerde actieruimte die directe generatie, genetische lexicale mutatie en semantische herschrijving integreert voor adaptieve meerstapsverfijning.
3. Gevormde Beloningen: De introductie van een beloningsfunctie die gedeeltelijke correctheid van testgevallen benut om dichter leerlijke signalen te bieden dan binaire succes alleen.
4. Uitgebreide Evaluatie: Uitgebreide evaluatie op MBPP+, HumanEval+ en APPS-benchmarks met CodeT5+, CodeLLaMA en DeepSeek-Coder als bevroren ruggengraten, vergeleken met directe generatie, EPiC, Reflexion en een Random-Hybrid-baseline.

Experimentele Resultaten

Het kader werd getest op 500 taken uit de MBPP+-testset, evenals HumanEval+ en APPS.

• Prestatiewinst: Op MBPP+ behaalde de PPO-agent strikte Pass@1-scores van 57,58% (CodeT5+), 64,80% (CodeLLaMA) en 85,50% (DeepSeek-Coder). Deze resultaten presteren beter dan EPiC, Reflexion en een Random-Hybrid-baseline over alle ruggengraatmodellen heen.
• Vergelijking met Baselines:
  • De PPO-agent presteerde aanzienlijk beter dan de Random-Hybrid-baseline (die dezelfde actieruimte gebruikt maar acties uniform willekeurig selecteert). Bijvoorbeeld, op MBPP+ met CodeT5+ verbeterde PPO de strikte Pass@1 met 26,46 procentpunten ten opzichte van Random-Hybrid. Dit geeft aan dat de prestatiewinsten voortkomen uit geleerde actieplanning en niet enkel uit de beschikbaarheid van meerdere transformatietypes.
  • PPO overtrof ook EPiC en Reflexion, wat aantoont dat het coördineren van lexicale en semantische transformaties via een geleerd beleid effectiever is dan geïsoleerd evolutionair zoeken of op reflectie gebaseerde methoden.
• Impact van Beloningsvorming: Experimenten die spaarzame binaire beloningen vergeleken met gevormde beloningen, toonden aan dat de laatste leiden tot snellere convergentie en hogere stabiliteit. Binaire beloningen resulteerden in langzamere leerprocessen en hogere instabiliteit, wat bevestigt dat signalen van gedeeltelijke correctheid essentieel zijn voor effectieve meerstapsverfijning.
• Statistische Significantie: McNemar-tests op de MBPP+-testset bevestigden statistisch significante verbeteringen ($p < 0,001$) ten opzichte van EPiC en Reflexion voor strikte Pass@1, met middelgrote effectgroottes.

Betekenis en Beweringen

Het artikel beweert dat de primaire betekenis ligt in het aantonen dat versterkend leren met gevormde, testgedreven beloningen de functionele correctheid van op LLM gebaseerde codegeneratie kan verbeteren.

Belangrijke conclusies benadrukt door de auteurs zijn:

• Adaptieve Coördinatie: Het vermogen van de agent om dynamisch te coördineren tussen lexicale mutatie (lokale exploratie) en semantische herschrijving (globale herschikking) op basis van tussentijdse feedback, is cruciaal voor succes.
• Waarde van Gedeeltelijke Signalen: Het benutten van gedeeltelijke correctheid als leerlijk signaal is superieur aan binaire succes/mislukking voor het trainen van agenten in meerstapsverfijningstaken.
• Robuustheid: Het kader toont consistente verbeteringen over verschillende ruggengraatmodellen en variërende taakmoeilijkheden (van MBPP+ tot de complexere APPS), wat robuustheid ten opzichte van architecturale variaties suggereert.

De auteurs houden een bescheiden standpunt, waarbij ze beperkingen erkennen zoals de prompt-only staatsrepresentatie (exclusief code en traces), de afhankelijkheid van bevroren modellen en de rekenkosten van herhaalde generatie en uitvoering. Zij suggereren dat toekomstig werk zou kunnen gaan over trace-bewuste staatsrepresentaties en integratie in praktische ontwikkeltools.