Technische Samenvatting: Mastermind – Strategie-gebaseerd Leren voor Repositorium-schaal Kwetsbaarheidsreproductie

1. Probleemkarakterisering

Kwetsbaarheidsreproductie op repositorium-schaal is een veeleisende software engineering (SE) taak die een autonome agent vereist om een codebase te inspecteren, de inputgrammatica voor een kwetsbaar pad af te leiden, een proof-of-concept (PoC) te construeren en te verifiëren dat de crash alleen optreedt op de kwetsbare build (en niet op de gepatchte versie). Hoewel recente Large Language Model (LLM) agents zijn verbeterd in het uitvoeren van commando's (navigeren door repo's, bestanden bewerken, PoC's indienen), falen ze vaak door strategische fouten in plaats van executiefouten. Agents verspillen rollouts aan het verkennen van onproductieve richtingen of falen in het herzien van hypothesen op basis van feedback.

Het artikel identificeert dat de primaire bottleneck strategie-selectie is (beslissen wat men als volgende stap onderneemt) in plaats van lage-niveau executievermogen. Standaard benaderingen zoals onafhankelijke sampling (Best-of-N) lijden onder afnemende meeropbrengsten, en het simpelweg toevoegen van meer context (bijv. ground-truth patches) vertaalt zich niet automatisch in een uitvoerbaar onderzoekplan. De auteurs stellen dat de "strategie"—een compact, natuurlijk taalplan voor inspectie, inputconstructie en validatie—de geschikte eenheid van leren is, onderscheidend van het volledige, ruisige en dure executietraject.

2. Methodologie: Het Mastermind Framework

Mastermind is een dual-loop framework dat overdraagbaar strategie-leren scheidt van taakspecifieke ervaring. Het ontkoppelt de "Planner" (die de aanpak bepaalt) van de "Executor" (die de acties uitvoert).

Kerncomponenten

• Curator: Houdt taak-lokale ervaring bij. Het activeert relevante eerdere strategie/uitkomst-records (bijv. bestandslocaties, gefaalde hypothesen, parsergedrag) vóór elke poging en voegt nieuwe records toe na verificatie. Dit houdt vluchtige, taakspecifieke feiten buiten de modelgewichten.
• Planner: Een trainbare policy die een compacte, natuurlijke taal Strategie uitgeeft. Gegeven de taak en de curator-ervaring, beschrijft de Planner waar te inspecteren, welke inputstructuur te targeten en hoe de PoC te valideren. De geeft geen shell-commando's uit; hij kiest de aanpak.
• Executor: Een bevroren acterende substantie (bijv. GPT-5.5, GPT-5.4 mini, GLM 5.1) die de Strategie van de Planner instantiëert in repo-acties en PoC-indieningen. Het bevroren houden van de Executor isoleert de winst tot betere planning in plaats van verbeterde commando-generatie.
• Verifier: Levert uitvoerbare ground truth via de CyberGym benchmark. Het valideert rollouts, wijst mijlpaalscores toe en stuurt feedback naar zowel de Curator als de Planner (tijdens training).
• Learning Mechanism
  Mastermind hanteert een dual-loop trainingsproces:

1. Experience Loop: Taak-lokale bewijsvoering (strategieën en uitkomsten) wordt geaccumuleerd in de Curator. Vervolgende pogingen worden geconditioneerd op deze concrete, taakspecifieke historie.
2. Policy Loop: De Planner wordt getraind met behulp van Supervised Fine-Tuning (SFT) en Group Relative Policy Optimization (GRPO).
   • SFT: Warm-start de Planner om het patroon van het herzien van strategieën op basis van feedback te leren.
   • GRPO: Optimaliseert de Planner met behulp van dense mijlpaalbeloningen afgeleid van CyberGym. Om diversiteit te waarborgen, gebruikt de training slot-conditioned sampling, waarbij elke groep kandidaat-strategieën wordt geconditioneerd op verschillende hypothesen (bijv. "parser-format", "bounds-allocation", "lifetime-state").
   • Beloningsfunctie: De beloning is gebaseerd op een mijlpaalhiërarchie (0–7) variërend van het lokaliseren van broncode tot volledige dual-build reproductie. Het bevat een straf voor lange strategieën om compacte leerunits te stimuleren en volledige traject-narratie te ontmoedigen.

3. Belangrijkste Bijdragen

1. Identificatie van de Strategie-Bottleneck: Het artikel demonstreert via gecontroleerde experimenten dat de kwaliteit van de strategie causaal invloed heeft op de reproductieresultaten. Een vaste executor met een "Soft Oracle" strategie bereikt een pass-rate van 39,5%, vergeleken met 23,5% zonder strategie, wat bewijst dat strategie-selectie de dominante bottleneck is.
2. Mastermind Framework: Een nieuw dual-loop architectuur die traint op compacte natuurlijke taal-strategieën in plaats van volledige executietrajecten. Dit maakt reinforcement learning praktisch voor lang-horizon SE-agents door de policy-update te ontkoppelen van de dure executor.
3. Overdraagbaar Leren: Het framework laat zien dat een Planner getraind op één executor (GPT-5.4 mini) de prestaties van verschillende, bevroren executors (GPT-5.5, GLM 5.1) aanzienlijk kan verbeteren zonder hertraining, wat aantoont dat geleerde strategieën overdraagbaar zijn naar verschillende execution backbones.

4. Experimentele Resultaten

Het framework werd geëvalueerd op CyberGym, een benchmark van 1.507 real-world kwetsbaarheidsreproductie-taken. De studie gebruikte 260 taken voor training en 200 held-out taken voor evaluatie.

• Prestaties met GPT-5.5: Mastermind bereikte een 84,5% pass rate (169/200 taken), wat aanzienlijk beter is dan:
  • Onafhankelijke Best-of-8 sampling: 63,0%
  • Iteratieve taak-lokale verbetering (zonder geleerde planner): 77,0%
  • Open-book context (Level 3 ground truth): 60,0%
• Overdraagbaarheid: Dezelfde Planner verbeterde GPT-5.4 mini van 45,0% naar 60,0% en GLM 5.1 van 58,5% naar 71,0%.
• Efficiëntie: Mastermind behaalde deze resultaten met minder rollouts en lagere computationele kosten (geschatte $8 per pass voor GPT-5.5 versus $29 voor Best-of-8) dankzij vroege stopzetting en betere strategie-selectie.
• Ablatie-studies: Het verwijderen van de dual-loop componenten bevestigde dat zowel de geleerde Planner (Policy loop) als de taak-lokale ervaring (Experience loop) noodzakelijk zijn voor piekprestaties. De "No dual loop" baseline (onafhankelijke Best-of-8) behaalde slechts 63,0% op GPT-5.5.

5. Betekenis en Claims

Het artikel voert aan dat voor repository-schaal SE-agents het kiezen van de aanpak moeilijker is dan het uitvoeren ervan. Mastermind demonstreert dat het leren van hoog-niveau strategieën een effectief en overdraagbaar mechanisme is voor het verbeteren van deze agents.

• Strategische Abstractie: Door strategie als de eenheid van leren te behandelen, vermijdt het systeem de verboden kosten van het trainen op volledige executietrajecten, terwijl het toch de noodzakelijke redeneerpatronen voor complexe debugging vastlegt.
• Scheiding van Zorgen: Het framework wijst "overdraagbare redeneerpatronen" (bijv. wanneer broncode te inspecteren) correct toe aan de gewichten van de Planner en "vluchtige taakspecifieke feiten" (bijv. specifieke bestandspaden) aan het geheugen van de Curator.
• Praktische Impact: De resultaten suggereren dat toekomstige SE-agents prioriteit moeten geven aan strategie-niveau leren en expliciet ervaringbeheer boven het louter opschalen van executie-modellen of het toevoegen van meer context.

De auteurs hanteren een bescheiden standpunt en merken op dat hoewel strategie-niveau leren zeer effectief is voor kwetsbaarheidsreproductie, de generaliseerbaarheid naar andere SE-taken (zoals onderhoudbaarheid of menselijke interpreteerbaarheid) een open vraag blijft. Ze benadrukken ook veiligheid, waarbij zij opmerken dat het framework binnen gesandboxte omgevingen werkt en de strategie-selectie op bestaande executors verbetert in plaats van nieuwe executie-capaciteiten te creëren.