Technische Samenvatting: Van Patches naar Trajecten (P2T)

Probleemstelling

De dominante methode om onderzoek- en redeneervermogen in te bouwen bij open source-engineering (SWE)-agenten is Supervised Fine-Tuning (SFT) op lange trajecten gegenereerd door sterke leermeestermodellen. Echter, standaard SFT behandelt elke behouden respons als een imitatie-doel. Bijgevolg erven studentagenten niet alleen succesvolle uitkomsten over, maar ook gebreken in tussenstappen, zoals ongegronde sprongen, redundante lussen en speculatieve verkenning.

Huidige dataconstructiepijplijnen vertrouwen op outcome-gefilterde rejection sampling: ze behouden alleen trajecten waarbij de uiteindelijke patch een testsuite passeert. Deze aanpak lijdt aan drie kritieke beperkingen:

1. Gebrek aan processupervisie: Het biedt geen feedback op tussenstappen in het redeneren, slechts het eindresultaat.
2. Inefficiëntie: Behouden trajecten bevatten vaak redundante bestandsweergaven, oninformatieve tool-aanroepen en lussen, wat de inferentiekosten verhoogt.
3. Data-afval: Het verwijdert instanties waarin de leermeester geen sluitende patch produceert, zelfs als het onderzoek van de leermeester waardevolle tussenfacten aan het licht bracht.
4. Leakage-risico: Het simpelweg gebruiken van de referentiepatch ($p^\star$) om generatie te sturen, riskeert "oplossingslekken", waarbij de agent bewerkingen of claims doet voordat de nodige bewijzen zijn verzameld, wat leidt tot ongemotiveerde sprongen die de student vervolgens nabootst.

De kernuitdaging is om trainingsdata te construeren die tegelijkertijd effectief is (elke stap verkleint de epistemische kloof naar de juiste fix met onderbouwde redenering) en efficiënt (elke stap is informatiedragend en vermijdt redundantie), zonder de referentiepatch bloot te stellen aan de studentagent.

Methodologie: P2T (Patches-to-Trajectories)

De auteurs stellen P2T voor, een kader dat de door de ontwikkelaar geschreven referentiepatch ($p^\star$) behandelt als geprivilegieerde informatie tijdens data-curatie. De student ziet $p^\star$ nooit; in plaats daarvan distilleert het curatieproces $p^\star$ tot een latente structuur om de trajectconstructie te sturen.

P2T werkt in twee fasen:

Fase 1: Procesgraf Distillatie (Reverse Fase)

De referentiepatch $p^\star$ wordt omgezet in een latente procesgraf $G^\star_i = (V_i, E_i)$.

• Knopen ($V_i$): Vertegenwoordigen tussenliggende contextuele feiten (bijv. bestandslocaties, runtime-gedrag) en mijlpalen in de oplossing (bijv. reproductiescripts, fixplannen, bewerkingen) die een bekwame ontwikkelaar moet vaststellen voordat de fix afleidbaar is.
• Randen ($E_i$): Encoderen voorwaartse relaties, waarbij een topologische volgorde wordt gewaarborgd waarbij een knoop pas ontdekbaar is nadat zijn voorwaarden zijn vastgesteld.
• Constructie: Een iteratieve Proposer-Critic-lus met LLM-agenten:
  • Proposer: Identificeert ontbrekende feiten of mijlpalen die nodig zijn om $p^\star$ af te leiden.
  • Critic: Handhaaft non-leakage, en snoeit elke knoop uit wiens "ontgrendelaar" (de actie vereist om deze te ontdekken) kennis van $p^\star$ zelf veronderstelt.
• Resultaat: Een graf $G^\star$ die de noodzakelijke voorwaarden voor de fix encodeert zonder de fix zelf te onthullen.

Fase 2: Receding-Horizon Bi-Objective Traject Realisatie (Forward Fase)

Trajecten worden geconstrueerd door geblindeerde voortzettingen te bemonsteren uit een leermeestermodel en deze te cureren tegen $G^\star$.

• Kandidaatgeneratie: Bij elk schuifvenster bemonstert het systeem $K$ "blinde zaden" van de leermeester. Het genereert vervolgens "gemuteerde varianten" door maximaal één gelokaliseerde bewerking toe te passen op een zaadstap, waardoor deze wordt omgeleid naar een beschikbare knoop in $G^\star$.
• Bi-objectieve Selectie: Het systeem selecteert een segment op basis van twee criteria:
  1. Effectiviteit: Gemeten door een vooruitgangsscore ($Prog_t$) die nieuw vastgestelde knopen in $G^\star$ telt en voortijdige claims straft. Een groundedness-gate zorgt ervoor dat geen enkele stap entiteiten refereert of claims doet die nog niet worden ondersteund door de zichtbare geschiedenis.
  2. Efficiëntie: Gemeten door trajectlengte (tokenaantal of stapaantal).
• Commit-regel: Het systeem past een "shortest-above-floor"-regel toe: onder segmenten die een minimum-effectiviteitsdrempel halen, commit het systeem het kortste. Dit zorgt ervoor dat het traject beknopt is terwijl strikte onderbouwing behouden blijft.
• Beëindiging: Het proces herhaalt zich totdat een patch is gegenereerd. Alleen trajecten waarbij de uiteindelijke patch de testsuite passeert, worden toegelaten tot de SFT-dataset.

Belangrijkste Bijdragen

1. Probleemformulering: De auteurs formuleren de constructie van SWE-agent SFT-data als een bi-objectief optimalisatieprobleem per stap effectiviteit en trajectlengte, en tonen aan dat standaard outcome-gefilterde rejection sampling geen signalen levert op beide assen.
2. P2T-kader: Een nieuw curatiekader dat $p^\star$ gebruikt als geprivilegieerde informatie. Het distilleert $p^\star$ tot een niet-lekkende procesgraf $G^\star$ en realiseert trajecten die kort, onderbouwd en gestuurd zijn door $G^\star$, zonder de patch bloot te stellen aan de student.
3. Empirische Validatie: Met slechts 1,8k gecurateerde instanties uit SWE-Gym bereikt P2T gelijktijdige verbeteringen in effectiviteit en efficiëntie ten opzichte van outcome-gefilterde baselines.

Experimentele Resultaten

De auteurs evalueerden P2T op SWE-bench Verified en SWE-bench Lite met twee studentmodellen (Qwen2.5-Coder-14B/32B) en twee leermeestercuratoren (Qwen3-Coder-480B, GLM-5-FP8).

• Prestatiewinst: Op SWE-bench Verified verbeterde P2T Pass@1 met maximaal +10,8 punten (bijv. van 39,6% naar 50,4% voor de 32B-student) vergeleken met de test-pas rejection sampling-baseline.
• Efficiëntiewinst: P2T verlaagde de inferentiekosten per instantie met ~15% (bijv. van $0,92 naar $0,78), wat aantoont dat de gecurateerde trajecten aanzienlijk korter en minder redundant zijn.
• Kwaliteitsanalyse:
  • Gecurateerde trajecten waren 9,3% korter en 31,0% minder redundant (in termen van bestandsweergave-acties) dan verworpen rollouts.
  • Deze structurele verbeteringen werden overgedragen aan de getrainde studenten, die rollouts produceerden die 10,3% korter en 19,5% minder redundant waren dan die van met baseline getrainde studenten.
• Ablatiestudies:
  • Het verwijderen van de groundedness-check veroorzaakte een daling van ~7,2 Pass@1-punten, wat de noodzaak bevestigt van het voorkomen van ongegronde sprongen.
  • Het verwijderen van de shortest-above-floor-regel verhoogde de trajectlengte en het tokenaantal, wat Pass@1 verlaagde, wat aangeeft dat kortere trajecten minder imitatie-ruis bevatten.
  • Een value-of-information-studie bevestigde dat de winst wordt gedreven door de informatie die in $G^\star$ is gecodeerd, en niet alleen door de curatiemachine of dataschaal.

Betekenis en Claims

Het paper stelt dat de juiste eenheid van supervisie voor capabele agenten niet het traject of het eindartefact op zich is, maar de structuur die ze verbindt.

• Factorisatie van geprivilegieerde informatie: P2T toont aan dat referentiepatches, vaak weggegooid als louter grondwaarheid, kunnen worden benut als geprivilegieerde signalen om hoogwaardige trainingsdata te vormen zonder het vermogen van de student om echte onderzoeksvaardigheden te leren, te compromitteren.
• Gelijktijdige optimalisatie: Het werk daagt de trade-off uit tussen verkenning (effectiviteit) en efficiëntie. Door een procesgraf te gebruiken om vooruitgang te verankeren, bereikt P2T zowel hogere oplossingspercentages als lagere inferentiekosten, en bewijst dat "voorzichtige, goed onderbouwde verkenning" niet per se "agressieve verkorting" vereist die niet-ondersteunde shortcuts uitnodigt.
• Datakwaliteit boven schaal: De resultaten suggereren dat per-trajectkwaliteit, afgeleid van principiële processupervisie, een krachtigere drijver is voor agentprestaties dan het simpelweg vergroten van de hoeveelheid outcome-gefilterde data.

De auteurs houden een bescheiden standpunt, waarbij ze beperkingen erkennen zoals de afhankelijkheid van uitvoerbare testsuites en referentiepatches, en het empirische (in plaats van formele) karakter van de door LLM-gemiddelde groundedness-checks. Ze positioneren P2T als een stap naar een meer gestructureerde aanpak van processupervisie in software-engineeringagenten.