💬 NLP

Change2Task: From Repository Changes to Executable Coding Agent Tasks and Environments

Het artikel introduceert Change2Task, een systeem dat automatisch samengevoegde pull requests omzet in geverifieerde, uitvoerbare coding agent-taken door historische repository-toestanden te reconstrueren en deze te valideren op moderne codebases, waardoor de aanvoer van trainingsdata aanzienlijk wordt vergroot terwijl de opstartkosten worden verlaagd en de task-recovery-percentages worden verbeterd in vergelijking met bestaande baselines.

Oorspronkelijke auteurs: Haomin Qi, Xingliang Wang, Xuanqi Gao, Baihui Sang, Xin Zhang, Minghua Ma, Pengfei Gao, Yu Kang, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

Gepubliceerd 2026-07-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haomin Qi, Xingliang Wang, Xuanqi Gao, Baihui Sang, Xin Zhang, Minghua Ma, Pengfei Gao, Yu Kang, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers leren om software engineers te worden. Deze "coding agents" zijn als digitale leerlingen die niet alleen een enkele regel code schrijven en stoppen; ze kunnen een project openen, de bestanden lezen, een bug repareren, tests draaien en het opnieuw proberen als ze falen. Maar hier is de crux: om echt goed te worden in dit werk, moeten deze leerlingen oefenen met echte problemen. Ze hebben een enorme bibliotheek van "oefeningen" nodig waar ze kunnen proberen een defecte functie te repareren of een nieuwe toe te voegen, en dan een duidelijk "geslaagd" of "gefaald" cijfer krijgen.

Het probleem is dat het maken van deze oefeningen ongelooflijk moeilijk en duur is. Meestal moet je om een test te maken een perfecte, geïsoleerde computerenvironment (zoals een digitale zandbak) bouwen voor elk afzonderlijk probleem. Als je 1.000 verschillende programmeeruitdagingen wilt, moet je misschien wel 1.000 verschillende zandbakken bouwen, wat enorm veel opslagruimte en tijd kost. Het is alsof je probeert iemand te leren koken door voor elk recept dat ze willen leren een gloednieuwe, volledig uitgeruste keuken te bouwen. Het is zoveel werk dat we opraken met oefenproblemen, en de agents krijgen niet de training die ze nodig hebben om experts te worden.

Hier komt een nieuw idee genaamd Change2Task om de hoek kijken. Denk aan dit als een magische tijdmachine voor code. In plaats van voor elk recept een nieuwe keuken te bouwen, kijkt Change2Task naar de geschiedenis van een echt softwareproject – zoals een gigantisch logboek van elke keer dat een menselijke ontwikkelaar in het verleden een bug heeft opgelost of een functie heeft toegevoegd. Het neemt die oude, echte verhalen en vraagt: "Kunnen we precies dezelfde uitdaging recreëren, maar op de huidige versie van de software?"

Het systeem werkt als een slimme editor. Het vindt een "merged" pull request (wat simpelweg een term is voor een wijziging die al is geaccepteerd en aan de code is toegevoegd) en probeert deze terug te ontwerpen (reverse-engineeren). Het vraagt de computer om die wijziging "ongedaan" te maken om een defecte staat te creëren, en stelt vervolgens een doel voor de coding agent om het weer te repareren. Maar hier zit de magische truc in: in plaats van vanaf nul te beginnen, doet het dit op een moderne, gezonde versie van de software die al draait. Als de software sinds de oorspronkelijke fix veel veranderd is, gebruikt Change2Task drie verschillende strategieën om de oude fix te mappen op de nieuwe code:

Patch Reversal: Als de code niet veel is veranderd, draait het de oude fix simpelweg om.
Code Mapping: Als de code is verplaatst, vindt het de nieuwe locatie van de oude code en vervangt het deze.
Agent Reconstruction: Als de code totaal anders is, gebruikt het een slimme AI-agent om uit te vogelen hoe het probleem in de nieuwe omgeving kan worden gerecreëerd.

De onderzoekers testten dit op vijf veelvoorkomende soorten programmeertaken: het repareren van bugs, het toevoegen van nieuwe functies, het schrijven van nieuwe tests, het bijwerken van oude tools (API's) en het patchen van beveiligingslekken. Ze begonnen met 1.130 echte wijzigingen uit publieke softwareprojecten. Het systeem heeft 900 van deze wijzigingen succesvol omgezet in werkende, geverifieerde oefentaken. Dat is een succespercentage van ongeveer 80%.

Wat dit echt spannend maakt, is hoeveel het bespaart. Door dezelfde moderne "keuken" (de software-omgeving) te hergebruiken voor meerdere verschillende oefentaken, hebben ze de tijd die nodig is om omgevingen op te zetten met 58,4% verminderd en de benodigde opslagruimte met 71,2% teruggebracht. Sterker nog, ze slaagden erin om 29,2% meer geverifieerde taken te maken dan een eerdere methode die alleen probeerde oude fixes direct te kopiëren.

Het team heeft ook gecontroleerd of deze gerecreëerde taken eerlijk waren. Ze vroegen verschillende AI-coding agents om de problemen op te lossen op zowel de originele historische versie als de nieuwe moderne versie. De resultaten waren bijna identiek: de agents kregen bijna altijd (98% van de tijd) hetzelfde "geslaagd" of "gefaald" cijfer. Dit bewijst dat de nieuwe taken niet zomaar willekeurige gissingen zijn, maar getrouwe recreaties van echt ontwikkelaarswerk.

Kortom, Change2Task vindt niet alleen meer oefenproblemen; het vindt een manier om de problemen die we al hebben herbruikbaar en efficiënt te maken. Het verandert de geschiedenis van softwareontwikkeling in een hernieuwbare bron voor het trainen van de volgende generatie AI-coders, en bewijst dat we niet een nieuwe wereld hoeven te bouwen voor elke les – we hoeven alleen maar te weten hoe we naar de oude wereld met frisse ogen kunnen kijken.

Technische Samenvatting: Change2Task

Probleemstelling

Het schalen van programmeeragenten vereist een continue, hoogwaardige aanvoer van uitvoerbare data voor training, benchmarking en evaluatie. Elke taakunit moet een realistische softwaretoestand koppelen aan een specificatie, ontwikkeltools en betrouwbare verificatie. Huidige benaderingen kampen met aanzienlijke knelpunten:

Kosten en Schaalbaarheid: Het produceren van uitvoerbare omgevingen is duur. Systemen zoals daVinci-Env en SWE-Universe vereisen enorme infrastructuur en opslag om afzonderlijke snapshots voor individuele taken te onderhouden, wat leidt tot hoge constructiekosten en opslagdruk.
Databeperkingen: Historische benchmarks (bijv. SWE-bench) binden taken aan de oorspronkelijke, vaak verouderde repository-revisies, wat hun toepasbaarheid op moderne codebases beperkt. Daartegenover staan synthetische taakgeneratie-methoden (bijv. SWE-smith) die instanties kunnen produceren die een gebrek hebben aan authentieke ontwikkelaarsintentie of onderhoudscontext.
De Kloof: Er is behoefte aan het afleiden van meerdere geverifieerde, door ontwikkelaars gegronde taken uit één enkele onderhouden repository-omgeving om redundante setup-inspanningen te verminderen terwijl de diversiteit van uitvoerbare data wordt uitgebreid.

Methodologie

Change2Task is een framework ontworpen om samengevoegde Pull Requests (PR's) uit de repositorygeschiedenis om te zetten in geverifieerde programmeeragent-taken op gezonde, moderne afstammende revisies van dezelfde repository. Het systeem werkt op de levenscyclus $V_{pre} \xrightarrow{P_s} V_{post}$ (historische toestandverandering) en reconstrueert dit als $H \xrightarrow{D} C \xrightarrow{G} H'$ (moderne basis naar taaktoestand naar herstelde toestand).

Het proces bestaat uit vier kernfasen:

1. Afleiden van Taakbewijs

Het systeem extraheert bewijs uit een samengevoegde PR, inclusief de beschrijving, de implementatiepatch en de uitvoerbare controles. Dit definieert:

Doelcontroles (Target Checks): Condities die gereconstrueerd moeten worden.
Regressiecontroles (Regression Checks): Omringende gedragingen die intact moeten blijven.
Bronveranderingsprofiel (Source Change Profile): Een verslag van de getroffen componenten en de omvang van de wijziging.
Kandidaten worden uitgesloten als condities ambigu zijn, controles niet uitvoerbaar zijn of wijzigingen niet geïsoleerd kunnen worden.

2. Instellen van de Moderne Taakbasis

Voor elke in aanmerking komende PR wordt een vaste, gezonde afstammende revisie ( $H$ ) uit dezelfde repository-lijn geselecteerd. Deze basis moet een schone checkout, runtime-dependencies en uitvoerbare controles ondersteunen. Het systeem waarborgt dat de gekoppelde doel- en regressiecontroles passeren op $H$ voordat het proces voortgaat.

3. Constructie van de Taaktoestand

Change2Task maakt gebruik van een drietraps adaptieve constructiestrategie om de taakpatch ( $D$ ) te genereren die de gezonde basis ( $H$ ) transformeert naar de taaktoestand ( $C$ ):

Niveau 1: Patch Reversal: Keert de bronpatch direct om als deze compatibel blijft met de moderne context.
Niveau 2: Code Mapping: Als directe replay faalt, lokaliseert het systeem het historische post-change blok in het moderne bestand en vervangt dit door de pre-change vorm, waarbij ruimte voor normalisatie van inspringing en conservatieve lokale transformaties mogelijk wordt gemaakt.
Niveau 3: Agent Reconstruction: Indien de structurele correspondentie onvoldoende is, stelt een constructie-agent (gebruikmakend van PR-bewijs en moderne context) gescoopte kandidaat-patches voor. Deze worden gefilterd op syntaxis, scope en lifecycle-controles, en vervolgens gerangschikt op basis van de getrouwheid van het bronveranderingsprofiel.

4. Lifecycle en Scope Validatie

Elke kandidaat ondergaat validatie over drie toestanden:

Gezond ( $H$ ): Doel- en regressiecontroles passeren.
Taak ( $C$ ): Doelcontroles leggen de specifieke taakconditie bloot (bijv. een bug of ontbrekende feature), terwijl regressiecontroles doorgaan met passeren.
Hersteld ( $H'$ ): Na het toepassen van een herstelpatch ( $G$ ) passeren beide controlesets, wat bevestigt dat het systeem kan terugkeren naar een gezonde toestand.

Het systeem handhaaft ook Scope en Fidelity poorten om te garanderen dat de moderne taak de oorspronkelijke wijziging niet trivialiseert (scope collapse) of ongerelateerde brede wijzigingen vereist (scope inflation).

Belangrijkste Bijdragen

Change2Task Framework: Een algemene tool die ontwikkelaars-gegronde onderhoudswijzigingen overdraagt naar huidige code, waarbij herkomst, gedrag, scope en herstel worden geverifieerd.
Adaptieve Constructie: Een drieledige aanpak (Reversal, Mapping, Reconstruction) die de complexiteit pas verhoogt wanneer dat nodig is, waardoor het herstel van geldige taken uit historische data wordt gemaximaliseerd.
Taak-adapters: Een uniforme interface die vijf verschillende taakfamilies ondersteunt: Bug Fix, Feature Addition, Test Generation, API Migration en Security Repair.
Efficiëntiemechanisme: Door meerdere lichtgewicht taakvarianten af te leiden uit één enkele onderhouden basis, vermindert het systeem de herhaalde setup-inspanningen, opslag en handmatige constructie aanzienlijk.

Experimentele Resultaten

Het systeem werd geëvalueerd op 1.130 constructie-geschikte bronwijzigingen over vijf taalfamilies.

Recovery Rate: Change2Task voltooide 900 gekoppelde taken, met een algehele succesratio van 79,6% voor de constructie van geverifieerde taken.
- Bug Fix: 500 taken gerecupereerd.
- Vergelijking: Op een gematchte set van 621 Bug Fix kandidaten, heeft Change2Task 500 taken gerecupereerd, vergeleken met 387 voor de SWE-smith PR Mirror baseline (een relatieve winst van 29,2%).
Fidelity: Het corpus bereikte een taakgewogen bronveranderingsprofiel-getrouwheid van 0,894. Historische en gereconstrueerde gevallen vertoonden een overeenkomst in uitkomst van tot wel 98,0% onder agent-evaluatie.
Agent Consistentie: Over 3.600 gematchte agent-taak paren was de geaggregeerde overeenkomst tussen de Originele (historische) en Change2Task (moderne) tak 89,7% (Cohen's $\kappa$ = 0,787). Het verschil in de gepaarde solve-rate was verwaarloosbaar (0,0 punten), wat aangeeft dat de moderne taken het vergelijkbare evaluatiesignaal van hun historische ankers behouden.
Resource Efficiëntie: Het hergebruik van 388 moderne bases voor 900 taken (versus het voorbereiden van één basis per taak) resulteerde in:
- 58,4% reductie in totale setup-tijd.
- 71,2% reductie in opslagvereisten.
- 10,8% reductie in end-to-end uitgaven.

Betekenis en Claims

Het paper claimt dat Change2Task de repositorygeschiedenis effectief transformeert van een passief verslag naar een herstelbare bron van geverifieerde programmeertaken. De primaire betekenis ligt in:

Schaalbaarheid: Het biedt een mechanisme om de aanvoer van uitvoerbare data voor het trainen van programmeeragenten uit te breiden zonder de buitensporige kosten van het creëren van unieke omgevingen voor elke taak.
Gronding: Het behoudt het "ontwikkelaar-gegronde onderhoudscontract" van historische wijzigingen, waardoor taken werkelijke onderhoudsintenties reflecteren in plaats van synthetische artefacten.
Efficiëntie: Door moderne bases te hergebruiken, vermindert het drastisch de computationele en opslag-overhead die gepaard gaat met grootschalige evaluatie van agenten.

De auteurs positioneren Change2Task als complementair aan bestaande tools voor omgevingvoorbereiding (zoals RepoLaunch), specifiek gericht op de fase na het uitvoerbaar maken van een basis, waarbij het doel is om het aantal onderscheidende, geverifieerde taken af te leiden uit die investering.