🤖 machine learning

EditLord: Learning Code Transformation Rules for Code Editing

EditLord is een code-bewerkingsframework dat prestaties, robuustheid en functionele correctheid verbetert door expliciet beknopte meta-regels uit trainingsdata te extraheren met behulp van een taalmodel om codetransformatiestappen te begeleiden, waardoor het bestaande state-of-the-art impliciete end-to-end benaderingen overtreft.

Oorspronkelijke auteurs: Weichen Li, Albert Jan, Baishakhi Ray, Junfeng Yang, Chengzhi Mao, Kexin Pei

Gepubliceerd 2026-07-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Weichen Li, Albert Jan, Baishakhi Ray, Junfeng Yang, Chengzhi Mao, Kexin Pei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent die een recept probeert te verbeteren. Soms smaakt het gerecht wel oké, maar duurt het een eeuwigheid om te bereiden. Op andere momenten zijn de instructies geschreven in een geheime code die alleen de oorspronkelijke chef begrijpt, waardoor het voor iedereen onmogelijk is om ze te lezen. In de wereld van de computerwetenschappen is dit de dagelijkse strijd van "code editing" (het bewerken van code). Computers spreken een taal van strikte instructies, en wanneer ontwikkelaars willen veranderen hoe een programma werkt—het sneller, veiliger of makkelijker leesbaar maken—moeten ze die instructies herschrijven. Lange tijd hebben we vertrouwd op superintelligente AI-assistenten (Large Language Models). Deze AI-modellen zijn als briljante maar licht chaotische leerlingen die de volgende stap in een recept kunnen raden. Echter, ze raden vaak fout, waardoor de smaak van het gerecht volledig verandert of de oven kapot gaat tijdens het proces. Ze neigen ernaar te leren door miljoenen recepten te memoriseren en te proberen het "gevoel" van het juiste antwoord te vinden, in plaats van de werkelijke regels van het koken te begrijpen. Dit artikel stelt een eenvoudige maar krachtige vraag: Wat als we de AI, in plaats van alleen te laten raden, de specifieke, stapsgewijze regels leren over hoe een recept moet worden verbeterd, zodat de AI precies weet wat hij moet veranderen en wat hij met rust moet laten?

De onderzoekers achter deze studie, onder leiding van Weichen Li en collega's, introduceren een nieuw framework genaamd EDITLORD. Zie EDITLORD als een "regelboekmaker" voor AI. In plaats van een AI alleen te vragen om "deze code te repareren", treedt EDITLORD eerst op als een detective die duizenden voorbeelden van code bestudeert, zowel vóór als na de reparatie. Uit deze voorbeelden extraheert het een beknopte lijst van "meta-regels"—eenvoudige, duidelijke instructies zoals "verander het gebruik van een langzame lepel naar een snelle garde" of "vervang een verwarrende ingrediëntnaam door een duidelijke naam." Deze regels zijn geschreven in alledaags Engels, waardoor ze gemakkelijk te begrijpen zijn voor mensen en gemakkelijk te volgen voor de AI. Zodra de AI dit regelboek heeft, gebruikt het dit om nieuwe code te bewerken. Het resultaat is een AI die niet zomaar een oplossing hallucineert, maar een logisch, expliciet pad volgt om het probleem op te lossen.

Het papier concludeert dat deze aanpak een game-changer is. Wanneer getest op drie cruciale taken—het sneller maken van code, het vertalen van rommelige, door machines gegenereerde code terug naar een menselijk leesbare vorm, en het dichten van beveiligingslekken—overtrof EDITLORD de huidige beste methoden aanzienlijk. Gemiddeld verbeterde het de bewerkingsprestaties met 22,7% en maakte het de AI 58,1% robuuster, wat betekent dat de kans veel kleiner was dat de code zou breken wanneer de input er iets anders uitzag. In de specifieke taak van het oplossen van beveiligingskwetsbaarheden bereikte het 20,2% hogere functionele correctheid, wat ervoor zorgt dat de code nog steeds functioneert zoals bedoeld terwijl deze veiliger wordt. Nog indrukwekkender nog: wanneer de onderzoekers menselijke experts de mogelijkheid gaven om het regelboek van de AI aan te passen, sprong de prestatie met tot wel 35,5% omhoog, wat aantoont dat dit systeem flexibel genoeg is om te leren van menselijke wijsheid.

De auteurs pleiten expliciet tegen het idee dat we AI-modellen simpelweg meer moeten trainen om het juiste resultaat te "raden" door middel van enorme hoeveelheden data zonder de stappen te begrijpen. Ze laten zien dat deze "black box"-benadering vaak leidt tot suboptimale resultaten en een gebrek aan generalisatie, waarbij de AI faalt wanneer hij wordt geconfronteerd met code die hij nog niet eerder heeft gezien. In contrast hiermee maakt de methode van EDITLORD, die de bewerkingsstappen expliciet en modulair maakt, het mogelijk dat de AI veel beter generaliseert. Bijvoorbeeld, wanneer getest op code die langer was dan alles wat het tijdens de training zag, leed EDITLORD veel minder onder prestatieverlies dan standaardmodellen. De onderzoekers merken zorgvuldig op dat hoewel deze methode zeer effectief is, het niet garandeert dat elk stuk bewerkte code perfect zal zijn; functionele correctheid wordt behandeld als een doel om naar te streven, en niet als een absolute wiskundige zekerheid in elk enkel geval. De data suggereert echter dat door code-bewerking te transformeren in een gestructureerd, regelgebaseerd proces, we AI-tools kunnen bouwen die niet alleen slimmer zijn, maar ook veiliger en betrouwbaarder voor de ontwikkelaars die er elke dag op vertrouwen.

Technische Samenvatting: EDITLORD

Probleemstelling

Code-editing is een fundamentele taak in de softwareontwikkeling, waarbij de code moet worden getransformeerd om gewenste eigenschappen te introduceren (bijv. verbeterde efficiëntie, leesbaarheid of beveiliging) terwijl de beoogde functionaliteit van de originele code strikt behouden blijft. Bestaande benaderingen behandelen code-editing doorgaans als een impliciete, end-to-end taak, waarbij vertrouwd wordt op brute-force finetuning om de editing-kennis te internaliseren in de modelgewichten. De auteurs stellen dat deze aanpak faalt in het ontkoppelen van modulaire transformatieprocedures van specifieke trainingsvoorbeelden, wat leidt tot suboptimale prestaties, een gebrek aan robuustheid tegen semantiek-behoudende codeveranderingen en een slechte generalisatie. Bovendien maakt het behandelen van editing als een latent proces de discrete, expliciete stappen die inherent zijn aan code-transformatie onzichtbaar, wat het moeilijk maakt om functionele correctheid en interpreteerbaarheid te waarborgen.

Methodologie

Het artikel introduceert EDITLORD, een framework dat codetransformatiestappen expliciet maakt door inductieve meta-regels te leren. In plaats van een taalmodel (LM) direct te prompten of te finetunen om editing uit te voeren, gebruikt EDITLORD een tweestaps-proces: eerst ontdekt het een beknopte set transformatieregels uit de trainingsdata; ten tweede gebruikt het deze regels om de trainingsdata aan te vullen of de inferentie te sturen.

De methodologie bestaat uit drie kernsubtaken:

Datagestuurde Inductieve Regelontdekking:
- Het systeem iterereert door trainingscode-paren (pre-edit $x_i$ , post-edit $y_i$ ) om ruwe editing-regels ( $R_i$ ) te extraheren die de veranderingen in eigenschappen beschrijven.
- Deze ruwe regels zijn vaak te specifiek of te generiek. Een iteratief verfijningsalgoritme wordt toegepast op de regelset $R$ met behulp van drie operaties: ADD (het opnemen van nieuwe regels), MERGE (het combineren van vergelijkbare regels in een gegeneraliseerde vorm) en PRUNE (het verwijderen van te specifieke of ongebalanceerde regels).
- Dit proces levert een beknopte, herbruikbare Meta-Regelset ( $R$ ) op die in natuurlijke taal is uitgedrukt (bijv. "overstappen van cout naar printf").
Functionele Specificatieontdekking:
- Voor elk trainingspaar extraheert het systeem een functionele specificatie ( $s_i$ ) die het gedeelde input-output gedrag beschrijft. Dit zorgt ervoor dat het editing-proces de semantische equivalentie tussen de pre-edit en de post-edit code handhaaft.
Regelgebaseerde Code-editing:
- Finetuning: De trainingsset wordt aangevuld met de pre-edit code, de functionele specificatie en de specifieke subset van meta-regels ( $R_i$ ) die van toepassing is op dat monster. Het LM wordt gefinetuned om de post-edit code te voorspellen, geconditioneerd op deze expliciete inputs: $P(y_i | x_i, s_i, R_i)$ .
- Alternatieve Modi: Het framework ondersteunt ook Zero-Shot Prompting (het gebruik van de meta-regelset als prompt) en Iteratieve Verfijning (het gebruik van executie-feedback om edits op basis van de regels te verfijnen).

Belangrijkste Bijdragen

Expliciete Transformatieruimte: EDITLORD verschuift code-editing van een impliciete, end-to-end generatietaak naar een gestructureerde, discrete transformatieruimte door editing-stappen expliciet te modelleren als meta-regels.
Inductief Regelonderwijs: Het artikel stelt een nieuw algoritme voor om een composabele en herbruikbare meta-regelset te distilleren uit trainingsdata, waardoor het model kan generaliseren over diverse codescenario's.
Interpreteerbaarheid en Human-in-the-Loop: Door regels in natuurlijke taal uit te drukken, blijft het framework interpreteerbaar. Deze structuur faciliteert menselijke interventie, waardoor experts de regels kunnen verfijnen of toevoegen om de prestaties verder te verbeteren.
Uitgebreide Evaluatie: Het framework wordt geëvalueerd over drie kritieke domeinen: prestatieoptimalisatie, decompileren (leesbaarheid) en security hardening.

Experimentele Resultaten

De auteurs evalueerden EDITLORD tegen state-of-the-art baselines (inclusclusief gefinetunede modellen en prompting-strategieën zoals Chain-of-Thought) over meerdere modellen (DeepSeek-Coder 1.3B/6.7B, GPT-4o mini) en taken.

Prestatiewinst: EDITLORD presteerde gemiddeld 22,7% beter dan state-of-the-art baselines op het gebied van editing-prestaties en 58,1% beter op het gebied van robuustheid.
- Prestatieoptimalisatie: Verbeterde gemiddeld met 23,3%.
- Decompileren: Verbeterde gemiddeld met 12,7%.
- Security Hardening: Verbeterde gemiddeld met 27,6%.
Functionele Correctheid: Het framework behaalde 20,2% hogere functionele correctheid over kritieke applicaties vergeleken met de baselines.
Robuustheid en Generalisatie:
- Robuustheid: EDITLORD vertoonde een aanzienlijk hogere veerkracht tegen semantiek-behoudende transformaties (bijv. variabele hernoeming, verwijderen van commentaar), met tot 58,1% minder degradatie in leesbaarheid vergeleken met de baselines.
- Generalisatie: Het model demonstreerde superieure lengte-generalisatie, met een tot 24,87% betere prestatie op code die langer is dan de trainingsdistributie.
Editing Modi: Naast finetuning verbeterde EDITLORD zero-shot prompting met gemiddeld 56,3% en iteratieve verfijning met 5,7%.
Menselijke Augmentatie: Wanneer menselijke experts de gegenereerde regels verfijnden, verbeterde de editing-prestatie met tot wel 35,5%.

Betekenis en Claims

Het artikel beweert dat EDITLORD het "hallucinatie"-probleem aanpakt dat gebruikelijk is bij end-to-end LLM code-editing door transformaties te funderen in expliciete, geleerde regels. Door het wat (functionele specificatie) te scheiden van het hoe (transformatieregels), zorgt het framework ervoor dat edits niet alleen functioneel correct zijn, maar ook robuust tegen syntactische variaties.

De auteurs benadrukken dat waar bestaande methoden editing-kennis als latente gewichten behandelen, EDITLORD deze kennis expliciet en modulair maakt. Deze aanpak verbetert niet alleen de prestatiecijfers, maar vergroot ook de veiligheid en betrouwbaarheid in beveiligingskritieke software engineering-applicaties. Het artikel concludeert dat het blootstellen van expliciete editing-stappen zorgt voor betere generalisatie en een pad biedt voor menselijke experts om het editing-proces te sturen, een capaciteit die ontbreekt in puur end-to-end benaderingen.