Technisch Overzicht: Toevoegen is Machine, Verwijderen is Mens

Probleemstelling

Hoewel Large Language Models (LLM's) steeds vaker functioneren als coderingsagenten die in staat zijn problemen op te lossen en pull requests te genereren, suggereert bewijs dat hun patches vaak de onderhoudbaarheid van code verslechteren. Een specifieke, systematische foutmodus die in dit werk wordt geïdentificeerd, is vermijding van verwijdering (deletion avoidance): de neiging van modellen om code te behouden die een beoogde bewerking vereist te verwijderen. In plaats van een subtractieve bewerking uit te voeren, behouden modellen vaak de verouderde logica en leiden ze de executie eromheen met behulp van conditionele guards of fallbacks. Dit gedrag, getermd Guard-and-Go, zorgt ervoor dat patches de bestaande testsuites passeren (die zelden codeverwijdering verifiëren), terwijl het codebase-volume opblaast en het moeilijker maakt om te onderhouden. Het artikel stelt dat huidige evaluatiebenchmarks, zoals SWE-bench Verified, de gereedheid van modellen voor productie kunnen overschatten omdat ze falen in het bestraffen van deze niet-verwijderingsstrategieën.

Methodologie

De studie hanteert een veelzijdige aanpak die de empirische analyse van bestaande benchmarks combineert met de creatie van een gespecialiseerde diagnostische benchmark en een gecontroleerde post-training interventie.

1. Empirische Analyse van SWE-bench Verified

De auteurs analyseerden de vijf leidende inzendingen voor de SWE-bench Verified leaderboard (GLM-4.6, GPT-5, Kimi-K2, Opus-4.5 en Salesforce SAGE) met behulp van een consistente OpenHands-scaffold om variatie in de agent te controleren.

• Metric: De verwijderingsherinnering (deletion recall) werd berekend door modelpatches te vergelijken met developer-patches, waarbij werd gemeten welk deel van de door de developer verwijderde regels het model ook had verwijderd.
• Lokalisatiecontrole: De studie maakte onderscheid tussen het niet vinden van de code (lokalisatiefout) en het niet verwijderen ervan (executiefout) door te controleren op bestand, scope (functie/klasse/module) en exacte regelwijziging.
• Strategieclassificatie: Een LLM-gebaseerde classifier categoriseerde passerende patches als "Delete-and-Replace", "Guard-and-Go" (logica behouden met een guard) of "Non-reference alternative".

2. Deletie-gevoelige Retrofitting

Om te bepalen of passerende tests daadwerkelijk codeverwijdering valideren, hebben de auteurs 34 verwijderingsintensieve taken uit SWE-bench Verified voorzien van nieuwe FAIL_TO_PASS (F2P) tests. Deze tests falen expliciet als de doelgerichte code nog steeds in het bestand aanwezig is, waardoor de vereiste verwijdering wordt geïsoleerd van andere gedragsspecificaties.

3. CanItDelete Benchmark

Om verwijderingsgedrag te isoleren van verwarrende factoren zoals lokalisatiegemak of de noodzaak voor additieve code, hebben de auteurs CanItDelete samengesteld.

• Constructie: 200 taken afkomstig uit echte commits waarbij de volledige vereiste bewerking een verwijdering was (geen toevoegingen). Taken werden geselecteerd uit de top 100 meest 'starred' Python en JavaScript repositories, gerangschikt op structurele complexiteit (omvang vóór de bewerking, aantal verwijderde regels en verwijderingshunks).
• Evaluatie: Een deterministische, voorkomen-bewuste evaluator scoort outputs op basis van de vraag of het doel volledig afwezig is, of ongerelateerde structuren behouden blijven en of er geen gedrag-beïnvloedende toevoegingen zijn geïntroduceerd.
• Diagnostische Ladder: De benchmark maakt gebruik van vier cumulatieve modi om foutpunten te diagnosticeren:
  1. Vanilla: Standaard developer-stijl verzoek.
  2. Expliciete Verwijdering: Instructie verbiedt guards of fallbacks.
  3. Regio-pointer: Identificeert relevante functies/regio's.
  4. Exacte Regels: Levert de exacte intervallen (spans) om te verwijderen.

4. Post-Training Interventie (Proof of Concept)

Een 7B-parameter model werd uitgebreid met een verwijderingsgerichte post-training mix.

• Data: 12.821 verwijderingsexemplen (10.000 op bestandsniveau en 2.821 op repository-niveau) werden toegevoegd aan de trainingsset. Deze voorbeelden droegen 112,1M tokens bij aan de 15,9B-token mix, wat ongeveer 0,7% van de totale tokens vormt.
• Evaluatie: Het model werd getest op CanItDelete, SWE-bench Verified, CanItEdit en EditBench om gerichte verbetering en potentiële regressies te meten.

Belangrijkste Resultaten

1. Voorkomen van Verwijdingsvermijding

• Lage Recall: Zelfs op de 197 taken die door alle vijf de modellen werden opgelost, varieerde de verwijdingsherinnering tussen 65,2% en 71,7%. Modellen lieten 28,3% tot 34,8% van de vereiste verwijderingen ongewijzigd staan.
• Lokalisatie vs. Executie: Modellen lokaliseerden het juiste bestand succesvol voor >92% van de verwijderingen en de omringende scope voor ~70%, maar verwijderden de exacte regel slechts in 44,6% tot 51,6% van de gevallen. Het gat is primair een executiefout, geen lokalisatiefout.
• Dominantie van Guard-and-Go: Onder de 1.703 passerende taak-model paren die werden geanalyseerd, volgden 494 (29,0%) het Guard-and-Go patroon, waarbij het model de door de developer verwijderde logica behield en een conditionele bypass toevoegde. Deze patches waren gemiddeld 61,1% groter dan de patch van de developer.

2. Evaluatiekloof

Wanneer 34 verwijderingsintensieve taken opnieuw werden geëvalueerd met verwijdingsgevoelige controles:

• Daalden de resolutiepercentages voor vier frontier modellen van 63,2% naar 41,9% (een daling van 21,3 procentpunt).
• 33,7% van de patches die de oorspronkelijke testsuites passeerden, behielden het gevalideerde verwijderingsdoel.

3. CanItDelete Bevindingen

• Prestatievariantie: Op de 200 verwijderings-alleen taken varieerden de succespercentages van 79,0% (Claude Opus 4.8) tot 18,0% (kleinere open modellen).
• Foutmodi: Onvolledige verwijdering (het achterlaten van vereiste code) was verantwoordelijk voor 69,8% van de fouten over de modellen heen. Echter, naarmate modellen beter werden in het vinden van doelen, ontstond een tweede foutmodus: over-verwijdering (het verwijderen van code buiten de doelgrens).
• Impact van Begeleiding: Het verstrekken van exacte verwijdingsintervallen (de "Exact lines" modus) elimineerde bijna de onvolledige verwijdering voor vier van de vijf modellen, maar loste over-verwijdering niet op. Bijvoorbeeld, de success rate van GPT-5.6 Sol steeg naar 80,5%, maar het faalde nog steeds in 16,5% van de taken door verder te verwijderen dan de gespecificeerde intervallen. Dit wijst op een gebrek aan controle over de verwijderingsgrens in plaats van een gebrek aan de capaciteit om de code te vinden.

4. Post-Training Interventie

Het toevoegen van verwijdingssupervisie aan de 7B-model post-training mix:

• Verminderde onvolledige verwijdering op CanItDelete met 13,9 procentpunt (van 80,4% naar 66,5% foutpercentage).
• Verbeterde SWE-bench Verified met 5,3 punten en CanItEdit met 1,4 punten.
• Introduceerde geen significante regressies in andere benchmarks.
• Trade-off: De interventie verhoogde de snelheid van over-verwijdering (volledige verwijdering met ongeldige bewerkingen), wat suggereert dat hoewel het model leerde te verwijderen, het nog steeds worstelt met waar te stoppen.

Betekenis en Claims

Het artikel beweert dat verwijdingsvermijding een systematisch, ondergetraind gedrag is in huidige LLM's in plaats van een intrinsieke beperking. De auteurs stellen dat:

1. Huidige Benchmarks zijn Onvoldoende: Standaard test-passende metrieken maskeren het "Guard-and-Go" patroon, wat leidt tot een overschatting van de gereedheid van modellen voor codeonderhoud.
2. Controle is de Bottleneck: Modellen bezitten de capaciteit om code te lokaliseren die verwijderd moet worden, maar missen de controle om precieze, begrensde verwijderingen uit te voeren zonder over-editing of het toevoegen van guards.
3. Verwijdering is Leerbaar: De proof-of-concept interventie demonstreert dat gerichte post-training de verwijdingsvermijding kan verminderen en de bredere code-bewerkingsprestaties kan verbeteren, wat suggereert dat het tekort te wijten is aan data-representatie (additieve bias in trainingsdata) in plaats van modelarchitectuur.

De auteurs blijven bescheiden over de reikwijdte en merken op dat de interventie werd getest op een enkel 7B model en dat de "over-verwijdering" trade-off aangeeft dat verwijdingsvoltooiing en grenscontrole twee verschillende trainingsdoelen zijn die verdere research vereisen om ze op schaal simultaan op te lossen.