💻 computer science

Compressing Code Context for LLM-based Issue Resolution

Dit paper introduceert SWEzze, een framework dat Oracle-guided Code Distillation en een lichtgewicht model combineert om de codecontext voor LLM-gebaseerde probleemoplossing effectief te comprimeren, waardoor de tokenkosten aanzienlijk worden verlaagd en de succesratio van bugfixes op GitHub-issues verbetert.

Oorspronkelijke auteurs: Haoxiang Jia, Earl T. Barr, Sergey Mechtaev

Gepubliceerd 2026-03-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haoxiang Jia, Earl T. Barr, Sergey Mechtaev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische bibliotheek hebt, vol met boeken over een specifiek onderwerp. Je vraagt aan een superintelligente robot (een AI) om een fout in één van die boeken te vinden en te repareren.

Het probleem? De robot moet alle boeken in de bibliotheek doorbladeren om die ene zin te vinden die hij nodig heeft. Dit kost enorm veel tijd, geld en energie. Bovendien raakt de robot in de war door alle onnodige informatie; hij vergeet waar hij naar op zoek was omdat er te veel "ruis" is.

Dit is precies het probleem dat de auteurs van dit paper proberen op te lossen. Ze hebben een slimme methode bedacht om de "boeken" (de code) te comprimeren, zodat de robot alleen het essentiële leest.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Te Dikke Telefoonboek"-Syndroom

Wanneer een AI een bug in software moet repareren, krijgt hij vaak een enorm stuk code voorgelegd. Dit is alsof je iemand vraagt om een specifiek woord in een telefoonboek te vinden, maar je geeft hem het hele telefoonboek van heel China.

Gevolg: De AI wordt afgeleid door de duizenden pagina's die niets met de fout te maken hebben. Het kost ook veel geld om al die tekst te verwerken.

2. De Oplossing: SWEzze (De Slimme Samenvatter)

De auteurs hebben een nieuw systeem bedacht, genaamd SWEzze. Denk aan SWEzze als een super-slimme redacteur die voor de AI werkt. Zijn enige taak is: "Haal alles weg wat niet nodig is, maar laat precies genoeg over zodat de oplossing nog steeds werkt."

Maar hoe weet die redacteur wat nodig is? Normaal gesproken zou hij raden of kijken naar woorden die lijken op de fout. Maar dat werkt niet goed bij code. Code is logisch; als je één stukje weghaalt, kan de hele zin onzin worden.

3. De Magische Methode: "Oracle-gestuurde Distillatie"

Hier komt het creatieve deel. Om SWEzze te leren wat belangrijk is, hebben de auteurs een trucje gebruikt:

De Orakel (De Meester): Stel je een onfeilbare meester voor die precies weet welke pagina's van het telefoonboek nodig zijn om de fout te vinden. Deze meester probeert duizenden combinaties van tekst uit en kijkt welke combinatie het kleinste is, maar nog steeds werkt.
De Leerling (SWEzze): SWEzze kijkt naar wat de meester doet. Hij ziet: "Ah, de meester hield dit stukje code over en gooide dat stukje weg."
Het Resultaat: SWEzze leert niet alleen te raden, maar leert de logica achter het behouden van de juiste stukjes. Hij leert om de "recept-ingredienten" te bewaren en de "kookpan" weg te laten.

4. Hoe werkt het in de praktijk?

Stel je voor dat je een recept hebt voor een taart, maar je hebt ook de volledige handleiding van de oven, het verhaal van de boer die de bloem kweekte, en de geschiedenis van suiker.

De oude methoden zouden proberen de handleiding van de oven korter te maken door zinnen te schrappen, maar ze haalden per ongeluk de instructie "bak op 180 graden" weg. De taart mislukt.
SWEzze kijkt naar het recept en zegt: "Ik heb de ovenhandleiding niet nodig, maar ik moet wel de temperatuur en de ingrediënten houden." Hij snijdt de tekst terug tot een strakke lijst van alleen de noodzakelijke stappen.

5. De Resultaten: Sneller, Goedkoper en Beter

Toen ze SWEzze testten op echte software-fouten (in een database genaamd SWE-bench), gebeurde er iets verrassends:

Minder tekst: De AI kreeg 50% tot 70% minder tekst te lezen.
Minder geld: Omdat er minder tekst is, kost het verwerken veel minder geld.
Beter resultaat: De AI loste meer fouten op dan voorheen! Waarom? Omdat hij niet meer afgeleid werd door de onzin. Hij kon zich volledig focussen op de echte oplossing.

Samenvattend

Dit paper introduceert een manier om AI te helpen bij het repareren van software door de "informatie-overload" te voorkomen. In plaats van de AI een berg aan informatie te geven, geven ze hem een op maat gemaakte samenvatting die is gemaakt door een slimme leerling die heeft geleerd van een meester.

Het is alsof je van een rommelige zolder (de originele code) een strakke werkplek maakt (de gecomprimeerde context) waar de AI precies weet waar hij moet zoeken, zonder dat hij zich laat afleiden door oude kranten en lege dozen. Het resultaat is een snellere, goedkopere en slimmere AI die beter werk levert.

Titel: Compressing Code Context for LLM-based Issue Resolution

Auteurs: Haoxiang Jia, Earl T. Barr, en Sergey Mechtaev (Peking University & University College London)

1. Het Probleem

Grote Taalmodellen (LLM's) zijn tegenwoordig capabel in het oplossen van real-world GitHub-issues. Echter, bestaande benaderingen kampen met twee fundamentele problemen bij het verwerken van code-context:

Exorbitante Kosten: Het verwerken van enorme hoeveelheden code (vaak honderden regels over meerdere bestanden) leidt tot hoge inferentiekosten, aangezien deze lineair schalen met de contextgrootte.
Lage Effectiviteit door Ruis: Bestaande methoden voor contextextractie (zoals heuristieken of RAG) leiden vaak tot een overbenadering (overapproximation). Ze retourneren te veel bestanden om cruciale afhankelijkheden niet te missen. Hierdoor wordt het contextvenster overspoeld met irrelevante code ("ruis"), wat het model afleidt van het daadwerkelijke signaal voor het oplossen van de bug.

Bestaande compressietechnieken zijn ontoereikend:

Generieke compressoren: Behandelen code als natuurlijke taal, wat de semantische integriteit van de code breekt (bijv. definities en gebruikskoppelingen gaan verloren).
Code-specifieke tools: Gebaseerd op heuristieken of lexische gelijkenis, maar missen het inzicht in welke specifieke "ingrediënten" (variabelen, expressies, types) nodig zijn voor een correcte patch. Ze verwijderen vaak essentiële code die niet direct lijkt op de bugbeschrijving.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat bestaat uit twee kerncomponenten: Oracle-guided Code Distillation (OCD) en het compressiemodel SWEzze.

A. Oracle-guided Code Distillation (OCD)

Dit is een trainingsdata-generatieproces dat gebruikmaakt van een "orakel" (een krachtige LLM en een test-suite) om minimale, voldoende context te vinden.

Doel: Het vinden van een Minimale Voldoende Context (Minimal Sufficient Context - MSC). Dit is een subreeks van de initiële context waarbij elk bewaard fragment functioneel noodzakelijk is voor het genereren van een werkende patch.
Proces:
1. Hiërarchische Decompositie: Code wordt opgedeeld in structurele eenheden (Bestand, Functie, Blok) om syntactische geldigheid te garanderen.
2. Genetisch Algoritme (GA): Zoekt naar een configuratie van code-segmenten die een succesvolle patch mogelijk maakt. Het gebruikt prioriteitsscores (gebaseerd op patch-overlap, testcoverage en symbool-overlap) om de zoekruimte te sturen.
3. Hiërarchische Delta Debugging (HDD): Minimaliseert de door de GA gevonden oplossing. Het verwijdert systematisch bestanden, functies en blokken zolang de oplossing nog steeds werkt, totdat het punt van 1-minimaliteit is bereikt (verwijdering van elk enkel element breekt de oplossing).
Resultaat: Een dataset van paren $(C_{init}, \hat{C})$ , waarbij $C_{init}$ de ruwe context is en $\hat{C}$ de geoptimaliseerde, minimale context.

B. SWEzze: Het Compressiemodel

SWEzze is een lichtgewicht model dat wordt getraind om de compressie tijdens de inferentie uit te voeren.

Architectuur: Gebaseerd op Qwen3-Reranker-0.6B, gefinetuned met LoRA (Low-Rank Adaptation).
Functie: Het fungeert als een cross-encoder die code-segmenten scoort op basis van een gestructureerde query (issue-beschrijving + foutlocatie). Het bepaalt of een segment moet worden behouden om de patch-succesvolheid te garanderen.
Training: Het model leert om "fix-ingredients" (essentiële code) te onderscheiden van incidenteel gerelateerde code. Het gebruikt class-imbalance correcties en gewogen loss om te voorkomen dat het model alles verwijdert.
Inferentie: SWEzze scant de initiële context, scoort segmenten en selecteert er een subset op basis van een token-budget via een greedy-strategie.

3. Belangrijkste Bijdragen

Oracle-guided Code Distillation (OCD): Een innovatief raamwerk dat genetische zoekalgoritmen en delta debugging combineert om trainingsdata te distilleren die de functionele noodzaak van code voor bugfixing in kaart brengt, in plaats van alleen oppervlakkige gelijkenis.
SWEzze: Een nieuw model voor contextcompressie dat specifiek is ontworpen om "fix-ingredients" te behouden en afleidende ruis te verwijderen, zonder de syntactische structuur van de code te breken.
Empirisch Bewijs: Een uitgebreide evaluatie op SWE-bench Verified die aantoont dat compressie de effectiviteit van issue-resolutie kan verbeteren, in plaats van deze te verlagen.

4. Resultaten

De evaluatie is uitgevoerd op SWE-bench Verified met drie state-of-the-art LLM's: GPT-5.2, DeepSeek-V3.2 en Qwen3-Coder-Next.

Oplossingspercentage (Resolution Rate): SWEzze verbetert de succesratio van issue-resolutie met 5,0% tot 9,2% ten opzichte van niet-gecomprimeerde context. Het presteert beter dan alle bestaande baselines (LLMLingua-2, LongCodeZip, SWE-Pruner).
Compressie: SWEzze behoudt een stabiele compressiefactor van ongeveer 6x over alle modellen heen.
Kostenreductie: Het verlaagt het totale token-budget met 51,8% tot 71,3% ten opzichte van de niet-gecomprimeerde setting.
Aanbod van Oplossingen: SWEzze lost een breder scala aan problemen op dan andere methoden. Het dekt 93,8% tot 99,2% van de vereniging van alle gevallen die door enige baseline konden worden opgelost.
Latentie: Hoewel SWEzze iets langzamer is dan de snelste (maar minst effectieve) methoden, is het 4x sneller dan de sterke concurrent LongCodeZip, wat een uitstekend evenwicht biedt tussen snelheid en kwaliteit.

5. Betekenis en Conclusie

Dit paper draait het paradigma van contextcompressie om. In plaats van te proberen de token-aantal te minimaliseren of te focussen op lexische relevantie, focust SWEzze op het behoud van sufficientie (voldoendeheid).

Kerninzicht: Voor repository-level issue-resolutie is het cruciaal om de kleine subset van context te behouden die functioneel noodzakelijk is voor een correcte patch ("fix ingredients"), zelfs als dit betekent dat de compressie minder agressief is dan bij andere methoden.
Impact: De resultaten tonen aan dat slimme compressie niet alleen kosten bespaart, maar ook de prestaties van LLM's verbetert door de aandacht te richten op de juiste informatie en afleidende ruis te elimineren. Dit maakt het mogelijk om LLM's efficiënter in te zetten voor complexe software-onderhoudstaken in grote codebases.