Technische Samenvatting: Vermindering van Tokengebruik bij State-in-Context Agents door middel van Minificatie

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet als redeneermotoren voor software engineering (SE) agents, met name voor taken op repository-niveau zoals die in de SWE-bench benchmark. In deze workflows moeten agents repositories ophalen en redeneren over grote codebases, wat leidt tot snel groeiende contextgroottes en hoog tokenverbruik. Omdat tokengebruik direct correleert met operationele kosten en kan leiden tot prestatievermindering door contextbeperkingen, is het effectief verminderen van de contextgrootte terwijl relevante informatie behouden blijft, cruciaal.

Recent werk door Jiang et al. introduceerde "state-in-context" agents, die de architectuur vereenvoudigen door een gecomprimeerde versie van de volledige omgevingsstatus in een enkele prompt te voeren, in plaats van de status stapsgewijs te reconstrueren via tool calls. Echter, analyse van deze agents laat zien dat het overgrote deel van het tokenverbruik plaatsvindt tijdens de reparatiestap, waarbij broncode de prompt domineert. Specifiek wordt meer dan 90% van de tokens in de reparatieprompt verbruikt door broncode, terwijl natuurlijke taalinstructies en file ranking minder dan 10% accounten. Dit artikel behandelt de uitdaging om dit tokenverbruik te verminderen zonder excessieve prestatieverliezen te veroorzaken.

Methodologie

Replicatie en Baseline

De auteurs voerden eerst een onafhankelijke replicatie en uitbreiding uit van de DirectSolve state-in-context agent. Omdat er geen publiek artefact beschikbaar was, implementeerden zij een clean-room versie gebaseerd op de originele specificaties. De workflow omvat drie stappen:

1. Ranking: Een LLM rangschikt repository-bestanden op basis van relevantie voor een probleembeschrijving, gebruikmakend van enkel bestandspaden.
2. Aggregatie: Top-gerangschikte bestanden worden geaggregeerd in een context tot een vooraf gedefinieerd tokenbudget (beperkt tot 100.000 tokens in deze studie om een eerlijke vergelijking tussen modellen te garanderen).
3. Reparatie: Een LLM genereert een patch in een SEARCH/REPLACE formaat op basis van de geaggregeerde context.

De auteurs evalueerden deze baseline op de SWE-bench Verified benchmark met GPT-5-mini, waarbij zij een 50.0% pass@1 rate bereikten, consistent met de oorspronkelijke rapportage van 50.8% met Gemini-2.5-Pro.

Minificatie Strategie

Om het tokengebruik te verminderen, pasten de auteurs een reeks broncode-minificatietechnieken toe op de bronbestanden voordat deze aan de LLM werden doorgegeven voor reparatie. Deze transformaties zijn ontworpen om niet-essentiële lexicale elementen te verwijderen of te verkorten, terwijl de programmasemantiek behouden blijft. De specifieizeke technieken omvatten:

• Verwijdering van Witruimte bij Lijnen/Operatoren: Het elimineren van lege regels en het verwijderen van witruimte rond operatoren (bijv. a + b wordt a+b).
• Verwijdering van Commentaar/Docstrings: Het strippen van commentaren en docstrings, die genegeerd worden tijdens runtime.
• Dedentatie: Het verminderen van inspringingsniveaus (bijv. van 4 spaties naar 2) terwijl de consistentie binnen blokken behouden blijft. Om te voorkomen dat de LLM ongeldige patches genereert door inspringingsverschillen, instrueert het systeem het model om SEARCH/REPLACE blokken te produceren met een vaste 4-spatie inspringingsstijl, ongeacht het inputformaat.
• Verkorting van Identificatoren: Het vervangen van variabele-, functie- en klassenamen door kortere aliassen. Dit werd getest in twee modi:
  • Niet-semantisch conserverend: Directe vervanging zonder context.
  • Semantisch conserverend: Het hernoemen van identificatoren en het toevoegen van een mappingtabel aan de prompt, zodat de LLM de originele namen kan reconstrueren.
• Import Manipulatie: Het samenvoegen van alle imports in één synthetisch bestand of het volledig verwijderen ervan.

Deze transformaties werden geïntegreerd in de reparatiepipeline. Na de patch-generatie werden de identifier-mappings omgekeerd en werd een procedure gebruikt die tolerant is voor verschillen in witruimte en commentaar om de patches toe te passen op de originele repository.

Belangrijkste Bijdragen

1. Onafhankelijke Replicatie: Een clean-room re-implementatie van de DirectSolve state-in-context agent, die aantoont dat een single-call, tool-vrije agent een concurrerende prestatie (50% pass@1) kan bereiken op SWE-bench Verified wanneer deze gekoppen wordt aan een capabel model (GPT-5-mini).
2. Token Allocatie Analyse: Een empirische analyse die onthult dat broncode in de reparatieprompt de dominante factor is in het tokenverbruik, waarbij het natuurlijke taalinstructies en ranking prompts overschaduwt.
3. Minificatie Framework: Het voorstel en de integratie van een reeks lichtgewicht, semantisch conserverende broncode-minificatietransformaties die specifiek zijn afgestemd op Python broncode binnen de state-in-context reparatieworkflow.
4. Empirische Evaluatie: Een systematische evaluatie op SWE-bench Verified die aantoont dat minificatie het gemiddelde input-tokengebruik met ongeveer 42% vermindert met een daling van 12 procentpunt in de resolutie-rate (van 50.0% naar 38.0%).
5. Ablatie en Foutanalyse: Gedetailleerde studies die individuele transformaties en gestapelde combinaties isoleren, waarbij hun specifieke trade-offs worden gekwantificeerd. De auteurs identificeerden dat hoewel de meeste transformaties bescheiden prestatieverliezen opleveren, de "dedent" transformatie een significante daling in de resolutie-rate veroorzaakt door de generatie van syntactisch ongeldige patches (inspringingsfouten).

Resultaten

• Efficiëntie vs. Effectiviteit: De primaire bevinding is een duidelijke trade-off. Minificatie vermindert het gemiddelde aantal input-tokens van ~90.535 naar ~52.776 (een reductie van 42%). Dit resulteert in een absolute daling van 12% in de resolutie-rate.
• Kostenimplicaties: Aangezien input-tokens verantwoordelijk zijn voor ongeveer 93% van de kosten van de reparatiefase, vertaalt de reductie in tokens zich direct in aanzienlijke kostenbesparingen.
• Transformatie Specificaties:
  • Het verwijderen van docstrings en commentaren leverde de grootste tokenreducties op met relatief kleine prestatiepenaliteiten (resolutie-rates bleven boven de 40%).
  • De "dedent" transformatie was de primaire outlier, wat leidde tot een daling van de resolutie-rate naar 27-36% afhankelijk van het model en de stapelconfiguratie. De foutanalyse gaf aan dat dit kwam door het falen van de LLM om de vereiste 4-spatie inspringing in de output te herstellen, wat leidde tot IndentationError in de gegenereerde code.
  • Het stapelen van meerdere transformaties (exclusief dedent) verminderde consequent de kosten terwijl de prestaties dicht bij de baseline bleven.
• Generaliseerbaarheid: De trends bleken stabiel over verschillende repositories en mate van moeilijkheidsgraad van issues, wat suggereert dat de aanpak goed generaliseert onder verschillende omstandigheden.

Betekenis

Het artikel beweert dat lichtgewicht broncode-transformaties een veelbelovend pad bieden naar meer kosteneffectieve software engineering agents. Door aan te tonen dat een substantieel deel van de baseline-prestaties behouden kan blijven terwijl bijna 50% aan tokens wordt bespaard, suggereert het werk dat agressieve contextcompressie levensvatbaar is voor taken op repository-niveau. De auteurs benadrukken dat hun bevindingen een expliciete trade-off tussen efficiëntie en effectiviteit belichten, wat een datagestuurd fundament biedt voor het selecteren van transformatiestrategieën op basis van specifieke kosten- en prestatie-eisen. De volledige implementatie is publiekelijk beschikbaar gemaakt om verder onderzoek op dit gebied te ondersteunen.