Technische Samenvatting: SWE-Pruner Pro

Probleemstelling

Codingsagenten die opereren in multi-turn omgevingen accumuleren uitgebreide tool-outputs (bijv. cat, grep, ls, python executielogs) tijdens hun interactie met codebases. Deze outputs bevatten vaak aanzienlijke redundantie, wat het per-trajectie tokenbudget verbruikt en degradatie van de lange context triggert. Bestaande oplossingen voor context-pruning vallen uiteen in twee categorieën:

1. Algemene compressie: Methoden zoals LLMLingua2 of Selective Context scoren tokens op basis van vaste metrieken (bijv. perplexiteit, syntactische structuur). Deze slagen er niet in om zich aan te passen aan de evoluerende taakfocus van de agent.
2. Taakspecifieke pruning: Voorgaand werk zoals SWE-Pruner conditioneert pruning op de intentie van de agent, maar vereist een extern scoremodel en een expliciete "goal-hint" query die de agent elke beurt moet genereren. Dit introduceert extra overhead en latentie.

Beide benaderingen behandelen het pruning-signaal als een externe grootheid die gereconstrueerd moet worden, waarbij ze negeren dat het backbone-model van de agent de tool-output al heeft verwerkt en waarschijnlijk relevantie-informatie heeft gecodeerd binnen zijn interne representaties.

Methodologie: SWE-Pruner Pro

SWE-Pruner Pro stelt voor om het pruning-signaal direct te lezen uit de interne verborgen toestanden (hidden states) van de backbone van de agent, waardoor de noodzaak voor externe scoringmodellen of expliciete "goal-hint" queries wordt geëlimineerd. De methode opereert direct binnen de inference-loop van de agent.

Kernmechanisme

1. Gebruik van Interne Representatie: Wanneer de agent een tool-respons ($r_t$) leest, voert de bevroren backbone een standaard prefill uit, waarbij de laatste-laag verborgen toestanden ($h_i$) voor elk token worden gegenereerd. SWE-Pruner Pro koppelt een lichtgewicht pruning-kop aan deze bestaande toestanden.
2. Architectuur van de Pruning-kop:
   • Lengte-bewuste Embedding: Een geleerde embedding $e(N)$, geconditioneerd op het totale aantal regels $N$ van de respons, wordt broadcast-toegevoegd aan elke verborgen toestand. Dit stelt het model in staat om zijn pruning-strategie aan te passen op basis van de lengte van de respons (bijv. conservatiever zijn bij korte outputs waar elke regel cruciaal is).
   • Niet-lineaire Classificator: Een klein feed-forward netwerk (LayerNorm + twee Linear-GELU-Dropout blokken) brengt de uitgebreide verborgen toestanden in kaart naar een keep-of-prune logit. Deze niet-lineariteit is noodzakelijk om de overlap in de representatieruimte op te lossen die werd waargenomen in linear probing experimenten.
   • Beslissingsaggregatie: Token-level logits worden geaggregeerd via een meerderheidsstemming binnen elke regel om een binaire keep/prune beslissing voor de gehele regel te produceren.
3. Trainingsstrategie:
   • Data: De kop is getraind op 22.609 multi-turn trajecten, geannoteerd door Claude Sonnet 4.6 met per-regel keep/prune labels.
   • Loss Functie: De auteurs gebruiken een per-sample gebalanceerde focal loss. In tegen tegenstelling tot standaard focal loss die globaal balanceert, berekent deze aanpak de loss afzonderlijk voor "keep" en "prune" tokens binnen elk sample en middelt deze met gelijke weging. Dit zorgt ervoor dat samples met extreme keep-rates (bijv. slechts 3% van de regels behouden) even zwaar bijdragen aan het doel, wat voorkomt dat het model overfit op de gemiddelde keep-rate (~30%).
4. Inference Integratie: De kop draait "in-server" tijdens de prefill-fase. Het hergebruikt de verborgen toestanden die zijn gegenereerd voor de tool-respons, waarbij slechts één enkele forward pass van de kleine kop wordt toegevoegd. De geprunede respons ($\tilde{r}_t$) vervangt de ruwe respons in de context voor de volgende beurt, terwijl de huidige beurt nog steeds de volledige ruwe respons betrekt bij de aandacht (attention).

Belangrijkste Bijdragen

1. Signaalontdekking: Het paper demonstreert dat de interne representaties van een agent-backbone al regel-niveau belangrijkheid van tool-outputs coderen. Een eenvoudige lineaire probe bereikt een AUC van 0s.83, wat bewijst dat het "keep-of-prune" signaal aanwezig is zonder externe reconstructie.
2. Architectuur: Introductie van SWE-Pruner Pro, een lichtgewicht kop die gebruikmaakt van een lengte-bewuste embedding en een per-sample gebalanceerde focal loss om precieze pruning-beslissingen te nemen direct vanuit de bevroren toestanden van de backbone.
3. Efficiëntie: De methode vermijdt extra model-aanroepen en expliciete "goal-hint" queries, wat een beperkte inference-overhead toevoegt terwijl er significante reductie in tokens wordt bereikt.

Experimentele Resultaten

De methode werd geëvalueerd op twee open-weight backbones (MiMo-V2-Flash en Qwen3-Coder-Next) over vier multi-turn benchmarks: SWE-Bench Verified, SWE-QA, SWE-QA-Pro en Oolong.

• Token Besparingen: SWE-Pruner Pro is de enige methode onder de zeven geëvalueerde methoden die de end-to-end token-usage in elke setting vermindert.
  • Tot wel 39% reductie op SWE-QA-Pro (Qwen3-Coder-Next).
  • 30% reductie op de long-context Oolong benchmark (MiMo-V2-Flash).
  • In tegenstelling hiertoe verhoogden andere methoden (bijv. LLMLingua2) soms de token-usage met wel 190% op long-context taken door overhead.
• Taakkwaliteit:
  • SWE-QA/Pro: Handhaaft de taakkwaliteit binnen een smalle band van de ongepruneerde baseline (bijv. een scoreverandering van +0.02 op SWE-QA).
  • Oolong: Verbetert de nauwkeurigheid met +2.2 punten op MiMo-V2-Flash.
  • SWE-Bench Verified: Op MiMo-V2-Flash verbetert het de resolve rate met +3.8% terwijl het input-tokens met 7.4% vermindert vergeleken met de ongepruneerde baseline. Op Qwen3-Coder-Next bereikt het de grootste reductie in input-tokens (-13.5%) met de kleinste degradatie in de resolve rate (-1.2%).
• Latentie: De in-server kop voegt ongeveer 15.0% geaggregeerde wall time toe aan de totale generatietijd, een kostenpost die wordt gecompenseerd door de verminderde contextgrootte voor volgende beurten.

Betekenis en Claims

Het paper claimt dat de "relevantie-beoordeling" die vereist is voor context-pruning geen extern signaal is dat via aanvullende queries of modellen moet worden opgeroepen, maar al aanwezig is in de representaties die de backbone vormt terwijl deze passief een observatie leest.

• Paradigmaverschuiving: In plaats van pruning rondom de agent te bouwen (wat externe modellen of expliciete queries vereist), leest SWE-Pruner Pro simpelweg het signaal dat de agent al heeft gevormd.
• Praktische Impact: Deze aanpak lost de kwaliteit-compressie trade-off op die in voorgaand werk werd waargenomen, waardoor agressieve pruning (tot 39% token besparing) mogelijk is zonder de prestaties van de taak te verslechteren, en in sommige gevallen zelfs de prestaties te verbeteren door long-context degradatie te mitigeren.
• Generaliseerbaarheid: Hoewel geëvalueerd op Python-centrische coderingstaken, is de pipeline taal-agnostisch en heeft het aangetoond de token-besparingen en kwaliteit te behouden op natuurlijke taal long-context taken (Oolong), wat suggereert dat het paradigma over domeinen heen wordt getransfereerd.

De auteurs concluderen dat voor codingsagenten de meest efficiënte weg naar contextbeheer het benutten van de interne toestand van de backbone zelf is, om zo de latentie en complexiteit van externe scoringmechanismen te vermijden.