Technische Samenvatting: Context-Pruning voor Codeeragenten via Latente Redenering met Meerdere Rubrieken

Probleemstelling

LLM-aangedreven codeeragenten (bijv. SWE-agent, OpenHands) staan voor een kritieke "contextmuur". Hoewel state-of-the-art frameworks complexe taken op repository-niveau automatiseren, besteden agenten ongeveer 67–76% van hun tokenbudget uitsluitend aan het lezen van bestanden. Deze contextopblazing leidt tot onaanvaardbare API-kosten en activeert "attentieverdunning" en het "lost-in-the-middle"-fenomeen, waarbij irrelevante code-segmenten de redeneernauwkeurigheid verminderen.

Bestaande geleerde pruning-methoden, zoals SWE-Pruner, formuleren contextreductie als een gestructureerde taak voor sequentielabeling met een single-objective Conditional Random Field (CRF). Deze formulering creëert echter een modelleringstekortkoming: het probeert alle facetten van code-relevantie (bijv. aaneengesloten semantische spannen en verspreide structurele ondersteuningsregels zoals imports of control-flow-paren) te modelleren met één enkele transitiematrix. Bijgevolg vertoont het model een bias naar dichte semantische blokken en verwijdert het vaak structureel noodzakelijke regels (bijv. imports, kopteksten van klassen, try/except-blokken) die een lage semantische score hebben maar essentieel zijn voor syntactische geldigheid en agentredenering. Dit leidt tot gebroken syntaxis, herhaalde agentpogingen en uiteindelijk een hoger tokenverbruik dan onbewerkte baselines.

Methodologie: LaMR (Latent Multi-Rubric)

De auteurs stellen LaMR voor, een gestructureerd pruning-framework dat code-relevantie decomposeert in interpreteerbare kwaliteitsdimensies, gemodelleerd door specifieke CRF-koppen en gefuseerd via een query-adaptief gating-netwerk.

1. Latente Multi-Rubric Formulering

In plaats van één enkele relevantiescore, decomposeert LaMR redenen voor behoud in $K$ latente rubrieken. In de praktijk gebruiken de auteurs twee dimensies:

• Semantisch Bewijs: Regels die direct relevant zijn voor de query (topische relevantie).
• Afhankelijkheidssteun: Regels die structureel noodzakelijk zijn om het bewijs te interpreteren (imports, scope-kopteksten, control-flow-zussen zoals try/except).

Elke dimensie $k$ wordt gemodelleerd door een specifieke CRF-kop met zijn eigen leerbare transitiematrix $T^{(k)}$. Dit stelt het model in staat om onderscheidende sequentiële dynamieken te leren: semantische relevantie geeft de voorkeur aan lange aaneengesloten blokken (hoge zelf-overgang), terwijl afhankelijkheidssteun frequente afwisseling tolereert (verspreide regels en gepaarde structuren).

2. Query-Adaptief Gating

Een lichtgewicht Mixture-of-Experts (MoE) gating-netwerk weegt de emissies per rubric dynamisch op basis van de query van de agent. Voor elke token $t$ genereert de gate gewichten $g_t \in \Delta^{K-1}$, en de gefuseerde emissie wordt berekend als:
$$e^{fused}_t = \sum_{k=1}^K g_{t,k} E_{t,k}$$
Dit stelt het model in staat om de focus te verschuiven tussen semantische en structurele signalen, afhankelijk van de specifieke taakintentie.

3. Rubric-Gestuurde Labeling (AST-gebaseerde Denoising)

Om deze dimensies te superviseren zonder extra menselijke annotatie, introduceren de auteurs Rubric-Gestuurde Labeling. Met behulp van de bestaande binaire behoud/verwijder-masks van de teacher-LLM (trainingscorpus van SWE-Pruner) en statische programmaanalyse (AST), leiden ze fijnmazige rubric-labels af:

• Semantische Labels: Mappen direct de documentniveau-relevantiescore van de teacher toe op behouden regels.
• Afhankelijkheidslabels: Propageren scores van behouden regels naar hun structurele afhankelijkheden (imports, definities, omvattende kopteksten en control-flow-zussen) via AST-randen.
  Dit proces "denoist" effectief de labels van de teacher en herstelt structureel noodzakelijke regels die de teacher mogelijk heeft verwijderd op basis van lage semantische scores.

4. Architectuur en Inference

• Backbone: Een 0,6B-parameter reranker (Qwen3-Reranker) met multi-layer feature fusion (concatenatie van verborgen staten uit vroege, middelste en laatste lagen).
• Training: Het model wordt getraind met een gewogen som van de hoofd-CRF-loss (op gefuseerde emissies) en rubric-specifieke CRF-lossen.
• Inference: LaMR fungeert als een lichtgewicht middleware. Het verwerkt code-chunks, voert Viterbi-decodering uit op de gefuseerde emissies om binaire behoud/verwijder-beslissingen te genereren, en past een laatste AST-bewuste nabewerkingspass toe. Deze pass repareert de gepreinde code door ontbrekende scope-kopteksten, imports en control-flow-companions opnieuw in te voegen om syntactische geldigheid te waarborgen.

Belangrijkste Bijdragen

1. Latente Multi-Rubric Formulering: Identificeert en lost het transitieconflict op in single-objective pruning door code-relevantie te modelleren via aparte CRF-koppen voor semantische en afhankelijkheidsdimensies.
2. Query-Adaptief Gating: Introduceert een MoE gating-netwerk om semantische en structurele signalen dynamisch in evenwicht te brengen op basis van de query van de agent.
3. AST-gebaseerde Label Denoising: Ontwikkelt een zero-cost-pijplijn om multidimensionale labels uit binaire masks te extraheren, waardoor ontbrekende structurele tokens in teacher-data worden gecorrigeerd zonder extra annotatie.
4. Superieure Efficiëntie-Prestatie Trade-off: Toont aan dat het behoud van zelfstandige bewijs-steuneenheden (taakrelevante regels + structurele context) toelaat dat de gepreinde context de full-context baselines benadert of overtreft, terwijl het tokenverbruik aanzienlijk wordt gereduceerd.

Experimentele Resultaten

De auteurs hebben LaMR geëvalueerd op vier benchmarks (SWE-Bench Verified, SWE-QA, LCC, LongCodeQA) met twee backbone-modellen (Claude Sonnet 4.5 en Opus 4.6).

• Multi-Turn Taken (SWE-Bench, SWE-QA):

  • LaMR wint 12 van de 16 head-to-head-vergelijkingen tegen de single-objective SWE-Pruner.
  • Het bespaart tot 31% meer tokens op multi-turn taken in vergelijking met onbewerkte baselines.
  • Cruciaal: terwijl SWE-Pruner soms het tokenverbruik verhoogt met sterkere modellen (door structurele fouten die retries veroorzaken), reduceert of beperkt LaMR consistent de overhead.
  • Prestatieverliezen zijn marginaal (bijv. ≤0,6 procentpunten op successrate), terwijl efficiëntiewinsten substantieel zijn.

• Single-Turn Taken (LCC, LongCodeQA):

  • LaMR verbetert taakkwaliteitsmetrieken (Exact Match, Edit Similarity, Accuracy) over alle compressieconstraints (4× en 8×).
  • Opmerkelijke winsten omvatten +3,5 Exact Match op LCC bij 8× compressie en +1,80 Accuracy op LongCodeQA bij 4×.
  • Token-niveau baselines (LLMLingua-2, Selective-Context) degraderen scherp bij hoge compressie, terwijl LaMR stabiliteit behoudt door lijnniveau-granulariteit en structurele behoud.

• Ablatiestudies:

  • Het verwijderen van de afhankelijkheidsrubric of de AST-bewuste reparatie degradeert de prestaties aanzienlijk, wat bevestigt dat structurele steun onderscheiden van en complementair is aan semantische relevantie.
  • Grove retrieval (bijv. LongCodeZip) gecombineerd met de fijnmazige pruning van LaMR levert de beste resultaten op, terwijl het stapelen van meerdere lijncompressoren de prestaties schaadt.

Betekenis en Claims

Het paper claimt dat LaMR een verschuiving vertegenwoordigt van "tokens verwijderen" naar "zelfstandige bewijs-steuneenheden behouden". Door semantisch bewijs expliciet te scheiden van afhankelijkheidssteun, adresseert het framework de inherente spanning in code-relevantie: een regel kan semantisch irrelevant maar structureel kritiek zijn.

De auteurs stellen dat LaMR een strikt betere trade-off biedt tussen contextcompressie en downstream taakkwaliteit dan eerdere methoden. Het stelt codeeragenten in staat efficiënter te opereren zonder de structurele integriteit te offeren die nodig is voor complexe redenering, waardoor afleidende ruis effectief wordt gefilterd terwijl het "signaal" behouden blijft dat noodzakelijk is voor succesvolle taakvoltooiing. Het werk suggereert dat toekomstig contextbeheer voor agenten verder moet gaan dan single-scalar relevantiescores naar gestructureerde, multidimensionale redenering over code-afhankelijkheden.