🤖 AI

Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning

Das Papier stellt LaMR vor, ein strukturiertes Framework zum Beschneiden von Kontexten, das die Relevanz von Code in semantische und Abhängigkeitsdimensionen zerlegt, indem es latentes Schlussfolgern mit mehreren Kriterien und AST-basierte Überwachung nutzt, um den Tokenverbrauch erheblich zu reduzieren, während die Leistung von Coding-Agenten erhalten bleibt oder verbessert wird.

Ursprüngliche Autoren: Jingjing Wang, Xiwen Chen, Wenhui Zhu, Huayu Li, Zhengxiao He, Feiyang Cai, Ana S. Carreon-Rascon, Xuanzhao Dong, Feng Luo

Veröffentlicht 2026-05-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jingjing Wang, Xiwen Chen, Wenhui Zhu, Huayu Li, Zhengxiao He, Feiyang Cai, Ana S. Carreon-Rascon, Xuanzhao Dong, Feng Luo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein brillanter Detektiv (der KI-Coding-Agent), der versucht, einen komplexen Fall zu lösen (einen Fehler in einem Softwareprojekt zu beheben). Um den Fall zu lösen, müssen Sie Tausende von Seiten Polizeiberichte, Zeugenaussagen und Beweisdossiers durchlesen (das Code-Repository).

Das Problem: Die Falle „Zu viel Papier"
Derzeit verbringen diese KI-Detektive die meiste Zeit und Energie damit, die Dateien einfach nur zu lesen. Sie werden von der schieren Textmenge überwältigt.

Das Problem: Sie lesen alles, einschließlich irrelevanter Seiten wie alten Kaffeeflecken auf einem Bericht oder der Mittagsbestellung eines Zeugen. Das verschwendet ihre „Gehirnkraft" (Token-Budget) und erschwert es, die entscheidenden Hinweise zu finden.
Die alte Lösung: Frühere Werkzeuge versuchten, die Leseliste zu kürzen, indem sie einfach alles entfernten, was nicht unmittelbar wichtig erschien. Doch sie waren zu plump. Sie würden eine Seite löschen, nur weil sie das Hauptverbrechen nicht erwähnte, selbst wenn diese Seite den Schlüssel zum Verständnis des Tatorts enthielt (wie eine Karte oder eine Liste der Verdächtigen). Dies ließ den Detektiv mit einem zerbrochenen Puzzle zurück und zwang ihn, zurückzugehen und nach den fehlenden Seiten zu fragen, was noch mehr Zeit verschwendete.

Die neue Lösung: LaMR (Der intelligente Bibliothekar)
Die Arbeit stellt LaMR (Latent Multi-Rubric) vor, der wie ein überaus kluger, spezialisierter Bibliothekar fungiert, der dem Detektiv hilft, die Dateien bevor sie mit dem Lesen beginnen, zu organisieren.

Anstatt eine einzige Regel zu verwenden, um zu entscheiden, was behalten werden soll, nutzt LaMR zwei verschiedene Brillen, um jede Codezeile zu betrachten:

Die „Semantische" Brille (Was sagt es?):
- Diese sucht nach Zeilen, die die Frage des Detektivs direkt beantworten.
- Analogie: Wenn der Detektiv fragt: „Wer hat den Keks gestohlen?", hebt diese Brille den Satz hervor: „John hat den Keks genommen."
- Altes Problem: Wenn eine Zeile nur „John" (eine Definition) oder „import John" (eine Einrichtung) sagte, hätten die alten Werkzeuge sie möglicherweise gelöscht, weil sie nicht explizit „gestohlen" sagt.
Die „Abhängigkeits"-Brille (Was wird benötigt, um Sinn zu ergeben?):
- Diese sucht nach dem strukturellen Klebstoff, der die Geschichte zusammenhält.
- Analogie: Selbst wenn der Satz „John hat den Keks genommen" der Hauptbeweis ist, benötigen Sie auch die Seite, die besagt: „John ist ein Verdächtiger", oder die Karte, die zeigt, wo John wohnt. Ohne diese ergibt der Hinweis keinen Sinn.
- Die Innovation: LaMR erkennt, dass einige Zeilen nur wichtig sind, weil sie andere Zeilen unterstützen. Es behält diese „unterstützenden" Zeilen, auch wenn sie für sich genommen nicht besonders spannend erscheinen.

Wie es funktioniert: Der Zwei-Schritte-Prozess

Die Zwei-Team-Überprüfung:
LaMR stellt nicht nur eine Frage. Es führt zwei separate Prüfungen gleichzeitig durch. Ein Team prüft auf „direkte Beweise", das andere Team auf „strukturelle Unterstützung".
- Metapher: Stellen Sie sich einen Filmeditor vor. Ein Editor schneidet langweilige Szenen heraus (Semantik), während ein anderer Editor sicherstellt, dass der Film weiterhin logisch fließt und keine Sprungschnitte hat (Abhängigkeit).
Der „abfrageadaptive" Türsteher:
Je nachdem, was der Detektiv fragt, entscheidet LaMR, wie viel Gewicht jedem Team beigemessen wird.
- Wenn der Detektiv fragt: „Was ist die Logik für die Anmeldung?", verlässt sich LaMR stark auf das semantische Team.
- Wenn der Detektiv fragt: „Warum stürzt die App ab?", verlässt sich LaMR auf das Abhängigkeits-Team, um sicherzustellen, dass der gesamte notwendige Setup-Code (Imports, Fehlerhandler) erhalten bleibt, damit der Absturz Sinn ergibt.
Das „Aufräum"-Team (AST-Reparatur):
Manchmal wird selbst mit zwei Teams eine Zeile versehentlich geschnitten. LaMR hat ein letztes Sicherheitsnetz. Es verwendet einen „Bauplan" des Codes (einen AST), um zu prüfen: „Hey, wir haben die 'If'-Anweisung gelöscht, aber den 'Else'-Teil behalten. Das ist kaputt!" Es fügt die fehlenden strukturellen Teile automatisch wieder ein und stellt sicher, dass der Code gültig bleibt.

Die Ergebnisse: Schneller, intelligenter, günstiger
Die Arbeit testete dieses System an realen Coding-Aufgaben (wie das Beheben von Fehlern in großen Softwareprojekten).

Weniger Lesen: LaMR half der KI, 30 % weniger Seiten (Tokens) zu lesen, während sie dieselben Probleme löste.
Bessere Ergebnisse: Da die KI nicht durch irrelevante Geräusche abgelenkt wurde und den strukturellen „Klebstoff" nicht verlor, löste sie Probleme tatsächlich besser oder zumindest genauso gut wie beim Lesen von allem.
Kein „Zurückverfolgen" mehr: Die alten Werkzeuge löschten oft eine notwendige Zeile, was die KI dazu zwang, zu erkennen, dass sie feststeckte, und die Datei erneut anzufordern. LaMR verhindert dies und spart Zeit und Geld.

Zusammenfassung
LaMR ist wie ein intelligenter Assistent, der nicht einfach nur „langweilige" Papiere wegwirft. Stattdessen versteht er, dass eine langweilig aussehende Seite der Schlüssel zum Verständnis der spannenden Seite nebenan sein könnte. Indem es trennt, „was gesagt wird" von „was benötigt wird, um Sinn zu ergeben", gibt es dem KI-Detektiv eine schlanke, saubere und perfekt organisierte Akte, die es ihm ermöglicht, Verbrechen schneller und mit weniger Aufwand zu lösen.

Technische Zusammenfassung: Kontextbeschneidung für Coding-Agenten mittels Latenter Multi-Rubrik-Reasoning

Problemstellung

LLM-gestützte Coding-Agenten (z. B. SWE-agent, OpenHands) stoßen auf eine kritische „Kontextgrenze". Während state-of-the-art-Frameworks komplexe repositoryweite Aufgaben automatisieren, verbringen Agenten etwa 67–76 % ihres Token-Budgets lediglich mit dem Lesen von Dateien. Diese Kontextaufblähung verursacht prohibitiv hohe API-Kosten und löst „Aufmerksamkeitsverdünnung" sowie das „Lost-in-the-Middle"-Phänomen aus, bei dem irrelevante Code-Segmente die Präzision des Reasonings beeinträchtigen.

Bestehende gelernte Beschneidungsmethoden, wie SWE-Pruner, fassen Kontextreduktion als strukturierte Sequenz-Labeling-Aufgabe unter Verwendung eines Conditional Random Field (CRF) mit einem einzigen Zielkriterium auf. Diese Formulierung erzeugt jedoch einen Modellierungs-Engpass: Sie versucht, alle Facetten der Code-Relevanz (z. B. zusammenhängende semantische Spannen und sparse strukturelle Unterstützungszeilen wie Imports oder Control-Flow-Paare) mit einer einzigen Übergangsmatrix zu modellieren. Folglich neigt das Modell zu dichten semantischen Blöcken und verwirft häufig strukturell notwendige Zeilen (z. B. Imports, Klassenköpfe, try/except-Blöcke), die zwar niedrige semantische Scores aufweisen, aber für die syntaktische Validität und das Reasoning des Agenten unerlässlich sind. Dies führt zu kaputter Syntax, wiederholten Agenten-Neuversuchen und letztlich zu einem höheren Token-Verbrauch als bei unbeschnittenen Baselines.

Methodik: LaMR (Latent Multi-Rubric)

Die Autoren schlagen LaMR vor, ein strukturiertes Beschneidungsframework, das Code-Relevanz in interpretierbare Qualitätsdimensionen zerlegt, die durch dedizierte CRF-Köpfe modelliert und über ein query-adaptives Gating-Netzwerk fusioniert werden.

1. Latente Multi-Rubrik-Formulierung

Anstelle eines einzigen Relevanz-Scores zerlegt LaMR die Gründe für die Beibehaltung in $K$ latente Rubriken. In der Praxis verwenden die Autoren zwei Dimensionen:

Semantische Evidenz: Zeilen, die direkt für die Query relevant sind (topische Relevanz).
Abhängigkeitsunterstützung: Zeilen, die strukturell notwendig sind, um die Evidenz zu interpretieren (Imports, Scope-Köpfe, Control-Flow-Geschwister wie try/except).

Jede Dimension $k$ wird durch einen dedizierten CRF-Kopf mit einer eigenen lernbaren Übergangsmatrix $T^{(k)}$ modelliert. Dies ermöglicht dem Modell, unterschiedliche sequenzielle Dynamiken zu erlernen: Semantische Relevanz bevorzugt lange zusammenhängende Blöcke (hohe Selbst-Übergänge), während Abhängigkeitsunterstützung häufige Wechsel toleriert (verstreute Zeilen und gepaarte Strukturen).

2. Query-Adaptives Gating

Ein leichtgewichtiges Mixture-of-Experts (MoE)-Gating-Netzwerk gewichtet die pro-Rubrik-Emissionen dynamisch basierend auf der Query des Agenten. Für jedes Token $t$ erzeugt das Gate Gewichte $g_t \in \Delta^{K-1}$ , und die fusionierte Emission wird berechnet als:
$e^{fused}_t = \sum_{k=1}^K g_{t,k} E_{t,k}$
Dies ermöglicht dem Modell, den Fokus je nach spezifischer Aufgabenabsicht zwischen semantischen und strukturellen Signalen zu verschieben.

3. Rubrik-gesteuertes Labeling (AST-basiertes Denoising)

Um diese Dimensionen ohne zusätzliche menschliche Annotation zu überwachen, führen die Autoren Rubrik-gesteuertes Labeling ein. Unter Verwendung der bestehenden binären Keep/Prune-Masken des Teacher-LLM (Trainingskorpus von SWE-Pruner) und statischer Programmanalyse (AST) leiten sie fein granulierte Rubrik-Labels ab:

Semantische Labels: Mapping des Dokumenten-Relevanz-Scores des Teachers direkt auf beibehaltene Zeilen.
Abhängigkeits-Labels: Weiterleitung von Scores beibehaltener Zeilen zu ihren strukturellen Abhängigkeiten (Imports, Definitionen, umschließende Köpfe und Control-Flow-Geschwister) über AST-Kanten.
Dieser Prozess „denoist" effektiv die Labels des Teachers und stellt strukturell notwendige Zeilen wieder her, die der Teacher aufgrund niedriger semantischer Scores möglicherweise beschnitten hätte.

4. Architektur und Inferenz

Backbone: Ein 0,6B-Parameter-Reranker (Qwen3-Reranker) mit Multi-Layer-Feature-Fusion (Verkettung von Hidden States aus frühen, mittleren und finalen Schichten).
Training: Das Modell wird mit einer gewichteten Summe des Haupt-CRF-Verlusts (auf fusionierten Emissionen) und rubrik-spezifischer CRF-Verluste trainiert.
Inferenz: LaMR fungiert als leichtgewichtiges Middleware. Es verarbeitet Code-Chunks, führt Viterbi-Decoding auf den fusionierten Emissionen durch, um binäre Keep/Prune-Entscheidungen zu generieren, und wendet einen finalen AST-bewussten Nachbearbeitungsschritt an. Dieser Schritt repariert den beschnittenen Code durch Wiedereinfügen fehlender Scope-Köpfe, Imports und Control-Flow-Begleiter, um die syntaktische Validität sicherzustellen.

Hauptbeiträge

Latente Multi-Rubrik-Formulierung: Identifiziert und löst den Übergangskonflikt bei einzieliger Beschneidung durch Modellierung der Code-Relevanz über separate CRF-Köpfe für semantische und Abhängigkeitsdimensionen.
Query-Adaptives Gating: Einführung eines MoE-Gating-Netzwerks zum dynamischen Ausgleich semantischer und struktureller Signale basierend auf der Query des Agenten.
AST-basiertes Label-Denoising: Entwicklung einer kostenfreien Pipeline zur Extraktion multidimensionaler Labels aus binären Masken, wodurch fehlende strukturelle Tokens in Teacher-Daten ohne zusätzliche Annotation korrigiert werden.
Überlegener Effizienz-Leistungs-Tradeoff: Zeigt, dass die Bewahrung selbstständiger Evidenz-Unterstützungseinheiten (aufgabenrelevante Zeilen + struktureller Kontext) es dem beschnittenen Kontext ermöglicht, vollkontextuelle Baselines zu erreichen oder zu übertreffen, während der Token-Verbrauch erheblich reduziert wird.

Experimentelle Ergebnisse

Die Autoren evaluierten LaMR auf vier Benchmarks (SWE-Bench Verified, SWE-QA, LCC, LongCodeQA) unter Verwendung zweier Backbone-Modelle (Claude Sonnet 4.5 und Opus 4.6).

Multi-Turn-Aufgaben (SWE-Bench, SWE-QA):
- LaMR gewinnt 12 von 16 direkten Vergleichen gegen den einzieligen SWE-Pruner.
- Es spart bei Multi-Turn-Aufgaben bis zu 31 % mehr Tokens im Vergleich zu unbeschnittenen Baselines.
- Entscheidend ist, dass SWE-Pruner bei stärkeren Modellen den Token-Verbrauch manchmal erhöht (aufgrund struktureller Fehler, die Neuversuche auslösen), während LaMR den Overhead konsistent reduziert oder begrenzt.
- Leistungsabfälle sind marginal (z. B. ≤0,6 Prozentpunkte bei der Erfolgsrate), während Effizienzgewinne erheblich sind.
Single-Turn-Aufgaben (LCC, LongCodeQA):
- LaMR verbessert die Aufgabenqualitätsmetriken (Exact Match, Edit Similarity, Accuracy) über alle Kompressionsbeschränkungen (4× und 8×) hinweg.
- Bemerkenswerte Gewinne umfassen +3,5 Exact Match auf LCC bei 8× Kompression und +1,80 Accuracy auf LongCodeQA bei 4×.
- Token-level-Baselines (LLMLingua-2, Selective-Context) verschlechtern sich bei hoher Kompression stark, während LaMR durch Zeilen-level-Granularität und strukturelle Erhaltung Stabilität bewahrt.
Ablationsstudien:
- Das Entfernen der Abhängigkeits-Rubrik oder der AST-bewussten Reparatur verschlechtert die Leistung erheblich, was bestätigt, dass strukturelle Unterstützung von semantischer Relevanz unterschiedlich und komplementär ist.
- Grobe Retrieval-Verfahren (z. B. LongCodeZip) in Kombination mit der fein granulareren Beschneidung von LaMR liefern die besten Ergebnisse, während das Stapeln mehrerer Zeilen-Kompressoren die Leistung beeinträchtigt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LaMR einen Wandel von „Löschen von Tokens" hin zu „Bewahren selbstständiger Evidenz-Unterstützungseinheiten" darstellt. Durch die explizite Trennung semantischer Evidenz von Abhängigkeitsunterstützung adressiert das Framework die inhärente Spannung in der Code-Relevanz: Eine Zeile kann semantisch irrelevant, aber strukturell kritisch sein.

Die Autoren behaupten, dass LaMR einen strikt besseren Tradeoff zwischen Kontextkompression und nachgelagerter Aufgabenqualität im Vergleich zu früheren Methoden bietet. Es ermöglicht Coding-Agenten, effizienter zu operieren, ohne die für komplexes Reasoning erforderliche strukturelle Integrität zu opfern, indem es ablenkendes Rauschen effektiv filtert und gleichzeitig das für eine erfolgreiche Aufgabenbewältigung notwendige „Signal" erhält. Die Arbeit legt nahe, dass zukünftiges Kontextmanagement für Agenten über einzelne skalare Relevanz-Scores hinausgehen sollte hin zu strukturiertem, multidimensionalem Reasoning über Code-Abhängigkeiten.