Reducing Cost of LLM Agents with Trajectory Reduction

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een zeer slimme, maar ook erg chatty assistent hebt die voor je werkt. Deze assistent is een LLM-agent (een kunstmatige intelligentie die taken uitvoert, zoals het oplossen van softwareproblemen).

Het probleem is dat deze assistent een heel slechte gewoonte heeft: hij vergeet nooit iets.

Het Probleem: De "Onuitputtelijke" Notitieblok

Stel je voor dat je deze assistent vraagt om een fout in een computerprogramma te vinden.

Hij kijkt naar een map met bestanden. Hij schrijft de volledige inhoud van die map op in zijn notitieblok.
Hij opent een bestand. Hij schrijft de hele tekst erin op.
Hij voert een test uit. Hij schrijft de hele output van die test op, inclusief 70 regels die zeggen "Dit werkt prima", terwijl hij alleen geïnteresseerd is in de ene regel die zegt "Dit werkt niet".

Elke keer als hij een nieuwe stap zet, moet hij alles wat hij eerder heeft opgeschreven opnieuw lezen om te weten wat hij moet doen. Naarmate de taak langer duurt, wordt zijn notitieblok gigantisch.

Het gevolg: Het kost enorm veel tijd en geld om die assistent te laten werken, omdat hij steeds dezelfde oude, nutteloze informatie moet verwerken. Het is alsof je een auto rijdt waarbij je elke seconde de volledige geschiedenis van de wereld moet lezen om te weten hoe je het stuur moet vasthouden.

De auteurs van dit papier noemen dit "traject-waste" (afval in het verloop van de taak).

De Oplossing: AgentDiet (De "Diet" voor je Agent)

De onderzoekers hebben een slimme oplossing bedacht die ze AgentDiet noemen. De naam is een woordspeling: het is een dieet voor je AI-agent, zodat hij niet meer "te zwaar" wordt van alle oude data.

Hoe werkt het?
Stel je voor dat je een tweede, slimmere chef hebt die toekijkt hoe je assistent werkt. Deze chef heet de Reflectie-module.

De Chef kijkt mee: Terwijl je assistent werkt, kijkt deze chef elke paar stappen naar het notitieblok.
**Het "Weggooien":" De chef zegt: "Hé, deze 1000 regels over de test die 'alles goed' was, zijn nu nutteloos. We kunnen ze weggooien en vervangen door: 'Testen gelukt, alles goed.'"
De Chef is goedkoper: Het mooie is dat deze chef een goedkopere, snellere AI is dan de hoofdaassistent. Hij kost minder geld om te betalen, maar hij is slim genoeg om te weten wat belangrijk is en wat niet.
Het resultaat: Het notitieblok van je assistent blijft klein en overzichtelijk. Hij hoeft alleen nog maar de belangrijke dingen te lezen.

Wat leverde dit op?

De onderzoekers hebben dit getest op echte softwaretaken. De resultaten waren verrassend goed:

Minder prullen: Ze haalden ongeveer 40% tot 60% van de nutteloze informatie uit de gesprekken.
Minder geld: Omdat er minder informatie verwerkt hoefde te worden, daalden de kosten met 21% tot 36%.
Geen kwaliteitsverlies: Het belangrijkste: de assistent werd niet dommer. Hij loste nog steeds precies evenveel problemen op als voorheen. Sterker nog, in sommige gevallen werd hij zelfs sneller, omdat hij niet meer verstrikt raakte in een te lang verhaal.

Waarom is dit belangrijk?

Vroeger dachten mensen: "Om een AI slimmer te maken, moet je hem meer informatie geven." Maar dit papier laat zien dat minder informatie (als het alleen de goede informatie is) vaak beter werkt.

Het is alsof je een chef die een recept maakt, niet de hele supermarkt laat zien, maar alleen de ingrediënten die hij op dat moment nodig heeft. De chef werkt dan sneller, goedkoper en maakt minder fouten door afleiding.

Kortom: AgentDiet is een slimme manier om AI-assistenten "op dieet" te zetten, zodat ze goedkoper en sneller werken, zonder dat ze hun intelligentie verliezen.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Large Language Model (LLM) agents worden steeds populairder voor software-engineeringtaken, zoals het oplossen van GitHub-issues. Hoewel deze agents effectief zijn, vormt de efficiëntie een groot probleem. De kosten van LLM-invoertokens nemen exponentieel toe naarmate de "trajecten" (de geschiedenis van interacties tussen de agent en de omgeving) groeien.

In een typische agent-workflow worden alle tool-aanroepen en hun resultaten permanent aan het traject toegevoegd. Dit leidt tot drie soorten verspilling:

Onduidelijke informatie: Informatie die irrelevant is voor de huidige taak (bijv. uitgebreide bestandslijsten of build-logs met veel "make"-output).
Redundante informatie: Informatie die meerdere keren voorkomt (bijv. de oude en nieuwe code in een str_replace_editor-tool-call, waarbij de nieuwe code vaak al in de context staat).
Verlopen informatie: Informatie die relevant was voor een eerdere stap maar nu overbodig is (bijv. het inhoud van bestanden die zijn doorgelopen tijdens een zoekopdracht, maar waarvan het doel al is gevonden).

Deze verspilling zorgt ervoor dat de meeste tokens in de invoer van de LLM "vuil" zijn, wat leidt tot hoge rekenkosten en een afname in prestaties door de beperkingen van het contextvenster. Bestaande oplossingen richten zich vaak op single-turn taken of vereisen aanpassingen aan het model zelf, wat niet mogelijk is bij gesloten (proprietary) modellen.

Methodologie: AgentDiet

De auteurs introduceren AgentDiet, een benadering voor trajectreductie tijdens de inferentie (inference-time) die automatisch onnodige informatie verwijdert zonder de prestaties van de agent te schaden.

Kerncomponenten:

Reflectie-module (Reflection Module):
- Omdat LLM-agenten geneigd zijn om hun oorspronkelijke taak voort te zetten en niet zelfstandig hun eigen traject op te schonen (zelfs niet met expliciete instructies), wordt de reductie uitgevoerd door een externe module.
- Deze module wordt aangeroepen door het buitenste systeem en is onafhankelijk van de hoofd-agent.
Sliding Window Mechanisme:
- Om de overhead te minimaliseren, wordt niet het hele traject opnieuw verwerkt. De module kijkt naar een specifiek stapje in het verleden (stap $s-a$ ) en gebruikt een beperkte context (stappen $s-a-b$ tot $s$ ) om te bepalen wat er kan worden verwijderd.
- Dit voorkomt dat de KV-cache (Key-Value cache) van de hoofd-agent volledig ongeldig wordt gemaakt, wat cruciaal is voor de efficiëntie.
LLM-gebaseerde Reductie:
- De reflectie-module gebruikt een goedkopere en snellere LLM (bijv. GPT-5 mini) dan de hoofd-agent (bijv. Claude 4 Sonnet).
- De goedkopere LLM krijgt een prompt met richtlijnen om de drie soorten verspilling te identificeren en te vervangen door korte samenvattingen (placeholders), terwijl de structuur en belangrijke informatie behouden blijven.
Hyperparameters:
- $\theta$ (drempelwaarde): Alleen stappen die langer zijn dan een bepaald aantal tokens worden gereduceerd om de overhead van het verwerken van korte stappen te vermijden.
- $a$ en $b$ : Bepalen de vertraging en de contextgrootte voor de reflectie-module.

Belangrijkste Bijdragen

Empirisch Bewijs: De auteurs tonen aan dat trajecten van LLM-agenten aanzienlijke hoeveelheden nutteloze informatie bevatten die veilig kunnen worden verwijderd.
AgentDiet: Een open-source, eenvoudig te integreren methode die trajectreductie automatiseert zonder het model zelf te hoeven fine-tunen.
Gedetailleerde Evaluatie: Een uitgebreide analyse van hyperparameters en de impact op verschillende LLM's en benchmarks, wat inzicht geeft in de balans tussen kosten en prestaties.

Resultaten

De evaluatie is uitgevoerd op twee benchmarks (SWE-bench Verified en Multi-SWE-bench Flash) met twee LLM's (Claude 4 Sonnet en Gemini 2.5 Pro).

Token-reductie: AgentDiet verlaagt het aantal invoertokens met 39,9% tot 59,7%.
Kostenreductie: De totale rekenkosten dalen met 21,1% tot 35,9%.
Prestaties: De prestaties van de agent (gemeten in het percentage succesvol opgeloste taken) blijven gelijk aan die van de originele agent (variatie van -1,0% tot +2,0%).
Robuustheid: In sommige gevallen (zoals bij Gemini 2.5 Pro op complexe taken) verbeterde AgentDiet zelfs de stabiliteit door te voorkomen dat de agent vastliep in lange, redundante trajecten, wat leidde tot minder stappen om een taak af te ronden.
Generalisatie: De methode werkt consistent over verschillende programmeertalen (Python, Rust, TypeScript, Java, etc.) en verschillende LLM-modellen.

Betekenis en Impact

Dit artikel vult een belangrijke leemte in het onderzoek naar LLM-agenten door de focus te leggen op efficiëntie in plaats van alleen op effectiviteit.

Kosteneffectiviteit: Het toont aan dat het mogelijk is om de operationele kosten van AI-agenten aanzienlijk te verlagen zonder in te leveren op kwaliteit. Dit maakt agenten praktischer en schaalbaarder voor zakelijke toepassingen.
Onafhankelijkheid: De methode vereist geen toegang tot de interne werking van het LLM (white-box), waardoor het direct toepasbaar is op bestaande, gesloten modellen die door de industrie worden gebruikt.
Toekomstgericht: Het biedt een fundamenteel inzicht in hoe trajectbeheer kan worden geoptimaliseerd, wat de basis legt voor toekomstige onderzoek naar slimme contextbeheersystemen voor multi-turn agenten.

Kortom, AgentDiet bewijst dat "trajectreductie" een veelbelovende richting is om de haalbaarheid van LLM-agenten voor complexe software-engineeringtaken te vergroten.