Reducing Cost of LLM Agents with Trajectory Reduction

Die vorgestellte Arbeit stellt „AgentDiet" vor, einen effizienten Ansatz zur Reduzierung von überflüssigen Informationen in Agenten-Trajektorien, der die Token-Kosten um bis zu 60 % senkt, ohne dabei die Leistungsfähigkeit von LLM-Agenten zu beeinträchtigen.

Das Wesentliche

Stellen Sie sich vor, ein KI-Agent ist wie ein hochintelligenter, aber etwas vergesslicher Assistent, der Ihnen bei der Programmierung hilft. Er arbeitet in einem ständigen Kreislauf: Er liest eine Aufgabe, denkt nach, führt einen Befehl aus (z. B. eine Datei öffnen), liest das Ergebnis und denkt weiter.

Das Problem ist: Er vergisst nichts.

Jeder Satz, den er liest, jeder Befehl, den er ausführt, und jede Antwort des Computers wird in einem riesigen Gedächtnisprotokoll (der sogenannten "Trajektorie") gespeichert. Mit jeder neuen Aufgabe wird dieses Protokoll immer dicker und schwerer.

Das Problem: Der überfüllte Rucksack

Stellen Sie sich vor, Sie wandern einen Berg hoch. Ihr Assistent trägt einen Rucksack.

• Am Anfang ist der Rucksack leicht.
• Aber bei jedem Schritt packt er alles, was passiert ist, hinein: Die Liste aller Dateien im Ordner, die Ausgabe von Testläufen (oft hunderte Zeilen lang), alte Fehlermeldungen, die längst gelöst sind, und doppelte Informationen.
• Irgendwann ist der Rucksack so voll, dass der Assistent kaum noch vorankommt. Er muss jeden einzelnen Stein im Rucksack neu durchsuchen, um den nächsten Schritt zu planen. Das kostet Zeit und Geld (Rechenleistung).

Die Forscher haben herausgefunden, dass bis zu 60 % dieses Rucksacks mit "Müll" gefüllt sind:

1. Unnötiges Zeug: Der Assistent hat eine riesige Liste von Dateien ausgegeben, aber nur eine davon war wichtig. Der Rest ist nur Rauschen.
2. Doppelte Arbeit: Er hat denselben Codeabschnitt mehrfach gelesen oder das Ergebnis einer Änderung noch einmal ausgedruckt, obwohl er es schon kannte.
3. Veraltetes Wissen: Er hat nach einem Fehler in Datei A gesucht, ihn gefunden, aber die Suche in Datei B, C und D (die nichts damit zu tun hatten) steht immer noch im Protokoll.

Die Lösung: AgentDiet (Der Diät-Plan für KIs)

Die Autoren des Papers haben eine Lösung namens AgentDiet entwickelt. Das ist wie ein persönlicher Coach oder ein effizienter Sekretär, der den Rucksack des Assistenten regelmäßig leert.

Hier ist, wie es funktioniert, in einfachen Schritten:

1. Der Beobachter (Der Spiegel):
   Während der Assistent arbeitet, schaut ein zweiter, kleinerer und günstigerer KI-Coach (der "Reflexions-Modul") zu. Dieser Coach ist nicht für die eigentliche Programmierung zuständig, sondern nur für das Aufräumen.

2. Der Check:
   Alle paar Schritte hält der Coach den Assistenten kurz an. Er schaut in das aktuelle Protokoll und fragt: "Was davon brauchen wir wirklich noch?"

   • "Oh, diese 500 Zeilen Testausgabe? Die waren nur für den letzten Schritt. Wir brauchen sie nicht mehr. Wir ersetzen sie durch einen kurzen Zettel: 'Tests erfolgreich, ein Fehler übrig'."
   • "Diese Datei-Liste? Wir haben die Datei schon gefunden. Die restlichen 99 Einträge sind Müll. Weg damit!"

3. Der Schnitt:
   Der Coach schneidet den unnötigen Teil aus dem Protokoll heraus und ersetzt ihn durch eine kurze Zusammenfassung. Der Rucksack wird wieder leicht.

4. Weiter geht's:
   Der Assistent setzt seine Arbeit fort, aber jetzt mit einem viel leichteren Rucksack. Er muss weniger "tragen", denkt schneller nach und kostet weniger Geld.

Warum ist das genial?

• Es kostet weniger: Da der Assistent weniger Daten lesen muss, spart das Unternehmen massiv Geld bei den KI-Kosten (bis zu 36 % Ersparnis!).
• Es wird nicht langsamer: Man könnte denken, das Aufräumen kostet extra Zeit. Aber da der Assistent durch den leeren Rucksack viel schneller rechnet, ist er am Ende sogar schneller oder mindestens genauso schnell.
• Es funktioniert besser: Paradoxerweise arbeitet der Assistent besser, wenn der Rucksack leicht ist. Wenn der Rucksack zu voll ist, verliert die KI den Überblick und macht Fehler. Durch das Entfernen des "Mülls" bleibt sie fokussiert.

Ein Bild zur Veranschaulichung

Stellen Sie sich einen Koch vor, der ein kompliziertes Gericht kocht.

• Ohne AgentDiet: Der Koch legt jeden einzelnen Messergriff, jedes abgefallene Kräuterblatt, jede leere Schachtel und jeden alten Kochzettel auf den Herd. Nach 20 Minuten ist der Herd so voll, dass er kaum noch einen Topf stellen kann. Er stolpert über den Müll und vergisst, was er gerade tun wollte.
• Mit AgentDiet: Ein Gehilfe kommt alle paar Minuten, räumt den Herd auf, wirft den Müll weg und schreibt nur auf ein kleines Zettelchen: "Zwiebeln geschnitten, fertig." Der Koch hat wieder Platz, sieht alles klar und kann das Essen schneller und besser zubereiten.

Fazit

Die Studie zeigt, dass wir KI-Agenten nicht unbedingt "schlauer" machen müssen, um sie besser zu machen. Oft reicht es, ihnen zu helfen, ihren Rucksack zu leeren. Mit AgentDiet können wir die Kosten senken und die Leistung steigern, indem wir einfach den digitalen Müll entfernen, der sich im Laufe der Zeit ansammelt. Es ist eine einfache, aber extrem effektive Methode, um KI-Systeme effizienter zu machen.

Technische Zusammenfassung

Problemstellung

Large Language Model (LLM) Agenten haben sich als leistungsstarke Werkzeuge für Software-Engineering-Aufgaben (z. B. Code-Generierung, Fehlerbehebung) etabliert. Ein zentrales, jedoch oft übersehenes Problem ist die hohe Rechenkosten durch die stetig wachsende Länge der „Trajektorien" (die Historie aller Interaktionen zwischen Agent, Werkzeugen und Umgebung).

• Ursache: In typischen Agenten-Workflows werden jede Tool-Aufruf- und Tool-Antwort-Nachricht dauerhaft in den Kontext (Trajektorie) eingefügt. Selbst wenn Informationen veraltet, redundant oder irrelevant sind (z. B. lange Test-Logs, veraltete Dateilisten), bleiben sie für alle zukünftigen Vorhersagen des LLMs erhalten.
• Folgen: Dies führt zu einem exponentiellen Anstieg der Eingabe-Token (Input Tokens). Studien zeigen, dass bis zu 99 % der Token-Nutzung in Agenten-Systemen aus diesen akkumulierten Eingaben bestehen, was zu enormen Kosten und Ineffizienzen führt.
• Lücke: Bestehende Ansätze zur Token-Reduktion konzentrieren sich meist auf einzelne Aufgaben (Single-Turn) oder natürliche Sprache und sind nicht für die iterative, strukturierte Natur von Coding-Agenten geeignet. Zudem fehlt es an Lösungen, die zur Laufzeit (Inference-Time) ohne Modifikation des LLM-Modells selbst funktionieren.

Methodik: AgentDiet

Die Autoren stellen AgentDiet vor, einen Ansatz zur automatischen Reduktion von Trajektorien während der Ausführung des Agenten. Das System basiert auf drei technischen Erkenntnissen:

1. Identifikation von „Abfall" (Waste): Durch Analyse von Trajektorien (basierend auf dem SWE-bench Verified Benchmark) wurden drei Hauptkategorien unnötiger Informationen identifiziert:

   • Unnötige Informationen: Irrelevante Daten (z. B. Cache-Dateien, Build-Logs ohne Fehler).
   • Redundante Informationen: Wiederholungen, z. B. wenn ein Tool-Ergebnis den bereits im Aufruf enthaltenen Code enthält.
   • Veraltete Informationen: Daten, die für einen lokalen Schritt relevant waren, aber nach dessen Abschluss nicht mehr benötigt werden (z. B. Suchergebnisse, die zur Identifikation eines spezifischen Fehlers dienten).

2. Reflexionsmodul (Reflection Module): Da Agenten dazu neigen, ihre eigene Trajektorie nicht selbstständig zu bereinigen (sie bleiben oft in ihrem Lösungsmodus gefangen), wurde ein separates Reflexionsmodul eingeführt.

   • Dieses Modul wird vom äußeren System aktiviert, um die Trajektorie zu komprimieren.
     Es nutzt ein (kostengünstigeres) LLM, um die relevanten Informationen zu extrahieren und den Abfall durch kurze Platzhalter (Takeaways) zu ersetzen, wobei die Struktur erhalten bleibt.

3. Schlittenfenster-Ansatz (Sliding Window) & Overhead-Steuerung:

   • Um den Overhead durch das Reflexionsmodul zu minimieren, wird nicht der gesamte Kontext jedes Mal neu verarbeitet. Stattdessen wird ein Schlittenfenster verwendet: Wenn der Agent Schritt $s$ erreicht, wird nur ein früherer Schritt ($s-a$) zur Reduktion ausgewählt, basierend auf einem Kontext von $s-a-b$ bis $s$.
   • Eine Schwelle $\theta$ verhindert, dass kurze Schritte reduziert werden, da der Kostenvorteil den Aufwand nicht rechtfertigen würde.
   • Durch die Verwendung eines günstigeren LLMs für das Reflexionsmodul (z. B. GPT-5 mini statt des teuren Haupt-Agenten-Modells) wird die Kostensteigerung minimiert.

Implementierung und Experimente

• Integration: AgentDiet wurde in Trae Agent (ein Open-Source-Agent, der auf SWE-bench Verified führend war) integriert.
• Benchmarks: Evaluation erfolgte auf SWE-bench Verified (Python) und Multi-SWE-bench Flash (7 Sprachen: Rust, TypeScript, JS, Java, Go, C, C++).
• Modelle: Getestet mit Claude 4 Sonnet und Gemini 2.5 Pro.
• Hyperparameter: Durch systematische Suche (Hill Climbing) wurden optimale Parameter für das Zeitfenster ($a, b$) und die Token-Schwelle ($\theta$) ermittelt.

Ergebnisse

Die Evaluation zeigt signifikante Verbesserungen bei gleichbleibender Leistung:

1. Kostenreduktion:

   • Reduktion der Eingabe-Token um 39,9 % bis 59,7 %.
   • Reduktion der gesamten Rechenkosten (Input + Output + Reflexions-Overhead) um 21,1 % bis 35,9 %.
   • Das Reflexionsmodul selbst verursacht nur einen geringen Overhead (ca. 5–15 % der Gesamtkosten), der durch die Einsparungen beim Haupt-Agenten mehr als kompensiert wird.

2. Leistungserhaltung:

   • Die Erfolgsrate (Pass%) der Agenten blieb nahezu unverändert (Variation zwischen -1,0 % und +2,0 % im Vergleich zum Original).
   • Die Anzahl der benötigten Schritte (Step Count) stieg nicht signifikant an; in einigen Fällen (z. B. Gemini 2.5 Pro auf komplexen Benchmarks) sank sie sogar, da Agenten bei zu langen Kontexten oft in Schleifen gerieten, die durch AgentDiet vermieden wurden.

3. Generalisierung:

   • Die Ergebnisse waren konsistent über verschiedene Programmiersprachen, Benchmarks und LLM-Modelle hinweg, obwohl das System nur mit einer kleinen Menge an Trainingsdaten (100 Instanzen) optimiert wurde.

Bedeutung und Fazit

Dieses Paper adressiert eine kritische Lücke in der Forschung zu LLM-Agenten: die Effizienz.

• Paradigmenwechsel: Es widerlegt die Annahme, dass Token-Effizienz zwangsläufig zu Leistungsverlust führt. Stattdessen zeigt es, dass das Entfernen von „Rauschen" und redundanten Informationen die Robustheit und Effizienz steigern kann.
• Praktische Anwendbarkeit: AgentDiet ist ein Black-Box-Ansatz, der keine Modifikation der LLM-Architektur erfordert und somit auf proprietäre Modelle anwendbar ist.
• Zukunftsperspektive: Der Ansatz bietet eine skalierbare Lösung, um die Kosten von Agenten-Systemen in der Industrie drastisch zu senken, ohne deren Fähigkeiten einzuschränken. Er legt den Grundstein für zukünftige Forschungen zur dynamischen Kontextverwaltung in Multi-Turn-Systemen.

Zusammenfassend beweist AgentDiet, dass eine intelligente, zur Laufzeit erfolgende Komprimierung von Agenten-Trajektorien ein vielversprechender Weg ist, um die Wirtschaftlichkeit von LLM-Agenten in der Softwareentwicklung zu sichern.