Break Later or Never: Prefix-Preserving Context Compaction for Coding Agents
Diese Arbeit adressiert den Konflikt zwischen Kontextkompression und Prefix-Caching bei Coding-Agenten durch die Einführung von „Batched Observation Masking“ und „ObsDrop“, einer Technik auf KV-Cache-Ebene, die veraltete Tool-Observation-Daten freigibt, während der logische Token-Präfix erhalten bleibt, wodurch der Durchsatz und die Latenz signifikant verbessert werden, ohne die Aufgabenqualität zu beeinträchtigen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich ein Computerprogramm vor, das darauf ausgelegt ist, Code zu schreiben, Softwarefehler zu beheben oder komplexe technische Probleme zu lösen. Diese „Coding-Agenten“ arbeiten nicht in einem einzigen Schub; sie operieren in einem langen, fortlaufenden Gespräch mit einem großen Sprachmodell. In jedem Schritt denkt der Agent nach, gibt einen Befehl an ein Werkzeug aus (wie etwa das Öffnen einer Datei oder das Ausführen eines Tests) und lift dann das Ergebnis ein. Er wiederholt den Prozess und fügt das neue Ergebnis seiner Historie hinzu. Im Laufe der Zeit wächst diese Historie zu einem massiven Dokument an, das zehntausende Wörter umfasst. Um das System am Laufen zu halten, muss der Computer jedes einzelne Wort dieses Gesprächs im Gedächtnis behalten, um den aktuellen Schritt zu verstehen. Dieser Speicherbedarf schafft eine schwere Last, die das System verlangsamt und teuer in der Ausführung macht.
Um diesen wachsenden Textberg zu bewältigen, haben Ingenieure Wege entwickelt, die Historie zu verkleinern, einen Prozess, der als Kontextkompression bezeichnet wird. Die gängigste Methode besteht darin, einfach alte Teile des Gesprächs zu löschen oder sie durch eine kurze Zusammenfassung zu ersetet. Doch hier lauert eine versteckte Falle. Moderne Computer sind unglaublich effizient darin, bereits geleistete Arbeit wiederzuverwenden. Wenn eine neue Anfrage mit exakt denselben Worten wie eine vorherige beginnt, kann der Computer die schwere Arbeit überspringen und direkt zum neuen Teil übergehen. Aber wenn man den Anfang des Gesprächs löscht oder auch nur geringfügig umschreibt, verliert der Computer sein Gedächtnis an die Vergangenheit und muss die schwere Berechnung von vorne beginnen. Die Forscher hinter dieser Studie entdeckten, dass der Akt des Versuchs, Platz durch das Bearbeiten des Textes zu sparen, den Computer oft viel mehr Arbeit verrichten lässt, was die Einsparungen zunichtemacht und das System manchmal sogar langsamer und teurer macht.
Das Team, das an der Pennsylvania State University ansässig ist, wollte diesen Konflikt zwischen Platzersparnis und Zeitersparnis verstehen. Sie beobachteten, dass Coding-Agenten von Natur aus fast die gesamte Historie ihres Gesprächs in jedem einzelnen Schritt wiederholen. Da die Historie hauptsächlich durch Hinzufügen erweitert wird – wie ein Tagebuch, in dem man nur neue Einträge am Ende schreibt –, kann der Computer seine vorherigen Berechnungen fast perfekt wiederverwenden und erreicht eine Wiederverwendungsrate von 98 bis 99 Prozent. Der größte Teil dieser Kosten entsteht nicht durch die Gedanken des Agenten, sondern durch die Rohdaten, die er erhält, wie etwa den Inhalt von Dateien oder die Protokolle von Softwaretests. Die Forscher fanden heraus, dass, wenn sie Standardmethoden verwendeten, um diese alten Dateien zu löschen oder zusammenzufassen, sie die Kette der Wiederverwendung unterbrachen. Der Computer wurde gezwungen, alles, was nach der Löschung kam, erneut zu lesen und neu zu berechnen, was eine schnelle Aufgabe in eine langsame, teure Aufgabe verwandelte.
Um dies zu lösen, testeten die Forscher zuerst eine einfache Anpassung der Art und Weise, wie die Löschung erfolgt. Anstatt Informationen nach jedem einzelnen Schritt zu löschen, versuchten sie, diese nur alle paar Schritte zu löschen. Diese kleine Änderung, die sie „Batched Masking“ nennen, ermöglichte es dem Computer, sein Gedächtnis über längere Zeiträume intakt zu halten. Es reduzierte die Textmenge, die der Agent mit sich führen musste, um bis zu halb, während die Wiederverwendungsrate des Computers hoch blieb, nämlich zwischen 95 und 98 Prozent. Dieser Ansatz senkte die Betriebskosten des Agenten um bis zu 18 Prozent und ließ die Aufgaben bis zu 21 Prozent schneller abschließen. Es war eine praktische Lösung, die keine Änderungen an der zugrunde liegenden Computersoftware erforderte, sondern lediglich eine intelligentere Art der Planung der Löschungen.
Das Team stellte jedoch fest, dass selbst diese Verbesserung noch immer das Umschreiben des Textes beinhaltete, was zwangsläufig die Gedächtniskette im Moment der Löschung unterbrach. Sie entwickelten daraufhin eine fortschrittlichere Lösung namens ObsDrop. Anstatt Wörter aus dem Text zu löschen, den der Agent sieht, arbeitet ObsDrop innerhalb des Speichers des Computers selbst. Es hält den Text exakt so, wie er ist, damit der Computer das Muster weiterhin erkennen und die vorherigen Berechnungen wiederverwenden kann. Aber im Hintergrund gibt es die Speicherplätze, die die alten, irrelevanten Daten halten, wie etwa den Inhalt von Dateien, die nicht mehr benötigt werden, geräuschlos frei. Dies ermöglicht es dem Computer, die logische Historie für die Geschwindigkeit intakt zu halten, während er gleichzeitig physisch den Platz freigibt, der benötigt wird, um mehr Agenten gleichzeitig auszuführen.
Die Forscher testeten dieses neue System auf leistungsstarken Servern, die mehrere Agenten gleichzeitig ausführen. Sie fanden heraus, dass mit zunehmender Anzahl der Agenten die Standardmethoden begannen, Schwierigkeiten zu bekommen; das System verlangsamte sich drastisch, wenn der Speicher voll war oder ständig neu berechnet werden musste. Im Gegensatz dazu behielt das ObsDrop-System seine Geschwindigkeit und Effizienz bei. Unter hoher Last ermöglichte es den Servern, zwischen 2,45 und 2,85 Mal mehr Arbeit als zuvor zu bewältigen, und in bestimmten Konfigurationen erreichte die Verbesserung sogar mehr als die fünffache ursprüngliche Geschwindigkeit. Das System bewältigte den Druck, ohne die Qualität der Arbeit, die die Agenten produzierten, zu verlieren.
Diese Arbeit unterstreicht eine entscheidende Lektion für die Zukunft der künstlichen Intelligenz: Das Verwalten des Gedächtnisses eines intelligenten Agenten hängt nicht nur davon ab, wie viel Text man behält, sondern wie man ihn behält. Indem sie zeigten, dass die Fähigkeit des Computers, vergangene Arbeit wiederzuverwenden, fragil ist, zeigten die Forscher, dass effektives Management erfordert, die Struktur des Gesprächs zu bewahren, während man gleichzeitig die Daten verwirft. Ihre neue Methode ObsDrop bietet einen Weg für beides: einen schlankeren Speicherbedarf und ein schnelleres, reaktionsschnelleres System, um sicherzustellen, dass diese leistungsstarken Coding-Werkzeuge skalierbar sind, um die komplexen Probleme von morgen zu bewältigen, ohne unter ihrer eigenen Historie stecken zu bleiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.