When Does Context Compaction Pay in Long-Horizon Agents?

Stellen Sie sich einen digitalen Assistenten vor, der stundenlang arbeiten kann, indem er komplexe Probleme löst, Dateien liest, Code ausführt und seine eigenen Fortschritte überprüft. Um dies zu tun, muss der Assistent sich alles merken können, was er bisher getan hat, indem er ein fortlaufendes Protokoll seiner Handlungen und der Ergebnisse, die er sieht, führt. Dieses Protokoll wird als sein „Kontext“ bezeichnet. Während die Arbeit fortschreitet, wird dieses Protokoll immer länger und länger, bis es schließlich so groß ist, dass es den Assistenten verlangsamt und eine beträchtliche Menge an Geld kostet, um es zu verarbeiten. Um dies zu bewältigen, haben Softwareentwickler einen Trick namens „Kontext-Kompaktierung“ entwickelt. Anstatt die gesamte Historie weiterzuführen, bittet das System den Assistenten, eine kurze Zusammenfassung dessen zu schreiben, was passiert ist, verwirft die alten Details und setzt die Arbeit dann nur unter Verwendung dieser Zusammenfassung fort. Es ist ein wenig so, als würde ein Reisender, nachdem er hundert Meilen gelaufen ist, eine Postkarte an sein zukünftiges Ich schreiben, um die Reise zu beschreiben, und dann das detaillierte Tagebuch verbrennen, um Platz in seinem Rucksack zu sparen. Die Hoffnung ist, dass diese Zusammenfassung ausreicht, um den Reisenden auf Kurs zu halten, während gleichzeitig Zeit und Ressourcen gespart werden.

Eine neue Studie des Forschers Yuyao Wang untersucht, ob diese Strategie tatsächlich für langfristige Aufgaben funktioniert. Der Forscher testete diese Idee bei neun schwierigen, mehrstufigen Problemen mit zwei verschiedenen fortschrittlichen Sprachmodellen. Er richtete ein kontrolliertes Experiment ein, bei dem er den Zustand der Agenten zu bestimmten Zeitpunkten speicherte und sie dann mit zwei verschiedenen Methoden bis zum Ziel führen ließ. Bei einer Methode behielten die Agenten ihre vollständige Historie bei, was als Baseline diente. In der anderen Methode wechselten die Agenten zu der Verwendung von Zusammenfassungen, wann immer ihre Historie zu lang wurde. Der Forscher maß nicht nur die Endkosten, sondern auch, wie die Änderung der Strategie das Verhalten der Agenten, die Anzahl der Schritte und die Zeit, die sie mit dem Warten auf das Schreiben von Zusammenfassungen verbrachten, beeinflusste.

Die Ergebnisse enthüllten eine überraschende Wendung. Während die Mathematik nahelegte, dass der Wechsel zu einer Zusammenfassung Geld sparen sollte, war die Realität oft das Gegenteil. Bei einem der getesteten Modelle verursachten die Agenten, die zu Zusammenfassungen wechselten, letztlich höhere Kosten als jene, die ihre vollständige Historie behielten. Der Grund war nicht, dass die Zusammenfassungen schlecht waren, sondern dass der Akt des Zusammenfassens das Verhalten des Agenten so veränderte, dass zusätzliche Arbeit entstand. Wenn der Agent eine Zusammenfassung anstelle der vollständigen Historie erhielt, verspürte er oft das Bedürfnis, Dateien erneut zu lesen oder Informationen zu überprüfen, die er bereits gesehen hatte, was zu einer Kaskade von zusätzlichen Anfragen führte. Diese zusätzlichen Schritte, die der Forscher als „Read-only“-Aktionen bezeichnete, summierten sich schnell. In vielen Fällen wurden die durch eine kürzere Historie eingesparten Kosten durch die Kosten dieser zusätzlichen, unnötigen Überprüfungen vollständig zunichtegemacht. Tatsächlich erhöhte die Strategie beim primär getesteten Modell in 20 von 21 verschiedenen Zuständen die Kosten, wenn sie bis zum Ende der Aufgabe fortgeführt wurde.

Die Studie untersuchte auch, wie lange die Agenten nach dem Wechsel noch arbeiten mussten, um festzustellen, ob die Strategie jemals rentabel sein könnte. Der Forscher fand heraus, dass Kontext-Kompaktierung nur dann ein finanzieller Gewinn ist, wenn nach dem Schreiben der Zusammenfassung noch eine sehr große Menge an Arbeit verbleibt. Wenn die Aufgabe fast abgeschlossen ist, sind die Kosten für das Schreiben der Zusammenfassung und die zusätzlichen Schritte, die der Agent zur Anpassung unternimmt, den Aufwand der Ersparnis nicht wert. Für Aufgaben, die noch einen langen Weg vor sich haben, kann die Strategie jedoch funktionieren, aber nur unter spezifischen Bedingungen. Der Preis der Technologie spielt eine große Rolle: Für ein Modell funktionierte die Strategie nur dann kostensparend, wenn die Kosten für das Lesen aus dem Speicher des Computers extrem hoch wären, weit höher als das, was derzeit von den meisten Anbietern berechnet wird. Für das andere getestete Modell war die Strategie wesentlich effektiver und sparte sogar bei aktuellen Preisen Geld, was jedoch hauptsächlich daran lag, dass sich das Verhalten dieses Modells bei Erhalt einer Zusammenfassung weniger drastisch änderte.

Neben den Kosten untersuchte der Forscher auch, wie schnell die Agenten arbeiteten. Er simulierte den Prozess auf einem einzelnen Computerchip, um zu sehen, ob kürzere Historien das System schneller machen würden. Er fand heraus, dass, obwohl kürzere Historien die Verarbeitung einzelner Schritte beschleunigten, die Zeit, die für das Schreiben der Zusammenfassungen und die zusätzlichen Schritte der Agenten aufgewendet wurde, den gesamten Prozess oft langsamer machte. In einigen Szenarien benötigten die Agenten, die Zusammenfassungen verwendeten, fast doppelt so lange, um dieselbe Aufgabe abzuschließen wie die Agenten mit der vollständigen Historie, obwohl sie nie in einer Warteschlange standen. Dies geschah, weil die Zeit, die durch die Verarbeitung der langen Historie eingespart wurde, durch die Zeit verloren ging, die für die Generierung der Zusammenfassung und die zusätzliche Arbeit des Agenten aufgewendet werden musste.

Die Studie kommt zu dem Schluss, dass Kontext-Kompaktierung keine einfache Lösung für lang laufende Aufgaben ist. Es handelt sich um einen Kompromiss, der stark vom jeweils verwendeten Modell, den Kosten der Technologie und der verbleibenden Arbeitsmenge abhängt. Der Forscher fand heraus, dass das bloße Kürzen der Historie den Agenten oft verwirrt, was dazu führt, dass er Arbeiten wiederholt, die er bereits erledigt hat. Um diese Strategie erfolgreich anzuwenden, müssen Systeme sorgfältig konzipiert werden, um die jüngsten Schritte zu bewahren und sicherzustellen, dass der Agent nicht das Bedürfnis verspürt, seine eigene Historie doppelt zu prüfen. Bis diese Bedingungen erfüllt sind, bleibt das Beibehalten der vollständigen Historie trotz ihrer Kosten oft der zuverlässigere und manchmal sogar der günstigere Weg für Agenten, die sich mit langen, komplexen Problemen befassen.