In der Welt der künstlichen Intelligenz fungiert eine spezielle Art von Software namens Agent als digitaler Arbeiter. Diese Agenten chatten nicht nur; sie führen Aufgaben aus, indem sie Werkzeuge benutzen, Dateien lesen und Befehle ausführen. Um dies zu tun, verlassen sie sich auf ein Large Language Model, ein leistungsstarkes Computerprogramm, das menschliche Sprache versteht und generiert. Diese Modelle haben jedoch ein Gedächtnislimit. Jedes Mal, wenn ein Agent einen Schritt macht, muss er den gesamten Verlauf des Gesprächs an das Modell zurücksenden, damit das Modell weiß, was bisher geschehen ist. Wenn eine Sitzung länger wird und Dutzende von Dateien sowie Hunderte von Befehlen umfasst, wird dieser Verlauf massiv. Es das Ganze jedes Mal zu senden, ist langsam und teuer.

Um dieses Problem zu lösen, haben Ingenieure zwei Haupttricks ausprobiert. Der erste besteht darin, einfach die ältesten Teile des Gesprächs abzuschneiden und nur die jüngsten Nachrichten zu behalten. Dies spart Platz, birgt aber das Risiko, wichtige Fakten wie ein Passwort oder einen Dateipfad zu löschen, die der Agent später vielleicht benötigt. Der zweite Trick besteht darin, das Modell zu bitten, die alten Teile in einer kürzeren Geschichte zusammenzufassen. Auch dies ist riskant, da die Zusammenfassung ein entscheidendes Detail übersehen oder etwas Neues erfinden könnte, und es gibt keine Möglichkeit zu überprüfen, ob die Zusammenfassung korrekt ist. Beide Methoden erzwingen eine Wahl zwischen der Ersparnis von Kosten und dem Bewahren der Wahrheit.

Ein Forscher namens Mohammad Mosafer hat einen anderen Ansatz vorgeschlagen, der diese Wahl verweigert. Er entwickelte ein System namens Tessera, das als intelligenter Vermittler zwischen dem Agenten und dem Modell fungiert. Anstatt alte Informationen zu löschen oder sie in eine Zusammenfassung umzuschreiben, komprimiert Tessera das Gespräch, indem es exakte Kopien und nahezu identische Duplikate findet und entfernt. Es bewahrt den Originaltext sicher in einem separaten Speicherbereich auf und ersetzt die wiederholten Teile im Hauptgespräch durch winzige, präzise Zeiger. Wenn der Agent den alten Text erneut sehen muss, kann er darum bitten, und das System ruft den exakten Originaltext sofort ab. Diese Methode ermöglicht es dem Agenten, mit einem viel kürzeren Gesprächsverlauf zu arbeiten, ohne dabei Fakten zu verlieren oder auf eine spezifische Technologie eines Unternehmens angewiesen zu sein.

Der Kern des Problems liegt darin, wie diese Agenten arbeiten. Wenn ein Agent einen Befehl ausführt, erhält er ein Ergebnis. Wenn er denselben Befehl erneut ausführt, erhält er oft exakt dasselbe Ergebnis. In einer langen Sitzung liest der Agent vielleicht dieselbe Log-Datei mehrmals oder überprüft denselben Status wiederholt. Da der Agent den gesamten Verlauf jedes Mal sendet, schickt er am Ende immer wieder dieselben großen Textblöcke. Tessera bemerkt diese Wiederholung. Es scannt den Gesprächsverlauf und identifiziert, wann ein Textstück identisch mit etwas ist, das zuvor gesendet wurde. Anstatt den vollen Text erneut zu senden, sendet es einen kurzen Marker, der besagt: „Dies ist dasselbe wie der Text von vor drei Schritten.“ Das Modell kann den Marker immer noch lesen und den Kontext verstehen, aber die Menge der zu sendenden Daten wird drastisch reduziert.

Tessera geht über das bloße Finden exakter Kopien hinaus. Es sucht auch nach Texten, die fast identisch sind, wie etwa eine Log-Datei, die sich nur um wenige Wörter verändert hat. Wenn es solche nahezu identischen Duplikate findet, sendet es eine kleine Notiz, die nur die Änderungen beschreibt, anstatt die gesamte Datei zu senden. Es verarbeitet auch große Datenblöcke, wie lange Zahlenlisten oder Code, indem es unnötige Formatierungen entfernt und nur die wesentliche Struktur beibehält. All dies geschieht, ohne ein Large Language Model für Entscheidungen zu verwenden. Das System nutzt einfache, deterministische Regeln, was bedeutet, dass es für denselben Input immer dasselbe Ergebnis liefert. Dies macht den Prozess schnell und zuverlässig und fügt der Zeit, die zum Senden einer Nachricht benötigt wird, nur wenige Millisekunden hinzu.

Um zu testen, ob dieses System tatsächlich funktioniert, hat der Forscher eine kontrollierte Umgebung geschaffen. Er baute einen Generator, der gefälschte Agenten-Sitzungen mit realistischen Daten erstellt, wie etwa JSON-Antworten, Service-Logs und Befehlsausgaben. In diese Sitzungen pflanzte er gezielt einzigartige Fakten, wie einen zufälligen Code oder eine spezifische Einstellung, an zufälligen Positionen ein. Er ließ die Sitzungen dann durch Tessera laufen und maß, wie viele dieser gepflanzten Fakten im komprimierten Verlauf überlebten. Er verglich dies mit anderen Methoden, die einfach alte Nachrichten abschneiden oder nur die neuesten behalten. Die Ergebnisse waren eindeutig. Als das System das Gespräch auf etwa 29 Prozent seiner ursprünglichen Größe komprimierte, behielt es 61,8 Prozent der Fakten im Hauptverlauf. Im Gegensatz dazu behielten die anderen Methoden, die gezwungen waren, die gleiche Menge an Platz einzuhalten, nur etwa 26 bis 30 Prozent der Fakten.

Das System enthält auch eine Möglichkeit, die fehlenden Informationen zurückzuholen, falls sie benötigt werden. Dies wird als Recall-Tier (Wiederrufsebene) bezeichnet. Wenn der Agent eine spezifische Frage zu einem älteren Teil des Gesprächs stellt, kann das System in seinem sicheren Speicher der Originaltexte suchen und den exakten Abschnitt zurückbringen. Wenn diese Funktion genutzt wird, kann das System 99,5 Prozent der Fakten wiederherstellen, selbst wenn sie nicht im komprimierten Hauptverlauf enthalten waren. Das bedeutet, dass der Agent mit einem sehr kleinen, effizienten Verlauf arbeiten kann, aber dennoch jederzeit auf die vollständigen Details zugreifen kann. Die Forscher fanden heraus, dass diese Wiederherstellung am besten funktioniert, wenn der Agent sich an den Kontext des alten Ereignisses erinnert, aber sie funktioniert auch bei vagen Fragen gut.

Die Studie untersuchte auch, wie sich verschiedene Arten von Agenten verhalten. Einige Agenten, wie jene, die darauf ausgelegt sind, Softwarefehler zu beheben, neigen dazu, Befehle zu wiederholen und oft dieselben Ergebnisse zu sehen. Für diese Agenten fand das System, dass fast 15 Prozent des Gesprächs exakte Duplikate waren. Andere Agenten, die unterschiedliche Modelle nutzen, wiederholen sich selten. Das System passte sich an beide Situationen an und bewies damit, dass es nicht auf einen bestimmten Typ von Agent abgestimmt werden muss, um zu funktionieren. Es entfernt einfach das, was vorhanden ist, sei es viel Redundanz oder sehr wenig. Die Zeit, die zur Kompression der Daten benötigt wird, ist vernachlässigbar und beträgt weniger als acht Millisekunden pro Anfrage, was weit weniger ist als die Zeit, die das Modell für die Generierung einer Antwort benötigt.

Eine der wichtigsten Erkenntnisse ist, dass diese Methode keine Genauigkeit vermissen lässt. Im Gegensatz zur Zusammenfassung, die Details verlieren oder Bedeutungen verändern kann, bewahrt Tessera jedes ursprüngliche Byte an Text sicher auf. Wenn ein Fakt aus der Hauptansicht entfernt wird, um Platz zu sparen, ist er nicht weg; er ist nur hinter einem Griff verborgen, der jederzeit geöffnet werden kann. Dies macht das System vollständig prüfbar. Ein Ingenieur kann den komprimierten Verlauf einsehen und genau wissen, was entfernt wurde und wo er das Original finden kann. Dies ist ein bedeutender Wandel gegenüber aktuellen Methoden, die oft darauf angewiesen sind, dass das Modell entscheidet, was wichtig ist – ein Prozess, der schwer zu verifizieren ist.

Die Forscher testeten ihr System gegen mehrere andere Wege des Gedächtnis-Managements. Sie fanden heraus, dass das bloße Behalten der jüngsten Nachrichten, eine gängige Praxis, der am wenigsten effektive Weg war, um Fakten zu bewahren. Selbst eine Methode, die zufällig Nachrichten behielt, schnitt besser ab als das Abschneiden der ältesten Nachrichten, konnte aber dennoch nicht die Präzision von Tessera erreichen. Der Schlüssel zum Erfolg von Tessera liegt darin, dass es nicht ganze Nachrichten wegwirft. Stattdessen trimmt es das „Fett“ aus dem Inneren der Nachrichten, behält den Kopf und das Ende langer Texte und ersetzt die Mitte durch einen Zeiger. Dies ermöglicht es dem Agenten, den Kontext des Gesprächs zu behalten und gleichzeitig die Masse der Daten abzustreifen.

Die Studie untersuchte auch, wie empfindlich das System auf seine Einstellungen reagiert. Die Forscher passten die Regeln dafür an, was als Duplikat gilt und wie viele der jüngsten Nachrichten vor der Kompression geschützt werden. Sie fanden heraus, dass das System robust ist. Eine leichte Änderung der Regeln führte nicht dazu, dass die Leistung einbrach. Das System speicherte konsistent etwa 70 Prozent der Daten und behielt dabei die überwiegende Mehrheit der wichtigen Fakten. Diese Stabilität deutet darauf hin, dass das System in realen Anwendungen eingesetzt werden kann, ohne ständig angepasst werden zu müssen.

Am Ende zeigt die Arbeit, dass es möglich ist, Agenten-Gespräche viel kürzer zu machen, ohne die Wahrheit zu verlieren. Indem das System den Gesprächsverlauf als eine Sammlung von Daten behandelt, die komprimiert und abgerufen werden können, anstatt als eine Geschichte, die zusammengefasst oder gekürzt werden muss, erreicht es ein Maß an Effizienz, das zuvor als unmöglich galt. Der Agent kann längere, komplexere Aufgaben ausführen, ohne dass ihm der Speicher ausgeht oder er für übermäßigen Datentransfer bezahlen muss. Das System bleibt unabhängig von einem spezifischen Modellanbieter, was bedeutet, dass es mit jedem Werkzeug verwendet werden kann, das die Standardsprache dieser Agenten spricht.

Die Forscher räumen ein, dass ihr Test mit synthetischen Daten durchgeführt wurde, was bedeutet, dass die Sitzungen von einem Computer generiert wurden und nicht aus realer menschlicher Nutzung stammen. Sie planen, das System an realen Agenten-Trajektorien zu testen, um zu sehen, wie es unter realen Bedingungen abschneidet. Sie merken auch an, dass das aktuelle System zwar exzellent darin ist, Redundanzen zu entfernen, aber die tiefere Bedeutung des Gesprächs noch nicht versteht. Zukünftige Versionen könnten Ebenen hinzufügen, die identifizieren können, welche Teile des Gesprächs basierend auf der jeweiligen Aufgabe am wichtigsten sind. Das aktuelle System bietet jedoch eine solide Grundlage. Es beweist, dass man mit sorgfältigem Engineering die vollständige Aufzeichnung der Arbeit eines Agenten bewahren kann, während man nur einen Bruchteil der Daten sendet, wodurch sichergestellt wird, dass kein Fakt jemals wirklich verloren geht.