Constraint Inflation: Context Compaction in LLM Agents Rarely Loses Instructions but Often Overstates Them

Stellen Sie sich einen digitalen Assistenten vor, der stundenlang an einem einzigen komplexen Projekt arbeiten kann, indem er Dateien liest, Werkzeuge ausführt und mit einem menschlichen Nutzer kommuniziert. Da dieser Gesprächsverlauf mit der Zeit immer länger wird, kann der Computer nicht mehr den gesamten Verlauf auf einmal im Speicher halten. Um weiterarbeiten zu können, muss das System den Verlauf komprimieren, indem es die frühen Teile des Chats durch eine kurze Zusammenfassung ersetzt, die die wichtigsten Punkte erfasst. Dies ist ein Standardtrick in der künstlichen Intelligenz, ganz ähnlich wie ein Mensch, der sich Notizen macht, um ein langes Meeting in Erinnerung zu behalten. Jahrelang haben sich Forscher Sorgen gemacht, dass diese Zusammenfassungen wichtige Details vergessen könnten, was dazu führen würde, dass der Assistent die Spur eines spezifischen Regelsatzes oder von Sicherheitsanweisungen des Nutzers verliert. Die vorherrschende Befürchtung war, dass die Maschine einfach „den Ball fallen lässt“.

Eine neue Studie deutet jedoch darauf hin, dass das Problem nicht darin besteht, dass die Maschine vergisst, sondern dass sie zu gut erinnert. Tatsächlich erinnert sie sich oft auf eine Weise, die zu breit gefasst oder zu streng ist. Die Forscher nennen dies „Constraint Inflation“ (Regel-Inflation). Es geschieht, wenn eine Zusammenfassung eine vorübergehende, einmalige Anfrage nimmt und sie in eine dauerhafte Regel verwandelt. Wenn zum Beispiel ein Nutzer sagt: „Überspringe die Tests für diese spezifische Datei, weil das Internet ausgefallen ist“, wäre eine gute Zusammenfassung die Notiz, dass die Tests für diese eine Datei übersprungen wurden. Eine fehlerhafte Zusammenfassung hingegen würde die Anweisung als „Überspringe immer Tests, wenn das Internet ausgefallen ist“ protokollieren. Die Regel bleibt zwar bestehen, aber ihre Bedeutung hat sich geändert – von einer vorübergehenden Lösung hin zu einer festen Richtlinie. Diese subtile Verschiebung kann dazu führen, dass der Assistent später Fehler macht, indem er eine vorübergehende Lösung auf jede zukünftige Aufgabe anwendet.

Um zu messen, wie oft dies geschieht, bauten die Forscher eine Testumgebung namens InflateBench. Sie erstellten 240 realistische Arbeitssitzungen in fünf verschiedenen Bereichen, wie etwa Programmierung, Datenanalyse und Büroarbeit. In jeder Sitzung platzierten sie sechs spezifische Anweisungen mit einem bekannten Umfang, wie etwa eine einmalige Aufgabe oder eine vorübergehende Präferenz. Anschließend ließen sie diese Sitzungen durch sieben verschiedene Methoden der Gesprächszusammenfassung laufen, wobei sie zwei verschiedene Arten von Sprachmodellen verwendeten. Das Ziel war zu sehen, ob die Zusammenfassungen die Anweisungen intakt hielten, sie ganz vergaßen oder sie versehentlich ausweiteten. Sie testeten auch, ob diese erweiterten Regeln tatsächlich das darauffolgende Handeln des digitalen Assistenten veränderten.

Die Ergebnisse waren überraschend. Die Zusammenfassungen verloren Anweisungen fast nie; tatsächlich behielten sie mehr als 99 Prozent von ihnen bei. Aber während sie selten etwas vergaßen, übertrieben sie häufig maßlos. Wenn das System eine freie Zusammenfassung verwendete, inflationierte es etwa 12 bis 14 Prozent der berechtigten Elemente. Wenn es jedoch ein strukturiertes Template mit spezifischen Abschnitten für Regeln und Präferenzen verwendete, stieg diese Zahl auf fast 20 Prozent. Der häufigste Fehler bestand darin, eine Präferenz in eine Anforderung zu verwandeln oder eine einmalige Aufgabe so zu behandeln, als wäre sie eine dauerhafte Regel. Zum Beispiel wurde eine Anfrage, ein bestimmtes Werkzeug nur für den aktuellen Job zu nutzen, oft als Regel umgeschrieben, dass das Werkzeug immer verwendet werden muss.

Die Studie testete auch zwei populäre Lösungen, die darauf ausgelegt waren, den Verlust von Anweisungen zu verhindern. Eine Methode bestand darin, Regeln in eine separate Liste zu extrahieren, die andere darin, sie zu „pinnen“ (festzusetzen), sodass sie in jeder Zusammenfassung erscheinen. Die Forscher fanden heraus, dass diese Lösungen nicht halfen, da die Anweisungen nicht verloren gingen. Stattdessen machten diese Methoden das Problem der Inflation sogar noch schlimmer. Die „Pinning“-Methode verursachte insbesondere eine Inflation, die in einigen Fällen auf über 50 Prozent in die Höhe schoss. Indem das System gezwungen wurde, die Regeln wortwörtlich zu wiederholen, verloren die Zusammenfassungen den Kontext, der zeigte, dass diese Regeln vorübergehend waren. Das System konnte nicht mehr zwischen einer dauerhaften Regel und einer einmaligen Anfrage unterscheiden.

Abschließend prüften die Forscher, ob diese aufgeblasenen Regeln das Verhalten des digitalen Assistenten tatsächlich veränderten. Sie fanden heraus, dass sie dies taten. Wenn die Zusammenfassung eine aufgeblasene Regel enthielt, war der Assistent signifikant wahrscheinlicher dazu geneigt, diese Regel auf zukünftige Aufgaben anzuwenden, für die sie nicht vorgesehen war. Obwohl die Assistenten den aufgeblasenen Regeln nicht in jedem einzelnen Fall folgten, war die Fehlerrate hoch genug, um ein ernstes Problem darzustellen. Die Studie kommt zu dem Schluss, dass die aktuelle Art und Weise, wie lange Gespräche gehandhabt werden, sich ändern muss. Es reicht nicht aus, die Regeln lediglich zu behalten; das System muss auch erfassen, wie lange diese Regeln gelten sollen. Ohs ohne dies läuft der digitale Assistent Gefahr, ein starrer Arbeiter zu werden, der alte, vorübergehende Anweisungen so behandelt, als wären sie ewige Gesetze.