Plans Don't Persist: Why Context Management Is Load Bearing for LLM Agents

Die Kernidee: Das Problem des „zerbrechlichen Zettels“

Stellen Sie sich vor, Sie sind ein Roboter, der die Aufgabe hat, ein unordentliches Haus zu reinigen. Bevor Sie beginnen, schreiben Sie eine To-do-Liste auf einen Klebezettel: „1. Gehe in die Küche. 2. Hebe den Becher auf. 3. Lege ihn in die Spülmaschine.“

In der Welt der KI-Agenten (Roboter, die von Large Language Models gesteuert werden) ist dieser „Klebezettel“ der Plan. Die Arbeit untersucht eine entscheidende Frage: Merkt sich der Roboter diese Liste tatsächlich, oder liest er den Zettel jedes Mal neu, wenn er einen Schritt macht?

Die Autoren fanden heraus, dass es für Standard-KI-Modelle die Antwort ist: Er liest den Zettel immer wieder neu.

Wenn man diesen Klebezettel wegnimmt (oder wenn das Sichtfenster des Roboters voll wird und der Zettel „verdrängt“ wird), vergisst der Roboter sofort, was er eigentlich tun sollte. Er hat den Plan nicht in seinem „Gehirn“ gespeichert; er hat den Plan nur in dem „Papier“ gespeichert, das er gerade vor sich sieht.

Das Experiment: Das „Geister-Replay“

Um dies zu beweisen, nutzten die Forscher einen cleveren Trick namens Replay Pairing. Stellen Sie sich vor, man spielt einen Film über den robotergesteuerten Reinigungsvorgang zweimal ab:

1. Film A (Das Original): Der Roboter sieht den Klebezettel mit dem Plan und beginnt dann zu reinigen.
2. Film B (Der Geist): Der Roboter führt exakt dieselben Aktionen aus und sieht exakt dieselben Ergebnisse, aber der Klebezettel mit dem Plan wurde magisch aus seiner Sicht entfernt.

Die Forscher verglichen dann den internen „Gehirnzustand“ (die verborgenen Gedanken) des Roboters zwischen Film A und Film B.

• Wenn der Roboter den Plan auswendig gelernt hätte: Sein Gehirnzustand sollte in beiden Filmen fast identisch sein, da er den Plan auswendig kennt.
• Wenn der Roboter nur den Zettel liest: Sein Gehirnzustand sollte sich in dem Moment drastisch ändern, in dem der Zettel verschwindet.

Das Ergebnis: In dem Moment, als der Zettel entfernt wurde, änderte sich der Gehirnzustand des Roboters sofort. Das „Signal“ des Plans sank innerhalb eines einzigen Schritts um das 4- bis 12-fache. Es ist, als hätte der Roboter auf den Zettel geschaut, einen Schritt gemacht und dann wäre der Zettel vollständig aus seinem Gedächtnis verschwunden.

Die „Denk“-Falle (Reasoning-Modelle)

Die Forscher testeten auch neuere, intelligentere KI-Modelle (genannt „Reasoning Models“), die mit sich selbst sprechen, bevor sie handeln. Diese Modelle haben einen speziellen Abschnitt in ihrer Ausgabe namens <thinking>, in dem sie ihre Gedanken niederschreiben.

Als sie das „Geister-Replay“ auf diese smarten Modelle anwandten, sahen die Ergebnisse seltsam aus. Der Roboter schien den Plan auch ohne den Zettel zu erinnern!

Die Wendung: Die Forscher erkannten, dass dies ein Trick war. Die smarten Modelle schrieben den Plan während des Prozesses in ihren eigenen <thinking>-Blöcken immer wieder neu. Also „las“ der Roboter den Plan auch dann noch aus seinen eigenen jüngsten Gedanken, selbst wenn der ursprüngliche Zettel entfernt wurde.

Sie behoben dies durch „Strict Stripping“, was nicht nur den ursprünglichen Zettel, sondern auch die jüngsten Gedanken des Roboters entfernt, die den Plan erwähnten. Sobald sie dies taten, zeigten auch die smarten Modelle, dass sie darauf angewiesen sind, den Plan direkt vor sich zu haben. Sie „halten“ den Plan nicht wirklich in ihrem Langzeitgedächtnis.

Der Belastungstest: Was passiert, wenn der Zettel weg ist?

Um zu sehen, wie schlimm das in der Realität ist, führten sie einen „Compression Stress Test“ durch. Sie zwangen die KI, ein Haus zu reinigen, beschränkten aber ihr Sichtfenster, sodass sie alte Notizen wegwerfen musste, um Platz für neue zu schaffen.

• Der „naive“ Ansatz: Sie ließen die KI den Plan-Zettel wegwerfen, um Platz zu sparen.
  • Ergebnis: Die Erfolgsquote der KI brach um 35 % ein. Sie konnte die Aufgabe nicht abschließen, weil sie den Plan vergessen hatte.
• Der „smarte“ Ansatz: Sie versuchten, einen Detektor einzusetzen, um zu erkennen, wann die KI vergisste, und setzten dann den Plan-Zettel erneut ein.
  • Ergebnis: Dies half nicht viel. Die KI war bereits verwirrt, weil sie den Kontext dessen, was sie gerade tat, verloren hatte – nicht nur den Plan selbst.

Das Faztes

Die Arbeit kommt zu dem Schluss, dass für aktuelle KI-Agenten das Kontextmanagement der wichtigste Teil des Systems ist.

Stellen Sie sich das Speicherfenster der KI wie ein Whiteboard vor. Der Plan ist keine permanente Tätowierung auf dem Arm des Roboters; er ist eine Zeichnung mit einem Marker auf dem Whiteboard. Solange der Marker auf dem Board ist, arbeitet der Robbot. Wenn man das Board wischt (selbst wenn man nur den Plan wischt), hört der Roboter auf zu arbeiten.

Wichtige Thesen aus der Arbeit:

• Pläne sind nicht persistent: Sie sind nicht im internen „Gehirnzustand“ der KI gespeichert; sie müssen bei jedem Schritt neu aus dem Textfenster gelesen werden.
• Der Verfall ist schnell: Das „Gedächtnis“ des Plans verschwindet fast augenblicklich (innerhalb eines Schritts), sobald der Text weg ist.
• Reasoning-Modelle sind trügerisch: Sie verstecken den Plan in ihren eigenen Denkspuren, was Tests täuschen kann, sofern man diese Spuren nicht ebenfalls entfernt.
• Schutz allein reicht nicht aus: Das bloße Schützen des Plan-Textes ist keine magische Lösung für Speicherlimits; wenn die KI den Kontext ihrer Handlungen verliert, scheitert sie, unabhängig davon, ob der Plan noch vorhanden ist.

Die Arbeit bietet eine neue Methode, um dieses „Vergessen“ zu messen, und beweist, dass KI-Agenten vorerst fragil sind: Sie müssen den Plan genau jetzt vor Augen haben, um weiterarbeiten zu können.