Resume Means Resume: A Machine-Checked Conformance Contract for Checkpoint, Interrupt, and Resume Semantics in Workflow Persistence Layers

Das digitale Amnesie-Syndrom von KI-Agenten

Stellen Sie sich vor, Sie bauen einen Roboter, der komplexe Aufgaben erledigen kann, wie etwa eine Reise zu planen oder eine Geschichte zu schreiben. Manchmal muss dieser Roboter innehalten, um Ihnen eine Frage zu stellen, wie zum Beispiel: „Soll ich den Flug buchen?“ oder „Gefällt dir diese Wendung in der Handlung?“. Dies nennt man einen „Interrupt“ (Unterbrechung). Wenn der Roboter abstürzt, den Strom verliert oder unterbrochen wird, muss er eine Möglichkeit haben, sich genau daran zu erinnern, wo er aufgehört hat, damit er genau dort weitermachen kann, wo er gestoppt hat. Dies nennt man „Persistenz“.

In der Welt der Informatik, speziell im Bereich der KI-Workflows, gibt es ein wachsendes Problem. Wir haben viele verschiedene „Robotergehirne“ (Frameworks) gebaut, die pausieren und fortsetzen können. Diese Roboter sind jedoch schrecklich darin, sich daran zu erinnern, was sie bereits getan haben. Wenn ein Roboter eine Aufgabe abschließt, seinen Fortschritt speichert und sich dann neu startet, sollte ein gut trainierter Roboter sagen: „Das habe ich bereits erledigt, lass uns weitermachen.“ Ein verwirrter Roboter könnte jedoch sagen: „Ich erinnere mich nicht daran, das getan zu haben!“, und die Aufgabe einfach noch einmal ausführen. Wenn diese Aufgabe das Versenden einer E-Mail oder das Belasten einer Kreditkarte war, ist das doppelte Ausführen eine Katastrophe. Dieses Paper untersucht, ob unsere aktuellen KI-Roboter tatsächlich verwirrt sind oder ob sie nur so tun, als wären sie intelligent.

---

Die große „Resume“-Verwirrung

Dieses Paper gleicht einer Detektivgeschichte, aber anstatt einen Mord aufzuklären, löst der Autor, Sajjad Khan, ein Rätsel der digitalen Amnesie. Das Rätsel lautet: Wenn ein KI-Agent pausiert und dann fortfährt, erinnert er sich dann daran, was er bereits getan hat, oder führt er es versehentlich noch einmal aus?

Der Autor fand heraus, dass die fünf populärsten KI-Frameworks da draußen alle nach unterschiedlichen, widersprüchlichen Regelbüchern spielen. Es ist, als hätten Sie fünf verschiedene Videospiele, und in einem drückt das Drücken von „Weiter spielen“ das Level überspringt, das Sie gerade erst besiegt haben, während es in einem anderen erzwingt, dass Sie erneut gegen den Endboss kämpfen müssen. Schlimmer noch: Einige dieser Spiele sagen Ihnen nicht einmal, welche Regel sie gerade verwenden.

Die sechs Regeln eines guten Fortsetzungsprozesses (Resume)

Um herauszufinden, wer fair spielt, hat der Autor einen „Resume Contract“ (Fortsetzungsvertrag) erfunden. Betrachten Sie dies als ein Regelbuch dafür, wie sich ein Roboter verhalten sollte, wenn er aus einem Nickerchen erwacht. Der Vertrag umfasst sechs Hauptregeln:

1. Präfix-Kontinuation (Prefix Continuation): Wenn du aufwachst, solltest du genau dort weitermachen, wo du aufgehört hast, und nicht am Anfang des Films.
2. Effekt genau einmal (Effect Exactly-Once): Wenn du bereits eine E-Mail gesendet oder eine Karte belastet hast, darfst du das niemals wieder tun. Nur ein einziges Mal.
3. Fork-Determinismus (Fork Determinism): Wenn du entscheidest, deinen Pfad zu teilen (wie die Wahl zwischen „Gehe nach links“ vs. „Gehe nach rechts“), muss der Roboter sich daran erinnern, welchen Pfad du gewählt hast. Wenn du zweimal „Links“ sagst, sollte er nicht so reagieren, als hättest du beim zweiten Mal „Rechts“ gesagt.
4. Checkpoint-Validität (Checkpoint Validity): Das Gedächtnisprotokoll des Roboters muss sauber sein. Er sollte keine „Mülldaten“ oder fehlerhaften Daten speichern, die ihn später zum Absturz bringen könnten.
5. Einmaliger Verbrauch (Consume-Once): Wenn ein Mensch eine Antwort gibt (wie „Ja, buche den Flug“), sollte der Roboter diese Antwort nur einmal verwenden. Er sollte nicht versehentlich dieselbe Antwort „Ja“ nutzen, um zwei Flüge zu buchen.
6. Wiederherstellungs-Determinismus (Recovery Determinism): Wenn zwei Roboter mit exakt demselben Gedächtnisprotokoll aufwachen, müssen sie exakt dieselben Entscheidungen treffen.

Die Untersuchung: Wer hat versagt?

Der Autor baute eine superpräzise, roboterfreie Testmaschine (einen „Harness“), um fünf populäre KI-Frameworks zu testen. Es waren keine menschlichen Gehirne oder KI-Modelle am Test beteiligt, nur reiner Code. Die Ergebnisse waren schockierend: Kein einziges Framework verhielt sich gleich.

• LangGraph: Dieses Framework ist wie ein Roboter, der seine Hausaufgaben vergisst. Wenn es abstürzt und neu startet, erledigt es Arbeit, die es bereits abgeschlossen hatte (Verletzung von „Effect Exactly-Once“). Es hat auch einen Fehler, bei dem es, wenn man seine Meinung ändert (ein „Fork“), die neue Entscheidung ignoriert und die alte wiederholt.
• CrewAI: Dieses hier ist noch chaotischer. Es behauptet, abgeschlossene Arbeit zu überspringen, aber wenn es neu startet, erledigt es trotzdem alles noch einmal. Es ist wie ein Koch, der sagt: „Ich habe die Zwiebeln bereits gehackt“, aber dann hackt er sie einfach nochmal, was Zeit und Zutaten verschwendet.
• LlamaIndex Workflows: Dieses Framework ist ehrlich bezüglich seiner Verwirrung. Es gibt zu: „Hey, wenn du pausierst, werde ich die Arbeit vor der Pause vielleicht noch einmal machen.“ Das ist kein Bug, sondern ein dokumentiertes Feature, aber es bleibt riskant für Dinge wie Zahlungen.
• pydantic-graph: Dieser Roboter ist so fragil, dass er sich weigert, überhaupt aufzuwachen, wenn er mitten in einer Aufgabe abstürzt. Es ist wie ein Auto, das nicht anspringt, wenn man den Motor ausschaltet, während man noch im Gang ist.
• AutoGen: Dies ist der einzige, der laut sagt: „Hey, du hast versucht, eine defekte Speicherdatei zu laden!“ und sich weigert zu laufen. Es ist der strenge Lehrer, der dich nicht an den Validierungsprüfungen vorbeilassen lässt.

Das „Doppelbuchungs“-Desaster

Eine der gefährlichsten Erkenntnisse betraf den Einmaligen Verbrauch (Consume-Once). Stellen Sie sich vor, Sie haben einen „Parkplatz“, an dem ein Mensch eine Antwort gibt. Wenn zwei Personen gleichzeitig versuchen, eine Antwort zu geben (konkurrent), lassen die aktuellen Systeme beide von ihnen „parken“. Der Roboter denkt dann, er hätte zwei Antworten erhalten, und führt die Aufgabe doppelt aus.
Der Autor testete dies mit 16 „Rennfahrern“, die gleichzeitig antworteten. In 36 von 40 Tests versagte das System vollständig und ließ alle 16 Rennfahrer die Aktion auslösen. Es ist wie ein Fahrkartenschalter, an dem 16 Leute dasselbe Ticket kaufen, und das System lässt sie alle eintreten.

Der Beweis und die Lösung

Der Autor hat nicht nur geraten; er nutzte ein mathematisches Werkzeug namens TLA+, um Millionen von Szenarien zu simulieren und zu beweisen, dass diese Fehler real waren und kein Pech. Er verwendete auch ein formales Verifikationswerkzeug namens Verus, um eine „perfekte“ Roboter-Engine namens REMIT zu bauen.

REMIT ist eine Referenz-Engine, die die Regeln perfekt befolgt. Sie behebt das „Fork“-Problem, indem sie sich exakt merkt, welchen Pfad man gewählt hat, und sie behebt das „Doppelbuchungs“-Problem, indem sie die Antwort sperrt, sodass nur eine Person sie geben kann. Der Autor zeigte, dass der Roboter mit REMIT korrekt agiert, selbst wenn 64 verschiedene Threads versuchen, mit ihm zu kommunizieren.

Das Fazit

Die große Lehre hier ist, dass nur weil ein KI-Framework behauptet, über „Checkpointing“ (die Fähigkeit zu speichern und fortzufahren) zu verfügen, bedeutet das nicht, dass es sicher für wichtige Dinge wie Geld oder das Versenden von Nachrichten ist. Derzeit ist der „Fortsetzen“-Knopf bei vielen KI-Tools auf eine Weise kaputt, die zu Doppelbuchungen oder Datenverlust führen kann.

Das Paper beweist, dass wir ein Standard-Regelwerk (den Resume Contract) benötigen, damit Entwickler genau wissen, was ihr KI-Agent tut, wenn er aufwacht. Bis dahin gilt: Wenn Sie eine KI bauen, die reale Aufgaben erledigt, können Sie dem Framework nicht einfach vertrauen, dass es sich an das erinnert, was es getan hat – Sie müssen Ihr eigenes Sicherheitsnetz bauen. Der Autor hat sogar ein kostenloses Tool (REMIT) veröffentlicht, das Entwickler nutzen können, um ihre Systeme zu patchen und sicher zu machen, was beweist, dass eine perfekte, regelkonforme Fortsetzung möglich ist, auch wenn die derzeit populären Tools dies noch nicht leisten.