When Replanning Becomes the Bottleneck: Budgeted Replanning for Embodied Agents

Stellen Sie sich vor, Sie sind der Kapitän eines Raumschiffs, das durch ein chaotisches Asteroidenfeld navigiert. Sie haben eine superintelligente KI-Co-Pilotin, die Ihnen hilft, Ihren Kurs zu planen. Aber hier ist der Haken: Jedes Mal, wenn das Schiff gegen einen Felsen stößt oder den Weg verliert, bitten Sie die KI, die gesamte Route von vorn zu berechnen. Am Anfang ist das einfach. Aber je länger Ihre Reise dauert, desto größer wird der „Speicher“ der KI für alles, was passiert ist – die Felsen, denen Sie ausgewichen sind, die Nachrichten von anderen Schiffen, die Fehler, die Sie gemacht haben – zu einem riesigen, verhedderten Wollknäuel. Jedes Mal, wenn Sie einen neuen Plan anfordern, muss die KI dieses gesamte Wollknäuel erneut lesen. Schließlich wird die KI von ihrer eigenen Geschichte so überwältigt, dass sie ewig braucht, um nachzudenken. Bis sie schließlich eine neue Richtung ausruft, sind Sie bereits in einen weiteren Asteroiden gekracht. Dies ist das Problem des „Replannings“ (der Neuplanung) in der Welt der Roboter und KI-Agenten: Je mehr sie lernen und je länger sie arbeiten, desto langsamer werden sie dabei, ihre Fehler zu korrigieren, selbst wenn sie technisch gesehen immer noch gut bei der Sache sind.

Dieses Paper mit dem Titel „When Replanning Becomes the Bottleneck“ (Wenn die Neuplanung zum Flaschenhals wird) befasst sich genau mit diesem Kopfschmerz für „verkörperte Agenten“ (embodied agents) – Roboter oder KI-Systeme, die in der realen Welt (oder realistischen Simulationen) leben und sich bewegen und handeln müssen. Die Autoren, Shuaijun Liu und sein Team, haben entdeckt, dass diese Roboter zwar besser darin werden, Aufgaben zu erfüllen, aber bei einer verborgenen Metrik scheitern: der Geschwindigkeit. Sie fanden heraus, dass ein Roboter zu 100 % erfolgreich sein kann, sein Ziel zu erreichen, aber wenn er zu lange braucht, um zu durchschauen, wie er dorthin kommt, nachdem etwas schiefgelaufen ist, verpasst er seine Echtzeit-Deadlines. Es ist wie ein Schüler, der eine Eins auf einer Prüfung bekommt, aber drei Tage braucht, um den Lösungsschlüssel zu schreiben; die Note ist perfekt, aber das System ist kaputt. Das Paper stellt ein neues System namens BRACE (Budgeted Replanning for Agentic Control in Embodied Systems) und ein smartes Pruning-Tool (ein Werkzeug zur Beschneidung) namens E-RECAP vor. Denken Sie an BRACE als einen strengen Projektmanager, der der KI sagt: „Du hast genau 200 Wörter, um deinen neuen Plan zu erklären, und du musst in 2,5 Sekunden fertig sein. Wenn du das nicht schaffst, werden wir deine Geschichte abkürzen.“ E-RECAP ist der Editor, der die langweiligen, repetitiven Teile des Gedächtnisses der KI rücksichtslos löscht, während er die wichtigen Details beibehält, damit die KI schneller denken kann, ohne das Wesentliche zu vergessen.

Das Problem: Die Falle des „Zu viel an Geschichte“

In der Welt der Robotik nutzen Agenten (wie selbstfahrende Autos oder Roboterarme) nicht einfach ein einziges, perfektes Skript. Die reale Welt ist chaotisch. Roboter rutschen aus, Sensoren werden verwirrt und andere Agenten (wie andere Roboter oder Drohnen) tun Unerwartetes. Um dies zu bewältigen, nutzen moderne Roboter eine Schleife: Sie beobachten, was passiert, planen einen Zug, handeln und, falls etwas schiefgeht, planen sie neu (replan).

Das Problem entsteht, weil der Roboter bei jeder Neuplanung nicht nur den aktuellen Moment betrachtet. Er füttert die KI mit einem massiven Prompt, der die Aufgabenanweisungen, die gesamte Historie dessen, was passiert ist, die gemachten Fehler und Nachrichten von anderen Agenten enthält. Während der Roboter arbeitet, wächst dieser „Kontext“. Stellen Sie sich vor, Sie versuchen ein Buch zu lesen, bei dem die Seiten jedes Mal, wenn Sie eine umblättern, am Anfang und am Ende wieder hinzugefügt werden. Irgendwann wird das Buch so dick, dass das Lesen Stunden dauert.

Die Autoren fanden heraus, dass mit wachsendem Kontext die Zeit, die die KI für die Neuplanung benötigt (die „Latenz“), „Heavy Tails“ (schwere Enden) aufweist. Das bedeutet, dass die durchschnittliche Neuplanungszeit zwar okay aussehen mag, die KI aber gelegentlich in einem „Long Tail“ des Nachdenkens stecken bleibt und viel zu lange braucht. In einem Echtzeitsystem kann eine einzige lange Verzögerung katastrophal sein. Das Paper zeigt, dass Roboter in vielen Tests zu 100 % erfolgreich bei ihren Aufgaben waren, aber ihre Geschwindigkeitslimits (genannt Service-Level Objectives oder SLOs) bei bis zu 100 % ihrer Neuplanungsaufrufe verletzt haben. Es ist ein bisschen wie ein Läufer, der jedes Rennen gewinnt, aber 10 Minuten braucht, um sich vor dem Startschuss die Schuhe zu binden; er gewinnt, aber das System ist ineffizient und unzuverlässig.

Die Lösung: BRACE und der Budget-Manager

Um dies zu beheben, entwickelte das Team BRACE. Anstatt die KI einfach jederzeit mit unbegrenztem Gedächtnis neu planen zu lassen, behandelt BRACE die Neuplanung wie eine budgetierte Ressource. Es fungiert als Controller, der bei jedem Mal, wenn der Roboter neu nachdenken muss, drei Dinge entscheidet:

1. Sollen wir neu planen? Manchmal driftet der Roboter nur ein wenig ab und benötigt keinen vollständigen neuen Plan. BRACE kann „warten“ sagen, um unnötiges Nachdenken zu vermeiden.
2. Wie viel „Token-Budget“ haben wir? Tokens sind die Einheiten des Textes, die die KI liest. BRACE setzt eine strikte Grenze für die Anzahl der Tokens, die die KI für ihren neuen Plan verwenden darf.
3. Was ist das Zeitlimit (SLO)? BRACE setzt eine harte Deadline dafür, wie lange der Prozess der Neuplanung dauern darf.

Wenn die KI versucht, zu viel Gedächtnis zu verwenden oder zu lange braucht, greift BRACE ein. Es verfügt auch über Sicherheitsfunktionen wie „Cooldown-Fenster“, die verhindern, dass der Roboter in Panik gerät und jede Sekunde neu plant, was ihn nur langsamer machen würde.

Das Werkzeug: E-RECAP (Der smarte Editor)

Selbst mit einem Budget muss die KI trotzdem etwas lesen. Hier kommt E-RECAP ins Spiel. Es ist eine Methode des „progressiven Token-Prunings“. Stellen Sie sich das Gedächtnis des Roboters als eine lange, ausschweifende Geschichte vor. E-RECAP ist ein superintelligenter Editor, der weiß, welche Teile der Geschichte entscheidend sind und welche nur Füllmaterial.

Es arbeitet, indem es die internen „Hidden States“ (die Art und Weise, wie die KI Text versteht) betrachtet und jedes Wort (Token) basierend auf seiner Wichtigkeit bewertet.

• Es behält den Anfang (die Aufgabenanweisungen) und das Ende (die jüngsten Ereignisse), da diese meist am kritischsten sind.
• Es löscht die Mitte, die weniger wichtig oder repetitiv ist.
• Es tut dies in Schichten, wobei es immer strenger wird, während es sich durch das „Gehirn“ der KI arbeitet.

Das Ergebnis ist eine viel kürzere, sauberere Geschichte, die dennoch alle notwendigen Informationen enthält, um eine gute Entscheidung zu treffen.

Was sie herausfanden: Geschwindigkeit ohne Einbußen beim Erfolg

Das Team testete BRACE und E-RECAP auf drei verschiedenen Plattformen: Meta Habitat (eine virtuelle Welt für die Navigation), RoboFactory (eine Simulation für Roboterarme und Koordination) und AirSim (ein Simulator für Drohnen und Autos).

Die Ergebnisse waren beeindruckend. In den Meta Habitat Navigations-Tests erreichte der Standardansatz (genannt „No BRACE“) 100 % Aufgabenerfolg, verstieß jedoch bei 85,5 % der Neuplanungsaufrufe gegen das Zeitlimit. Als sie BRACE und E-RECAP hinzufügten, blieb die Erfolgsrate bei 100 %, aber die Verletzungen des Zeitlimits sanken dramatisch auf nur 4,7 %.

In den RoboFactory-Tests war die Verbesserung noch dramatischer. Der Standardansatz verletzte das Zeitlimit bei 100 % der Aufrufe. Mit BRACE und E-RECAP sank diese Zahl auf 50,0 %. In einem noch schwierigeren Szenario, in dem der Standardansatz völlig versagte (0 % Erfolg), erreichte das neue System 80,0 % Erfolg bei gleichzeitig niedrigen Zeitverletzungen von 4,6 %.

Das System reduzierte auch die Anzahl der Tokens, die die KI verarbeiten musste, um 62 % bis 92 %. Das bedeutet, die KI leistete weniger Arbeit für die gleichen (oder sogar bessere) Ergebnisse. In den AirSim-Drohnen-Tests sank die Anzahl der Zeitverletzungen von 100 % auf 4,7 %.

Warum das wichtig ist

Das Paper argumentiert, dass wir die Messung der Roboterleistung ändern müssen. Nur zu sagen „der Roboter war erfolgreich“, reicht nicht aus, wenn er zu lange gebraucht hat, um herauszufinden, wie. Indem wir das Replanning als ein Systemproblem mit strikten Budgets behandeln, können wir Roboter bauen, die nicht nur smart, sondern auch schnell und zuverlässig sind.

Die Autoren testeten dies auch an einem echten Roboterarm im Labor (bei Aufgaben wie dem Aufheben von Obst oder dem Drücken von Objekten). Während die Simulationsergebnisse im Fokus standen, zeigten die Tests mit dem echten Roboter, dass dieselben Budgetierungs- und Pruning-Techniken auch dort funktionierten und sowohl die Erfolgsraten verbesserten als auch Verzögerungen reduzierten.

Kurz gesagt legt das Paper nahe, dass Roboter, indem sie etwas sparsamer mit Speicher und Zeit umgehen und einen smarten Editor nutzen, um das Unwesentliche zu streichen, aufhören können, sich in ihrer eigenen Geschichte zu verstricken, und statfangen können, sich mit der Geschwindigkeit und Agilität durch die Welt zu bewegen, die sie benötigen. Es ist eine Erinnerung daran, dass es manchmal genauso wichtig ist, zu wissen, was man nicht erinnern sollte, wie alles zu erinnern.