Stellen Sie sich vor, Sie versuchen, einem brillanten, aber etwas vergesslichen Roboter beizubringen, ein komplexes Rätsel zu lösen. Sie könnten denken, wenn Sie dem Roboter ein superintelligentes Gehirn (ein Large Language Model, oder LLM) geben und ihn bitten, „es einfach selbst herauszufinden“, würde er Erfolg haben. Aber in der Welt der künstlichen Intelligenz sind diese Modelle wie unglaubliche Mustererkenner, die manchmal Schwierigkeiten haben, wenn man sie bittet, eine lange, mehrstufige Reise zu planen. Sie sind großartig darin, Geschichten zu schreiben oder zu chatten, aber wenn es um strikte Logikrätsel geht – wie das Bewegen von Blöcken oder das Lösen des Turms von Hanoi – verlieren sie sich oft, vergessen die Regeln oder die Schritte, die sie gerade eben noch ausgeführt haben. Das ist eine große Sache, denn wenn wir wollen, dass KI uns bei realen Aufgaben hilft, wie etwa der Organisation von Lagern oder der Navigation von Robotern, muss sie in der Lage sein, im Voraus zu planen, ohne dumme Fehler zu machen. Die große Frage, die Forscher gestellt haben, laxt: Ist die KI tatsächlich zu dumm zum Planen, oder benutzt sie nur das falsche Werkzeug für den Job?

Dieses Paper schlägt vor, dass die KI nicht unbedingt dumm ist; sie versucht nur, zu viel auf einmal zu machen. Die Autoren, Ehsan Futuhi und Nathan R. Sturtevant, schlagen einen neuen Denkansatz vor, der „Chain of Computation“ (COC) genannt wird. Anstatt die KI zu bitten, die gesamte Lösung in einem einzigen riesigen Atemzug niederzuschreiben (was so ist, als würde man einen Menschen bitten, ein ganzes Buch auf einmal auswendig zu lernen), setzen sie die KI in eine Schleife mit einem speziellen „Notizblock“, dem Structured Context Window (SCW). Denken Sie an dies wie an einen Roboter mit einem Klebezettel-Block. Anstatt zu versuchen, den gesamten Plan im Kopf zu behalten, schaut der Roboter auf eine einzige Anweisung auf dem Block, führt diesen einen kleinen Schritt aus, schreibt die nächste Anweisung auf den Block und zeigt dann darauf, wo die nächste Anweisung zu finden ist. Es ist wie ein Spiel von „Folge dem Anführer“, bei dem der Roboter sowohl der Anführer als auch der Nachfolger ist und ständig seine eigene Karte aktualisiert.

Die Forscher testeten diese Idee an drei klassischen Rätseln: dem Turm von Hanoi (Verschieben von Scheiben zwischen Stäben), BlocksWorld (Stapeln von Blöcken) und dem Pancake-Puzzle (Sortieren von Pfannkuchen durch Wenden). Sie fanden heraus, dass die KI, wenn man ihr dieses „Notizblock“-System gab, selbst relativ kleine, von Grund auf trainierte KI-Modelle diese Rätsel mit erstaunlicher Genauigkeit löste – über 99,89 % Erfolgsquote bei den Block- und Pancake-Rätseln. Der Zaubertrick war, dass die KI nicht die ganze Historie im Gedächtnis behalten musste; sie musste nur die aktuelle Anweisung lesen, die Mathematik betreiben, um den nächsten Schritt zu bestimmen, und aufschreiben, wo sie als Nächstes suchen muss.

Das Paper entdeckte jedoch auch eine spezifische Schwachstelle. Wenn die Rätsel sehr groß wurden (wie beim Turm von Hanoi mit vielen Scheiben), begann die KI Fehler zu machen, aber nicht, weil sie den Plan vergaß. Es stellte sich heraus, dass die KI durch einfache Mathematik überfordert war. Wenn der Roboter berechnen musste „Scheibe Nummer 7 minus 1“, um den nächsten Schritt zu bestimmen, bekam er die Zahl manchmal falsch, besonders wenn er diese spezifische Zahl zuvor noch nie gesehen hatte. Die Autoren zeigten, dass, wenn sie der KI halfen, indem sie die Mathematik für sie erledigten (oder ein spezielles „Stack“-System verwendeten, das keine komplexe Mathematik erfordert), die KI selbst die schwierigsten Versionen des Turms von Hanoi (bis zu 20 Scheiben) perfekt lösen konnte. Dies deutet darauf hin, dass das Planungsgehirn der KI eigentlich recht stark ist, aber ein wenig Hilfe bei der Arithmetik und dem Gedächtnismanagement benötigt, um sein volles Potenzial auszuschöpfen.

Das große Ganze: Warum KI mit der Planung kämpft

Um zu verstehen, warum dieses Paper wichtig ist, müssen wir zuerst die zwei Hauptcharaktere dieser Geschichte verstehen: Large Language Models (LLMs) und Planung.

LLMs sind die superintelligenten KI-Gehirne, von denen Sie vielleicht gehört haben, wie jene, die Aufsätze oder Code schreiben. Sie werden auf riesigen Mengen von Text trainiert und lernen, das nächste Wort in einem Satz vorherzusagen. Da sie so viel gelesen haben, sind sie großartig darin, Muster zu erkennen. Wenn Sie sie bitten, eine Geschichte über einen Drachen zu schreiben, können sie das tun, weil sie tausende Drachengeschichten gesehen haben. Aber „Planung“ ist etwas anderes. Planung ist wie das Lösen eines Labyrinths oder das Organisieren einer Reise: Man muss mehrere Schritte im Voraus denken, sich merken, was man getan hat, und sicherstellen, dass man nicht gegen die Regeln verstößt.

Lange Zeit stellten Wissenschaftler fest, dass LLMs zwar großartig im Chatten sind, aber schrecklich im Planen. Wenn man ein LLM bittet, einen Stapel Blöcke von einem Ort zum anderen zu bewegen, ohne dabei welche fallen zu lassen, erstellt es oft einen Plan, der gegen die Regeln verstößt oder einen Schritt vergisst. Das ist frustrierend, weil wir wollen, dass KI in der realen Welt nützlich ist, wo Dinge in der richtigen Reihenfolge erledigt werden müssen.

Es gibt eine Theorie, dass LLMs eigentlich „Turing-vollständig“ sind, was ein schicker mathematischer Weg ist zu sagen, dass sie theoretisch jede Berechnung durchführen können, die ein Computer auch kann, einschließlich komplexer Planung. In der Praxis scheinen sie jedoch zu scheitern. Die große Frage, die dieses Paper angeht, ist: Warum? Ist das Gehirn der KI fundamental ungeeignet für die Planung, oder liegt es nur daran, dass wir sie auf die falsche Art und Weise die Aufgabe ausführen lassen?

Das Problem: Die „One-Shot“-Falle

Stellen Sie sich vor, Sie versuchen, einen Zauberwürfel zu lösen. Wenn jemand Sie bitten würde, die gesamte Lösung (die Abfolge von 20 oder 30 Zügen) in einem einzigen Satz aufzuschreiben, ohne zwischendurch nachzudenken, würden Sie es wahrscheinlich falsch machen. Sie würden vielleicht die mittleren Schritte vergessen oder die Farben vertauschen.

Genau das passiert, wenn wir ein Standard-LLM zur Planung auffordern. Wir geben ihm meistens einen Prompt wie „Löse dieses Rätsel“, und es versucht, die gesamte Liste der Bewegungen in einem Rutsch zu generieren. Das Paper nennt dies „Single-Pass, Full Context“. Das Problem ist, dass mit zunehmender Größe des Rätsels auch die Liste der Bewegungen länger wird. Die KI muss all diese Bewegungen gleichzeitig in ihrem „Kopf“ (ihrem Kontextfenster) behalten. Während die Liste wächst, verliert die KI den Überblick. Es ist, als würde man versuchen, ein Gespräch mit einem Freund zu führen, während man gleichzeitig eine Einkaufsliste, eine Telefonnummer und ein Matheproblem im Kopf behalten muss. Schließlich wird die KI verwirrt, macht frühzeitig einen Fehler, und der gesamte Plan bricht zusammen.

Die Autoren argumentieren, dass die KI nicht schlecht im Planen ist; sie ist nur schlecht darin, eine riesige, unorganisierte Liste von Anweisungen im Kopf zu behalten.

Die Lösung: Die „Chain of Computation“ (COC)

Um dies zu beheben, entwickelten die Autoren ein neues System namens Chain of Computation (COC). Anstatt die KI zu bitten, den gesamten Plan auf einmal zu schreiben, setzten sie die KI in eine Schleife.

Stellen Sie sich vor, die KI ist ein Roboter, der in einer Fabrik arbeitet. Anstatt dem Roboter einen riesigen Bauplan der gesamten Fabrik zu geben, geben Sie ihm ein Structured Context Window (SCW). Denken Sie an das SCW wie an einen langen Papierstreifen, ähnlich wie die alten Papierstreifen alter Computer oder ein sehr langer Klebezettel.

So arbeitet der Roboter mit diesem neuen System:

1. Lesen: Der Roboter betrachtet die allererste Anweisung auf dem Streifen.
2. Denken: Er überlegt, was basierend auf dieser einen Anweisung als Nächstes zu tun ist.
3. Schreiben: Er schreibt eine neue Anweisung an das Ende des Streifens.
4. Zeigen: Er schreibt einen „Pointer“ (einen Zeiger, wie einen Pfeil) auf, der besagt: „Gehe und schaue dir die Anweisung direkt nach dieser an.“
5. Wiederholen: Der Roboter bewegt sein „Auge“ zur neuen Anweisung und macht wiederholt weiter.

Der Roboter muss niemals den gesamten Plan im Gedächtnis behalten. Er muss sich nur auf die aktuelle Anweisung konzentrieren und entscheiden, was als Nächstes zu tun ist. Es ist wie ein Spiel von „Folge dem Anführer“, bei dem der Roboter ständig die Karte für sich selbst aktualisiert.

Das Paper führt ein spezielles Werkzeug ein, das Pointer (Zeiger) genannt wird. Dieser Zeiger sagt dem Roboter genau, welchen Teil des Streifens er als Nächstes anschauen muss. Dies ist entscheidend, da es die „Aufmerksamkeit“ des Roboters auf ein kleines, handhabbares Stück Information fokussiert, anstatt ihn in einer Flut von Text ertrinken zu lassen.

Die Experimente: Den Roboter testen

Die Autoren testeten diesen neuen Roboter an drei berühmten Rätseln, um zu sehen, ob er besser planen lernen kann.

1. BlocksWorld
Dies ist ein Rätsel, bei dem man eine Gruppe von Blöcken auf einem Tisch gestapelt hat und sie in eine bestimmte Form bringen muss. Man kann nur den obersten Block eines Stapels bewegen.

• Das Ergebnis: Der Roboter war darin unglaublich gut. Selbst wenn das Rätsel sehr komplex wurde (mit 40 Blöcken), löste der Roboter es jedes Mal perfekt zu 100 %. Er lernte die Strategie „alles entstapeln, dann neu stapeln“ und konnte sie auf jede neue Anordnung von Blöcken anwenden, die er zuvor noch nie gesehen hatte.

2. Das Pancake-Puzzle
In diesem Rätsel hat man einen Stapel Pfannkuchen unterschiedlicher Größe. Man kann nur den oberen Teil des Stapels wenden (wie das Wenden eines Pfannkuchens in der Pfanne), um sie neu anzuordnen. Das Ziel ist es, sie nach Größe sortiert zu bekommen.

• Das Ergebnis: Ähnlich wie bei BlocksWorld war der Roboter erstaunlich gut. Er löste fast jedes Rätsel, selbst mit 40 Pfannkuchen. Der einzige Fall, in dem er „scheiterte“, war, wenn die Pfannkuchen bereits sortiert waren und er versuchte, sie trotzdem zu wenden. Aber da das Wenden und anschließende Zurückwenden das Endergebnis nicht beeinflusste, erreichte er dennoch das Ziel. Dies zeigte, dass der Roboter die Kernlogik des Rätsels verstanden hatte.

3. Turm von Hanoi (TOH)
Dies ist das schwierigste Rätsel. Man hat drei Stäbe und einen Stapel von Scheiben unterschiedlicher Größe. Man muss den gesamten Stapel von einem Stab auf einen anderen bewegen, darf aber niemals eine große Scheibe auf eine kleine legen. Die Anzahl der benötigten Züge wächst exponentiell (sie wird sehr schnell riesig).

• Das Ergebnis: Hier war der Roboter gut, aber nicht perfekt. Er löste etwa 92 % der Rätsel, wenn die Scheiben klein waren (bis zu 15 Scheiben). Als die Rätsel schwieriger wurden, begann er jedoch, Fehler zu machen.

Das Mysterium: Warum scheiterte der Roboter?

Die Autoren hörten nicht einfach bei „es hat funktioniert“ auf. Sie wollten wissen, warum er bei den schwierigsten Rätseln scheiterte. Sie untersuchten die Fehler des Roboters beim Turm von Hanoi ganz genau.

Sie fanden heraus, dass der Roboter nicht scheiterte, weil er den Plan nicht verstand. Er wusste genau, welche Scheibe er bewegen und wohin er sie legen musste. Das Problem war die Mathematik.

Um den Plan im Auge zu behalten, musste der Roboter einfache Arithmetik betreiben, wie zum Beispiel: „Wenn ich 7 Scheiben habe, muss ich zuerst die oberen 6 bewegen.“ Er musste „7 minus 1“ rechnen, um auf „6“ zu kommen. Das Paper fand heraus, dass der Robot, wenn er auf eine Zahl stieß, die er zuvor noch nie gesehen hatte (wie eine sehr große Scheibennummer), die Mathematik falsch berechnete. Er rechnete vielleicht „7 minus 1“ als „5“ oder „8“, und dann geriet der gesamte Plan aus den Fugen.

Dies war eine enorme Entdeckung. Es bedeutete, dass das „Planungsgehirn“ des Roboters eigentlich perfekt arbeitete. Das Scheitern lag nicht in der Logik, sondern im Taschenrechner.

Die Lösung: Hilfe bei der Mathematik und dem Gedächtnis

Um dies zu beweisen, probierten die Autoren zwei verschiedene Lösungen aus:

Lösung 1: Symbolische Mathematik
Sie sagten dem Roboter, er solle aufhören, die Mathematik selbst zu machen. Stattdessen gaben sie ihm „symbolische“ Anweisungen. Zum Beispiel, anstatt zu sagen „Bewege Scheibe 6“, würde der Roboter sagen „Bewege Scheibe (n-1)“. Dann würde ein separates, einfaches Computerprogramm (ein Arithmetik-Modul) die eigentliche Rechnung durchführen und dem Roboter die echte Zahl mitteilen.

• Das Ergebnis: Als sie dies taten, stieg die Erfolgsquote des Roboters. Er konnte die Rätsel perfekt lösen, weil er sich keine Sorgen machen musste, die Zahlen falsch zu berechnen. Dies bewies, dass der Planungsteil in Ordnung war; die Mathematik war der Flaschenhals.

Lösung 2: Der Stack (PDA)
Die Autoren erkannten, dass der Roboter für den Turm von Hanoi gar nicht erst auf dem Streifen herumspringen musste, um nach Anweisungen zu suchen. Er musste nur an der Oberseite des Stapels schauen und neue Anweisungen an der Oberseite hinzufügen. Dies ist exakt so, wie ein „Stack“ in der Informatik funktioniert (Last-In, First-Out / Letzte-in-erste-aus).
Sie formulierten die Aufgabe des Roboters so um, dass er wie ein Deterministischer Pushdown-Automat (PDA) agiert. Dies ist ein schicker Begriff für eine Maschine, die nur einen Stack verwendet.

• Das Ergebnis: Mit diesem neuen Setup löste der Roboter 100 % der Turm-von-Hanoi-Rätsel, selbst mit 20 Scheiben (was über 1 Million Züge erfordert!). Er musste keine komplexe Mathematik betreiben, um die nächste Anweisung zu finden, da der Stack dies automatisch handhabte.

Was das bedeutet

Dieses Paper legt nahe, dass Large Language Models nicht von Natur aus schlecht im Planen sind. Das Problem war, dass wir sie baten, alles auf einmal zu tun: den ganzen Plan im Gedächtnis zu behalten, die Mathematik zu betreiben und den nächsten Schritt zu bestimmen, während sie gleichzeitig auf eine riesige Textwand starrten.

Indem man die Aufgabe in kleine, iterative Schritte unterteilt und der KI einen „Notizblock“ (das SCW) zur Verwaltung ihres Gedächtnisses gibt, kann die KI sehr effektiv planen lernen. Das Paper zeigt, dass selbst kleine KI-Modelle, die von Grund auf trainiert wurden, komples Planungsstrategien erlernen können, wenn ihnen die richtigen Werkzeuge zur Verfügung gestellt werden.

Die Kernbotschaft ist, dass das „Reasoning“ (die logische Schlussfolgerung) der KI stark ist, aber ihre „Arithmetik“ und ihr „Gedächtnismanagement“ Hilfe benötigen. Wenn man die Planungslogik von der Mathematik trennt und der KI eine strukturierte Weise gibt, ihre Schritte zu verwalten, kann sie Probleme lösen, die zuvor als zu schwer galten.

Die Autoren schließen, dass sie zwar einen großen Schritt gemacht haben, es aber immer noch viel zu lernen gibt. Sie möchten untersuchen, wie genau das „Pointer“-System der KI hilft und ob diese Methode in Zukunft für noch komplexere, reale Planungsprobleme eingesetzt werden kann. Aber für den Moment haben sie gezeigt, dass eine KI mit ein wenig Struktur in der Tat ein sehr guter Planer sein kann.