Persistent Computational State: A Session-Centric Runtime for Generative World Models
Dieses Paper argumentiert, dass das Scheitern aktueller generativer Weltmodelle bei der Unterstützung zustandsbehafteter Simulationsaufgaben nicht auf architektonische Einschränkungen zurückzuführen ist, sondern auf anfragezentrierte Laufzeitdesigns, die persistente Rechenzustände verwerfen, und schlägt stattdessen eine sitzungszentrierte Laufzeit vor, die eine nahezu instantane Checkpointing- und Wiederherstellung von nicht neu berechenbarem Zustand ermöglicht, um effiziente, byteidentische Rollouts von Weltmodellen zu erleichtern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bauen ein Videospiel, in dem die Welt nicht einfach nur einem Skript folgt, sondern tatsächlich lebt. In einer solchen Art von Spiel, wenn Sie von einem Lagerfeuer weggehen, brennt das Feuer weiter. Wenn Sie einen Ball einen Hügel hinunterrollen lassen, rollt er weiter. Dies ist der Traum von „generativen Weltmodellen“: KI-Systeme, die eine konsistente, lebendige Realität simulieren können und nicht nur hübsche Bilder erzeugen. Aber hier ist der Haken: Um diese Welt am Leben zu erhalten, muss der Computer sich genau daran erinnern, was passiert ist, bis ins kleinste Detail, selbst wenn der Spieler wegsieht und dann wieder zurückblickt.
Lange Zeit glaubten Wissenschaftler, dass diese KI-Modelle scheiterten, weil sie „vergesslich“ waren oder „schlecht im Erinnern“. Sie nahmen an, das Gehirn der KI sei einfach nicht groß genug, um die ganze Geschichte festzuhalten. Aber dieses Paper stellt eine andere Frage: Was, wenn nicht die KI das Problem ist? Was, wenn das Problem das Computersystem ist, das die Notizen der KI jedes Mal wegwirft, wenn der Spieler eine Pause macht? Die Autoren entdeckten, dass das „Gedächtnis“, das die KI benötigt, um die Welt konsistent zu halten, keine magische Superkraft ist; es sind nur ein paar spezifische Datenpunkte, die das Computersystem versehentlich gelöscht hat.
Das große „Hast du es vergessen?“-Rätsel
In der Welt der KI-Videogenerierung gibt es einen frustrierenden Fehler. Sie sagen der KI, sie soll eine Katze zeigen, die auf ein Bett springt, dann bitten Sie sie, die Katze weggehen zu lassen. Dann bitten Sie sie, die Katze wieder auf das Bett springen zu lassen. In einer perfekten Welt sollte die Katze an exakt derselben Stelle landen, mit demselben Fell, das auf dieselbe Weise zerzaust ist. Aber im Jahr 2026 fanden Forscher bei Tests mit 14 verschiedenen Modellen (mit einem Test namens MBench) und 23 verschiedenen Modellen (mit WRBench) dasselbe traurige Ergebnis: Die Katze kam nicht richtig zurück. Die Welt war „gedriftet“. Das Bett sah anders aus, die Position der Katze war falsch und die Physik fühlte sich kaputt an.
Die Experten betrachteten diese kaputten Welten und sagten: „Die KI-Modelle sind zu schwach. Sie brauchen neues Training, größere Gehirne und spezielle Gedächtnismodule, um zu lernen, wie man sich erinnert.“ Sie dachten, das Problem läge im Gehirn des Modells.
Doch die Autoren dieses Papers, angeführt von Zhen Lin, beschlossen, Detektiv zu spielen. Sie vermuteten, dass der Übeltäter nicht das Gehirn der KI war, sondern das Computersystem, das sie ausführt – die „Runtime“.
Das Experiment des Detektivs: Der „Zeitreise“-Test
Um ihre Theorie zu beweisen, richteten die Forscher ein kluges Experiment ein. Sie nahmen ein funktionierendes KI-Modell und ließen es eine Szene generieren. Dann, kurz bevor die Szene kompliziert wurde, machten sie eine „Momentaufnahme“ von zwei sehr spezifischen Dingen, die der Computer gerade hielt:
- Das letzte Bild, das die KI sah (gespeichert als eine einfache Liste von Zahlen).
- Den Zustand des Zufallszahlengenerators (RNG). Denken Sie an dies als den internen digitalen Würfelwurf der KI. Jedes Mal, wenn die KI eine Entscheidung trifft oder ein neues Detail erstellt, würfelt sie eine digitale Würfelzahl. Wenn man nicht die exakte Zahl speichert, auf der der Würfel gelandet ist, wird der nächste Wurf anders sein und die Welt wird sich verändern.
Nachdem sie diese Momentaufnahme gemacht hatten, zwangen die Forscher die KI auf eine „Reise“. Sie ließen sie eine lange, wilde Sequenz von Ereignissen generieren – genug, um jedes „implizite“ Gedächtnis, das die KI vielleicht in ihrem Kopf zu halten versuchte, vollständig zu verwirren. Dann stoppten sie die Reise, warfen alles weg, was der Computer festgehalten hatte, und stellten die Momentaufnahme wieder her.
Das Ergebnis war schockierend. Als die KI von der Momentaufnahme aus weitermachte, war das von ihr generierte Video Byte für Byte identisch mit einem Video, in dem die KI nie weg gewesen wäre. Es war perfekt. Die Katze landete exakt an derselben Stelle. Die Pixel waren identisch.
Dies bewies, dass die KI alles perfekt erinnern konnte. Das Problem war nicht, dass die KI vergesslich war; das Problem war, dass das Computersystem, das die KI ausführte, die Notizen (die Momentaufnahme) weggeworfen hatte, bevor die KI sie benutzen konnte.
Die Verwechslung von „Request“ und „Session“
Warum hat der Computer die Notizen weggeworfen? Es stellte sich heraus, dass der Computer Regeln folgte, die für Chatbots (wie jene, mit denen man für Hausaufgaben chattet) entwickelt wurden. Chatbots arbeiten in „Requests“ (Anfragen). Man stellt eine Frage, der Computer antwortet, und dann räumt er seinen Schreibtisch auf, um bereit für die nächste Person zu sein. Das funktioniert hervorragend für Chatbots, denn wenn man den Kontext vergisst, kann der Computer einfach die vorherigen Worte neu lesen, um den Zusammenhang zu verstehen.
Aber Weltmodelle sind anders. Sie arbeiten in „Sessions“ (Sitzungen). Eine Session ist eine kontinuierliche Geschichte. Wenn man eine Geschichte unterbricht und später zurückkommt, möchte man nicht, dass der Computer das Buch neu liest; man möchte, dass er genau dort weitermacht, wo er aufgehört hat.
Die Autoren nennen das fehlende Stück der Daten den Persistent Computational State (PCS). Dies ist die winzige, essenzielle Liste von Dingen, die gespeichert werden müssen, um die Welt konsistent zu halten.
- Für ein einfaches Modell besteht der PCS nur aus dem letzten Bild und dem Würfelwurf (etwa 1,38 MB).
- Für ein komplexeres Modell mit einem „Gedächtnisbank“ ist es diese Bank plus der Würfelwurf (etwa 185 KB).
- Für ein Modell, das ein „Fenster“ aus vergangenen Daten nutzt, ist es dieses Fenster plus der Würfelwurf (etwa 1,67 GB).
Das Paper zeigt, dass man nicht alles speichern muss (was riesig und langsam wäre). Man muss nur den PCS speichern. Und das Beste daran? Das Speichern und Wiederherstellen dieser Daten dauert nur 0,012 Millisekunden. Das ist fünf Größenordnungen schneller als die Zeit, die benötigt wird, um einen einzelnen Schritt des Videos zu generieren (1,85 Sekunden). Es ist im Grunde kostenlos.
Der „Relevanz“ vs. „Aktualität“-Twist
Das Paper fand auch etwas Überraschendes darüber heraus, wie man dieses Gedächtnis verwaltet, wenn der Speicher des Computers voll wird. Bei Chatbots verwenden Computer meist eine „Aktualitäts“-Regel (Recency): Sie werfen die ältesten Nachrichten weg, um Platz für neue zu machen. Aber für Weltmodelle ist dies eine Katastrophe.
Stellen Sie sich vor, Sie schauen einen Film und der Computer entscheidet, die Szene von vor 10 Minuten wegzuwerfen, weil sie „alt“ ist, und behält nur die Szene von vor 1 Minute. Wenn der Film jedoch erfordert, dass man sich an das erinnert, was vor 10 Minuten geschah, um das Ende zu verstehen, bricht der Film zusammen.
Die Autoren testeten verschiedene Wege, das Gedächtnis zu verwalten. Sie fanden heraus, dass man für Weltmodelle eine Relevanz-Regel (Relevance) benötigt. Man sollte die Teile des Gedächtnisses behalten, die für die Rückkehr (den Moment, in dem die Kamera zurückkehrt) wichtig sind, selbst wenn sie alt sind.
- Als der Computer gezwungen war, sehr sparsam mit dem Speicher umzugehen (nur 2 MB verfügbar), rettete die „Aktualitäts“-Regel nur 6 von 16 Welten.
- Die „Relevanz“-Regel rettete alle 16 Welten.
Dies ist ein riesiger Unterschied. Es bedeutet, dass man, um eine Welt am Leben zu erhalten, aufhören muss, wie ein Chatbot zu denken, und anfangen muss, wie ein Geschichtenerzähler zu denken, der weiß, welche Handlungspunkte am wichtigsten sind.
Das große Fazit
Das Paper kommt zu dem Schluss, dass die „Vergesslichkeit“ von KI-Weltmodellen kein Bug im Gehirn der KI ist. Es ist ein Bug in der Hausverwaltung des Computersystems. Die KI war bereit zu erinnern; das System hat einfach ständig die Notizen in den Müll geworfen.
Durch die Änderung des Systems, um den „Persistent Computational State“ (die Momentaufnahme und den Würfelwurf) zu speichern, und durch die Verwendung einer klügeren Methode, um zu entscheiden, was bei begrenztem Speicher zu behalten ist, zeigten die Forscher:
- Die Welt kann perfekt wiederhergestellt werden. Die KI kann in einen Zustand zurückkehren, der exakt so ist wie zuvor, selbst nach einer langen Reise.
- Es kostet fast nichts. Das Speichern dieses Zustands dauert Mikrosekunden.
- Man kann viel mehr Sessions ausführen. Da der Computer nicht das gesamte schwere Gedächtnis auf der superschnellen Grafikkarte behalten muss, kann er die „Notizen“ auf der normalen Festplatte speichern. Das bedeutet, dass eine einzige Grafikkarte etwa 2.300 Mal mehr aktive Sessions verarbeiten kann als zuvor.
Die Autoren haben nicht nur einen Weg gefunden, das Gedächtnis zu reparieren; sie haben festgestellt, dass die „Reparatur“ eigentlich eine einfache Änderung in der Verwaltung von Zeit und Raum des Computers ist. Die Welt war nicht verloren; sie wartete nur darauf, wieder aufgenommen zu werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.