🤖 AI

WorldRoamBench: An Open-World Benchmark for Long-Horizon Stability of Interactive World Models

Dieses Paper führt WorldRoamBench ein, einen neuartigen Open-World-Benchmark, der darauf ausgelegt ist, die Langzeitstabilität interaktiver Weltmodelle über vier kritische Dimensionen hinweg – Aktion, Vision, Physik und Gedächtnis – rigoros zu evaluieren, wobei aufgezeigt wird, dass aktuelle State-of-the-Art-Modelle noch immer Schwierigkeiten haben, eine zuverlässige, physikalisch fundierte und gedächtnistreue Leistung in kontinuierlichen interaktiven Umgebungen zu erreichen.

Ursprüngliche Autoren: Ting-Bing Xu, Jiacheng Sui, Zhe Gao, Kewei Shi, Wenjin Yang, Zhicheng Liu, Zhaoxu Sun, Mingchao Sun, Hongyu Pan, Fan Jiang, Mu Xu, Qi Fan, Yong Li, Baoquan Chen

Veröffentlicht 2026-07-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ting-Bing Xu, Jiacheng Sui, Zhe Gao, Kewei Shi, Wenjin Yang, Zhicheng Liu, Zhaoxu Sun, Mingchao Sun, Hongyu Pan, Fan Jiang, Mu Xu, Qi Fan, Yong Li, Baoquan Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spielen ein Videospiel, bei dem Sie Tasten auf Ihrer Tastatur drücken können (W, A, S, D), um zu gehen, zu drehen und sich umzusehen – in einer Welt, die noch gar nicht existiert. Anstatt einer vorgefertigten Karte generiert eine KI die Szenerie in Echtzeit, während Sie sich bewegen. Dies wird als Interaktives Weltmodell bezeichnet.

Das Paper stellt ein neues „Zeugnis“ namens WorldRoamBench vor, um zu testen, wie gut diese KI-Welten wirklich sind, wenn man sie über eine längere Zeit spielt (10 bis 60 Sekunden), anstatt nur für wenige Sekunden.

Hier ist die Aufschlüsselung der Tests aus dem Paper, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Kurzclip-Falle“

Frühere Tests haben die KI nur für ein paar Sekunden beobachtet. Das ist so, als würde man einen Marathonläufer bewerten, indem man ihm dabei zusieht, wie er sich die Schuhe bindet. Die KI mag nach 5 Sekunden perfekt aussehen, aber dann fängt sie an zu glitchen, vergisst, wo sie war, oder läuft durch Wände. WorldRoamBench zwingt die KI dazu, den ganzen Marathon zu laufen, um zu sehen, ob sie zusammenbricht.

2. Die vier Tests (Das „Zeugnis“)

Das Benchmark prüft die KI auf vier spezifische Fähigkeiten:

A. Befehlstreue (Action Following): „Der gehorsame Haustier“

Der Test: Sie drücken „Vorwärts“. Bewegt sich die KI tatsächlich vorwärts?
Der alte Weg: Frühere Tests betrachteten den Gesamtpfad. Wenn Sie „Vorwärts“ drückten, die KI aber wild hin und her zickzackte, bevor sie am richtigen Ort ankam, erhielt sie eine gute Punktzahl.
Der neue Weg: WorldRoamBench überprüft jeden einzelnen Schritt. Es ist, als würde man prüfen, ob ein Hund jedes Mal „Sitz“ macht, wenn man „Sitz“ sagt, und nicht nur, ob er am Ende in der Ecke sitzt. Dies offenbart, ob die KI Ihre Tasten ignoriert oder in dem Moment verwirrt ist, in dem Sie die Richtung ändern.

B. Visuelle Qualität (Visual Quality): „Das verblassende Foto“

Der Test: Bleibt die Welt klar und schön, oder verwandelt sie sich in ein verschwommenes Durcheinander?
Der alte Weg: Man hat die Qualität gemittelt. Wenn der Anfang schön und das Ende hässlich war, sah der Durchschnitt vielleicht immer noch okay aus.
Der neue Weg: Wir suchen nach dem „Mid-Sequence Collapse“ (Zusammenbruch in der Mitte der Sequenz). Stellen Sie sich ein Foto vor, das scharf beginnt, in der Mitte verschwommen wird und am Ende irgendwie wieder scharf wird. Die alten Tests hätten das verschwommene Mittelstück übersehen. Dieser Test fängt diesen „glitchigen Einbruch“ ab, bei dem die KI für einen Moment die Fassung verliert.

C. Interaktionsphysik (Interaction Physics): „Der Realitätscheck“

Der Test: Befolgt die Welt die Gesetze der Physik?
Der alte Weg: Man hat dies meistens ignoriert oder nur sehr oberflächlich geprüft.
Der neue Weg: Sie testen drei spezifische Dinge:
- Mechanik: Wenn Sie gegen eine Wand laufen, halten Sie an? Oder laufen Sie wie ein Geist durch sie hindurch? Wenn Sie eine Tasse fallen lassen, fällt sie?
- Optik: Bewegen sich Schatten korrekt, wenn Sie sich drehen? Sehen Reflexionen in einem Spiegel richtig aus?
- 3D-Konsistenz: Wenn Sie einen langen Flur entlanggehen, bleiben die Wände gerade oder verzerren und krümmen sie sich wie in einem Jahrmarktspiegelkabinett?

D. Gedächtnis (Memory): „Der Zeitreisende“

Der Test: Wenn Sie von einem Baum weggehen und dann wieder zurückgehen, ist es derselbe Baum?
Der alte Weg: Man hat den ersten Frame mit dem letzten Frame verglichen. Aber wenn die KI leicht vom Kurs abgekommen ist, passten die Frames nicht zusammen, und man gab der KI ein schlechtes Gedächtnis, obwohl die KI nur einen etwas anderen Kreis gelaufen war.
Der neue Weg: Sie verwenden eine „3D-Punktwolke“ (eine digitale Karte des Raums). Sie prüfen, ob die Form des Raums erhalten bleibt, unabhängig davon, wo genau die Kamera steht.
- Szenengedächtnis: Ist das Gebäude, das ich vorhin gesehen habe, immer noch da?
- Subjektgedächtnis (für die 3. Person): Wenn ich einen Charakter beobachte, sieht dieser Charakter noch wie dieselbe Person aus, oder verwandelt er sich in einen Klumpen oder ein anderes Tier?

3. Die Ergebnisse: „Kein perfekter Spieler“

Die Autoren haben über 10 verschiedene KI-Modelle getestet (einige Open-Source, einige von großen Tech-Unternehmen wie Google und Alibaba).

Die wichtigste Erkenntnis: Kein einzelnes Modell ist in allem perfekt.
Einige Modelle sind großartig darin, Befehle zu befolgen, aber schrecklich in der Physik (sie laufen durch Wände).
Einige sind wunderschön anzusehen, aber vergessen, was sie vor 10 Sekunden generiert haben.
Einige sind sehr gut in der Physik, kommen aber durcheinander, wenn man sie bittet, sich schnell zu drehen.

4. Warum das wichtig ist

Das Paper argumentiert, dass wir, um eine wirklich immersive, unendliche Welt (wie das „Metaverse“ oder fortschrittliche Videospiele) zu bauen, nicht nur schöne Bilder brauchen. Die Welt muss stabil (nicht glitchen), physisch (der Schwerkraft gehorchen) und erinnerungswürdig (sich erinnern, was man gesehen hat) sein.

WorldRoamBench ist das erste Werkzeug, das all diese Dinge gleichzeitig rigoros prüft und uns zeigt, wo aktuelle KIs versagen, damit Entwickler wissen, was sie als Nächstes verbessern müssen. Es geht nicht darum, die KI im allgemeinen Sinne „schlauer“ zu machen, sondern sie zu einem zuverlässigeren, konsistenteren und physisch fundierten virtuellen Raum zu machen.

Technisches Resümee: WorldRoamBench

Problemstellung

Trotz der rasanten Fortschritte bei interaktiven Weltmodellen (Interactive World Models – IWMs), die in der Lage sind, als Reaktion auf Benutzereingaben (z. B. WASD-Tasten) fotorealistische Umgebungen zu generieren, versagen bestehende Benchmarks darin, die Langzeitstabilität über längere Zeiträume (long-horizon stability) angemessen zu bewerten. Derzeitige Evaluierungsmethoden leiden unter vier kritischen Einschränkungen:

Aktionsbewertung: Die meisten Benchmarks stützen sich auf Trajektorien-Metriken (z. B. Relative Pose Error, Absolute Trajectory Error), die aus rekonstruierten 3D-Kamerabewegungen abgeleitet werden. Diese Metriken leiden unter semantischen Skalenunterschieden zwischen den Modellen (wobei verschiedene Modelle dieselbe Aktion mit sehr unterschiedlichen Größenordnungen interpretieren) und können Fehler auf Frame-Ebene maskieren (z. B. wenn ein Modell eine Tasteneingabe ignoriert und dann überkompensiert).
Visuelle Stabilität: Bestehende Metriken messen oft die durchschnittliche visuelle Qualität und ignorieren dabei die zeitliche Degradation. Autoregressive Modelle zeigen häufig einen nicht-monotonen Qualitätskollaps (Drift, Unschärfe, struktureller Zerfall) mitten in der Sequenz, den Vergleiche von Start- vs. Endzustand übersehen.
Interaktionsphysik: Aktuelle Benchmarks mangelt es an einer systematischen Bewertung der physikalischen Plausibilität unter aktiver Kontrolle, wie etwa Kollisionsreaktion, Clipping (Durchdringen von Objekten), Gravitation und optische Konsistenz (Reflektionen/Schatten).
Gedächtniskonsistenz: Das Gedächtnis wird oft mittels symmetrischer Frame-Paar-Vergleiche evaluiert, die eine perfekte Aktionsausführung voraussetzen. In der Realität verursacht kumulativer Drift dazu, dass der „Wiederbesuchs“-Frame räumlich vom Ground Truth abweicht, was Fehler in der Aktionsverfolgung mit der Degradation des Gedächtnisses konfundiert.

Methodik

Die Autoren führen WorldRoamBench ein, einen Open-World-Benchmark, der darauf ausgelegt ist, IWMs über 10–60 Sekunden kontinuierlicher Interaktion in diversen Szenarien (Natur, Urban, Innenraum) und Perspektiven (First-Person View – FPV, Third-Person View – TPV) zu bewerten. Der Benchmark umfasst über 600 Testfälle und evaluiert mehr als 10 modernste Modelle (sowohl Open-Source als auch Closed-Source).

Das Evaluierungsframework basiert auf vier komplementären Dimensionen:

1. Aktionsverfolgung (Action Following)

Per-Frame Diskrete Aktionsgenauigkeit: Anstatt Trajektorien zu rekonstruieren, diskretisiert der Benchmark die geschätzte Kamerapose (unter Verwendung von ViPE) in atomare Aktionen (W, A, S, D, I, J, K, L) mittels eines Latent-Stride-Mechanismus (Gruppierung von Frames in Fenster von $K=4$ , um dem Generierungsrhythmus des Modells zu entsprechen). Es wird sowohl die Strikte Genauigkeit (exakter Treffer aller Sub-Aktionen) als auch die Partielle Genauigkeit (Treffer von mindestens einer Sub-Aktion) berichtet.
Trajektorien-Score (TrajScore): Eine geometrische Metrik, die den generierten Pfad gegen einen adaptiven Ground Truth vergleicht. Der adaptive GT bewahrt die eigene Verschiebungsmagnitude des Modells, erzwingt jedoch die ideale Richtung und Form (z. B. eine gerade Linie für „vorwärts“). Dies entkoppelt die Frage, „wie weit“ sich das Modell bewegt hat, von der Frage, „ob es sich korrekt bewegt hat“. Fehler werden durch Pfadlänge und Rotation normalisiert, um die Vergleichbarkeit zwischen Modellen zu gewährleisten.

2. Visuelle Qualität

Absolute Qualität: Gemessen über die Bildqualität (MUSIQ) und die Ästhetische Qualität (CLIP-basierter Prädiktor).
Temporaler Drift: Eine segmentbasierte Metrik, die den Rollout in $N=10$ Fenster unterteilt, um den größten Qualitätsabfall zu identifizieren ( $D = \frac{\bar{s}_{best} - \bar{s}_{worst}}{|\bar{s}_{best}|}$ ). Dies erfasst mittlere Sequenzkollapse, die Durchschnittswerte übersehen.

3. Interaktionsphysik

Eine kontrollierbarkeitsgesteuerte Evaluierung stellt sicher, dass das Modell erst auf Aktionen reagiert, bevor die Physik bewertet wird. Sie deckt drei Domänen mittels VLM-basierter (Qwen3-VL-PLUS) Beurteilung ab:

Mechanik: Kollision, Clipping (Durchqueren fester Körper), Deformation (Fußabdrücke/Wellen), Geländeanpassung und Gravitation.
Optik: Plausibilität von Reflexionen und Schattenkonsistenz.
3D-Konsistenz: Erhaltung der starren räumlichen Struktur und der Tiefenordnung während der Kamerabewegung.

4. Gedächtnis (Memory)

Das Gedächtnis wird unter unvollkommener Kontrolle über zwei Pfade evaluiert:

Szenengedächtnis: Anstatt eines Frame-Paar-Vergleichs lokalisiert der Benchmark den Übergang zwischen Beobachtung und Wiederbesuch, rekonstruiert Punktwolken für beide Segmente und richtet diese aus. Er berechnet einen F1-Score basierend auf Retention (rekonstruierte Geometrie der Beobachtung) und Halluzination (Wiederbesuchs-Geometrie, die nicht durch die Beobachtung gestützt wird).
Subjektgedächtnis (nur TPV): Verwendet Tracking (SAM2) und VLM-Schlussfolgerungen, um die Erhaltung der Identität, Struktur und des Erscheinungsbildes des Protagonisten über die Zeit zu bewerten.

Kernergebnisse

Der Benchmark evaluierte über 10 Modelle, darunter Closed-Source-Spitzenreiter (Genie 3, Happy Oyster) und Open-Source-Modelle (Matrix-Game 2.0/3.0, HY-World 1.5, Lyra 2.0, SANA-WM, etc.).

Kein dominantes Modell: Kein einzelnes Modell erfüllt alle Dimensionen. Closed-Source-Modelle glänzen generell in den Bereichen Physik und Gedächtnis, während Open-Source-Modelle oft bei der Aktionsverfolgung und visuellen Qualität führen.
Trajektorie $\neq$ Per-Frame Korrektheit: Modelle mit hohen Trajektorien-Scores (>85) können eine niedrige strikte Aktionsgenauigkeit (<65%) aufweisen, was versteckte Fehler offenbart, bei denen Modelle zwar auf dem richtigen Pfad driften, aber einzelne Tasteneingaben verpassen.
Visuelle Qualität $\neq$ Kontrollierbarkeit: Hohe Ästhetik-Scores garantieren keine genaue Aktionsverfolgung; visuelle Treue und Kontrollierbarkeit erscheinen als weitgehend unabhängige Fähigkeiten.
Physik vs. Aktions-Trade-off: Modelle, die sich strikt an die Physik halten (z. B. an Wänden stoppen), weichen oft von vordefinierten Trajektorien ab, was trotz physikalisch plausiblen Verhaltens zu niedrigeren Aktionsverfolgungs-Scores führt.
Third-Person Kontrollierbarkeit: Es gibt eine signifikante Lücke in den TPV-Kontrollraten. Während Happy Oyster eine Kontrollrate von 84,43 % erreichte, hatte HY-World 1.5 mit 21,23 % zu kämpfen, was zeigt, dass die Stabilität in der Third-Person-Perspektive für viele Open-Source-Modelle noch kein gelöstes Problem ist.

Bedeutung und Behauptungen

Das Paper behauptet, dass WorldRoamBench eine diagnostische Grundlage bietet, um den Fortschritt hin zu wahrhaft interaktiven und stabilen Weltsimulationen zu messen. Indem es Fehlerquellen aufdeckt, die durch kurze Clips und rein trajektorienbasierte Metriken verborgen bleiben, verdeutlicht der Benchmark, dass aktuelle IWMs noch nicht zuverlässig für den realen Einsatz sind.

Die Autoren betonen, dass zukünftige Weltmodelle gleichzeitig Aktionsresponsivität, physikalische Fundierung und persistentes Szenen-/Subjektgedächtnis integrieren müssen. Der Benchmark dient als standardisiertes Werkzeug, um die Forschung in diesen spezifischen, oft entkoppelten Bereichen voranzutreiben und das Feld über die reine „fotorealistische Videogenerierung“ hinaus zu „stabilen, physikalisch fundierten interaktiven Umgebungen“ zu führen.