🤖 AI

Infinite-World: Scaling Interactive World Models to 1000-Frame Horizons via Pose-Free Hierarchical Memory

Das Papier stellt Infinite-World vor, ein robustes interaktives Weltmodell, das durch den Einsatz eines hierarchischen pose-freien Gedächtniskompressors, eines unsicherheitssensiblen Aktionsbeschriftungsmoduls und einer revisit-dichten Feinabstimmungsstrategie eine kohärente visuelle Generierung von über 1000 Frames in realen Umgebungen erreicht, um die Herausforderungen durch verrauschte Pose-Schätzungen und spärliche Wiederbesuche von Blickpunkten zu bewältigen.

Ursprüngliche Autoren: Ruiqi Wu, Xuanhua He, Meng Cheng, Tianyu Yang, Yong Zhang, Zhuoliang Kang, Xunliang Cai, Xiaoming Wei, Chunle Guo, Chongyi Li, Ming-Ming Cheng

Veröffentlicht 2026-02-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ruiqi Wu, Xuanhua He, Meng Cheng, Tianyu Yang, Yong Zhang, Zhuoliang Kang, Xunliang Cai, Xiaoming Wei, Chunle Guo, Chongyi Li, Ming-Ming Cheng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spielen ein Videospiel, in dem Sie durch einen Raum laufen, aus einem Fenster schauen und um Ecken biegen können. Die meisten „Weltmodelle“ (KI-Systeme, die versuchen zu verstehen und vorherzusagen, wie eine Welt aussieht, während man sich bewegt) sind wie Kurzzeitgedächtnis-Geräte. Sie können Ihnen zwar für ein paar Sekunden zeigen, was passiert, aber wenn Sie versuchen, lange Zeit herumzulaufen – sagen wir, 1.000 Schritte – fangen sie an, verwirrt zu sein. Sie könnten vergessen, wie die Tür aussah, oder plötzlich könnten die Wände verschwinden.

Das Paper „Infinite-World“ stellt ein neues KI-System vor, das darauf ausgelegt ist, dieses Problem zu lösen. Es kann eine Welt über mehr als 1.000 Frames (etwa 30–40 Sekunden kontinuierliches Video) simulieren, ohne den Verstand zu verlieren oder das Layout des Raumes zu vergessen.

So haben sie es gemacht, erklärt durch einfache Analogien:

1. Das Problem: Die „verschwommene Karte“ und die „zittrige Kamera“

Echte Videos sind unordentlich.

Das Zittern: Wenn Sie ein Video mit einer Handkamera filmen, zittert Ihre Hand. Die KI weiß nicht, ob Sie die Kamera bewegt haben oder ob die Kamera einfach nur gezittert hat. Das macht es schwierig, der KI beizubringen, wie man die Welt präzise bewegt.
Das Gedächtnislimit: Die meisten KIs versuchen, sich jeden einzelnen Frame zu merken, den sie jemals gesehen haben. Wenn Sie sie bitten, sich 1.000 Frames zu merken, wird ihr „Gehirn“ zu voll, und sie stürzen ab oder halluzinieren (erfinden Dinge, die nicht da sind).

2. Die Lösung: Drei kluge Tricks

Trick A: Der „zusammenfassende Bibliothekar“ (Hierarchical Pose-Free Memory Compressor)

Stellen Sie sich vor, Sie lesen ein sehr langes Buch. Wenn Sie versuchen, sich jedes einzelne Wort zu merken, werden Sie sich am Ende des Buches nicht mehr an den Anfang erinnern können.

Was andere KIs tun: Sie versuchen, das ganze Buch offen auf dem Tisch liegen zu lassen. Das wird unordentlich und schwer.
Was Infinite-World tut: Es nutzt einen „zusammenfassenden Bibliothekar“.
- Kurzfristig: Für die letzten paar Seiten behält der Bibliothekar die Details scharf im Blick.
- Langfristig: Je weiter Sie im Buch zurückgehen, desto weniger versucht der Bibliothekar, sich jedes Wort zu merken. Stattdessen schreibt er eine Zusammenfassung der vorangegangenen Kapitel.
- Die Magie: Diese Zusammenfassung wird auf eine feste Größe komprimiert. Egal, ob Sie 10 Seiten oder 1.000 Seiten lesen, der Bibliothekar muss nur eine kleine Zusammenfassungskarte in seiner Tasche tragen. Dies ermöglicht es der KI, den „Kern“ des Raumes zu behalten (wo das Fenster ist, wo der Schreibtisch steht), ohne von Daten überwältigt zu werden. Sie macht dies, ohne ein GPS oder eine Kamera-Karte zu benötigen (pose-free); sie lernt einfach, das Wesentliche zusammenzufassen.

Trick B: Die „Ampel“ für Bewegungen (Uncertainty-Aware Action Labeling)

Echte Videodaten sind verrauscht. Manchmal bewegt sich die Kamera, weil Sie gelaufen sind; manchmal bewegt sie sich, weil Ihre Hand gezittert hat.

Das Problem: Wenn Sie einer KI beibringen, dass „Nach links bewegen“ bedeutet, basierend auf einem zittrigen Video, lernt sie vielleicht, dass „Nach links bewegen“ eigentlich „Kamera schütteln“ bedeutet.
Die Lösung: Die Autoren haben ein Ampelsystem für Bewegungen entwickelt:
- Grün (Go): Die Bewegung ist klar und stark. Die KI lernt dies als echte Aktion.
- Rot (Stop): Die Bewegung ist winzig oder nur Rauschen. Die KI ignoriert sie.
- Gelb (Unsicher): Die Bewegung ist verschwommen oder verwirrend. Anstatt die KI zu zwingen zu raten, kennzeichnet das System diesen Moment als „Unsicher“ und sagt der KI: „Lerne nicht aus diesem spezifischen Moment.“
- Ergebnis: Die KI lernt nur aus den klaren, starken Bewegungen, was sie viel besser darin macht, auf Ihre Steuerungen zu reagieren, ohne durch Kameraerschütterungen verwirrt zu werden.

Trick C: Die „Übungsrunde“ (Revisit-Dense Finetuning)

Die Autoren erkannten, dass man eine KI nicht braucht, um einen langen Pfad zu lernen, Millionen Stunden an zufälligem Videomaterial zu sehen. Man braucht eine ganz bestimmte Art des Trainings.

Die Erkenntnis: Wenn Sie 10 Meilen geradeaus laufen, sehen Sie nie wieder, wo Sie angefangen haben. Aber wenn Sie im Kreis laufen und immer wieder an denselben Stellen vorbeikommen, lernen Sie die Form der Welt kennen.
Die Strategie: Sie nahmen einen winzigen Datensatz (nur 3 1/2 Stunden lang), bei dem die Kamera in Kreisen lief und immer wieder dieselben Stellen besuchte. Sie nutzten dies, um das Langzeitgedächtnis der KI zu „aktivieren“. Es ist wie ein kurzer, gezielter Test für einen Schüler über ein spezifisches Konzept, um sicherzustellen, dass er es wirklich versteht, anstatt ihn eine ganze Bibliothek voller zufälliger Bücher lesen zu lassen.

Das Ergebnis

Wenn man diese drei Tricks kombiniert, wird Infinite-World zu einem Meistergeschichtenerzähler.

Es kann beobachten, wie Sie eine lange Zeit durch einen Raum laufen.
Es erinnert sich daran, dass das Fenster auf der linken Seite war, selbst nachdem Sie vorbeigelaufen sind und wieder zurückgekehrt sind.
Es reagiert präzise auf Ihre „nach links bewegen“-Befehle, selbst wenn das Trainingsvideo etwas wackelig war.
Es erledigt all das, ohne dass ein Supercomputer nötig ist, um alle Daten gleichzeitig in seinem Speicher zu halten.

Kurz gesagt: Sie haben eine KI gebaut, die sehr lange „Erkunde die Welt“ spielen kann, ohne sich zu verlaufen, etwas zu vergessen oder abzustürzen – indem sie kluge Zusammenfassungen und eine sorgfältige Filterung von unordentlichen Daten nutzt.

Technisches Resümee: Infinite-World

Problemstellung

Bestehende interaktive Weltmodelle haben bemerkenswerte Erfolge in synthetischen Umgebungen (z. B. Unreal Engine 5, GTA5) erzielt, in denen perfekte Ground-Truth-Kameraposen und gepaarte Video-Aktions-Daten verfügbar sind. Der Übergang dieser Modelle auf reale Szenarien stößt jedoch auf drei kritische Barrieren:

Ungenaue Pose und unzuverlässige Steuerung: Reale Videos erfordern geschätzte Kamera-Extrinsika, die Rauschen und Fehler einführen, was die Präzision der Aktions-Reaktions-Abbildung verschlechtert.
Mangel an Wiederbesuchen von Blickpunkten: Natürliche Videoströme sind überwiegend linear und lassen die dichte „Loop-Closure“ (das Zurückkehren zu vorherigen Orten) vermissen, die notwendig ist, damit Modelle globale geometrische Strukturen und räumliches Langzeitgedächtnis erlernen können.
Rechenengpässe: Standardmäßige Attention-Mechanismen skalieren quadratisch ( $O(L^2)$ ) mit der Sequenzlänge, was die Generierung von 1000+ Frames rechentechnisch prohibitiv macht. Bestehende Speicherlösungen verlassen sich entweder auf fehleranfällige Pose-Metadaten zur Abfrage oder nutzen einfaches Downsampling, was zu schwerem Informationsverlust führt.

Methodik

Die Autoren schlagen Infinite-World vor, ein robustes interaktives Weltmodell, das in der Lage ist, ein kohärentes visuelles Gedächtnis über 1000+ Frames hinweg mittels roher, unkuratierter Realwelt-Videos aufrechtzuerhalten. Das Framework besteht aus drei Kernkomponenten:

1. Hierarchical Pose-free Memory Compressor (HPMC)

Um den Rechenengpass zu adressieren und die Notwendigkeit expliziter geometrischer Prioren zu eliminieren, führen die Autoren eine zweistufige rekursive Destillations-Pipeline ein:

Lokale Kompression: Für kurzreichweitige Sequenzen komprimiert ein temporaler Encoder rohe Latents direkt und reduziert die zeitliche Auflösung um den Faktor $k=4$ .
Globale Kompression: Für langreichweitige Sequenzen, die ein Speicherbudget überschreiten, verwendet das Modell einen adaptiven Sliding-Window-Mechanismus. Rohe Latents werden in überlappenden Chunks partitioniert, lokal komprimiert und dann rekursiv in eine einheitliche globale Repräsentation destilliert.
Gemeinsame Optimierung: Der Kompressor wird End-to-End mit dem DiT (Diffusion Transformer) Backbone trainiert. Dies ermöglicht es dem Modell, autonom zu lernen, welche historischen Merkmale für die zukünftige Synthese und Loop-Closure salient sind, ohne externe Pose-Metadaten zu benötigen, wodurch ein strikt begrenzter Speicherbedarf ( $T_{max}$ ) unabhängig von der Gesamsequenzlänge aufrechterhalten wird.

2. Uncertainty-aware Action Labeling

Um den verrauschten Pose-Schätzungen in Realwelt-Daten zu begegnen, schlagen die Autoren eine Strategie vor, die kontinuierliche Bewegungen in eine Tri-State-Logik diskretisiert:

No-operation (Keine Aktion): Wird zugewiesen, wenn die Bewegungsamplitude unterhalb einer Rauschschwelle ( $\tau_1$ ) liegt.
Discrete Action (Diskrete Aktion): Wird zugewiesen, wenn die Bewegung einen Trigger-Schwellenwert ( $\tau_2$ ) überschreitet, gemappt auf semantische Richtungen (z. B. W/A/S/D für Translation).
Uncertain (Unsicher): Wird zugewiesen bei ambivalenten Bewegungen mit niedrigem Signal-Rausch-Verhältnis (SNR) zwischen den beiden Schwellenwerten.
Anstatt diese ambivalenten Proben zu verwerfen, labelt das Modell sie explizit als „Uncertain“. Dies schützt den deterministischen Aktionsraum davor, durch Jitter oder langsames Driften der Posen korrumpiert zu werden, während die Nutzung roher Videodaten maximiert wird.

3. Revisit-Dense Finetuning Strategy

Geleitet von einer Pilotstudie, die zeigt, dass die Aktivierung des räumlichen Gedächtnisses stärker von der topologischen Dichte der Trajektorien als vom gesamten Datenvolumen abhängt, verwenden die Autoren einen zweistufigen Trainingsansatz:

Pre-training: Das Modell wird auf einem großskaligen Open-Domain-Datensatz (30+ Stunden) trainiert, um diverse visuelle Prioren und lokale Dynamiken zu erlernen.
Finetuning: Ein kompakter, 30-minütiger Revisit-Dense Dataset (RDD) wird verwendet, um die Langzeit-Konsistenz zu aktivieren. Dieser Datensatz weist häufige Wiederbesuche von Blickpunkten und Loop-Closures auf, was es dem Modell ermöglicht, globale räumliche Strukturen effizient zu lernen, ohne massive Datenmengen zu benötigen.

Kernbeiträge

Pose-Free Long-Horizon Modeling: Die Einführung des HPMC ermöglicht es, interaktive Weltmodellierung auf 1000+ Frames mit begrenzten Rechenkosten zu skalieren und die Abhängigkeit von expliziten Kameraposen zu eliminieren.
Robustes Trainingsparadigma: Ein neuartiges Framework für reale Rohvideos mit Unsicherheit-bewusster Aktions-Labeling zur Milderung von Pose-Rauschen und einer Revisit-Dense Finetuning-Strategie zur Aktivierung des Langzeitgedächtnisses.
Empirische Validierung: Umfangreiche Experimente zeigen, dass das Modell im Vergleich zu State-of-the-Art-Baselines eine überlegene Leistung in Bezug auf visuelle Qualität, Aktionskontrollierbarkeit und räumliche Konsistenz erzielt.

Ergebnisse

Die Autoren evaluierten Infinite-World gegen mehrere Baselines, darunter HY-World 1.5, Hunyuan-GameCraft, Matrix-Game 2.0 und Yume 1.5, unter Verwendung eines Benchmarks von 100 diversen Szenarien mit 16-Chunk (ca. 1000 Frames langen) Trajektorien.

Quantitative Metriken: Infinite-World erreichte Spitzenwerte oder nahezu Spitzenwerte in den VBench-Metriken (Motion Smoothness, Dynamic Degree, Aesthetic Quality).
User Study: In einer groß angelegten Nutzerstudie mit ELO-Ratings erreichte Infinite-World einen dominanten Score von 1719 und übertraf damit signifikant das nächstbeste Modell (HY-World 1.5 mit 1542).
- Memory Consistency (Gedächtniskonsistenz): Rang 1 (1.92), was die effektive Milderung der Fehlerakkumulation über lange Horizonte demonstriert.
- Visual Fidelity (Visuelle Treue): Rang 1 (1.67), wobei globale Landmarken und strukturelle Details bewahrt werden.
- Action Responsiveness (Aktionsreaktion): Rang 1 (1.54), was beweist, dass das Modell robuste Aktions-Reaktions-Mappings selbst aus verrauschten, unperfekten Realwelt-Trajektorien erlernen kann.
Qualitative Analyse: Visuelle Vergleiche zeigen, dass Baselines unter Ghosting, struktureller Verzerrung oder einem „Vorwärtsbewegungs-Bias“ leiden, während Infinite-World erfolgreich langfristige Loop-Closures durchführt und die Szenenkohärenz nach hunderten von Frames aufrechterhält.
Effizienz: Eine Analyse des Speicherverbrauchs zeigt, dass unkomprimierte Baselines bei ca. 180 Frames aufgrund von OOM-Fehlern (Out of Memory) versagen, während sich Infinite-World bei ca. 45 GB stabilisiert und Inferenz über 1300 Frames unterstützt.

Bedeutung und Behauptungen

Das Paper behauptet, dass Infinite-World die „Reality Gap“ in der Weltmodellierung erfolgreich überbrückt. Durch die Entfernung der Abhängigkeit von perfekten geometrischen Prioren und der Entwicklung eines Mechanismus zur Handhabung verrauschter Kontrollsignale zeigt es, dass eine stabile, langfristige interaktive Simulation in komplexen Realwelt-Umgebungen erreichbar ist.

Die Autoren betonen, dass ihre Arbeit ein offenes und effizientes Framework für das langfristige interaktive Modeling in der Realwelt bietet, im Gegensatz zu geschlossenen State-of-the-Art-Systemen. Sie kommen zu dem Schluss, dass der Engpass für das Long-Horizon-Modeling nicht in der Datenquantität liegt, sondern in der topologischen Dichte und Dauer einzelner Trajektorien – eine Erkenntnis, die durch ihre Fähigkeit validiert wurde, 1000-Frame-Konsistenz mit nur 30 Minuten Finetuning-Daten zu aktivieren. Die Arbeit zielt darauf ab, als Fundament für zukünftige reale neuronale Simulatoren in Bereichen wie autonomem Fahren und Embodied AI zu dienen.