Technische Samenvatting: Infinite-World

Probleemstelling

Bestaande interactieve wereldmodellen hebben opmerkelijk succes behaald in synthetische omgevingen (bijv. Unreal Engine 5, GTA5) waar perfecte ground-truth camerastanden en gekoppelde video-actiegegevens beschikbaar zijn. De overgang van deze modellen naar wereldscenario's in de echte wereld stuit echter op drie kritieke barrières:

1. Onnauwkeurige pose en onbetrouwbare controle: Video uit de echte wereld vereist geschatte camera-extrinsieken, wat ruis en fouten introduceert, wat de precisie van de actie-respons mapping degradeert.
2. Schaarsheid van viewpoint-herbezoeken: Natuurlijke videostreams zijn overwegend lineair en missen de dichte "loop-closure" (het terugkeren naar vorige locaties) die noodzakelijk is voor modellen om globale geometrische structuren en langetermijn ruimtelijk geheugen te leren.
3. Computationele knelpunten: Standaard aandachtsmecanismen schalen kwadratisch ($O(L^2)$) met de sequentielengte, waardoor generatie van 1000+ frames computationeel onhaalbaar wordt. Bestaande geheugenoplossingen vertrouwen ofwel op foutgevoelige pose-metadata voor retrieval, of gebruiken eenvoudige downsampling die leidt tot ernstig informatieverlies.

Methodologie

De auteurs stellen Infinite-World voor, een robuust interactief wereldmodel dat ontworpen is om een coherente visuele geheugen te behouden over 1000+ frames met behulp van ruwe, ongecureerde video uit de echte wereld. Het framework bestaat uit drie kerncomponenten:

1. Hiërarchische Pose-vrije Geheugencompressor (HPMC)

Om het computationele knelpunt aan te pakken en de noodzaak voor expliciete geometrische priors te elimineren, introduceren de auteurs een tweestaps recursieve distillatiepipeline:

• Lokale compressie: Voor korte sequenties comprimeert een temporele encoder ruwe latenties direct, waarbij de temporele resolutie met een factor $k=4$ wordt verminderd.
• Globale compressie: Voor lange-horizon sequenties die een geheugenbudget overschrijden, gebruikt het model een adaptief sliding-window mechanisme. Ruwe latenties worden opgedeeld in overlappende chunks, lokaal gecomprimeerd en vervolgens recursief gedestilleerd tot een verenigde globale representatie.
• Gezamenlijke optimalisatie: De compressor wordt end-to-end getraind met de DiT (Diffusion Transformer) backbone. Dit stelt het model in staat om autonoom te leren welke historische cues essentieel zijn voor toekomstige synthese en loop-closure zonder externe pose-metadata, waarbij een strikt begrensde geheugengrootte ($T_{max}$) wordt behouden, ongeacht de totale sequentielengte.

2. Onzekerheidsbewuste Actie-labeling

Om de ruisachtige pose-schattingen in real-world data op te vangen, stellen de auteurs een strategie voor die continue beweging discretiseert in een tri-state logica:

• No-operation: Toegewezen wanneer de bewegingsgrootte onder een ruisdrempel ($\tau_1$) ligt.
• Discrete Actie: Toegewezen wanneer de beweging een triggerdrempel ($\tau_2$) overschrijdt, gemapt naar semantische richtingen (bijv. W/A/S/D voor translatie).
• Onzeker: Toegewezen aan ambigue bewegingen met een lage signaal-ruisverhouding (SNR) tussen de twee drempels in.
  In plaats van deze ambigue samples weg te gooien, labelt het model ze expliciet als "Onzeker". Dit beschermt de deterministische actieruimte tegen corruptie door jitter of langzame driftende poses, terwijl het gebruik van ruwe video wordt gemaximaliseerd.

3. Revisit-Dense Finetuning Strategie

Geleid door een pilotstudie die onthulde dat de activatie van ruimtelijk geheugen meer afhangt van de topologische dichtheid van trajecten dan van het totale datavolume, hanteren de auteurs een tweestaps trainingsaanpak:

• Pre-training: Het model wordt getraind op een grootschalige, open-domain dataset (30+ uur) om diverse visuele priors en lokale dynamiek te leren.
• Finetuning: Een compacte, 30-minuten durende Revisit-Dense Dataset (RDD) wordt gebruikt om langetermijnconsistentie te activeren. Deze dataset bevat frequente viewpoint-herbezoeken en loop-closures, waardoor het model efficiënt globale ruimtelijke structuren kan leren zonder enorme hoeveelheden data nodig te hebben.

Belangrijkste Bijdragen

1. Pose-vrije Lange-horizon Modellering: De introductie van de HPMC maakt interactieve wereldmodellering op schaal van 1000+ frames mogelijk met gebonden computationele kosten, waardoor de afhankelijkheid van expliciete camerastanden wordt geëlimineerd.
2. Robuust Trainingsparadigma: Een nieuw framework voor real-world ruwe video's met onzekerheidsbewuste actie-labeling om pose-ruis te mitigeren en een revisit-dense finetuning strategie om langetermijngeheugen te activeren.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat het model superieure prestaties levert op het gebied van visuele kwaliteit, actie-controleerbaarheid en ruimtelijke consistentie vergeleken met state-of-the-art baselines.

Resultaten

De auteurs evalueerden Infinite-World tegen verschillende baselines, waaronder HY-World 1.5, Hunyuan-GameCraft, Matrix-Game 2.0 en Yume 1.5, met behulp van een benchmark van 100 diverse scenario's met 16-chunk (ca. 1000 frames) trajecten.

• Kwantitatieve Metrieken: Infinite-World behaalde top of bijna-top scores op VBench metrieken (Motion Smoothness, Dynamic Degree, Aesthetic Quality).
• Gebruikersstudie: In een grootschalige gebruikersstudie met ELO-ratings behaalde Infinite-World een dominante score van 1719, waarmee het de eerstvolgende beste model (HY-World 1.5 met 1542) aanzienlijk versloeg.
  • Geheugenconsistentie: Rang 1 (1.92), wat een effectieve mitigatie van foutaccumulatie over lange horizonten aantoont.
  • Visuele Getrouwheid: Rang 1 (1.67), waarbij globale landmarks en structurele details behouden blijven.
  • Actie-responsiviteit: Rang 1 (1.54), wat bewijst dat het model robuuste actie-respons mappings kan leren, zelfs uit ruisachtige, imperfecte real-world trajecten.
• Kwalitatieve Analyse: Visuele vergelijkingen laten zien dat terwijl baselines last hebben van ghosting, structurele distortie of een "voorwaarts bewegende" bias, Infinite-World succesvol lange-horizon loop-closures uitvoert en scène-coherentie behoudt na honderden frames.
• Efficiëntie: Analyse van het geheugengebruik laat zien dat terwijl ongecomprimeerde baselines falen bij ~180 frames door OOM-fouten, Infinite-World stabiliseert op ~45GB, wat inferentie voorbij de 1300 frames ondersteunt.

Betekenis en Claims

Het artikel claimt dat Infinite-World erin slaagt de "reality gap" in wereldmodellering te overbruggen. Door de afhankelijkheid van perfecte geometrische priors weg te nemen en een mechanisme te ontwikkelen om met ruisachtige controlesignalen om te gaan, demonstreert het dat stabiele, langdurige interactieve simulatie haalbaar is in complexe real-world omgevingen.

De auteurs benadrukken dat hun werk een open en efficiënt framework biedt voor langdurige real-world interactieve modellering, in contrast met gesloten bron state-of-the-art systemen. Zij concluderen dat de bottleneck voor lange-horizon modellering niet ligt in de hoeveelheid data, maar in de topologische dichtheid en duur van individuele trajecten, een bevinding die gevalideerd is door hun vermogen om 1000-frame consistentie te activeren met slechts 30 minuten aan finetuning data. Het werk beoogt een fundament te vormen voor toekomstige real-world neurale simulators in domeinen zoals autonoom rijden en embodied AI.