💻 computer science

StateFlow: Building, Evolving, and Accessing 3D World States for Previsualization

StateFlow is een op staat gecentreerd framework voor generatieve previsualisatie dat de beperkingen van one-shot synthese overwint door het construeren, evolueren en ontsluiten van een persistente, bewerkbare 3D-wereldtoestand om iteratieve verfijning van scène-structuur, dynamiek en cameratrajecten mogelijk te maken.

Oorspronkelijke auteurs: Yuyang Yin, Zixiang Li, Longxuan Deng, Hongkai Li, Shifang Zhao, Junnan Liu, Weirong Huang, Mengyu Wang, Tianxiao Fu, Yikai Wang, Peng-Shuai Wang, Xiaojie Jin, Yao Zhao, Yunchao Wei

Gepubliceerd 2026-08-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuyang Yin, Zixiang Li, Longxuan Deng, Hongkai Li, Shifang Zhao, Junnan Liu, Weirong Huang, Mengyu Wang, Tianxiao Fu, Yikai Wang, Peng-Shuai Wang, Xiaojie Jin, Yao Zhao, Yunchao Wei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een verhaal probeert te vertellen, maar in plaats van woorden te schrijven, bouw je een filmscène van klei, speelgoed en kartonnen dozen. In de echte wereld van filmmaking, game design en architectuur, maken makers niet zomaar met een knip van de vingers een afgewerkte film; ze gaan door een rommelige, magische tussenstap die "previsualisatie" wordt genoemd. Dit is als een digitale zandbak waar regisseurs en ontwerpers acteurs kunnen verplaatsen, de belichting kunnen veranderen en camerahoeken kunnen testen voordat ze miljoenen dollars uitgeven aan de daadwerkelijke productie. Lange tijd waren computers erg goed in het maken van mooie plaatjes of korte video's op basis van een simpele zin, maar ze zijn verschrikkelijk in dit "zandbak"-werk. Als je een computer vraagt om "de robot naar links te bewegen", tekent hij vaak gewoon een nieuwe afbeelding waar de robot ergens anders staat, waarbij hij vergeet waar de robot eerst precies was, of waardoor de achtergrond er vreemd uitziet. Het is alsof je probeert een kleisculptuur te bewerken door de klei telkens te laten smelten en nieuwe klei te gieten elke keer dat je een vinger wilt veranderen. De grote vraag die onderzoekers hebben gesteld is: hoe geven we computers een persistente, bewerkbare "wereld" die alles onthoudt, zodat makers echt met de scène kunnen spelen in plaats van er alleen maar naar te kijken?

Maak kennis met StateFlow, een nieuw systeem dat probeert dit op te lossen door de spelregels te veranderen. In plaats van de computer te vragen om "een video te genereren" in één grote, verwarrende uitbarsting, vraagt StateFlow de computer eerst om een persistente 3D-wereldstatus op te bouwen. Denk hierbij aan een digitale LEGO-set die intact op de tafel blijft staan. Wanneer je iets wilt veranderen, smelt je niet de hele boel weer om; je pakt gewoon een specifieke steen (een object), verplaatst deze of vervangt hem, en de rest van de wereld blijft precies waar het was.

Hier is hoe StateFlow dit doet, onderverdeeld in drie leuke stappen:

1. De wereld bouwen (State Construction)
Stel je voor dat je een sci-fi basis op de maan wilt bouwen. Als je een computer alleen vraagt om "een maanbasis te tekenen", tekent hij misschien een coole afbeelding van voren, maar de gebouwen zweven misschien in de lucht, of de lay-out maakt geen zin als je eromheen zou lopen. StateFlow is slim door naar de scène vanuit twee hoeken tegelijk te kijken: een vooraanzicht (om te zien hoe de objecten eruitzien) en een vogelvluchtperspectief (om te zien waar ze op de grond staan). Het treedt vervolgens op als een superintelligente scheidsrechter die controleert of het vooraanzicht en het vogelvluchtperspectief met elkaar overeenstemmen. Als het vooraanzicht zegt "er zijn drie robots" maar het vogelvluchtperspectief ziet slechts ruimte voor twee, dan herstelt het systeem het conflict. Het bouwt een solide, 3D-wereld waarin elk object een echte plek, een echte vorm en een echte identiteit heeft, klaar om te worden verplaatst.

2. Het verhaal veranderen (State Evolution)
Zodra de wereld is gebouwd, kunnen makers zeggen: "Oké, nu stort het ruimteschip!" of "Laten we de hele basis laten lijken op iets uit de jaren 80." Oude videogeneratoren zouden proberen een hele nieuwe video vanuit het niets te hallucineren, waarbij ze vaak personages verliezen of de achtergrond laten glitchen. StateFlow behandelt de wereld echter als een levende database. Het werkt een "state table" bij—een lijst van elk object en de bijbehorende eigenschappen. Als het ruimteschip crasht, tekent het systeem niet de hele maan opnieuw; het werkt simpelweg de vermelding van het ruimteschip bij naar "het is nu een hoop schroot" en verandert misschien de positie. Als je de stijl wilt veranderen, werkt het simpelweg de "kleur" of "materiaal" tags voor de hele scène bij. Dit betekent dat de wereld alles onthoudt wat er eerder is gebeurd, zodat het verhaal consistent blijft, zelfs wanneer er dingen veranderen.

3. De film bekijken (State Access)
Ten slotte wil je de scène vanuit een coole camerahoek bekijken, zoals een drone die door de basis vliegt. Als je de computer simpelweg vraagt om "de camera te laten vliegen", kan hij tegen een muur botsen of naar de lucht wijzen omdat hij de 3D-geometrie niet "ziet". StateFlow gebruikt een "render-feedback"-lus. Het raadt eerst een camerapad, rendert vervolgens snel een kleine preview van hoe dat pad eruitziet. Als de camera bijna tegen een gebouw botst, ziet het systeem de botsing in de preview en duwt het de camera automatisch naar een veilige plek. Het blijft deze "raden-controleren-corrigeren"-cyclus herhalen totdat het camerapad perfect is, wat ervoor zorgt dat de shot daadwerkelijk mogelijk is in de 3D-wereld.

Wat de resultaten laten zien
De auteurs hebben StateFlow getest tegen andere methoden die simpelweg video's of 3D-scènes genereren. Ze kwamen tot de conclusie dat terwijl andere methoden vaak video's produceren waarbij objecten verdwijnen, van vorm veranderen of uit elkaar drijven (spatiotemporele inconsistentie), StateFlow de wereld stabiel houdt. In hun tests scoorde StateFlow hoger op het behouden van de gelijkenis van objecten over de tijd en het handhaven van een logische lay-out. Het systeem suggereert dat door previsualisatie te behandelen als het beheren van een persistente 3D-status in plaats van alleen het maken van een video, makers veel meer controle krijgen. Ze kunnen dezezelfde wereld gebruiken om storyboards voor films te maken, shots voor films te plannen of zelfs interactieve game-levels te prototypen.

Hoewel het systeem een grote stap voorwaarts is, merken de auteurs op dat het nog geen magie is. Het vertrouwt op andere AI-modellen om het zware werk te doen, dus het is nog niet echt snel genoeg voor realtime, directe interactie zoals in een videogame. Maar het suggereert een veelbelovende toekomst waarin we niet alleen toezien hoe AI kunst maakt, maar er ook daadwerkelijk in stappen en spelen met de werelden die zij bouwt.

Technische Samenvatting: StateFlow

Probleemstelling

Previsualisatie (previs) is een cruciale tussenstap in film-, gameontwikkeling en architectonisch ontwerp, waarbij makers iteratief scènes, acties, camera's en spatiotemporele dynamiek kunnen verfijnen voordat de definitieve productie begint. De huidige generatieve methoden voor previs zijn echter niet geschikt voor dit iteratieve proces. Bestaande benaderingen vertrouwen op one-shot beeld- of videosynthese, waarbij één enkele prompt gezamenlijk de scène-inhoud, lay-out, beweging en cameraparameters moet specificeren. Deze methoden missen een persistente werktoestand, wat leidt tot:

Zwakke controleerbaarheid: Moeite met het maken van lokale bewerkingen of het valideren van specifieke ontwerpkeuzes zonder de volledige output opnieuw te genereren.
Inconsistentie: Spatiotemporele inconsistentie, identiteitsdrift en instabiele details wanneer inhoud wordt gewijzigd, uitgebreid of vanuit verschillende hoeken wordt bekeken.
Gebrek aan structuur: Ze behandelen de wereld als een reeks geïsoleerde visuele outputs in plaats van een gedeelde staat van geometrie, verschijning en cameraconfiguraties die kunnen worden hergebruikt en gecombineerd.

Het artikel stelt dat de ontbrekende component in generatieve previs een expliciete en persistente werktoestand is (een gestructureerde 3D-wereld) die de definitie van de wereld scheidt van de evolutie en observatie ervan.

Methodologie: StateFlow

StateFlow is een staat-gecentreerd framework dat de doelstelling verschuift van one-shot visuele synthese naar het bouwen, evolueren en ontsluiten van bewerkbare 3D-werelden. Het representeert de wereldtoestand $W_t$ op elk tijdstip $t$ als een collectie objectentiteiten $o_i = (g_i, p_i, s_i)$ , waarbij $g$ geometrie is, $p$ de ruimtelijke pose en $s$ de semantische attributen. Het framework werkt in drie stadia:

1. Toestandsconstructie (State Construction)

Deze fase initialiseert de wereldtoestand $W_0$ op basis van de natuurlijke taalintentie van een gebruiker.

Dual-View Initialisatie: Om de beperkingen van single-view generatie (die vaak ofwel de globale lay-out ofwel de objectdetails opoffert) te overwinnen, genereert het systeem twee complementaire weergaven: een vooraanzicht voor objectassets en verschijning, en een vogelvluchtperspectief (BEV) voor de ruimtelijke lay-out en plaatsing op het grondvlak.
Conflict-bewuste Reconciliatie: Omdat de twee weergaven onafhankelijk van elkaar worden gegenereerd, kunnen ze conflicteren in objectaantallen of ruimtelijke hypothesen. StateFlow gebruikt een Vision-Language Model (VLM) met semantische-fysieke priors om deze conflicten te detecteren en op te lossen.
- Gematchte objecten: Assets uit het vooraanzicht worden geplaatst volgens de BEV-lay-outboxen.
- Alleen-in-BEV objecten: De VLM valideert of dit plausibele contextuele elementen of hallucinaties zijn.
- Alleen-in-Vooraanzicht objecten: Worden behandeld als semantische ankers, waarbij voorlopige lay-outhypothesen worden afgeleid uit de prompt en context.
3D Lifting & Optimalisatie: Een grounding-bewuste lifting-operator zet BEV-boxen om in 3D-plaatsingen. Een lichtgewicht, training-vrije optimalisatie verfijnt de 3D-boxen door verliezen te minimaliseren die gerelateerd zijn aan de identiteit in het vooraanzicht, de BEV-lay-out, VLM grounding-priors en fysieke beperkingen (bijv. botsingen).

2. Toestandsevolutie (State Evolution)

Deze fase actualiseert de wereldtoestand $W_t$ naar $W_{t+1}$ op basis van de gebruikersintentie, waardoor volledige scène-regeneratie wordt vermeden.

Intentie-gestuurde Gestructureerde Toestands-transitie: In plaats van dynamiek impliciet te simuleren, bevraagt een VLM de gestructureerde toestandstabel om een compact transitieplan ( $\Delta_t$ ) op te stellen.
Update-mechanismen:
- Scèneniveau: Ondersteunt globale expansie (het instantiëren van nieuwe regio's) en stijlveranderingen (het herschrijven van beschrijvingen) terwijl de oorspronkelijke ruimtelijke ondersteuning en objectidentiteiten behouden blijven.
- Objectniveau: Behandelt rigide beweging (het bijwerken van $p_i$ ), karakterevolutie (pose/traject-updates) en discrete gebeurtenissen (bijv. explosies) via asset-substitutie (het vervangen van $g_i$ terwijl identiteit en plaatsing behouden blijven).
Deze aanpak zorgt ervoor dat de wereld bewerkbaar, geheugenbewust en herbruikbaar blijft.

3. Toegang tot de Toestand (State Access)

Deze fase bepaalt hoe de wereld wordt geraadpleegd voor downstream-taken, primair via cameratrajecten.

Wereldtoestand Camera-planning: Het systeem combineert VLM-gebaseerde semantische redenering met geometrische feedback.
Render-Feedback Reflectie:
1. De VLM stelt een initieel cameratraject ( $\pi^0$ ) voor op basis van de regisseurintentie en de wereldtoestand.
2. Het traject wordt uitgevoerd in een rendering engine om observaties te genereren.
3. Het systeem evalueert het gerenderde resultaat op problemen zoals zichtbaarheid, occlusie, kadrering en botsingen.
4. Een reflectiemechanisme genereert lokale reparatiekandidaten (bijv. het aanpassen van afstand, look-at targets of azimuth) om specifieke problemen op te lossen.
5. Het proces iterereert totdat een haalbaar traject is gevonden, waardoor het cameraplan visueel gegrond is zonder een specifieke camera-policy te trainen.

Belangrijkste Bijdragen

Nieuwe Formulering: Het artikel stelt voor om generatieve previsualisatie te modelleren als persistente 3D-wereldtoestand-modellering, waarbij de focus verschuift van geïsoleerde visuele synthese naar de constructie van bewerkbare, evolueerbare en herbruikbare 3D-werelden.
StateFlow Framework: Een verenigd framework dat 3D-wereldtoestanden construeert, evolueert en ontsluit via:
- Prior-gestuurde, conflict-bewuste dual-view initialisatie.
- Intentie-gestuurde gestructureerde toestands-transities.
- Render-feedback camera-planning.
Downstream Toepassingen: Het framework ondersteunt van nature twee representatieve toepassingen:
- Videocreatie: Inclusief storyboard-generatie, shot-planning en videoproductie.
- 3D Game Prototyping: Voor interactieve contentontwerp en exploratie.

Experimentele Resultaten

De auteurs hebben StateFlow geëvalueerd tegen state-of-the-art 3D-generatie baselines (SynCity, SAM3D, PartCrafter) en video-generatiemethoden (Animaker, MovieAgent, Wan2.2, Seedance2.0).

Kwantitatieve Prestaties:
- Scène-generatie: StateFlow behaalde superieure scores in CLIP-I (0.788) en CLIP-T (30.214) vergeleken met baselines, wat wijst op een betere visuele en tekstuele alignment. Het scoorde ook hoog in gebruikersstudies voor lay-out plausibiliteit, volledigheid en geometrische kwaliteit.
- Video-generatie: Op VBench-metrieken behaalde StateFlow de hoogste gemiddelde score (0.8484), waarbij het met name uitblinkt in subject-consistentie, achtergrond-consistentie, bewegingsvloeiendheid en reductie van flikkering.
Kwalitatieve Analyse: Visuele vergelijkingen toonden aan dat StateFlow scènes produceert met coherente ruimtelijke lay-outs en stabiele objectidentiteiten. In tegenstelling tot baselines die lijden onder spatiotemporele inconsistentie en identiteitsdrift wanneer de camera beweegt, behoudt StateFlow de geometrie-verschijnings-consistentie.
Ablatie-studies: Het verwijderen van BEV-lay-out grounding of conflictresolutie verslechterde de globale lay-out en objectrelaties aanzienlijk. Het verwijderen van render-feedback reflectie in de camera-planning leidde tot zichtbaarheids- en botsingsproblemen, wat de noodzaak van de voorgestelde componenten bevestigt.

Betekenis en Claims

Het artikel claimt dat StateFlow de fundamentele kloof in generatieve previsualisatie overbrugt door een expliciete, persistente 3D-toestand te introduceren. De betekenis ligt in:

Het mogelijk maken van Iteratieve Workflows: Door de wereldtoestand te ontkoppelen van de visuele output, kunnen makers scènes, acties en camera's iteratief verfijnen zonder consistentie te verliezen.
Het overbruggen van Generatie en Productie: Het framework dient als een intermediaire representatie tussen generatieve modellen en productie-georiënteerde creatieve workflows, waarbij zowel cinematische videocreatie als interactieve game-prototyping wordt ondersteund.
Wereld-bewuste Generatie: Het demonstreert dat het behandelen van video als een observatie van een expliciete wereldtoestand meer controleerbare, gestructureerde en fysiek plausibele resultaten oplevert dan directe videosynthese.

De auteurs merken op dat hoewel de methode previsualisatie versnelt van weken naar minuten, het momenteel beperkt wordt door de inferentie-snelheid van derde-partij modellen en nog geen volledige real-time interactie ondersteunt. Toekomstig werk is gericht op het verbeteren van de efficiëntie door middel van snellere modelimplementatie.