Computational spatiality: virtual production, generative media and the politics of screen space

Decennialang vertrouwde de magie van de cinema op een eenvoudige verdeling: de camera legde een echte wereld vast, en editors voegden die stukjes samen om een verhaal te vertellen. Zelfs wanneer filmmakers kunstmatige werelden bouwden met modellen of geschilderde achtergronden, was het uiteindelijke beeld het enige dat telde. De ruimte achter de acteurs was ofwel een fysieke plek, ofwel een plat plaatje. Vandaag de dag lost deze verdeling op. Twee krachtige technologieën hervormen de manier waarop schermwerelden worden gebouwd, maar ze doen dit op fundamenteel verschillende manieren. Eén benadering, bekend als virtuele productie, behandelt een digitale omgeving als een fysieke set waar doorheen gelopen en in real time gefilmd kan worden. De andere, generatieve media, gebruikt kunstmatige intelligentie om beelden te creëren die er echt uitzien, maar zijn opgebouwd uit patronen en waarschijnlijkheden in plaats van vaste blauwdrukken. Het begrijpen van het verschil tussen deze twee methoden is niet langer slechts een technisch detail voor ingenieurs; het verandert wie beslist hoe een scène eruitziet, hoeveel controle een regisseur werkelijk heeft, en wat voor soort realiteit we op onze schermen zien.

Een nieuwe studie door onderzoekers Rui Gao, Yiwei Zhao en Weice Yang verkent deze verschuiving door een concept te introduceren dat zij "computationele spatialiteit" noemen. In plaats van te vragen of een scène echt of nep is, vragen zij zich af hoe de ruimte zelf is georganiseerd en gecontroleerd. De onderzoekers stellen dat we bewegen van een systeem waarbij het uiteindelijke beeld het enige doel is, naar een systeem waar de ruimte een levend, bewerkbaar veld van mogelijkheden is dat al bestaat lang voordat de camera begint te draaien. Dit veld is niet neutraal. Het wordt gevormd door software, door de mensen die de tools bouwen, en door de regels die in de code zijn ingebed. De studie sugggeert dat hoewel deze technologieën filmmakers een ongelooflijke vrijheid bieden om een scène direct te veranderen, ze ook een nieuw soort afhankelijkheid creëren van de platforms en systemen die die veranderingen mogelijk maken.

Om dit te begrijpen, moet men kijken naar hoe deze twee technologieën daadwerkelijk werken, want ze opereren op tegenovergestelde principes. Virtuele productie, beroemd gebruikt in films als The Lion King en The Mandalorian, vertrouwt op wat de onderzoekers "persistente geometrie" noemen. Stel je een digitale berg voor. In dit systeem is die berg gebouwd vanuit een vaste set coördinaten en 3D-vormen. Het bestaat als een solide object in een database. Wanneer een camera beweegt, berekent de computer het zicht op die berg opnieuw vanuit de nieuwe hoek, maar de berg zelf verandert niet. De vorm, de afstand en de relatie tot de grond blijven constant. Als een regisseur vraagt om de berg van de andere kant te zien, verschuift het systeem simpelweg het gezichtspunt. De wereld is consistent omdat deze is gebouwd op een stabiele kaart. Dit stelt acteurs en camera's in staat om vrij te bewegen, waarbij de achtergrond direct en accuraat reageert op hun positie.

In contrast hiermee werkt generatieve media, dat de nieuwste video-creatietools omvat, zonder een vaste kaart. In plaats van een vooraf gebouwde berg, creëert het systeem een beeld op basis van wat het heeft geleerd van miljoenen andere afbeeldingen. Wanneer een gebruiker vraagt om een straatscène, roept het systeem niet een opgeslagen 3D-model van een straat op. In plaats daarvan raadt het systeem wat een straat zou moeten lijken, frame voor frame, op basis van patronen die het eerder heeft gezien. Het kan een overtuigende winkelpui, een nat wegdek en een geparkeerde auto creëren. Echter, omdat het raadt in plaats van een vast object op te halen, kunnen de details verschuiven. Een auto kan in het volgende frame een wiel krijgen, of een deuropening kan naar een andere plek glijden. Het beeld ziet er echt uit, maar de ruimte erachter is niet stabiel. Het is een "probabilistische verschijning", wat betekent dat het op een plek lijkt omdat het de regels volgt van hoe plaatsen er gewoon uitzien, en niet omdat het een specifieke, onveranderlijke plek is.

De onderzoekers ontdekten dat dit verschil de aard van filmmaken en de machtsdynamiek op een set verandert. In de wereld van virtuele productie is de uitdaging om de digitale wereld perfect af te stemmen op de fysieke camera. Als het tracking-systeem faalt, kan de achtergrond uit de pas lopen met de acteur, waardoor de illusie wordt doorbroken. Het werk dat hier vereist is, gaat over precisie en coördinatie. Teams moeten ervoor zorgen dat de belichting, de camerabeweging en de digitale assets allemaal perfect overeenkomen. De autoriteit om de scène te veranderen ligt bij de mensen die deze assets en de engine die ze aanstuurt, beheren. Een regisseur kan om een zonsondergang vragen, maar een technisch artiest moet ervoor zorgen dat de digitale zon beschikbaar is en snel genoeg gerenderd kan worden om de opnames bij te houden.

Bij generatieve media is de uitdaging anders. Het werk gaat niet over het op elkaar afstemmen van zaken, maar over het selecteren en repareren. Omdat het systeem elke keer een nieuwe versie van de scène genereert, moet de filmmaker door veel opties zoeken om de versie te vinden die werkt. Als een personage door een deur loopt die in het volgende shot verdwenen is, moet de artiest het repareren. De macht ligt hier in het vermogen om te kiezen welke versie de definitieve afbeelding wordt. De onderzoekers merken echter op dat deze vrijheid een verborgen prijs heeft. De "ruimte" waarin de filmmaker werkt, wordt gedefinieerd door de trainingsdata en de regels van de software. Als de software nog nooit een specif kind dorp heeft gezien, kan het er niet gemakkelijk een creëren. De filmmaker is vrij om om alles te vragen, maar het systeem bepaalt wat mogelijk is om te genereren.

Dit leidt tot een centrale bevinding van de studie: het beeld is niet langer slechts een oppervlak om te lezen; het is het publieke gezicht van een lange keten van beslissingen. In het verleden besliste een regisseur over de look van een scène, en bouwde de crew deze. Nu wordt de look van een scène bepave door een combinatie van de keuze van de regisseur, de capaciteiten van de software, de beschikbaarheid van digitale assets en de regels van het platform. De onderzoekers noemen dit "computationele spatialiteit". Het is het veld waar ruimte wordt georganiseerd, veranderd en bestuurd voordat het ooit het scherm bereikt. Dit veld is politiek omdat het bepaalt wie mag beslissen hoe een wereld eruitziet. Als een filmmaker een vallei wil veranderen, kan hij beperkt worden door wat de softwarebibliotheek bevat of wat het kunstmatige intelligentiemodel heeft geleerd.

De studie belicht ook hoe deze verschuiving de arbeid binnen de filmindustrie beïnvloedt. In virtuele productie moeten teams enorme digitale bibliotheken bouwen en complexe tracking-systemen onderhouden voordat er ook maar één frame wordt geschoten. In generatieve workflows verschuift de arbeid naar het selecteren, repareren en beheren van de outputs van de AI. De onderzoekers wijzen erop dat hoewel deze tools het gemakkelijker maken om een enkele indrukwekkende afbeelding te creëren, ze het moeilijker maken om een consistente wereld over een lange film te behouden. Een gegenereerde straat kan er twee seconden perfect uitzien, maar als de scène later vanuit een andere hoek gefilmd moet worden, kan het systeem een straat creëren die niet overeenkomt met de eerste. De filmmaker moet dan extra werk verrichten om de twee versies passend te maken.

De onderzoekers zijn voorzichtig om niet te zeggen dat de ene methode beter is dan de andere. In plaats daarvan laten ze zien dat het twee verschillende manieren zijn om een schermwereld bij elkaar te houden. De ene gebruikt een stabiele kaart om consistentie te waarborgen, terwijl de andere patronen gebruikt om de verschijning van een wereld te creëren. Beide methoden verplaatsen de macht van creatie weg van het uiteindelijke frame en naar de systemen die de ruimte bouwen. Dit betekent dat de vrijheid om een beeld direct te veranderen vaak gepaard gaat met een sterkere afhankelijkheid van de bedrijven die de software, de modellen en de data bezitten. Een regisseur heeft misschien de macht om in enkele seconden een lucht te veranderen, maar hij kan de engine die die lucht mogelijk maakt niet veranderen.

De studie concludeert door te suggereren dat we aandacht moeten besteden aan de onzichtbare regels die deze digitale ruimtes beheersen. Net zoals een fysieke set grenzen heeft op basis van de constructie, heeft een digitale ruimte grenzen op basis van de code en de data. Deze grenzen zijn niet altijd duidelijk. Ze kunnen verschijnen als een glitch waarbij een gebouw van vorm verandert, of ze kunnen verschijnen als een subtiele bias waarbij bepaalde soorten landschappen gemakkelijker te creëren zijn dan andere. Door "computationale spatialiteit" te begrijpen, kunnen we zien dat het scherm niet alleen een venster in een verhaal is, maar een venster in een systeem van controle. De wereld die we op het scherm zien, is het resultaat van een onderhandeling tussen menselijke creativiteit en de rigide structuren van de software die het mogelijk maakt. De onderzoekers betogen dat we, om de moderne cinema werkelijk te begrijpen, verder moeten kijken dan het beeld en moeten vragen wie de ruimte heeft gebouwd, hoe deze bij elkaar wordt gehouden en wie mag beslissen wat overleeft.