Computational spatiality: virtual production, generative media and the politics of screen space

Per decenni, la magia del cinema si è basata su una semplice divisione: la macchina da presa catturava un mondo reale e i montatori cucivano insieme quei pezzi per raccontare una storia. Anche quando i registi costruivano mondi finti con modelli o sfondi dipinti, l'immagine finale era l'unica cosa che contava. Lo spazio dietro gli attori era o un luogo fisico o un'immagine piatta. Oggi, quella divisione si sta dissolvendo. Due potenti tecnologie stanno rimodellando il modo in cui vengono costruiti i mondi sullo schermo, ma lo fanno in modi fondamentalmente diversi. Un approccio, noto come produzione virtuale, tratta un ambiente digitale come un set fisico attraverso il quale si può camminare e filmare in tempo reale. L'altro, i media generativi, utilizza l'intelligenza artificiale per creare immagini che sembrano reali ma che sono costruite su schemi e probabilità piuttosto che su progetti fissi. Comprendere la differenza tra questi due metodi non è più solo un dettaglio tecnico per gli ingegneri; cambia chi ha il potere di decidere l'aspetto di una scena, quanto controllo ha realmente un regista e che tipo di realtà stiamo vedendo sui nostri schermi.

Un nuovo studio condotto dai ricercatori Rui Gao, Yiwei Zhao e Weice Yang esplora questo cambiamento introducendo un concetto che chiamano "spazialità computazionale". Invece di chiedere se una scena sia reale o falsa, si chiedono come lo spazio stesso sia organizzato e controllato. I ricercatori sostengono che ci stiamo allontanando da un sistema in cui l'immagine finale è l'unico obiettivo. Al suo posto, abbiamo ora un sistema in cui lo spazio è un campo di possibilità vivente ed editabile che esiste molto prima che la macchina da presa inizi a girare. Questo campo non è neutrale. È plasmato dal software, dalle persone che costruiscono gli strumenti e dalle regole incorporate nel codice. Lo studio suggerisce che, sebbene queste tecnologie offrano ai registi un'incredibile libertà di cambiare una scena istantaneamente, esse creano anche un nuovo tipo di dipendenza dalle piattaforme e dai sistemi che rendono possibili tali cambiamenti.

Per capire questo, bisogna osservare come queste due tecnologie funzionano effettivamente, perché operano su principi opposti. La produzione virtuale, usata celebremente in film come Il Re Leone e The Mandalorian, si basa su ciò che i ricercatori chiamano "geometria persistente". Immaginate una montagna digitale. In questo sistema, quella montagna è costruita da un insieme fisso di coordinate e forme 3D. Esiste come un oggetto solido in un database. Quando una macchina da presa si muove, il computer ricalcola la vista di quella montagna da una nuova angolazione, ma la montagna stessa non cambia. La sua forma, la sua distanza e la sua relazione con il terreno rimangono costanti. Se un regista chiede di vedere la montagna da un lato diverso, il sistema si limita a spostare il punto di vista. Il mondo è coerente perché è costruito su una mappa stabile. Ciò permette ad attori e telecamere di muoversi liberamente, con lo sfondo che reagisce istantaneamente e accuratamente alla loro posizione.

Al contrario, i media generativi, che includono gli ultimi strumenti di creazione video, lavorano senza una mappa fissa. Invece di una montagna pre-costruita, il sistema crea un'immagine basata su ciò che ha appreso da milioni di altre immagini. Quando un utente chiede una scena di strada, il sistema non recupera un modello 3D memorizzato di una strada. Invece, ipotizza come dovrebbe apparire una strada, fotogramma per fotogramma, basandosi sui modelli che ha visto in precedenza. Potrebbe creare una vetrina convincente, un manto stradale bagnato e un'auto parcheggiata. Tuttavia, poiché sta ipotizzando invece di recuperare un oggetto fisso, i dettagli possono cambiare. Un'auto potrebbe guadagnare una ruota nel fotogramma successivo, o una porta potrebbe scivolare in un punto diverso. L'immagine sembra reale, ma lo spazio dietro di essa non è stabile. È un "aspetto probabilistico", il che significa che sembra un luogo perché segue le regole di come di solito appaiono i luoghi, non perché sia un luogo specifico e immutabile.

I ricercatori hanno scoperto che questa differenza cambia la natura della cinematografia e le dinamiche di potere sul set. Nel mondo della produzione virtuale, la sfida è mantenere il mondo digitale perfettamente allineato con la macchina da presa fisica. Se il sistema di tracciamento fallisce, lo sfondo potrebbe scivolare fuori sincrono rispetto all'attore, rompendo l'illusione. Il lavoro richiesto qui riguarda la precisiono e la coordinazione. I team devono garantire che l'illuminazione, il movimento della macchina da presa e gli asset digitali corrispondano perfettamente. L'autorità di cambiare la scena risiede nelle persone che gestiscono questi asset e il motore che li esegue. Un regista può chiedere un tramonto, ma un artista tecnico deve assicurarsi che il sole digitale sia disponibile e possa essere renderizzato abbastanza velocemente da stare al passo con le riprese.

Con i media generativi, la sfida è diversa. Il lavoro non consiste nel mantenere l'allineamento, ma nel selezionare e riparare. Poiché il sistema genera una nuova versione della scena ogni volta, il regista deve setacciare molte opzioni per trovare quella che funziona. Se un personaggio attraversa una porta che scompare nell'inquadratura successiva, l'artista deve sistemarla. Il potere qui risiede nella capacità di scegliere quale versione diventerà l'immagine finale. Tuttavia, i ricercatori notano che questa libertà comporta un costo nascosto. Lo "spazio" in cui il regista lavora è definito dai dati di addestramento e dalle regole del software. Se il software non ha mai visto un tipo specifico di villaggio, non può crearlo facilmente. Il regista è libero di chiedere qualsiasi cosa, ma il sistema decide cosa è possibile generare.

Questo porta a una scoperta centrale dello studio: l'immagine non è più solo una superficie da leggere; è il volto pubblico di una lunga catena di decisioni. In passato, un regista decideva l'aspetto di una scena e la troupe la costruiva. Ora, l'aspetto di una scena è determinato da una combinazione della scelta del regista, delle capacità del software, della disponibilità degli asset digitali e delle regole della piattaforma. I ricercatori chiamano questo "spazialità computazionale". È il campo in cui lo spazio viene organizzato, cambiato e governato prima ancora di raggiungere lo schermo. Questo campo è politico perché determina chi decide l'aspetto di un mondo. Se un regista vuole cambiare una valle, potrebbe essere limitato da ciò che la libreria del software contiene o da ciò che il modello di intelligenza artificiale ha imparato.

Lo studio evidenzia anche come questo cambiamento influenzi il lavoro cinematografico. Nella produzione virtuale, i team devono costruire enormi librerie digitali e mantenere complessi sistemi di tracciamento prima che venga scattato un singolo fotogramma. Nei flussi di lavoro generativi, il lavoro si sposta verso la selezione, la riparazione e la gestione degli output dell'IA. I ricercatori sottolineano che, sebbene questi strumenti rendano più facile creare una singola immagine d'impatto, rendono più difficile mantenere un mondo coerente durante un intero film. Una strada generata potrebbe sembrare perfetta per due secondi, ma se la scena deve essere filmata da un'angolazione diversa in seguito, il sistema potrebbe creare una strada che non corrisponde alla prima. Il regista deve allora fare un lavoro extra per far sì che le due versioni si adattino tra loro.

I ricercatori sono cauti nel non dire che un metodo sia migliore dell'altro. Invece, mostrano che sono due modi distinti di far sì che un mondo sullo schermo tenga insieme. Uno usa una mappa stabile per garantire la coerenza, mentre l'altro usa schemi per creare l'apparenza di un mondo. Entrambi i metodi spostano il potere della creazione lontano dall'ultimo fotogramma e dentro i sistemi che costruiscono lo spazio. Ciò significa che la libertà di cambiare un'immagine istantaneamente spesso comporta una dipendenza più forte dalle aziende che possiedono il software, i modelli e i dati. Un regista potrebbe avere il potere di cambiare un cielo in pochi secondi, ma non può cambiare il motore che rende possibile quel cielo.

Lo studio conclude suggerendo che dobbiamo prestare attenzione alle regole invisibili che governano questi spazi digitali. Proprio come un set fisico ha limiti basati sulla sua costruzione, uno spazio digitale ha limiti basati sul suo codice e sui suoi dati. Questi limiti non sono sempre ovvi. Possono apparire come un glitch dove un edificio cambia forma, o possono apparire come un sottile pregiudizio dove certi tipi di paesaggi sono più facili da creare rispetto ad altri. Comprendendo la "spazialità computazionale", possiamo vedere che lo schermo non è solo una finestra su una storia, ma una finestra su un sistema di controllo. Il mondo che vediamo sullo schermo è il risultato di una negoziazione tra la creatività umana e le strutture rigide del software che la rende possibile. I ricercatori sostengono che per comprendere veramente il cinema moderno, dobbiamo guardare oltre l'immagine e chiederci chi ha costruito lo spazio, come viene mantenuto insieme e chi decide cosa sopravvive.