Computational spatiality: virtual production, generative media and the politics of screen space

Durante décadas, la magia del cine dependió de una división simple: la cámara capturaba un mundo real y los editores unían esas piezas para contar una historia. Incluso cuando los cineastas construían mundos ficticios con maquetas o fondos pintados, la imagen final era lo único que importaba. El espacio detrás de los actores era un lugar físico o una imagen plana. Hoy, esa división se está disolviendo. Dos tecnologías poderosas están remodelando la forma en que se construyen los mundos en pantalla, pero lo hacen de maneras fundamentalmente distintas. Un enfoque, conocido como producción virtual, trata un entorno digital como un set físico por el que se puede caminar y filmar en tiempo real. El otro, el contenido generado por medios generativos, utiliza la inteligencia artificial para crear imágenes que parecen reales pero que están construidas a partir de patrones y probabilidades en lugar de planos fijos. Comprender la diferencia entre estos dos métodos ya no es solo un detalle técnico para ingenieros; cambia quién decide cómo se ve una escena, cuánto control tiene realmente un director y qué tipo de realidad estamos viendo en nuestras pantallas.

Un nuevo estudio de los investigadores Rui Gao, Yiwei Zhao y Weice Yang explora este cambio introduciendo un concepto que llaman "espacialidad computacional". En lugar de preguntar si una escena es real o falsa, preguntan cómo se organiza y controla el espacio mismo. Los investigadores argumentan que nos estamos alejando de un sistema donde la imagen final es el único objetivo. En su lugar, ahora tenemos un sistema donde el espacio es un campo vivo y editable de posibilidades que existe mucho antes de que la cámara empiece a rodar. Este campo no es neutral. Está moldeado por el software, por las personas que construyen las herramientas y por las reglas integradas en el código. El estudio sugiere que, si bien estas tecnologías ofrecen a los cineastas una libertad increíble para cambiar una escena instantáneamente, también crean un nuevo tipo de dependencia de las plataformas y sistemas que hacen posibles esos cambios.

Para entender esto, uno debe observar cómo funcionan realmente estas dos tecnologías, porque operan bajo principios opuestos. La producción virtual, utilizada famosamente en películas como El Rey León y The Mandalorian, se basa en lo que los investigadores llaman "geometría persistente". Imagine una montaña digital. En este sistema, esa montaña está construida a partir de un conjunto fijo de coordenadas y formas 3D. Existe como un objeto sólido en una base de datos. Cuando una cámara se mueve, la computadora recalcula la vista de esa montaña desde el nuevo ángulo, pero la montaña en sí no cambia. Su forma, su distancia y su relación con el suelo permanecen constantes. Si un director pide ver la montaña desde un lado diferente, el sistema simplemente desplaza el punto de vista. El mundo es consistente porque está construido sobre un mapa estable. Esto permite que los actores y las cámaras se muevan libremente, con el fondo reaccionando de manera instantánea y precisa a su posición.

En contraste, los medios generativos, que incluyen las últimas herramientas de creación de video, trabajan sin un mapa fijo. En lugar de una montaña preconstruida, el sistema crea una imagen basada en lo que ha aprendido de millones de otras imágenes. Cuando un usuario pide una escena callejera, el sistema no busca un modelo 3D almacenado de una calle. En su lugar, adivina cómo debería verse una calle, cuadro por cuadro, basándose en patrones que ha visto antes. Podría crear un escaparate convincente, un pavimento mojado y un coche aparcado. Sin embargo, debido a que está adivinando en lugar de recuperar un objeto fijo, los detalles pueden cambiar. Un coche podría ganar una rueda en el siguiente fotograma, o una puerta podría deslizarse a un lugar diferente. La imagen parece real, pero el espacio detrás de ella no es estable. Es una "apariencia probabilística", lo que significa que parece un lugar porque sigue las reglas de cómo suelen ser los lugares, no porque sea un lugar específico e inmutable.

Los investigadores descubrieron que esta diferencia cambia la naturaleza de la cinematografía y la dinámica de poder en un set. En el mundo de la producción virtual, el desafío es mantener el mundo digital perfectamente alineado con la cámara física. Si el sistema de seguimiento falla, el fondo podría desincronizarse con el actor, rompiendo la ilusión. El trabajo requerido aquí se trata de precisión y coordinación. Los equipos deben asegurar que la iluminación, el movimiento de la cámara y los activos digitales coincidan perfectamente. La autoridad para cambiar la escena reside en las personas que gestionan estos activos y el motor que los ejecuta. Un director puede pedir un atardecer, pero un artista técnico debe asegurar que el sol digital esté disponible y pueda renderizarse con la rapidez suficiente para seguir el ritmo del rodaje.

Con los medios generativos, el desafío es diferente. El trabajo no consiste en mantener las cosas alineadas, sino en seleccionar y reparar. Debido a que el sistema genera una nueva versión de la escena cada vez, el cineasta debe filtrar muchas opciones para encontrar la que funciona. Si un personaje atraviesa una puerta que desaparece en la siguiente toma, el artista tiene que arreglarlo. El poder aquí reside en la capacidad de elegir qué versión se convierte en la imagen final. Sin embargo, los investigadores señalan que esta libertad conlleva un costo oculto. El "espacio" en el que trabaja el cineasta está definido por los datos de entrenamiento y las reglas del software. Si el software nunca ha visto un tipo específico de aldea, no puede crearla fácilmente. El cineasta es libre de pedir cualquier cosa, pero el sistema decide qué es posible generar.

Esto conduce a un hallazgo central del estudio: la imagen ya no es solo una superficie para ser leída; es la cara pública de una larga cadena de decisiones. En el pasado, un director decidía el aspecto de una escena y el equipo la construía. Ahora, el aspecto de una escena está determinado por una combinación de la elección del director, las capacidades del software, la disponibilidad de activos digitales y las reglas de la plataforma. Los investigadores lo llaman "espacialidad computacional". Es el campo donde el espacio se organiza, cambia y gobierna antes de llegar a la pantalla. Este campo es político porque determina quién decide cómo se ve un mundo. Si un cineasta quiere cambiar un valle, puede verse limitado por lo que contiene la biblioteca de software o por lo que el modelo de inteligencia artificial ha aprendido.

El estudio también destaca cómo este cambio afecta la labor cinematográfica. En la producción virtual, los equipos deben construir enormes bibliotecas digitales y mantener complejos sistemas de seguimiento antes de disparar un solo fotograma. En los flujos de trabajo generativos, la labor se desplaza hacia la selección, la reparación y la gestión de los resultados de la IA. Los investigadores señalan que, si bien estas herramientas facilitan la creación de una sola imagen impactante, dificultan el mantenimiento de un mundo consistente a lo largo de una película larga. Una calle generada podría verse perfecta durante dos segundos, pero si la escena necesita filmarse desde un ángulo diferente más tarde, el sistema podría crear una calle que no coincida con la primera. El cineasta entonces tiene que hacer un trabajo extra para que ambas versiones encajen.

Los investigadores tienen cuidado de no decir que un método sea mejor que el otro. En su lugar, muestran que son dos formas distintas de lograr que un mundo en pantalla se mantenga unido. Uno utiliza un mapa estable para asegurar la consistencia, mientras que el otro utiliza patrones para crear la apariencia de un mundo. Ambos métodos trasladan el poder de la creación fuera del fotograma final y hacia los sistemas que construyen el espacio. Esto significa que la libertad de cambiar una imagen instantáneamente suele venir acompañada de una dependencia más fuerte de las empresas que poseen el software, los modelos y los datos. Un director puede tener el poder de cambiar un cielo en segundos, pero no puede cambiar el motor que hace posible ese cielo.

El estudio concluye sugiriendo que necesitamos prestar atención a las reglas invisibles que gobiernan estos espacios digitales. Así como un set físico tiene límites basados en su construcción, un espacio digital tiene límites basados en su código y sus datos. Estos límites no siempre son obvios. Pueden aparecer como un error donde un edificio cambia de forma, o pueden aparecer como un sesgo sutil donde ciertos tipos de paisajes son más fáciles de crear que otros. Al comprender la "espacialidad computacional", podemos ver que la pantalla no es solo una ventana a una historia, sino una ventana a un sistema de control. El mundo que vemos en pantalla es el resultado de una negociación entre la creatividad humana y las estructuras rígidas del software que la hace posible. Los investigadores argumentan que para comprender verdaderamente el cine moderno, debemos mirar más allá de la imagen y preguntar quién construyó el espacio, cómo se mantiene unido y quién decide qué sobrevive.