Computational spatiality: virtual production, generative media and the politics of screen space

Por décadas, a magia do cinema dependeu de uma divisão simples: a câmera capturava um mundo real e os editores costuravam essas partes para contar uma história. Mesmo quando os cineastas construíam mundos falsos com modelos ou fundos pintados, a imagem final era a única coisa que importava. O espaço atrás dos atores era ou um lugar físico ou uma imagem plana. Hoje, essa divisão está se dissolvendo. Duas tecnologias poderosas estão remodelando como os mundos cinematográficos são construídos, mas o fazem de maneiras fundamentalmente diferentes. Uma abordagem, conhecida como produção virtual, trata um ambiente digital como um cenário físico que pode ser percorrido e filmado em tempo real. A outra, a mídia generativa, usa inteligência artificial para criar imagens que parecem reais, mas que são construídas a partir de padrões e probabilidades, em vez de plantas fixas. Compreender a diferença entre esses dois métodos não é mais apenas um detalio técnico para engenheiros; isso muda quem tem o poder de decidir como uma cena se parece, quanto controle um diretor realmente possui e que tipo de realidade estamos vendo em nossas telas.

Um novo estudo realizado pelos pesquisadores Rui Gao, Yiwei Zhao e Weice Yang explora essa mudança ao introduzir um conceito que eles chamam de "espacialidade computacional". Em vez de perguntar se uma cena é real ou falsa, eles perguntam como o próprio espaço é organizado e controlado. Os pesquisadores argumentam que estamos nos afastando de um sistema onde a imagem final é o único objetivo. Em seu lugar, temos agora um sistema onde o espaço é um campo vivo e editável de possibilidades que existe muito antes de a câmera começar a rodar. Esse campo não é neutro. Ele é moldado por software, pelas pessoas que constroem as ferramentas e pelas regras incorporadas no código. O estudo sugere que, embora essas tecnologias ofereçam aos cineastas uma liberdade incrível para mudar uma cena instantaneamente, elas também criam um novo tipo de dependência das plataformas e sistemas que tornam essas mudanças possíveis.

Para entender isso, deve-se observar como essas duas tecnologias realmente funcionam, pois operam sob princípios opostos. A produção virtual, usada famosamente em filmes como O Rei Leão e The Mandalorian, baseia-se no que os pesquisadores chamam de "geometria persistente". Imagine uma montanha digital. Neste sistema, essa montanha é construída a partir de um conjunto fixo de coordenadas e formas 3D. Ela existe como um objeto sólido em um banco de dados. Quando uma câmera se move, o computador recalcula a visão dessa montanha a partir do novo ângulo, mas a montanha em si não muda. Sua forma, sua distância e sua relação com o solo permanecem constantes. Se um diretor pede para ver a montanha de um lado diferente, o sistema simplesmente desloca o ponto de vista. O mundo é consistente porque é construído sobre um mapa estável. Isso permite que atores e câmeras se movam livremente, com o fundo reagindo instantaneamente e com precisão à posição deles.

Em contraste, a mídia generativa, que inclui as mais recentes ferramentas de criação de vídeo, trabalha sem um mapa fixo. Em vez de uma montanha pré-construída, o sistema cria uma imagem baseada no que aprendeu com milhões de outras imagens. Quando um usuário pede uma cena de rua, o sistema não busca um modelo 3D armazenado de uma rua. Em vez disso, ele adivinha como uma rua deveria parecer, quadro a quadro, com base em padrões que viu anteriormente. Pode criar uma fachada de loja convincente, um pavimento molhado e um carro estacionado. No entanto, como está adivinhando em vez de recuperar um objeto fixo, os detalhes podem oscilar. Um carro pode ganhar uma roda no próximo quadro, ou uma porta pode deslizar para um lugar diferente. A imagem parece real, mas o espaço atrás dela não é estável. É uma "aparência probabilística", o que significa que parece um lugar porque segue as regras de como os lugares geralmente parecem, não porque é um lugar específico e imutável.

Os pesquisadores descobriram que essa diferença altera a natureza da produção cinematográfica e a dinâmica de poder em um set. No mundo da produção virtual, o desafio é manter o mundo digital perfeitamente alinhado com a câmera física. Se o sistema de rastreamento falhar, o fundo pode sair de sincronia com o ator, quebrando a ilusão. O trabalho exigido aqui é de precisão e coordenação. As equipes devem garantir que a iluminação, o movimento da câmera e os ativos digitais todos coincidam perfeitamente. A autoridade para mudar a cena reside nas pessoas que gerenciam esses ativos e o motor que os executa. Um diretor pode pedir um pôr do sol, mas um artista técnico deve garantir que o sol digital esteja disponível e possa ser renderizado rapidamente o suficiente para acompanhar a filmagem.

Com a mídia generativa, o desafio é diferente. O trabalho não é sobre manter as coisas alinhadas, mas sobre selecionar e reparar. Como o sistema gera uma nova versão da cena a cada vez, o cineasta deve filtrar muitas opções para encontrar aquela que funciona. Se um personagem atravessa uma porta que desaparece no plano seguinte, o artista tem que consertar. O poder aqui reside na capacidade de escolher qual versão se torna a imagem final. No entanto, os pesquisadores observam que essa liberdade vem com um custo oculto. O "espaço" em que o cineasta está trabalhando é definido pelos dados de treinamento e pelas regras do software. Se o software nunca viu um tipo específico de vila, ele não consegue criá-la facilmente. O cineasta é livre para pedir qualquer coisa, mas o sistema decide o que é possível gerar.

Isso leva a uma descoberta central do estudo: a imagem não é mais apenas uma superfície a ser lida; ela é a face pública de uma longa cadeia de decisões. No passado, um diretor decidia o visual de uma cena e a equipe a construía. Agora, o visual de uma cena é determinado por uma combinação da escolha do diretor, as capacidades do software, a disponibilidade de ativos digitais e as regras da plataforma. Os pesquisadores chamam isso de "espacialidade computacional". É o campo onde o espaço é organizado, alterado e governado antes mesmo de chegar à tela. Este campo é político porque determina quem decide como um mundo se parece. Se um cineasta quer mudar um vale, ele pode estar limitado pelo que a biblioteca de software contém ou pelo que o modelo de inteligência artificial aprendeu.

O estudo também destaca como essa mudança afeta o trabalho de produção cinematográfica. Na produção virtual, as equipes devem construir bibliotecas digitais massivas e manter sistemas de rastreamento complexos antes que um único quadro seja filmado. Nos fluxos de trabalho generativos, o trabalho se desloca para a seleção, reparação e gestão dos resultados da IA. Os pesquisadores apontam que, embora essas ferramentas facilitem a criação de uma única imagem impactante, elas dificultam a manutenção de um mundo consistente ao longo de um filme longo. Uma rua gerada pode parecer perfeita por dois segundos, mas se a cena precisar ser filmada de um ângulo diferente mais tarde, o sistema pode criar uma rua que não combine com a primeira. O cineasta então tem que fazer um trabalho extra para fazer as duas versões se encaixarem.

Os pesquisadores são cuidadosos ao não dizer que um método é melhor que o outro. Em vez disso, mostram que são duas formas distintas de fazer um mundo de tela se manter unido. Uma utiliza um mapa estável para garantir a consistência, enquanto a outra utiliza padrões para criar a aparência de um mundo. Ambos os métodos deslocam o poder da criação para longe do quadro final e para dentro dos sistemas que constroem o espaço. Isso significa que a liberdade de mudar uma imagem instantaneamente frequentemente vem acompanhada de uma dependência mais forte das empresas que possuem o software, os modelos e os dados. Um diretor pode ter o poder de mudar um céu em segundos, mas não pode mudar o motor que torna aquele céu possível.

O estudo conclui sugerindo que precisamos prestar atenção às regras invisíveis que governam esses espaços digitais. Assim como um set físico tem limites baseados em sua construção, um espaço digital tem limites baseados em seu código e seus dados. Esses limites não são sempre óbvios. Eles podem aparecer como um erro onde um edifício muda de forma, ou podem aparecer como um viés sutil onde certos tipos de paisagens são mais fáceis de criar do que outros. Ao compreender a "espacialidade computacional", podemos ver que a tela não é apenas uma janela para uma história, mas uma janela para um sistema de controle. O mundo que vemos na tela é o resultado de uma negociação entre a criatividade humana e as estruturas rígidas do software que a torna possível. Os pesquisadores argumentam que, para entender verdadeiramente o cinema moderno, devemos olhar além da imagem e perguntar quem construiu o espaço, como ele é mantido unido e quem decide o que sobrevive.