Computational spatiality: virtual production, generative media and the politics of screen space

Pendant des décennies, la magie du cinéma reposait sur une division simple : la caméra capturait un monde réel, et les monteurs assemblaient ces morceaux pour raconter une histoire. Même lorsque les cinéastes construisaient des mondes fictifs avec des maquettes ou des décors peints, l'image finale était la seule chose qui importait. L'espace derrière les acteurs était soit un lieu physique, soit une image plate. Aujourd'hui, cette division se dissout. Deux technologies puissantes remodèlent la façon dont les mondes à l'écran sont construits, mais elles le font de manières fondamentalement différentes. Une approche, appelée production virtuelle, traite un environnement numérique comme un décor physique que l'on peut parcourir et filmer en temps réel. L'autre, les médias génératifs, utilise l'intelligence artificielle pour créer des images qui semblent réelles mais qui sont construites à partir de modèles et de probabilités plutôt qu'à partir de plans fixes. Comprendre la différence entre ces deux méthodes n'est plus un simple détail technique pour les ingénieurs ; cela change qui décide de l'apparence d'une scène, quel degré de contrôle un réalisateur possède réellement, et quel type de réalité nous voyons sur nos écrans.

Une nouvelle étude menée par les chercheurs Rui Gao, Yiwei Zhao et Weice Yang explore ce changement en introduisant un concept qu'ils appellent la « spatialité computationnelle ». Au lieu de demander si une scène est réelle ou fausse, ils demandent comment l'espace lui-même est organisé et contrôlé. Les chercheurs soutiennent que nous passons d'un système où l'image finale est le seul objectif à un système où l'espace est un champ de possibilités vivant et éditable qui existe bien avant que la caméra ne commence à tourner. Ce champ n'est pas neutre. Il est façonné par des logiciels, par les personnes qui construisent les outils et par les règles intégrées dans le code. L'étude suggère que si ces technologies offrent aux cinéastes une liberté incroyable pour changer une scène instantanément, elles créent également une nouvelle forme de dépendance vis-à-vis des plateformes et des systèmes qui rendent ces changements possibles.

Pour comprendre cela, il faut observer comment ces deux technologies fonctionnent réellement, car elles opèrent sur des principes opposés. La production virtuelle, utilisée de manière célèbre dans des films comme Le Roi Lion et The Mandalorian, repose sur ce que les chercheurs appellent une « géométrie persistante ». Imaginez une montagne numérique. Dans ce système, cette montagne est construite à partir d'un ensemble fixe de coordonnées et de formes 3D. Elle existe comme un objet solide dans une base de données. Lorsqu'une caméra se déplace, l'ordinateur recalcule la vue de cette montagne sous le nouvel angle, mais la montagne elle-même ne change pas. Sa forme, sa distance et sa relation avec le sol restent constantes. Si un réalisateur demande à voir la montagne d'un autre côté, le système déplace simplement le point de vue. Le monde est cohérent parce qu'il est construit sur une carte stable. Cela permet aux acteurs et aux caméras de se déplacer librement, le fond réagissant instantanément et précisément à leur position.

En revanche, les médias génératifs, qui incluent les derniers outils de création vidéo, travaillent sans carte fixe. Au lieu d'une montagne pré-construite, le système crée une image basée sur ce qu'il a appris de millions d'autres images. Lorsqu'un utilisateur demande une scène de rue, le système ne tire pas un modèle 3D stocké d'une rue. Au lieu de cela, il devine à quoi une rue devrait ressembler, image par image, sur la base des motifs qu'il a vus auparavant. Il peut créer une devanture de magasin convaincante, un pavé mouillé et une voiture garée. Cependant, parce qu'il devine plutôt qu'il ne récupère un objet fixe, les détails peuvent varier. Une voiture peut gagner une roue dans l'image suivante, ou une porte peut glisser vers un autre endroit. L'image semble réelle, mais l'espace derrière elle n'est pas stable. C'est une « apparence probabiliste », ce qui signifie qu'elle ressemble à un lieu parce qu'elle suit les règles de l'apparence habituelle des lieux, et non parce qu'elle est un lieu spécifique et immuable.

Les chercheurs ont constaté que cette différence modifie la nature du cinéma et les dynamiques de pouvoir sur un plateau. Dans le monde de la production virtuelle, le défi est de maintenir le monde numérique parfaitement aligné avec la caméra physique. Si le système de suivi échoue, l'arrière-plan peut se désynchroniser de l'acteur, brisant l'illusion. Le travail requis ici concerne la précision et la coordination. Les équipes doivent s'assurer que l'éclairage, le mouvement de la caméra et les éléments numériques concordent parfaitement. L'autorité pour changer la scène réside chez les personnes qui gèrent ces actifs et le moteur qui les fait fonctionner. Un réalisateur peut demander un coucher de soleil, mais un artiste technique doit s'assurer que le soleil numérique est disponible et peut être rendu assez rapidement pour suivre le tournage.

Avec les médias génératifs, le défi est différent. Le travail ne consiste pas à maintenir l'alignement, mais à sélectionner et réparer. Comme le système génère une nouvelle version de la scène à chaque fois, le cinéaste doit passer au crible de nombreuses options pour trouver celle qui convient. Si un personnage traverse une porte qui disparaît dans l'image suivante, l'artiste doit la réparer. Le pouvoir réside ici dans la capacité de choisir quelle version deviendra l'image finale. Cependant, les chercheurs notent que cette liberté s'accompagne d'un coût caché. L'« espace » dans lequel le cinéaste travaille est défini par les données d'entraînement et les règles du logiciel. Si le logiciel n'a jamais vu un type spécifique de village, il ne peut pas facilement en créer un. Le cinéaste est libre de demander n'importe quoi, mais le système décide de ce qu'il est possible de générer.

Cela mène à une conclusion centrale de l'étude : l'image n'est plus seulement une surface à lire ; elle est la face publique d'une longue chaîne de décisions. Autrefois, un réalisateur décidait de l'aspect d'une scène, et l'équipe la construisait. Désormais, l'apparence d'une scène est déterminée par une combinaison du choix du réalisateur, des capacités du logiciel, de la disponibilité des actifs numériques et des règles de la plateforme. Les chercheurs appellent cela la « spatialité computationnelle ». C'est le champ où l'espace est organisé, modifié et gouverné avant même d'atteindre l'écran. Ce champ est politique car il détermine qui décide de l'apparence d'un monde. Si un cinéaste veut changer une vallée, il peut être limité par ce que la bibliothèque logicielle contient ou par ce que le modèle d'intelligence artificielle a appris.

L'étude souligne également comment ce changement affecte le travail cinématographique. Dans la production virtuelle, les équipes doivent construire de vastes bibliothèques numériques et maintenir des systèmes de suivi complexes avant qu'une seule image ne soit filmée. Dans les flux de travail génératifs, le travail se déplace vers la sélection, la réparation et la gestion des résultats de l'IA. Les chercheurs soulignent que si ces outils facilitent la création d'une image frappante isolée, ils rendent plus difficile le maintien d'un monde cohérent sur un long métrage. Une rue générée peut paraître parfaite pendant deux secondes, mais si la scène doit être filmée sous un angle différent plus tard, le système pourrait créer une rue qui ne correspond pas à la première. Le cinéaste doit alors effectuer un travail supplémentaire pour faire correspondre les deux versions.

Les chercheurs prennent soin de ne pas dire qu'une méthode est meilleure que l'autre. Au contraire, ils montrent qu'il s'agit de deux façons distinctes de faire tenir ensemble un monde à l'écran. L'une utilise une carte stable pour assurer la cohérence, tandis que l'autre utilise des modèles pour créer l'apparence d'un monde. Les deux méthodes déplacent le pouvoir de la création de l'image finale vers les systèmes qui construisent l'espace. Cela signifie que la liberté de changer une image instantanément s'accompagne souvent d'une dépendance accrue envers les entreprises qui possèdent les logiciels, les modèles et les données. Un réalisateur peut avoir le pouvoir de changer un ciel en quelques secondes, mais il ne peut pas changer le moteur qui rend ce ciel possible.

L'étude conclut en suggérant que nous devons prêter attention aux règles invisibles qui régissent ces espaces numériques. Tout comme un décor physique a des limites basées sur sa construction, un espace numérique a des limites basées sur son code et ses données. Ces limites ne sont pas toujours évidentes. Elles peuvent apparaître sous la forme d'un bug où un bâtiment change de forme, ou sous la forme d'un biais subtil où certains types de paysages sont plus faciles à créer que d'autres. En comprenant la « spatialité computationnelle », nous pouvons voir que l'écran n'est pas seulement une fenêtre sur une histoire, mais une fenêtre sur un système de contrôle. Le monde que nous voyons à l'écran est le résultat d'une négociation entre la créativité humaine et les structures rigides du logiciel qui la rend possible. Les chercheurs soutiennent que pour véritablement comprendre le cinéma moderne, nous devons regarder au-delà de l'image et demander qui a construit l'espace, comment il est maintenu ensemble, et qui décide de ce qui survit.