Computational spatiality: virtual production, generative media and the politics of screen space

Über Jahrzehnte hinweg beruhte der Zauber des Kinos auf einer einfachen Teilung: Die Kamera hielt eine reale Welt fest, und die Editoren fügten diese Teile zusammen, um eine Geschichte zu erzählen. Selbst wenn Filmemacher mit Modellen oder gemalten Hintergründen künstliche Welten erschufen, war das fertige Bild das Einzige, was zählte. Der Raum hinter den Schauspielern war entweder ein physischer Ort oder ein flaches Bild. Heute löst sich diese Teilung auf. Zwei mächtige Technologien gestalten die Art und Weise, wie filmische Welten aufgebaut werden, grundlegend neu, tun dies jedoch auf völlig unterschiedliche Weise. Ein Ansatz, bekannt als Virtual Production, behandelt eine digitale Umgebung wie ein physisches Set, durch das man in Echtzeit gehen und filmen kann. Der andere Ansatz, Generative Media, nutzt Künstliche Intelligenz, um Bilder zu erschaffen, die real aussehen, aber auf Mustern und Wahrscheinlichkeiten basieren statt auf festen Blaupausen. Das Verständnis des Unterschieds zwischen diesen beiden Methoden ist nicht länger nur ein technisches Detail für Ingenieure; es verändert, wer entscheidet, wie eine Szene aussieht, wie viel Kontrolle ein Regisseur wirklich hat und welche Art von Realität wir auf unseren Bildschirmen sehen.

Eine neue Studie der Forscher Rui Gao, Yiwei Zhao und Weice Yang untersucht diesen Wandel, indem sie ein Konzept einführt, das sie „Computational Spatiality“ (rechnerische Räumlichkeit) nennen. Anstatt zu fragen, ob eine Szene echt oder künstlich ist, fragen sie, wie der Raum selbst organisiert und kontrolliert wird. Die Forscher argumentieren, dass wir uns von einem System weg bewegen, in dem das fertige Bild das einzige Ziel ist. An seine Stelle tritt nun ein System, in dem der Raum ein lebendiges, editierbares Feld von Möglichkeiten ist, das existiert, lange bevor die Kamera rollt. Dieses Feld ist nicht neutral. Es wird durch Software geformt, durch die Menschen, die die Werkzeuge bauen, und durch die Regeln, die im Code eingebettet sind. Die Studie legt nahe, dass diese Technologien Filmemachern zwar eine unglaubliche Freiheit bieten, eine Szene sofort zu ändern, sie aber auch eine neue Art der Abhängigkeit von den Plattformen und Systemen schaffen, die diese Änderungen erst möglich machen.

Um dies zu verstehen, muss man betrachten, wie diese beiden Technologien tatsächlich funktionieren, denn sie operieren nach entgegengesetzten Prinzipien. Virtual Production, die berühmt in Filmen wie The Lion King und The Mandalorian eingesetzt wurde, stützt sich auf das, was die Forscher „persistente Geometrie“ nennen. Stellen Sie sich einen digitalen Berg vor. In diesem System wird dieser Berg aus einem festen Satz von Koordinaten und 3D-Formen gebaut. Er existiert als festes Objekt in einer Datenbank. Wenn sich eine Kamera bewegt, berechnet der Computer die Ansicht dieses Berges aus dem neuen Winkel neu, aber der Berg selbst verändert sich nicht. Seine Form, seine Distanz und seine Beziehung zum Boden bleiben konstant. Wenn ein Regisseur darum bittet, den Berg von einer anderen Seite zu sehen, verschiebt das System einfach den Blickwinkel. Die Welt ist konsistent, weil sie auf einer stabilen Karte aufgebaut ist. Dies ermöglicht es Schauspielern und Kameras, sich frei zu bewegen, wobei der Hintergrund unmittelbar und präzise auf ihre Position reagiert.

Im Gegensatz dazu arbeitet Generative Media, zu der die neuesten Videogenerierungswerkzeuge gehören, ohne eine feste Karte. Anstatt eines vorgefertigten Berges erstellt das System ein Bild basierend auf dem, was es aus Millionen anderer Bilder gelernt hat. Wenn ein Nutzer nach einer Straßenszene fragt, ruft das System kein gespeichertes 3D-Modell einer Straße ab. Stattdessen rät es, wie eine Straße aussehen sollte, Frame für Frame, basierend auf Mustern, die es zuvor gesehen hat. Es könnte einen überzeugenden Laden, einen nassen Bürgersteig und ein geparktes Auto erschaffen. Da es jedoch eher rät als ein festes Objekt abruft, können sich die Details verschieben. Ein Auto könnte im nächsten Frame ein Rad hinzugewinnen, oder eine Tür könnte an eine andere Stelle gleiten. Das Bild sieht real aus, aber der Raum dahinter ist nicht stabil. Es ist eine „probabilistische Erscheinung“, was bedeutet, dass es wie ein Ort aussieht, weil es den Regeln folgt, wie Orte normalerweise aussehen, und nicht, weil es ein spezifischer, unveränderlicher Ort ist.

Die Forscher fanden heraus, dass dieser Unterschied die Natur des Filmemachens und die Machtdynamik am Set verändert. In der Welt der Virtual Production besteht die Herausforderung darin, die digitale Welt perfekt mit der physischen Kamera in Einklang zu bringen. Wenn das Tracking-System versagt, könnte der Hintergrund aus dem Takt mit dem Schauspieler geraten, was die Illusion zerstört. Die Arbeit hierbei dreht sich um Präzision und Koordination. Teams müssen sicherstellen, dass Beleuchtung, Kamerabewegung und die digitalen Assets perfekt aufeinander abgestimmt sind. Die Autorität, die Szene zu ändern, liegt bei den Menschen, die diese Assets und die Engine verwalten, die sie ausführt. Ein Regisseur kann nach einem Sonnenuntergang fragen, aber ein technischer Künstler muss sicherstellen, dass die digitale Sonne verfügbar ist und schnell genug gerendert werden kann, um mit dem Dreh Schritt zu halten.

Bei Generative Media ist die Herausforderung eine andere. Die Arbeit besteht nicht darin, Dinge auszurichten, sondern darin, auszuwählen und zu reparieren. Da das System jedes Mal eine neue Version der Szene generiert, muss der Filmemacher durch viele Optionen gehen, um diejenige zu finden, die funktioniert. Wenn ein Charakter durch eine Tür geht, die im nächsten Shot verschwindet, muss der Künstler es korrigieren. Die Macht liegt hier in der Fähigkeit, zu entscheiden, welche Version das fertige Bild wird. Die Forscher merken jedoch an, dass diese Freiheit mit einem versteckten Preis einhergeht. Der „Raum“, in dem der Filmemacher arbeitet, wird durch die Trainingsdaten und die Regeln der Software definiert. Wenn die Software noch nie ein bestimmtes Dorf gesehen hat, kann sie eines nicht einfach erstellen. Der Film ist frei, nach allem zu fragen, aber das System entscheidet, was generierbar ist.

Dies führt zu einem zentralen Ergebnis der Studie: Das Bild ist nicht mehr nur eine Oberfläche, die gelesen wird; es ist das öffentliche Gesicht einer langen Kette von Entscheidungen. In der Vergangenheit entschied ein Regisseur über das Aussehen einer Szene, und die Crew baute sie auf. Jetzt wird das Aussehen einer Szene durch eine Kombination aus der Wahl des Regisseurs, den Fähigkeiten der Software, der Verfügbarkeit digitaler Assets und den Regeln der Plattform bestimmt. Die Forscher nennen dies „Computational Spatiality“. Es ist das Feld, in dem der Raum organisiert, verändert und regiert wird, noch bevor er den Bildschirm erreicht. Dieses Feld ist politisch, weil es bestimmt, wer entscheidet, wie eine Welt aussieht. Wenn ein Filmemacher ein Tal verändern möchte, könnte er durch das begrenzt sein, was die Softwarebibliothek enthält oder was das Modell der Künstlichen Intelligenz gelernt hat.

Die Studie hebt auch hervor, wie dieser Wandel die Arbeit des Filmemachens beeinflusst. In der Virtual Production müssen Teams massive digitale Bibliotheken aufbauen und komplexe Tracking-Systeme warten, noch bevor ein einziger Frame gedreht wird. In generativen Workflows verschiebt sich die Arbeit hin zum Auswählen, Reparieren und Verwalten der Outputs der KI. Die Forscher weisen darauf hin, dass diese Werkzeuge es zwar einfacher machen, ein einzelnes beeindruckendes Bild zu erschaffen, es aber schwieriger machen, eine konsistente Welt über einen langen Film hinweg aufrechtzuerhalten. Eine generierte Straße mag für zwei Sekunden perfekt aussehen, aber wenn die Szene später aus einem anderen Winkel gefilmt werden muss, erstellt das System vielleicht eine Straße, die nicht zur ersten passt. Der Filmemacher muss dann zusätzliche Arbeit leisten, um die beiden Versionen zusammenzuführen.

Die Forscher sagen vorsichtig, dass eine Methode nicht besser ist als die andere. Stattdessen zeigen sie, dass es zwei unterschiedliche Wege sind, eine filmische Welt zusammenzuhalten. Einer nutzt eine stabile Karte, um Konsistenz zu gewährleisten, während der andere Muster nutzt, um den Anschein einer Welt zu erzeugen. Beide Methoden verlagern die Macht der Schöpfung weg vom fertigen Frame und hin zu den Systemen, die den Raum aufbauen. Das bedeutet, dass die Freiheit, ein Bild sofort zu ändern, oft mit einer stärkeren Abhängigkeit von den Unternehmen einhergeht, die die Software, die Modelle und die Daten besitzen. Ein Regisseur mag die Macht haben, den Himmel in Sekunden zu ändern, aber er kann die Engine nicht ändern, die den Himmel erst möglich macht.

Die Studie schließt mit dem Vorschlag, dass wir auf die unsichtbaren Regeln achten müssen, die diese digitalen Räume regieren. So wie ein physisches Set Grenzen hat, die auf seiner Konstruktion beruhen, hat ein digitaler Raum Grenzen, die auf seinem Code und seinen Daten basieren. Diese Grenzen sind nicht immer offensichtlich. Sie könnten als Glitch erscheinen, bei dem ein Gebäude seine Form verändert, oder als subtile Voreingenommenheit, bei der bestimmte Arten von Landschaften leichter zu erschaffen sind als andere. Indem wir „Computational Spatiality“ verstehen, erkennen wir, dass der Bildschirm nicht nur ein Fenster in eine Geschichte ist, sondern ein Fenster in ein System der Kontrolle. Die Welt, die wir auf dem Bildschirm sehen, ist das Ergebnis einer Verhandlung zwischen menschlicher Kreativität und den starren Strukturen der Software, die sie möglich macht. Die Forscher argumentieren, dass wir, um das moderne Kino wirklich zu verstehen, über das Bild hinausblicken und fragen müssen, wer den Raum gebaut hat, wie er zusammengehalten wird und wer entscheidet, was überlebt.