Computational spatiality: virtual production, generative media and the politics of screen space

何十年もの間、映画の魔法は単純な区分けに依存してきました。すなわち、カメラが現実の世界を捉え、編集者がそれらの断片を繋ぎ合わせて物語を紡ぐというものです。たとえ映画制作者がモデルや背景画を用いて偽の世界を構築したとしても、最終的な映像こそが唯一重要でした。俳優の背後の空間は、物理的な場所であるか、あるいは平坦な絵であるかのどちらかでした。今日、その区分けは消滅しつつあります。2つの強力なテクノロジーが、スクリーン上の世界の構築方法を根本的に変えようとしていますが、それらは全く異なる方法でそれを行っています。一つのアプローチである「バーチャル・プロダクション」は、デジタル環境を、リアルタイムで歩き回ったり撮影したりできる物理的なセットのように扱います。もう一方の「ジェネレーティブ・メディア（生成メディア）」は、人工知能を用いて、固定された設計図ではなく、パターンと確率に基づいて作られた、本物のように見える画像を作成します。これら二つの手法の違いを理解することは、もはやエンジニアにとっての単なる技術的な詳細ではありません。それは、誰がシーンの見た目を決定するのか、監督が真にどれほどのコントロール権を持つのか、そして私たちがスクリーンで見ているのはどのような種類の現実なのかを変えるものなのです。

研究者のルイ・ガオ、イーウェイ・ジャオ、ウェイセイ・ヤンによる新しい研究は、「計算的空間性（computational spatiality）」と彼らが呼ぶ概念を導入することで、この変化を探求しています。彼らは、あるシーンが現実か偽かと問うのではなく、その空間自体がいかに組織され、制御されているかを問います。研究者たちは、最終的な画像が唯一の目標であったシステムから、私たちは移行していると主張しています。その代わりに、現在私たちは、カメラが回り始めるずっと前から存在する、編集可能な「可能性の生きた場」としての空間を持つシステムへと移行しています。この場は中立ではありません。それはソフトウェアによって、そしてツールを構築する人々によって、そしてコードに組み込まれたルールによって形作られています。この研究は、これらのテクノロジーが映画制作者にシーンを即座に変更するという驚異的な自由を提供する一方で、それらの変更を可能にするプラットフォームやシステムへの新しい種類の依存関係を生み出すことも示唆しています。

これを理解するためには、これら二つのテクノロジーが実際にどのように機能しているかを見る必要があります。なぜなら、それらは正反対の原理に基づいて動作しているからです。映画『ライオン・キング』や『マンダロリアン』などで有名に使用されたバーチャル・プロダクションは、研究者が「持続的幾何学（persistent geometry）」と呼ぶものに依存しています。デジタルな山を想像してみてください。このシステムにおいて、その山は固定された座標と3D形状のセットから構築されています。それはデータベース内の実体のあるオブジェクトとして存在します。カメラが動くと、コンピュータはその新しい角度からの山の見え方を再計算しますが、山自体は変化しません。その形、距離、そして地面との関係性は一定のままです。もし監督が別の側面から山を見たいと頼めば、システムは単に視点を移動させるだけです。世界は安定した地図に基づいて構築されているため、一貫性が保たれます。これにより、俳優やカメラが自由に動き回ることができ、背景は彼らの位置に対して即座かつ正確に反応します。

対照的に、最新のビデオ作成ツールを含むジェネレーティブ・メディアは、固定された地図なしで動作します。あらかじめ構築された山ではなく、システムは数百万枚の他の画像から学んだことに基づいて画像を生成します。ユーザーが街の風景を求めたとき、システムは保存された街の3Dモデルを取り出すのではありません。代わりに、システムは以前に見たパターンに基づいて、街がどのように見えるべきかをフレームごとに推測します。それは説得力のある店構え、濡れた路面、停車中の車を作り出すかもしれません。しかし、固定されたオブジェクトを検索しているのではなく、推測しているため、細部は変化することがあります。次のフレームで車に車輪が増えたり、ドアが別の場所にスライドしたりすることがあるのです。その画像はリアルに見えますが、その背後にある空間は安定していません。それは「確率的な外観（probabilistic appearance）」、つまり、特定の、不変の場所であるからではなく、場所が通常どのように見えるかというルールに従っているために、あたかも場所であるかのように見えている状態なのです。

研究者たちは、この違いが映画製作の性質とセット上の権力構造を変えることを明らかにしました。バーチャル・プロダクションの世界では、課題はデジタル世界を物理的なカメラと完全に一致させることです。もしトラッキング・システムが失敗すれば、背景が俳優と同期せずにずれてしまい、イリュージョンが壊れてしまいます。ここでの作業は、精密さとコーディネーションに関するものです。チームは、照明、カメラの動き、そしてデジタル・アセットのすべてが完璧に一致するようにしなければなりません。シーンを変更する権限は、これらのアセットとそれを実行するエンジンを管理する人々にあります。監督は夕焼けをリクエストできますが、テクニカル・アーティストは、デジタルな太陽が利用可能であり、撮影に遅れずに出力（レンダリング）できることを保証しなければなりません。

ジェネレーティブ・メディアの場合、課題は異なります。作業は、物事を一致させることではなく、選択し、修復することです。システムは毎回シーンの新しいバージョンを生成するため、映画制作者は多くの選択肢の中から、うまくいくものを選び取らなければなりません。もしキャラクターがドアを通った直後のショットでそのドアが消えてしまったら、アーティストはそれを修正しなければなりません。ここでの力は、どのバージョンを最終的な画像にするかを選択する能力にあります。しかし、研究者は、この自由には隠れたコストが伴うと指摘しています。映画制作者が扱っている「空間」は、学習データとソフトウェアのルールによって定義されています。もしソフトウェアがある特定の種類の村を見たことがなければ、それを容易に作ることはできません。映画制作者は何でも求める自由がありますが、システムは、何を生成することが可能かを決定するのです。

これは研究の中心的な発見へとつながります。すなわち、画像はもはや単に読み取られるべき表面ではなく、長い意思決定の連鎖の「公的な顔」であるということです。かつては、監督がシーンの見た目を決定し、クルーがそれを構築していました。現在、シーンの見た目は、監督の選択、ソフトウェアの能力、デジタル・アセットの可用性、そしてプラットフォームのルールという組み合わせによって決定されます。研究者たちはこれを「計算的空間性」と呼んでいます。それは、空間が組織され、変更され、制御される場であり、それがスクリーンに到達する前に存在する場です。この場は政治的です。なぜなら、それが世界の見た目を誰が決めるのかを決定するからです。もし映画制作者が谷を変更したいと思っても、ソフトウェアのライブラリに含まれているものや、人工知能モデルが学習した内容によって制限を受ける可能性があるからです。

また、この研究は、このような変化が映画製作の労働にどのように影響するかについても強調しています。バーチャル・プロダクションでは、チームは最初の一コマが撮影される前に、大規模なデジタル・ライブラリを構築し、複雑なトラッキング・システムを維持しなければなりません。ジェネレーティブなワークフローでは、労働はAIの出力を選択し、修復し、管理することへとシフトします。研究者たちは、これらのツールが単一の印象的な画像を作ることを容易にする一方で、長い映画の中で一貫した世界を維持することを困難にすると指摘しています。生成された通りは2秒間は完璧に見えるかもしれませんが、もし後で異なる角度から撮影する必要がある場合、システムは最初のものと一致しない通りを作成してしまう可能性があります。その場合、映画制作者は、二つのバージョンを適合させるために追加の作業を強いられることになります。

研究者たちは、どちらの方法が優れていると言っているわけではありません。代わりに、これらがスクリーン上の世界を成立させるための、二つの異なる方法であることを示しています。一方は安定した地図を使用して一貫性を確保し、もう一方はパターンを使用して世界の「外観」を作り出します。どちらの方法も、創造の力を最終的なフレームから、その空間を構築するシステムへと移しています。これは、画像を即座に変更できる自由が、しばしば、ソフトウェア、モデル、およびデータを所有する企業へのより強い依存を伴うことを意味します。監督は数秒で空を変更する力を持っているかもしれませんが、その空を可能にしているエンジンを変えることはできないのです。

研究は、デジタル空間を支配する目に見えないルールに注意を払う必要があると結論づけています。物理的なセットがその構造に基づいた限界を持つように、デジタルな空間もそのコードとデータに基づいた限界を持っています。これらの限界は、必ずしも明白ではありません。それらは、建物が形を変えるようなグリッチ（不具合）として現れることもあれば、特定の種類の風景の方が作りやすいといった、微妙なバイアスとして現れることもあります。「計算的空間性」を理解することで、スクリーンは単に物語への窓ではなく、制御システムの窓であることを理解できます。私たちがスクリーンで見ている世界は、人間の創造性と、それを可能にするソフトウェアの厳格な構造との間の交渉の結果なのです。研究者たちは、現代の映画を真に理解するためには、画像を超えて、誰がその空間を構築し、いかにしてそれが維持され、何が生き残るかを誰が決めるのかを見なければならないと主張しています。