Computational spatiality: virtual production, generative media and the politics of screen space

수십 년 동안 영화의 마법은 단순한 분할에 의존해 왔다. 카메라는 실제 세계를 포착하고, 편집자들은 그 조각들을 엮어 이야기를 만들어냈다. 영화 제작자들이 모델이나 배경 그림을 통해 가짜 세계를 구축했을 때조차, 최종 이미지가 유일하게 중요한 것이었다. 배우 뒤의 공간은 물리적인 장소이거나 평면적인 그림이었다. 오늘히, 이 구분은 해체되고 있다. 두 가지 강력한 기술이 스크린 속 세계가 구축되는 방식을 재편하고 있지만, 이들은 근본적으로 다른 방식으로 작동한다. '버추얼 프로덕션(virtual production)'이라 알려진 한 방식은 디지털 환경을 실시간으로 걸어 다니며 촬영할 수 있는 물리적 세트처럼 취급한다. 다른 방식인 '생성형 미디어(generative media)'는 인공지능을 사용하여 실제처럼 보이지만 고정된 설계도가 아닌 패턴과 확률을 바탕으로 이미지를 생성한다. 이 두 방법 사이의 차이를 이해하는 것은 더 이상 엔지니어들을 위한 기술적 세부 사항이 아니다. 그것은 누가 장면의 모습을 결정하는지, 감독이 진정으로 얼마나 많은 통제권을 갖는지, 그리고 우리가 화면에서 보고 있는 것이 어떤 종류의 현실인지를 변화시킨다.

루이 가오(Rui Gao), 이웨이 자오(Yiwei Zhao), 웨이세 양(Weice Yang) 연구원들의 새로운 연구는 그들이 '컴퓨테이셔널 스페셜리티(computational spatiality, 계산적 공간성)'라고 부르는 개념을 도입하며 이러한 변화를 탐구한다. 그들은 장면이 진짜인지 가짜인지를 묻는 대신, 공간 자체가 어떻게 조직되고 통제되는지를 묻는다. 연구진은 우리가 최종 이미지만을 목표로 하는 시스템에서 벗어나고 있다고 주장한다. 그 대신, 우리는 이제 공간이 카메라가 돌아가기 훨씬 전부터 존재하는, 편집 가능한 살아있는 가능성의 장(field)이 되는 시스템을 마주하고 있다. 이 장은 중립적이지 않다. 그것은 소프트웨어에 의해, 도구를 만드는 사람들에 의해, 그리고 코드에 내장된 규칙들에 의해 형성된다. 이 연구는 이러한 기술들이 영화 제작자들에게 장면을 즉각적으로 바꿀 수 있는 놀라운 자유를 제공하지만, 동시에 그러한 변화를 가능하게 하는 플랫폼과 시스템에 대한 새로운 종류의 의존성을 창출한다고 시사한다.

이를 이해하기 위해서는 이 두 기술이 실제로 어떻게 작동하는지를 살펴보아야 한다. 왜냐하면 이들은 정반대의 원리로 작동하기 때문이다. <라이온 킹>과 <만달로리안> 같은 영화에서 유명하게 사용된 버추얼 프로덕션은 연구진이 '지속적 기하학(persistent geometry)'이라고 부르는 것에 의존한다. 디지털 산을 상상해 보라. 이 시스템에서 그 산은 고정된 좌표와 3D 형상들로 구축된다. 그것은 데이터베이스 안에 존재하는 견고한 객체이다. 카메라가 움직이면 컴퓨터는 새로운 각도에서 그 산을 보는 뷰를 다시 계산하지만, 산 자체는 변하지 않는다. 산의 모양, 거리, 그리고 지면과의 관계는 일정하게 유지된다. 만약 감독이 산의 다른 쪽 면을 보여달라고 요청하면, 시스템은 단순히 관점을 이동시ک한다. 세계가 일관적인 이유는 그것이 안정적인 지도 위에 구축되었기 때문이다. 이를 통해 배우와 카메라는 자유롭게 움직일 수 있으며, 배경은 그들의 위치에 즉각적이고 정확하게 반응한다.

대조적으로, 최신 비디오 생성 도구들을 포함하는 생성형 미디어는 고정된 지도 없이 작동한다. 미리 구축된 산 대신, 시스템은 수백만 개의 다른 사진으로부터 학습한 내용을 바탕으로 이미지를 만든다. 사용자가 거리 장면을 요청할 때, 시스템은 저장된 3D 모델의 거리를 불러오는 것이 아니다. 대신, 시스템은 이전에 보았던 패턴을 바탕으로 거리가 어떻게 보여야 하는지를 프레임 단위로 추측한다. 시스템은 설득력 있는 상점, 젖은 노면, 주차된 자동차를 만들어낼 수 있다. 그러나 그것은 고정된 객체를 검색하는 것이 아니라 추측하는 것이기 때문에, 세부 사항이 변할 수 있다. 다음 프레임에서 자동차가 바퀴 하나를 더 얻거나, 문이 다른 곳으로 미끄러질 수도 있다. 이미지는 실제처럼 보이지만, 그 뒤의 공간은 안정적이지 않다. 그것은 '확률적 외양(probabilistic appearance)'이다. 즉, 그것이 특정한, 변하지 않는 장소이기 때문이 아니라, 장소가 보통 어떻게 보이는지에 대한 규칙을 따르고 있기 때문에 장소처럼 보이는 것이다.

연구진은 이러한 차이가 영화 제작의 본질과 세트 위의 권력 역학을 변화시킨다는 것을 발견했다. 버추얼 프로덕션의 세계에서 과제는 디지털 세계를 물리적 카메라와 완벽하게 정렬하는 것이다. 만약 트래킹 시스템이 실패하면, 배경이 배우와 동기화되지 않고 밀려나면서 환상을 깨뜨릴 수 있다. 여기서 요구되는 작업은 정밀함과 조정에 관한 것이다. 팀은 조명, 카메라 움직임, 그리고 디지털 자산이 모두 완벽하게 일치하도록 보장해야 한다. 장면을 변경할 권한은 이러한 자산과 그것을 실행하는 엔진을 관리하는 사람들에게 있다. 감독은 일몰을 요청할 수 있지만, 기술 아티스트는 디지털 태양이 준비되어 있는지, 그리고 촬영 속도를 따라잡을 만큼 빠르게 렌더링될 수 있는지를 확인해야 한다.

생성형 미디어의 경우, 과제는 다르다. 작업은 무언가를 정렬하는 것이 아니라, 선택하고 수리하는 것이다. 시스템이 장면의 새로운 버전을 매번 생성하기 때문에, 영화 제작자는 작동하는 것을 찾기 위해 많은 옵션을 걸러내야 한다. 만약 캐릭터가 문을 통과했는데 다음 샷에서 그 문이 사라진다면, 아티스트는 그것을 고쳐야 한다. 여기서 권력은 어떤 버전이 최종 이미지가 될지를 선택하는 능력에 있다. 그러나 연구진은 이러한 자유에는 숨겨진 비용이 따른다고 지적한다. 영화 제작자가 작업하는 '공간'은 훈련 데이터와 소프트웨어의 규칙에 의해 정의된다. 만약 소프트웨어가 특정 유형의 마을을 본 적이 없다면, 그것을 쉽게 만들어낼 수 없다. 영화 제작자는 무엇이든 요청할 수 있는 자유가 있지만, 시스템은 무엇을 생성할 수 있는지를 결정한다.

이는 연구의 핵심적인 발견으로 이어진다: 이미지는 더 이상 읽히기 위한 표면이 아니라, 긴 결정의 사슬이 드러나는 공적인 얼굴이다. 과거에는 감독이 장면의 모습을 결정하면 크루들이 그것을 구축했다. 이제 장면의 모습은 감독의 선택, 소프트웨어의 능력, 디지털 자산의 가용성, 그리고 플랫폼의 규칙의 조합에 의해 결정된다. 연구진은 이를 '컴퓨테이셔널 스페셜리티(computational spatiality)'라고 부른다. 이것은 공간이 화면에 도달하기 전, 어떻게 조직되고 변화하며 통제되는지를 결정하는 장(field)이다. 이 장은 정치적이다. 왜냐하면 그것이 무엇이 세계의 모습을 결정할지를 정하기 때문이다. 만약 영화 제작자가 계곡을 바꾸고 싶다면, 그들은 소프트웨어 라이브러리에 무엇이 들어있는지, 혹은 인공지능 모델이 무엇을 학습했는지에 의해 제한될 수 있다.

연구는 또한 이러한 변화가 영화 제작의 노동에 어떤 영향을 미치는지 강조한다. 버추얼 프로덕션에서는 단 한 프레임이 촬영되기 전에 거대한 디지털 라이브러리를 구축하고 복잡한 트래킹 시스템을 유지해야 한다. 생성형 워크플로우에서 노동은 AI의 결과물을 선택하고, 수리하고, 관리하는 방향으로 이동한다. 연구진은 이러한 도구들이 단일한 인상적인 이미지를 만드는 것은 더 쉽게 만들지만, 긴 영화 전체에 걸쳐 일관된 세계를 유지하는 것은 더 어렵게 만든다고 지적한다. 생성된 거리는 2초 동안은 완벽해 보일 수 있지만, 만약 나중에 다른 각도에서 장면을 촬영해야 한다면, 시스템은 첫 번째 장면과 일치하지 않는 거리를 만들어낼 수 있다. 그러면 영화 제작자는 두 버전을 맞추기 위해 추가적인 작업을 해야 한다.

연구진은 한 가지 방법이 다른 방법보다 더 낫다고 말하려는 것이 아니다. 대신, 그들은 이들이 스크린 속 세계를 유지하는 두 가지 구별되는 방식임을 보여준다. 하나는 일관성을 보장하기 위해 안정적인 지도를 사용하고, 다른 하나는 패턴을 사용하여 세계의 외양을 만들어낸다. 두 방법 모두 창조의 권력을 최종 프레임에서 공간을 구축하는 시스템으로 이동시킨다. 이는 이미지를 즉각적으로 바꿀 수 있는 자유가 종종 그 변화를 가능하게 하는 소프트웨어, 모델, 그리고 데이터를 소유한 기업들에 대한 더 강한 의존성을 동반한다는 것을 의미한다. 감독은 몇 초 만에 하늘을 바꿀 수 있는 힘을 가질 수 있지만, 그 하늘을 가능하게 하는 엔진을 바꿀 수는 없다.

연구는 결론적으로 우리가 이러한 디지털 공간을 지배하는 보이지 않는 규칙들에 주목해야 한다고 제안한다. 물리적 세트가 그 구조에 기반한 한계를 갖는 것처럼, 디지털 공간도 그 코드와 데이터에 기반한 한계를 갖는다. 이러한 한계는 항상 명확하게 드러나지는 않는다. 그것은 건물의 모양이 변하는 글리치(glitch)로 나타날 수도 있고, 특정 유형의 풍경이 다른 것보다 만들기 더 쉬운 미묘한 편향으로 나타날 수도 있다. '컴퓨테이셔널 스페셜리티'를 이해함으로써, 우리는 스크린이 단지 이야기로 향하는 창문이 아니라, 통제의 시스템으로 향하는 창문임을 알 수 있다. 우리가 화면에서 보는 세계는 인간의 창의성과 그것을 가능하게 하는 소프트웨어의 경직된 구조 사이의 협상의 결과물이다. 연구진은 현대 영화를 진정으로 이해하려면 이미지 너머를 바라보고, 누가 그 공간을 구축했는지, 어떻게 그것이 유지되는지, 그리고 누가 살아남을지를 결정하는지를 물어야 한다고 주장한다.