PersonaShot: Benchmarking Person-Centric Narrative Continuity in Multi-Shot Video Generation

움직이는 영상으로 이야기를 전달하는 기술은 오랫동안 화면과 관객 사이의 단순하고도 보이지 않는 계약에 의존해 왔습니다. 만약 한 장면에서 캐릭터가 컵을 집어 들었다면, 카메라가 다음 각도로 전환되었을 때도 그 컵은 여전히 그들의 손에 있어야 한다는 규칙입니다. 만약 클로즈업에서 인물이 화가 나 있다면, 화면이 넓어질 때 그 분노가 멍한 표정으로 사라져서는 안 됩니다. 수십 년 동안 영화 제작자들은 이러한 연속성을 유지하기 위해 엄격한 규칙을 사용해 왔으며, 이를 통해 물리적 세계와 캐릭터의 감정적 여정이 실제처럼 느껴지고 끊김 없이 이어지도록 했습니다. 오늘날, 새로운 세대의 인공지능은 스스로 대본을 쓰고 프레임을 그려내며 무에서 유를 창조하는 영상을 만드는 법을 배우고 있습니다. 하지만 이 기계들이 놀라운 단일 순간들을 만들어내는 능력이 커짐에 따라, 한 가지 결정적인 질문이 해결되지 않은 채 남아 있습니다. 과연 카메라가 전환될 때 이들은 이야기를 일관되게 유지할 수 있을까요?

연구진은 이 질문에 답하기 위해 단순한 시각적 아름다움을 확인하는 수준을 넘어, 전체 서사의 일관성을 측정하는 특화된 테스트 환경을 구축했습니다. 그들은 이 새로운 벤치마크를 '페르소나샷(PersonaShot)'이라 부릅니다. 이는 AI가 단순히 하나의 고립된 클립이 아니라 연결된 장면의 시퀀스를 생성하는 과정인 멀티샷 비디오 생성을 평가하기 위해 설계되었습니다. 연구진은 현재의 AI 모델들이 시각적으로는 완벽해 보이는 개별 샷을 만들어낼 수는 있지만, 그 샷들을 하나로 묶어주는 논리적이고 감정적인 실타래를 유지하는 데는 자주 실패한다는 것을 발견했습니다. 캐릭터가 방을 가로질러 순간 이동하거나, 물체가 원인 없이 상태가 변하거나, 서사적 이유 없이 갑작스러운 감정 변화가 일어날 수 있습니다. 이러한 오류들은 관객의 몰입을 깨뜨려, 잠재적인 이야기를 단절된 이미지의 나열로 전락시킵니다.

이것이 왜 중요한지를 이해하려면, 먼저 예쁜 그림을 만드는 것과 일관된 이야기를 들려주는 것의 차이를 이해해야 합니다. 전통적인 영화 제작에서 감독은 만약 캐릭터가 한 샷에서 왼쪽을 보고 있다면, 반대 샷(reverse shot)에서는 오른쪽을 보고 있어야 한다는 '180도 법칙'을 준수하여 관객이 공간 속에서 방향을 잃지 않도록 합니다. 마찬가지로, 캐릭터의 감정적 궤적은 자연스럽게 진화해야 합니다. 이야기가 이유를 제공하지 않는 한, 사람은 울다가 즉시 웃는 식으로 변할 수 없습니다. 기존의 AI 비디오 생성 테스트는 주로 단일 프레임이 선명한지 또는 짧은 클립이 부드럽게 움직이는지에 초점을 맞추어 왔습니다. 하지만 영상이 한 각도에서 다른 각도로 전환될 때 캐릭터의 위치, 접촉한 물체의 상태, 혹은 감정적 여정이 그대로 유지되는지는 거의 확인하지 않았습니다. PersonaShot의 연구진은 이러한 연결 고리를 확인하지 않는다면, AI가 진정으로 스토리텔링을 할 수 있는지 알 수 없다고 주장합니다.

연구팀은 엄격한 테스트를 수행하기 위해 약 1,000개의 멀티샷 세그먼트로 구성된 데이터셋을 구축했습니다. 그들은 단순히 AI에게 무작위 영상을 생성하라고 요청한 것이 아니라, 특정 유형의 연속성을 요구하는 사례들을 선별했습니다. 그들은 캐릭터가 물체와 상호작용하는 장면, 두 사람 사이의 대화가 흐르는 장면, 또는 카메라가 새로운 관점을 드러내기 위해 움직이는 장면 등을 살펴보았습니다. 테스트의 공정성과 정확성을 보장하기 위해, 연구진은 얼굴이 명확하게 보이고, 동일한 캐릭터가 여러 샷에 등장하며, 물체 간의 공간적 관계가 분명한 데이터를 필터링했습니다. 이러한 세심한 큐레이션을 통해 슬픈 남성과 소통하려는 여성의 모습부터 요리하고 음식을 차리는 일련의 과정에 이르기까지, 다양한 서사적 테마를 아우르는 약 5,000개의 주석이 달린 샷 라이브러리가 만들어졌습니다.

테스트 데이터가 준비되자, 연구진은 AI의 성능을 평가하는 새로운 방법을 개발했습니다. 단일한 범용 AI에 의존하는 대신, 그들은 전문적인 평가단(specialized evaluators)을 구성했습니다. 이것은 마치 한 명은 물리학 전문가, 다른 한 명은 연기와 감정 전문가, 그리고 세 번째는 영화 편집 전문가인 전문가 팀을 두는 것과 같습니다. 첫 번째 전문가는 인과적 물리 연속성을 확인하며 다음과 같은 질문을 던집니다. "여자가 첫 번째 샷에서 테이블에 놓았던 냄비가 두 번째 샷에서도 그 자리에 있는가?", "방에 대한 캐릭터의 크기 비율이 일정하게 유지되는가?" 두 번째 전문가는 정동 역학(affective dynamics), 즉 캐릭터의 감정적 삶에 집중합니다. 이 평가자는 미세한 얼굴 표정의 변화를 살피며, 미소가 부자연스럽게 깜빡이지 않는지, 그리고 캐릭터의 기분이 이야기의 흐름에 맞게 변화하는지를 확인합니다. 세 번째 전문가는 관객의 시선과 이해를 유도하기 위해 영화 제작자들이 사용하는 규칙인 '영화적 문법(cinematic grammar)'을 분석합니다. 여기에는 카메라 컷이 논리적인 패턴을 따르는지, 캐릭터들이 서로 제대로 마주 보고 있는지, 그리고 컷의 리듬이 액션의 속도와 일치하는지 등을 확인하는 작업이 포함됩니다.

이 평가의 결과는 이 영상들이 얼마나 보기 좋은지와 얼마나 일관된 이야기를 들려주는지 사이의 상당한 격차를 드러냈습니다. 연구진은 여러 최첨단 비디오 생성 시스템을 테스트했으며, 가장 시각적으로 인상적인 모델들조차 서사적 연속성의 기초에서 어려움을 겪고 있다는 것을 발견했습니다. 예를 들어, 한 모델은 높은 시각적 충실도(visual fidelity)를 보여주어 이미지가 선명하고 색상이 생생했지만, 컷을 가로질러 캐릭터의 감정 상태를 일관되게 유지하는 데는 실패했습니다. 또 다른 모델은 캐릭터의 정체성은 안정적으로 유지했으나, 공간적 배치 규칙을 자주 어겨서 카메라가 캐릭터를 따라가지 못할 때 캐릭터가 다른 장소로 이동한 것처럼 보이게 만들었습니다. 이 연구는 현재의 AI 시스템이 개별 프레임을 합성하는 데는 뛰어나지만, 여러 샷에 걸쳐 캐릭터의 상태나 물리적 세계에 대한 지속적인 기억을 유지하는 능력은 아직 갖추지 못했음을 보여주었습니다.

아마도 가장 시사적인 발견은, 높은 수준의 프롬프트로부터 이야기를 계획하는 능력이 자동으로 더 나은 연속성으로 이어지지는 않는다는 점이었을 것입니다. 상세한 샷별 계획을 부여받은 일부 시스템은 명시적인 가이드가 샷 간의 일관성을 강화하기 때문에 물리적 세계를 일관되게 유지하는 데 더 나은 성능을 보였습니다. 그러나 이러한 모델들조차 미묘한 감정의 흐름에는 어려움을 겪었는데, 이는 정동 평가(affective evaluation)가 멀티샷 시퀀스 전반에 걸친 불안정한 얼굴 역동성과 약한 감정 궤적을 드러내기 때문입니다. 반대로, 단일하고 포괄적인 스토리 프롬프트를 받은 시스템들은 때때로 더 일관된 감정적 궤적을 만들어내기도 했지만, LTX-2.3과 같은 글로벌 프롬프트 시스템은 감정적 일관성보다는 영화적 문법과 정체성 측면에서만 경쟁력을 유지하는 것으로 나타났습니다. 이는 과제가 단순히 지시를 따르는 것이 아니라, 시간, 인과관계, 그리고 인간의 행동에 대해 추론하는 근본적인 능력에 관한 것임을 시사합니다. 연구진은 모델들이 슬퍼 보이는 사람의 단일 샷은 생성할 수 있지만, 이 슬픔이 다음 샷에서도 지속되거나 진화해야 한다는 점을 이해하지 못해 급격하고 부자연스러운 표정 변화를 일으키는 경우가 많다고 언급했습니다.

새로운 테스트 방법의 신뢰성을 확보하기 위해, 연구진은 자동화된 평가 도구를 인간 전문가의 판단과 비교했습니다. 그들은 10명의 도메인 전문가에게 AI 평가자가 사용한 것과 동일한 기준을 바탕으로 생성된 영상들을 평가하도록 요청했습니다. 결과는 인간 전문가와 특화된 AI 평가자 사이에 강력한 일치도를 보였습니다. 인간이 눈맞춤 규칙이 깨졌거나 물체의 위치 유지가 실패했다고 판단했을 때, AI 평가자 역시 동의했습니다. 이러한 일치는 이 벤치마크가 목표로 하는 바, 즉 인물 중심 서사의 진정한 연속성을 측정하고 있다는 확신을 줍니다. 또한, 이는 특화된 평가자들이 개발자들이 매 테스트마다 인간 비평가 팀을 고용할 필요 없이, 자신들의 모델을 진단하고 개선할 수 있는 신뢰할 수 있는 도구로 기능할 수 있음을 시사합니다.

이 연구는 비디오 생성의 다음 단계가 단순히 이미지를 더 예쁘게 만드는 것이 아니라, 이야기의 논리를 이해하는 시스템을 구축하는 것이라고 결론짓습니다. 현재 세대의 모델들은 각 샷을 고립된 사건으로 취급하며, 그것들을 하나의 서사로 묶어주는 연결 고리를 놓치고 있습니다. 연구진은 미래의 발전이 시간의 흐름에 따라 물리적 상태, 감정적 궤적, 그리고 영화적 구조를 추적할 수 있는 모델에 달려 있다고 제안합니다. 이러한 역량을 테스트할 수 있는 명확하고 측정 가능한 방법을 제공함으로써, PersonaShot은 이 분야의 로드맵을 제시합니다. 이는 대화의 주제를 "AI가 영상을 만들 수 있는가?"에서 "AI가 이야기를 들려줄 수 있는가?"로 옮겨놓습니다. 현재로서의 답변은, 기술이 빠르게 발전하고 있음에도 불구하고, 여러 샷에 걸쳐 일관되고 인간 중심적인 서사를 엮어내는 능력은 여전히 중대한 도전 과제로 남아 있다는 것입니다. 앞으로 나아갈 길은 고립된 아름다운 순간을 생성하는 것에서 벗어나, 캐릭터와 그들의 이야기가 일관성과 깊이를 가지고 진화하는 지속적이고 논리적인 세계를 구축하는 방향으로의 전환을 요구합니다.