당신이 아주 특별하고 고집 센 배우와 함께 영화를 찍으려는 감독이라고 상상해 보세요. 이 배우는 '확산 모델(diffusion model)'이라는 컴퓨터 프로그램으로 만들어진 디지털 캐릭터입니다. 이 모델을 아주 뛰어난 실력을 갖췄지만 기억력은 형편없는, 혼돈스러운 예술가라고 생각해보세요. 만약 당신이 "수염 난 남자가 책을 읽고 있는 모습"을 그려달라고 요청하면, 그는 완벽한 남자를 그려낼 것입니다. 하지만 그 똑같은 남자에게 "일어나서 손을 흔들어보라"고 요청하면, 그는 혼란에 빠질 수 있습니다. 수염이 사라지거나, 얼굴 모양이 변하거나, 혹은 남자가 완전히 다른 사람처럼 보일 수도 있습니다. 이것이 바로 '정체성 표류(identity drift)' 문제입니다. AI 비디오 생성의 세계에서, 캐릭터가 움직이고 동작을 바꿀 때도 똑같이 보이도록 유지하는 것은 뜨거운 보도 위를 걸어가면서 눈송이가 녹지 않게 유지하려는 것과 같습니다.

이제 당신은 단순히 한 가지 동작만 원하는 것이 아니라, 그 배우가 전체 대본을 연기하기를 원합니다. 먼저 책을 읽고, 그다음 하늘을 올려다보고, 다시 아래를 내려다보는 식이죠. 이를 단 한 번의 연속적인 흐름으로 생성하는 것은 AI에게 악몽과 같은 일인데, 왜냐하면 비디오가 길어질수록 캐릭터의 얼굴이 변하는 경고가 발생하기 때문입니다. 이 논문은 특정 인물이 일련의 동작을 수행하는 비디오를 생성하면서도, 그 사람이 처음에 시작했던 참조 사진과 똑같이 보이도록 보장해야 하는 특정한 과제를 다룹니다. 중국과학기술대학교(University of Science and Technology of China)의 연구진은 비디오 전체를 한 번에 촬영하려고 노력하는 대신, 대신 비디오를 관리 가능한 장면들로 나누고, 각 장면의 끝에 캐릭터의 얼굴을 고정(anchor)시킨 뒤, 그 조각들을 하나로 엮어 배우가 자신을 잊지 않도록 만드는 영리한 방법을 고안해 냈습니다.

3단계 마법 주문

저자들은 "훈련이 필요 없는(training-free)" 파이프라인을 제안하는데, 이는 AI에게 그림 그리는 법을 새로 가르칠 필요 없이, 더 나은 지시와 더 나은 워크플로우를 제공하기만 하면 된다는 뜻입니다. 그들은 자신들의 방법을 "키프레임 고정 정체성 보존(Keyframe-Anchored Identity Preservation)"이라고 부르는데, 이름은 복잡해 보이지만 사실 매우 논리적입니다. 이것은 강을 가로지르는 다리를 건설하는 것과 같습니다. 도로 전체를 한꺼번에 깔려고 시도하는 대신(그러면 무너질 수 있으므로), 특정 지점에 튼튼하고 견고한 기둥(키프레임)을 세우고 그 사이를 채워 넣는 방식입니다.

1단계: 스크립트 박사 (동작 인식 프롬프트 정교화)
먼저, 연구진은 AI에게 주어지는 지시가 너무 모호하다는 것을 깨달았습니다. 원래의 프롬프트는 마치 감독이 예술가에게 "자, 이제 그는 읽고, 그다음엔 고개를 들어!"라고 외치는 것과 같았는데, 예술가는 각 동작의 결과에 대한 명확한 그림이 필요합니다. AI는 언제 읽기를 멈추고 어떻게 고개를 들어야 할지에 대해 혼란을 겪었습니다.

이를 해결하기 위해 연구진은 스마트한 AI 어시스턴트(대규모 언어 모델)를 사용하여 대본을 다시 작성했습니다. 단순히 "남자가 고개를 돌리고 있다"라고 말하는 대신, "남자는 이제 왼쪽을 보고 있다"라고 말하는 것처럼, 동작의 '종단 상태(terminal state, 최종 포즈)'를 묘사하도록 프롬프트를 재작성했습니다. 동작의 결과물에 집중함으로써, AI는 '키프레임'(고정점)을 생성할 때 그 특정 순간에 캐릭터가 어떤 모습이어야 하는지 정확히 알 수 있게 됩니다. 이는 AI가 키프레임을 생성할 때 목표를 명확히 인지하게 하여 동작의 연속성을 보장합니다.

2단계: 연쇄 반응 (ID 보존 키프레임 생성)
다음은 실제 고정 지점(anchor points)을 그리는 단계입니다. 연구진은 AI에게 비디오 전체를 한 번에 그리라고 요구하지 않았습니다. 대신, 일련의 정지 이미지를 차례대로 그리도록 요청했습니다.

• 첫 번째 이미지를 그릴 때는 AI에게 참조 사진(원래 인물)과 첫 번째로 재작성된 프롬프트를 보여줍니다.
• 두 번째 이미지를 그릴 때는 AI에게 동일한 참조 사진(얼굴을 유지하기 위해) 그리고 방금 만든 첫 번째 이미지(신체 위치를 연속적으로 유지하기 위해)를 함께 보여줍니다.
• 이 과정을 대본의 모든 동작에 대해 반복합니다.

이것이 바로 "연쇄적(chained)"인 부분입니다. 이전 이미지를 다음 단계에 입력함으로써, AI는 원래의 얼굴을 잃지 않으면서 자연스럽게 몸을 움직이는 방법을 알게 됩니다. 이것은 마치 정보를 전달하는 '전화 게임(telephone game)'과 같지만, 메시지가 왜곡되는 대신 물리적인 스케치를 전달하여 다음 예술가가 이전 단계가 어디서 끝났는지 정확히 알 수 있도록 하는 것과 같습니다. 이를 통해 '정체성'(변하지 않는 얼굴)과 '포즈'(변하는 몸)를 분리하여 표류 문제를 해결합니다.

3단계: 안전망 (ID 인식 추론 강화)
마지막으로, AI는 일련의 정지 이미지(키프레임)를 가지고 있지만, 이들 사이의 움직임을 채워 넣어 매끄러운 비디오를 만들어야 합니다. 여기서 마법이 일어납니다. 연구진은 캐릭터가 움직이는 동안 실수하지 않도록 비디오 생성 과정에 두 가지 특별한 기술을 추가했습니다.

1. 다중 참조 가이드 (Multi-Reference Guidance): 누군가 당신의 귀에 텍ếc 설명, 이전 프레임, 그리고 원래 사진이라는 세 가지를 속삭이며 그림을 그리라고 하는 상황을 상상해 보세요. 보통 AI는 텍스트와 이전 프레임에만 집중합니다. 연구진은 AI가 원래 사진에 특별히 더 집중하도록 강제했습니다. 수학적 계산을 조정하여 '정체성' 신호를 증폭시켰고, 이를 통해 AI가 몸을 움직이는 동안 실수로 캐릭터의 얼굴을 바꾸는 것을 훨씬 어렵게 만들었습니다.
2. 노이즈 탐색 (Noise Searching): AI가 비디오를 생성할 때, 정적인 노이즈(TV의 지지직거리는 화면 같은)로 시작하여 이를 서서히 걷어내며 이미지를 드러냅니다. 보통 AI는 무작위적인 노이즈 패치를 선택합니다. 연구진은 까다롭게 굴기로 했습니다. 여러 가지 다른 노이즈 패치를 생성하고, 어떤 것이 가장 보기 좋은 얼굴을 만들어내는지 빠르게 테스트했습니다. 그리고 승자를 선택하여 그것을 시작점으로 사용했습니다. 이는 꽃을 심기 전에 어떤 씨앗이 가장 잘 자랄지 미리 테스트해보는 것과 같습니다.

결과: 효과가 있었는가?

연구팀은 특정 인물이 일련의 동작을 수행하는 비디오를 생성하는 것이 목표인 IPVG26 (Track 2) 대회에서 이 방법을 테스트했습니다. 그들은 단순히 추측한 것이 아니라, 다른 상위 팀들과 비교하여 결과를 측정했습니다.

그들의 방식은 공식 리더보드에서 3위를 차지했습니다. 1위를 차지하지는 못했지만, 특히 중요한 영역인 '얼굴 인식 가능성(정체성 보존)'과 '동작의 적절한 타이밍(시간적 정렬)' 측면에서 결과는 매우 인상적이었습니다.

시스템을 테스트했을 때, 연구진은 "다중 참조 가이드"가 핵심적인 역할을 한다는 것을 발견했습니다. 이 기능을 제거했을 때, 정체성 일관성 점수가 현저히 낮아졌습니다(0.4055에서 0.3520으로). 이는 참조 사진에 집중하도록 AI에게 명시적으로 지시하는 것이 얼굴의 표류를 막는 열쇠라는 것을 입증했습니다. "노이즈 탐색" 또한 도움이 되었지만, 그 기여도는 더 작았습니다.

또한 연구진은 두 가지 서로 다른 '백본(backbone, 기반 엔진)'을 비교했습니다. 그들은 LTX-2.3 모델이 Wan2.1-VACE보다 거의 모든 지표에서 더 우수한 성능을 보인다는 것을 발견했습니다. LTX-2.3 모델은 0.4971의 종합 점수를 기록한 반면, 다른 모델은 0.4818을 기록했습니다.

이것이 의미하는 바

이 논문은 AI 비디오 생성이 영원히 해결될 것이라고 주장하는 것이 아닙니다. 캐릭터가 절대 변하지 않는다거나, 이 방법이 모든 가능한 시나리오에 완벽하게 작동한다고 말하는 것도 아닙니다. 대신, 복잡한 비디오 작업을 더 작은, 고정된 단계들로 나누는 것이 매우 효과적인 방법임을 시사합니다.

비디오를 연속적인 흐름이 아닌 일련의 "종단 상태(terminal states, 각 동작의 끝)" 체인으로 취급함으로써, 연구진은 동작이 복잡하고 순차적일 때도 캐릭터의 정체성을 온전히 유지할 수 있었습니다. 그들은 AI를 처음부터 다시 훈련시킬 필요 없이, 때로는 더 나은 지도와 더 강력한 닻, 그리고 시작점을 선택할 때 약간의 추가적인 도움을 주는 것만으로도 충분하다는 것을 보여주었습니다. 디지털 스토리텔링에서 일관된 캐릭터를 만들고자 하는 모든 이들에게, 이 "키프레임 고정" 방식은 캐릭터가 아무리 많은 장면을 연기하더라도 그 역할에 충실할 수 있게 해주는 신뢰할 수 있는 방법을 제시합니다.