💻 computer science

KeyFrame-Compass: Towards Comprehensive Evaluation of Keyframe-Conditioned Video Generation

이 논문은 키프레임 조건부 비디오 생성에 관한 최초의 포괄적인 벤치마크이자 자동 평가 프레임워크인 KeyFrame-Compass를 소개하며, 이는 현재의 모델들이 특히 밀집된 제약 조건이나 스토리보드 그리드 입력 하에서 키프레임의 충실한 실행과 자연스러운 비디오 합성 사이의 균형을 맞추는 데 어려움을 겪고 있음을 밝혀낸다.

원저자: Yuqi Tang, Tengfei Liu, Yizheng Lai, Yuran Wang, Yang Shi, Wanshun Su, Zhuoran Zhang, Qixun Wang, Xiaohan Zhang, Xinlei Yu, Xuehai Bai, Xuanyu Zhu, Bohan Zeng, Bozhou Li, Shujie Li, Yifan Dai, Yujie W

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuqi Tang, Tengfei Liu, Yizheng Lai, Yuran Wang, Yang Shi, Wanshun Su, Zhuoran Zhang, Qixun Wang, Xiaohan Zhang, Xinlei Yu, Xuehai Bai, Xuanyu Zhu, Bohan Zeng, Bozhou Li, Shujie Li, Yifan Dai, Yujie Wei, Shixuan Liu, Haotian Wang, Jialu Chen, Yuanxing Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 영화 감독이라고 상상해 보세요. 하지만 배우를 고용하거나 세트를 짓는 대신, 허공에서 움직이는 영상을 만들어낼 수 있는 마법의 로봇과 대화하고 있습니다. 오랫동안 이 로봇들은 한 장의 사진이나 "달리는 고양이"와 같은 단순한 문장을 바탕으로 짧은 클립을 만드는 데는 뛰어났습니다. 하지만 이제 창작자들은 온전한 이야기를 들려주고 싶어 합니다. 그들은 로봇에게 만화책이나 스토리보드처럼 일련의 구체적인 그림들을 주고 이렇게 말하고 싶어 합니다. "이 그림들을, 이 순서대로, 이 정확한 캐릭터들과 함께 구현해 줘." 이것이 바로 **키프레임 조건부 비디오 생성(keyframe-conditioned video generation)**의 세계입니다. "키프레임"을 이야기의 닻이라고 생각해보세요. 시작하는 포즈, 중간 동작, 그리고 마지막 착지 지점 말입니다. 과제는 로봇이 단순히 그 그림들을 복사하는 것을 넘어, 캐릭터나 타임라인을 망가뜨리지 않으면서 그 사이를 부드럽고 자연스러운 움직임으로 채우도록 만드는 것입니다. 만약 로봇이 실수한다면, 주인공이 갑자기 악당으로 변하거나 장면이 고장 난 DVD처럼 튀는 영상을 얻게 될 수도 있습니다.

여기, 이 비디오 제작 로봇들이 실제로 얼마나 제 역할을 잘 수행하고 있는지 성적을 매기기 위해 설계된 새로운 "성적표", KeyFrame-Compass가 등장했습니다. 연구진이 만든 이것은 단순히 "영상이 예쁜가?"라고 묻는 또 다른 테스트가 아닙니다. 대신, 대본을 한 줄 한 줄 체크하는 엄격한 영화 평론가처럼 행동합니다. 그들은 "공이 쫓아가는 강아지"와 같은 일상적인 순간부터 복잡한 영화 장면과 제품 광고에 이르기까지 386개의 구체적인 테스트 케이스로 구성된 라이브러리를 구축했습니다. 그들은 유명한 상업용 모델과 오픈 소스 프로젝트를 모두 포함한 9가지 비디오 생성 시스템을 테스트하여, 이들이 이미지 시퀀스를 올바른 순서와 올바른 시간에 충실하게 재현할 수 있는지 확인했습니다.

결과는 어땠을까요? 이는 까다로운 균형 잡기가 필요한, 다소 엇갈린 결과를 보여주었습니다. 연구진은 대부분의 모델이 "충직한 복사꾼"인 동시에 "창의적인 스토리텔러"가 되는 데 어려움을 겪는다는 사실을 발견했습니다. LTX-2.3과 같은 일부 모델은 당신이 제공한 사진들을 매우 잘 따릅니다. 즉, 높은 정확도로 프레임을 맞춥니다. 하지만 이 프레임들 사이를 연결하려고 할 때, 움직임이 마치 사진들이 부드럽게 흐르는 대신 그냥 툭툭 끊겨 나타나는 슬라이드 쇼처럼 뚝딱거리는 느낌을 줍니다. 반면에 Gemini-Omni-Flash와 같은 모델은 자연스럽고 고품질의 부드러운 영화를 만드는 데 탁능하지만, 당신이 준 특정 사진들을 무시하고 원래의 캐릭터나 장면 대신 새로운 캐릭터나 장면을 만들어내기도 합니다.

이 연구는 로봇에게 따라야 할 사진을 더 많이 줄수록(제약의 "밀도"가 높아질수록), 지시를 따르는 능력이 떨어진다는 점을 시사합니다. 이는 레시피의 단계가 많아질수록 더 어려워지는 것과 같습니다. 단계가 구체적일수록 요리사가 숟가락을 떨어뜨리거나 재료를 잊어버릴 가능성이 높아지는 것과 마찬가지입니다. 나아가, 이 논문은 "폐쇄형(독점)" 모델과 "개방형(공개)" 모델 사이의 큰 격차를 강조합니다. 상위 상업용 모델들은 스토리보드 이미지 그리드를 이해하고 이를 영화로 바꿀 수 있는 반면, 많은 오픈 소스 모델들은 완전히 실패합니다. 그리드 형태의 사진을 보여주면, 이들은 각 칸이 서로 다른 시간의 순간임을 이해하는 대신, 그저 그리드 자체를 정지된 이미지로 복사해 버리곤 합니다.

궁극적으로, KeyFrame-Compass는 비디오를 만드는 로봇이 영화 연출에 가까워지고는 있지만, 아직 갈 길이 멀다는 것을 보여줍니다. 그들은 특정한 시각적 닻과 물리 법칙을 거스르는 자연스러운 움직임을 연결하는 기술을 아직 완전히 터득하지 못했으며, 작업이 너무 복잡해지면 복잡한 지시를 이해하는 데 어려움을 겪습니다. 이 논문은 문제를 해결했다고 주장하는 것이 아니라, 로봇이 어디에서 비틀거리는지를 보여주는 첫 번째 명확한 지도를 제공함으로써, 미래의 개발자들이 로봇이 대본을 엄격히 따르게 만드는 데 집중해야 할지 아니면 영화를 더 부드럽게 만드는 데 집중해야 할지를 알 수 있게 도와줍니다.

기술 요약: KeyFrame-Compass

문제 정의

비디오 생성 기술은 창작자가 일관된 비디오를 생성하도록 유도하기 위해 일련의 참조 이미지를 제공하는 키프레임 조건부 워크플로(keyframe-conditioned workflows)로 점차 이동하고 있습니다. 최근 모델들이 다중 키프레임 조건부 기능을 지원하고 있으나, 이들이 제시된 키프레임 시퀀스를 충실히 재현할 수 있는지(정확한 외형, 시간적 순서, 타이밍 유지)와 동시에 고품질의 자연스러운 움직임을 생성할 수 있는지는 여전히 불분명합니다.

기존의 벤치마크들은 이러한 특정 과제를 해결하지 못하고 있습니다. 일반적인 비디오 생성 벤치마크(예: VBench, EvalCrafter)는 지각적 품질과 프롬프트 준수에 집중하며, 이미지 조건부 벤치마크(예: AIGCBench, ViStoryBench)는 일반적으로 단일 이미지 보존이나 스토리 시각화에 초점을 맞출 뿐, 여러 키프레임의 엄격한 시간적 순서를 강제하지 않습니다. 결과적으로, 키프레임 누락, 잘못된 시간적 순서 배치, 부적절한 시퀀싱, 또는 비현실적인 전환과 같은 다중 키프레임 생성에서의 구체적인 실패 모드를 식별할 수 있는 진단 도구가 부족한 실정입니다.

방법론

벤치마크 설계: KeyFrame-Compass

저자들은 다중 키프레임 조건부 비디오 생성을 평가하기 위해 전용으로 설계된 최초의 포괄적 벤치마크인 KeyFrame-Compass를 소개합니다. 이 벤치마크는 다양한 설정에서 통제된 분석을 가능하게 하도록 설계된 386개의 정교하게 큐레이션된 샘플로 구성됩니다.

데이터 구축: 샘플은 서사적 소스(ViStoryBench, VIST, ROCStories) 및 실제 비디오에서 추출되었습니다. 이들은 서사적 시놉시스, 샷 정의, 시간적 레이아웃을 포함하는 구조화된 장면 명세로 변환되었습니다.
키프레임 생성: 후보 키프레임은 이미지 모델(GPT-Image-2, Nano Banana Pro)을 사용하여 생성되었으며, 시각적 품질과 서사적 관련성을 보장하기 위해 멀티모달 일관성 검사와 인간 검토를 거쳐 필터링되었습니다.
통제 변수: 벤치마크는 다음 다섯 가지 요소를 체계적으로 변화시킵니다:
1. 응용 도메인: 일상 촬영, 제품 시각화, 그리고 시네마틱 내러티브.
2. 비디오 구조: 원테이크(연속 샷) 대 멀티 샷.
3. 키프레임 밀도: 3, 6, 9, 또는 12개의 키프레임.
4. 프롬프트 세분도: 최소 프롬프트(스토리 시놉시스만 포함) 대 세그먼트별 프롬프트(상세한 샷 단위 지침).
5. 입력 형식: 다중 이미지 리스트 대 스토리보드 그리드(모든 키프레임을 포함하는 단일 이미지).

평가 프레임워크

평가는 성능을 **키프레임 응답(Keyframe Response)**과 **일반 비디오 품질(General Video Quality)**이라는 두 가지 상호 보완적인 축으로 분해합니다.

1. 키프레임 응답 지표

단계별 매칭 파이프라인은 먼저 MLLM(Gemini 3.1 Pro)을 사용하여 생성된 비디오의 실제 샷 구조를 추론하고 입력 키프레임을 해당 세그먼트에 할당합니다. 예상되는 시간 창 내에서, 후보 프레임들은 의미론적(DINOv3) 및 픽셀 수준(PSNR, SSIM) 유사성을 통해 필터링됩니다. 여섯 가지 지표가 계산됩니다:

존재 및 충실도 (Presence & Fidelity):
- 적중률 (Hit Rate, HR): 유효한 매칭을 가진 키프레임의 비율.
- 키프레임 유사도 (Keyframe Similarity, KFS): 매칭된 프레임에 대한 픽셀 및 의미론적 유사도의 가중 결합.
시간적 조직화 (Temporal Organization):
- 키프레임 위치 정확도 (Keyframe Position Accuracy, KPA): 목표 타임스탬프 또는 샷 경계로부터의 편차를 측정.
- 키프레임 순서 일관성 (Keyframe Order Consistency, KOC): 입력 순서와 매칭된 타임스탬프 사이의 Kendall's $\tau$ .
- 키프레임 주변 지속성 (Persistence Around Keyframe, PAK): "플래시"(너무 짧음) 또는 "프리즈"(너무 정적임) 지속 시간을 페널티로 부여.
- 응답 유일성 (Response Uniqueness, RU): 키프레임이 흩어진 위치가 아닌 하나의 일관된 시간 영역에 나타나는지 확인.

2. 일반 품질 지표

이 지표들은 MLLM 판단(Gemini 3.1 Pro)과 전문화된 인지 모델을 결да한 증거 기반 프레임워크를 사용하여 전반적인 비디오 품질을 평가합니다:

비디오 품질: 정적 선명도 및 동적 움직임 품질(깜빡임, 끊김).
시공간적 일관성: 속성 일관성(SAM 3.1 및 특화된 임베딩 사용), 공간적 방향성, 물리적 합리성.
지시 이행: 카메라 언어, 샷 구조, 서사적 페이싱 및 오디오 요구 사항 준수.
시청각 협응: 의미론적 일관성 및 동기화(ImageBind 및 JavisScore 사용).

주요 결과

저자들은 9개의 대표적인 비디오 생성 시스템(프라이머리 모델 4개, 오픈 소스 모델 5개)을 대상으로 벤치마크를 평가했습니다.

충실도와 합성 간의 트레이드오프: 키프레임 실행의 충실도와 자연스러운 비디오 합성 사이에는 명확한 트레이드오프가 존재합니다. 키프레임에 엄격하게 부합하는 모델(예: LTX-2.3)은 종종 급격하거나 비현실적인 전환을 생성하는 반면, 일반적인 비디오 품질이 높은 모델(예: Gemini-Omni-Flash)은 입력 키프레임을 엄격한 앵커가 아닌 의미론적 참조로 취급하여 입력의 시각적 내용에서 벗어나는 경향이 있습니다.
제약 밀도: 키프레임 제약이 밀집될수록 성능이 저하됩니다. 키프레임 수가 3개에서 12개로 증가함에 따라 지시 이행, 특히 비디오 모달리티(VMA)에서의 성능이 크게 감소합니다.
오픈 소스의 한계: 대부분의 오픈 소스 모델은 스토리보드-그리드 입력을 시간적으로 순서화된 시퀀스로 해석하는 데 실패합니다. 그리드를 분해하는 대신, 이들은 종-종 그리드를 정적인 이미지로 재생하거나 거의 정적인 비디오를 생성하여 매우 낮은 적중률(<0.28)을 보입니다. 이는 모델의 능력 문제라기보다 그리드 이해에 관한 학습 데이터의 공백을 시사합니다.
프라이머리 모델 vs 오픈 소스: 가장 강력한 오픈 소스 모델(LTX-2.3)은 선두적인 프라이머리 시스템(Seedance 2.0)에 비해 전체 점수에서 0.153 뒤처집니다. Seedance 2.0은 키프레임 충실도와 시공간적 일관성의 균형을 맞춤으로써 가장 높은 전체 점수를 달랐습니다.

의의 및 주장

본 논문은 KeyFrame-Compass가 키프레임 실행 능력과 일반 비디오 합성 품질을 분리하여 평가할 수 있는 최초의 진단적 벤치마크를 제공한다고 주장합니다. 평가를 6개의 특정 키프레임 지표와 4개의 일반 품질 차원으로 분해함으로써, 이 프레임워크는 합산 점수가 가릴 수 있는 체계적인 실패 모드를 드러냅니다.

저자들은 현재 모델들이 다음과 같은 근본적인 한계를 보인다고 단언합니다:

밀집된 키프레임 제약 사이에서 일관된 전환 생성.
스토리보드-그리드 입력을 순서화된 시간적 시퀀스로 해석하는 능력 (오픈 소스 모델의 특정 공백).
명시적인 카메라 움직임 묘사가 포함된 원테이크 연속성 유지.

이 벤치마크는 이러한 한계를 진단하고, 엄격한 시각적 제약을 충족하면서 동시에 물리적으로 타당하고 시간적으로 일관된 움직임을 생성할 수 있는 모델을 향한 미래 연구를 안내하는 표준화된 도구로 활용되기를 목적으로 합니다.