🤖 AI

ViMax: Agentic Video Generation

Max는 협력적인 멀티 에이전트 협업, 계층적 서사 엔진, 그리고 의존성 인식 시각적 일관성 메커니즘을 채택하여, 장편의 서사 구조를 가진 영상을 제작할 때 발생하는 캐릭터 및 환경의 지속적인 일관성 유지에 대한 기존 방식의 한계를 극복하는 에이전트 기반 비디오 생성 프레임워크이다.

원저자: Lingxuan Huang, Sizhe He, Hengji Zhou, Liqiang Nie, Lianghao Xia, Chao Huang

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lingxuan Huang, Sizhe He, Hengji Zhou, Liqiang Nie, Lianghao Xia, Chao Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 비디오를 통해 길고 복잡한 이야기, 예를 들어 단편 영화 같은 것을 만들고 싶다고 상상해 보십시오. 현재 대부분의 AI 비디오 도구들은 재능은 있지만 주의 지속 시간이 짧은 배우와 같습니다. 그들은 사람이 걷는 모습의 아름다운 5초짜리 클립은 만들 수 있지만, 만약 당신이 동일한 인물이 여러 방을 돌아다니고, 친구들과 대화하며, 얼굴이나 옷이 바뀌지 않는 10분짜리 영화를 만들어 달라고 요청한다면 AI는 혼란에 빠집니다. 캐릭터의 눈 색깔이 갈색에서 갑자기 파란색으로 변하거나, 장면 사이에서 주방이 갑자기 숲으로 변해버릴 수도 있습니다.

ViMax는 이를 해결하기 위해 설계된 새로운 시스템입니다. 이것을 단일한 배우가 아니라, 특화된 AI 에이전트들로 구성된 고도로 조직화된 영화 제작사라고 생각하십시오.

ViMax가 작동하는 방식은 다음과 같습니다(쉬운 비유를 사용합니다):

1. "감독실" (계층적 서사 계획)

만약 당신이 단일 AI에게 영화 스크립트 전체를 한 번에 쓰라고 요청한다면, 그 AI는 과부하가 걸려 결말에 도달할 때쯤에는 도입부를 잊어버릴 것입니다.

ViMax의 솔루션: ViMax는 이야기를 **러시아 인형(마트료시카)**처럼 분해합니다.
- 먼저, 큰 "이벤트"(영화의 시작, 중간, 끝과 같은 것)를 개요화합니다.
- 그다음, 이 이벤트들을 "장면(Scene)"으로 나눕니다.
- 마지막으로, 장면들을 개별적인 "샷(Shot, 카메라 각도)"으로 나눕니다.
비법: AI가 작은 세부 사항에 집중하는 동안에도 큰 그림을 잊지 않도록 하기 위해, **디지털 도서관(검색 증강 생성, RAG)**을 사용합니다. AI가 새로운 장면을 계획할 때마다, 원래의 이야기를 도서관에서 "찾아보며" 등장인물이 누구인지, 줄거리가 무엇인지 스스로에게 상기시킵니다. 이는 처음부터 끝까지 이야기가 일관되게 유지되도록 합니다.

2. "연속성 부서" (시각적 일관성)

실제 영화 제작에서, 만약 캐릭터가 장면 1에서 빨간 모자를 쓰고 있다면, 장면 10에서도 반드시 빨간 모자를 써야 합니다. 파란 소파에 앉아 있다면, 소파는 계속 파란색이어야 합니다. 현재의 AI 도구들은 이러한 세부 사항을 자주 잊어버립니다.

ViMax의 솔루션: ViMax는 **의존성 맵(그래프 기반 시각적 의존성)**을 사용합니다.
- 모든 샷을 연결하는 순서도를 상상해 보십시오. 만약 샷 5가 샷 2와 비슷하게 보여야 한다면, 시스템은 둘을 연결합니다.
- 샷 5를 생성할 때, AI는 단순히 추측하는 것이 아니라 샷 2의 실제 이미지를 참조 모델로 사용합니다. 이는 마치 화가가 이전의 스케치를 따라 그려서 캐릭터의 얼굴이 정확히 똑같아 보이도록 만드는 것과 같습니다.
"카메라 이동" 기술: 서로 다른 각도에서 볼 때(예: 캐릭터를 왼쪽에서 본 다음 오른쪽에서 보는 경우) 방이 동일하게 보이도록 하기 위해, ViMax는 먼저 **전환 비디오(transition video)**를 생성합니다. 하나의 부드러운 카메라 이동 영상을 먼저 만든 다음, 그 부드러운 움직임에서 필요한 특정 샷들을 잘라냅니다. 이는 3D 공간(가구, 벽 등)이 일관되게 유지되도록 보장합니다.

3. "품질 관리 팀" (VLM 기반 선택)

때때 lòng데, AI는 괜찮아 보이지만 손가락이 여섯 개인 것과 같은 이상한 오류(glitch)가 있는 비디오를 생성할 수 있습니다.

ViMax의 솔루션: 모든 단일 샷에 대해, ViMax는 단 하나의 비디오만 만드는 것이 아니라 여러 개의 후보군을 만듭니다(마치 같은 포즈로 5장의 사진을 찍는 것과 같습니다).
그런 다음, "판사" 역할을 하는 AI(시각-언어 모델, VLM)가 이 후보들을 살펴보고 스크립트와 가장 잘 맞고 가장 사실적인 최선의 결과물을 선택합니다. 이는 오직 최고 품질의 클립만이 최종 영화에 포함되도록 보장합니다.

무엇을 증명했는가?

연구진은 AI가 많은 수의 샷(최대 13개의 연속 샷)을 생성하면서도 캐릭터와 배경을 일관되게 유지해야 하는 도전 과제를 담은 새로운 벤치마크인 ViMax-Bench를 통해 ViMax를 테스트했습니다.

결과: ViMax는 캐릭터의 외형을 유지하고 이야기가 논리적으로 이어지게 만드는 데 있어 기존 방식(Sora, Veo 등)보다 뛰어난 성능을 보였습니다.
트레이드오프(교환 조건): 이 모든 계획과 점검 과정을 수행하기 때문에 더 많은 컴퓨팅 자원과 시간이 소요되지만, 그 결과 훨씬 더 일관성 있고 긴 비디오를 얻을 수 있습니다.

요약

ViMax는 **즉흥 연기(AI가 그때그때 상황을 만들어가며 진행하다가 종종 줄거리를 잊어버리는 것)**에서 **전문적인 영화 제작팀(감독, 작가, 연속성 관리자가 협력하여 이야기가 논리적으로 흐르고 배우가 매 장면 동일하게 보이도록 보장하는 것)**으로 업그레이드하는 것과 같습니다.

논문에 언급된 한계점:

실제 그림을 그리거나 비디오를 만드는 데 있어 다른 강력한 AI 모델들에 의존합니다.
여전히 매우 붐비는 장면이나 복잡한 상호작용(예: 두 사람이 하이파이브를 하는 장면)을 처리하는 데 어려움을 겪을 수 있습니다.
아직 오디오나 대사 동기화를 처리하지 못합니다.
이처럼 일관된 비디오 생성을 사용하여 가짜 사건을 만들거나 사람을 사칭할 수 있다는 윤리적 우려가 있으므로, 저자들은 안전 점검이 필요하다고 제안합니다.

기술 요약: ViMax - 에이전틱 비디오 생성 (Agentic Video Generation)

문제 정의

현재의 비디오 생성 방식은 근본적으로 단편적인 콘텐츠 생성에 국한되어 있으며, 체계적인 서사 계획과 장기적인 시각적 일관성을 유지하는 능력이 부족하다. 최근의 모델들(예: Sora, Veo 3, HunyuanVideo)은 개별 클립의 충실도는 높게 달성하지만, 긴 시간 지평으로 확장될 때 "치명적인 의미론적 망각(catastrophic semantic forgetting)" 문제를 겪는다. 이는 샷이 진행됨에 따라 캐릭터의 정체성, 세계의 기하학적 구조, 물리 법칙 등이 예측 불가능하게 변질되는 결과를 초래하여 서사의 몰입감을 해친다. 이러한 문제를 완화하려는 기존의 접근 방식들은 상당한 트레이드오프에 직면해 있다. 스트리밍 방식은 재생 시간을 늘릴 수는 있지만 다중 장면 서사를 구현하지 못하며, 일관성 메커니즘(예: StoryDiffusion)은 피사체의 정체성은 보존하지만 서사 계획 능력이 부족하다. 또한, 기존의 멀티 에이전트 프레임워크는 제작 역할을 분해하기는 하지만, 복잡한 서사적, 시각적, 시간적 제약 사항을 동시에 효과적으로 조율하는 데 실패한다.

방법론

ViMax는 개념적 아이디어로부터 완전히 렌더링된 콘텐츠에 이르기까지 장편 비디오 제작을 오케스트레이션하도록 설계된 에이전틱 프레임워크이다. 이 시스템은 시나리오 작성, 샷 계획, 캐릭터 스타일링, 비디오 생성, 그리고 VLM 기반의 품질 제어로 전문화된 역할을 나누어 파이프라인을 분해하는 협업형 멀티 에이전트 워크플로우를 채택한다.

1. 장편 서사 계획 (Long-Form Narrative Planning)

확장된 서사의 기하급수적인 복잡성을 관리하기 위해, ViMax는 계층적 스토리 분해(Hierarchical Story Decomposition) 전략을 활용한다.

재귀적 분해 (Recursive Decomposition): 시스템은 전체 시나리오를 주요 스토리 이벤트로, 다시 구성 요소인 장면(scene)으로, 마지막으로 상세한 샷 명세(shot specification)로 분해한다. 이는 각 단계에서 적절한 범위의 계획 과업을 수행함으로써 언어 모델의 인지적 과부하를 방지한다.
RAG 기반 글로벌 컨텍스트: 분해 과정에서 발생하는 정보 손실에 대응하기 위해, ViMax는 검색 증강 생성(RAG) 시스템을 통합한다. 시스템은 원본 소스 자료(소설 또는 시나리오)를 인덱싱하고, 관련 컨텍스트(캐릭터의 동기, 플롯 연결성 등)를 동적으로 검색하여 로컬 계획 결정을 풍부하게 함으로써 전체 타임라인에 걸친 주제적 일관성을 보장한다.

2. 시각적 일관성 메커니즘 (Visual Consistency Mechanisms)

ViMax는 두 가지 상호 보완적이고 의존성을 인식하는 메커니즘을 통해 시각적 드리프트 문제를 해결한다.

그래프 기반 시각적 의존성 (Graph-Based Visual Dependency): 계획 단계에서 시스템은 샷 전반에 걸쳐 공유되는 시각적 요소(캐릭터, 환경, 사물)를 식별하는 의존성 그래프를 구축한다. 생성 단계에서는 이 그래프의 위상 정렬(topological ordering)을 수행한다. 의존 관계가 있는 샷들은 선행 노드의 시각적 콘텐츠를 포함하는 참조 조건부 생성(reference-conditioned generation)을 통해 생성되며, 독립적인 클러스터들은 효율성을 극대화하기 위해 병렬로 처리된다.
트랜지션 비디오를 통한 공간적 일관성 (Spatial Coherence via Transition Videos): 여러 각도에서 촬영된 장면 내에서 기하학적 일관성을 유지하기 위해, ViMax는 뷰포인트 사이를 부드럽게 이동하는 트랜지션 비디오를 생성한다. 이후 개별 샷들은 이 트랜지션 비디오에서 추출되며, 이를 통해 비디오 모델의 내부 공간 일관성 메커니즘을 활용하여 일관된 3D 기하 구조와 레이아웃을 유지한다.

3. 품질 제어 (Quality Control)

본 프레임워크는 "best-of-k" 선택 전략을 사용하는 VLM 기반 품질 제어 메커니즘을 채택한다. 각 생성 작업에 대해 시스템은 $k$ 개의 후보군을 병렬로 샘플링한다. 시각 언어 모델(VLM) 심사위원이 샷 계획 요구사항(시각적 충실도, 서사 일관성, 명세 준수 여부)에 따라 후보들을 점수화하고, 가장 높은 점수를 받은 후보를 선택하여 진행한다. 이는 단일 샷 생성의 변동성을 완화한다.

주요 기여 (Key Contributions)

에이전틱 장편 비디오 생성 프레임워크: 시나리오 작성, 샷 계획, 캐릭터 스타일링 및 VLM 기반 품질 제어를 조율하여 서사 비디오 콘텐츠 생성을 자동화하는 멀티 에이전트 아키텍처를 제시한다.
글로벌 컨텍스트를 포함한 계층적 서사 계획: 계층적 스토리 분해와 RAG를 결합하여, 언어 모델이 확장된 서사 전반에 걸쳐 장기 의존성과 주제적 일관성을 유지할 수 있게 하는 새로운 접근 방식을 제공한다.
그래프 기반 시각적 일관성: 객체 일관성을 위한 그래프 기반 의존성 추적과 공간적 일관성을 위한 트랜지션 비디오 생성을 활용하는 이중 수준 메커니즘을 통해, 다중 샷 타임라인 전반의 시각적 충실도를 보장한다.
ViMax-Bench: 장편 비디오 생성에서의 제어된 샷 간 일관성 과제를 평가하기 위해 도입된 새로운 벤치마크이다.

결과 (Results)

ViMax는 ViMax-Bench(다중 샷 생성)와 NarrativeQA의 소설-투-비디오(novel-to-video) 적응 과제에서 평가되었다.

시각적 일관성: ViMax-Bench에서 ViMax(Gemini-3-Pro 및 Veo 3.1 사용)는 가장 높은 전역 일관성(Global Consistency, GC) 점수인 0.557을 달성하여, 가장 강력한 베이스라인인 Veo 3.1(0.5005)을 능가했다. 개선 효과는 장면 경계가 증가함에 따라 성능이 크게 저하되는 롱-스토리 그룹에서 가장 두드러졌다.
서사 계획: 소설-투-비디오 과제에서 ViMax는 평균 4.11점을 기록하며 최상위 베이스라인인 Animaker(3.83)를 앞질렀다. 캐릭터 행동 일관성(CBC), 서사 일관성(NC), 서사 충실도(NF)를 포함한 모든 세부 차원에서 우위를 점했다.
인간 평가: 쌍체 비교 선호도 조사에서 ViMax는 Veo 3.1 대비 평균 74.76%, IC-LoRA 대비 **73.33%**의 승률을 기록했으며, 특히 씬 간 일관성(CSC)에서 탁월한 성능을 보였다.
절제 연구 (Ablation Studies): 그래프 기반 시각적 의존성을 제거했을 때 전역 일관성이 8.7% 감소하여 샷 간 참조의 필요성을 입증했다. 마찬가지로 VLM 기반 품질 제어를 제거하면 일관성이 3.8% 감소했다.
효율성: 그래프 기반 스케줄링을 통해 독립적인 샷 클러스터의 병렬 실행이 가능해졌으며, 이를 통해 엄격한 직렬 또는 완전 병렬 생성 방식보다 우수한 품질-효율성 트레이드오프를 달ر성했다.

의의 및 한계 (Significance and Limitations)

본 논문은 ViMax를 **완전한 에이전틱 영화 제작(fully agentic filmmaking)**을 향한 단계로 규정하며, 조율된 멀티 에이전트 워크플로우가 일관되고 확장된 시각적 서사 생성을 자동화할 수 있음을 입증한다. 생산 과정을 전문화된 에이전트로 분해하고 의존성 그래프와 RAG를 통해 구조적 제약을 강제함으로써, ViMax는 장편 생성의 핵심 병목 현상인 서사 파편화와 시각적 드리프트 문제를 해결한다.

저자들은 다음과 같은 몇 가지 한계를 인정한다:

독점 모델에 대한 의존성: 본 시스템은 추론 및 생성을 위해 독점적인 파운데이션 모델에 의존하므로, 모델 업데이트에 따라 성능이 민감하게 반응할 수 있다.
평가 제약: 자동화된 지표는 표현 기반 유사성에 의존하므로, 미세한 서사적 의도나 복잡한 상호작용(예: 다수 인물의 접촉)을 포착하는 데 어려움이 있을 수 있다.
생성적 취약성 (Generative Brittleness): 복잡한 상호작용이 발생하는 혼잡한 장면에서 실패할 수 있으며, 키프레임 생성에서의 오류가 하류 단계로 전이(cascade)될 수 있다.
범위: 현재의 워크플로우는 오디오, 대사 동기화 또는 인터랙티브한 수정 기능을 다루지 않는다.

결론적으로, ViMax가 자동화된 콘텐츠 제작을 진전시키기는 하지만, 향론은 더욱 강력해지는 베이스 모델의 고유한 능력을 활용하여 장면 간 장기 시각적 메모리를 관리하는 방향으로 나아갈 것임을 시사한다.