InfinityStory: Unlimited Video Generation with World Consistency and Character-Aware Shot Transitions

이 논문은 배경 일관성 유지, 다중 등장인물이 포함된 장면 전환의 매끄러움, 그리고 시간적 연속성을 보장하여 장편 스토리텔링 비디오 생성의 한계를 극복하는 새로운 프레임워크, 데이터셋, 그리고 모델을 제안합니다.

핵심

무한 스토리 (InfinityStory): 영화 같은 긴 이야기를 자동으로 만들어주는 마법

이 논문은 **"긴 이야기를 영상으로 만들 때, 배경이 자꾸 바뀌거나 캐릭터가 갑자기 사라졌다 나타나는 문제를 해결한 새로운 기술"**을 소개합니다.

기존의 AI 영상 생성 기술은 짧은 클립 (4~16 초) 을 만드는 데는 훌륭했지만, 이를 이어 붙여 1 시간짜리 영화를 만들려고 하면 배경이 흔들리거나, 등장인물이 문득 사라졌다가 다른 장면에서 갑자기 튀어나오는 어색한 문제가 있었습니다.

이 문제를 해결하기 위해 연구진들은 **'인피니티 스토리 (InfinityStory)'**라는 새로운 시스템을 개발했습니다. 이를 이해하기 쉽게 세 가지 핵심 아이디어로 나누어 설명해 드릴게요.

---

1. 배경은 '고정된 무대', 캐릭터는 '배우' (배경 일관성)

🎭 비유: 무대 세트와 배우
기존 기술은 매번 새로운 장면을 찍을 때마다 무대 (배경) 를 새로 짓고, 배우 (캐릭터) 를 그 위에 올려놓는 방식이었습니다. 그래서 장면을 이어붙이면 무대 색상이나 조명 미묘하게 달라져서 "어? 이 장면 어디서 찍은 거지?" 하는 느낌이 들었습니다.

✨ 인피니티 스토리의 해결책:
이 시스템은 **"한 편의 영화는 정해진 세트장 (장소) 에서 찍는다"**는 원칙을 세웠습니다.

• 세트장 고정: 이야기 속 '성', '숲', '카페' 같은 장소는 미리 하나하나 정해두고, 그 장면이 나오는 동안은 그 세트장이 절대 변하지 않게 합니다.
• 배우만 교체: 배경은 그대로 두고, 그 위에 배우 (캐릭터) 만 들어오게 합니다.
• 결과: 장면을 수십 번 이어붙여도 배경은 똑같은 곳에서 찍은 것처럼 자연스럽게 유지됩니다.

2. 캐릭터의 '자연스러운 출입구' (화면 전환 기술)

🚪 비유: 무대 앞뒤로 오가는 배우
기존 기술은 장면을 바꿀 때 (컷 전환), 캐릭터가 화면에서 뚝 끊기듯 사라지거나 갑자기 뚝 떨어지듯 나타나는 경우가 많았습니다. 마치 연극에서 배우가 무대 뒤로 도망치듯 사라졌다가, 다음 장면에서 갑자기 무대 중앙에 나타나는 것과 같습니다.

✨ 인피니티 스토리의 해결책:
이 시스템은 **10,000 개의 특수한 '연기 훈련 데이터'**를 만들어냈습니다.

• 연기 훈련: 배우가 무대 가장자리에서 천천히 걸어 들어오거나 (Entry), 무대 밖으로 걸어 나가는 (Exit), 혹은 다른 배우와 자리를 바꾸는 (Replacement) 모습을 AI 에게 가르쳤습니다.
• 매끄러운 연결: 두 장면을 이어줄 때, AI 가 "아, 이 배우는 왼쪽에서 걸어 들어와야지"라고 계산하여, 캐릭터가 자연스럽게 화면 안으로 들어오거나 나가는 **영화 같은 전환 (Shot-to-Shot Transition)**을 만들어냅니다.

3. '스마트 감독' 팀 (다중 에이전트 시스템)

🎬 비유: 영화 제작팀
이 기술은 혼자서 모든 일을 하는 것이 아니라, AI 로 구성된 **'영화 제작 팀'**이 협력합니다.

• 시나리오 작가 (Chapter Agent): 이야기를 큰 줄기로 나눕니다.
• 세트 디자이너 (Location Agent): "이 장면은 성에서, 저 장면은 숲에서"라고 장소를 미리 정해줍니다.
• 연출가 (Scene Agent): 어떤 배우가 어떤 표정으로 서 있을지, 카메라는 어떻게 움직일지 설계합니다.
• 촬영 감독 (Shot Agent): 실제 영상을 찍는 작업을 지시합니다.

이 팀이 서로 대화하며 "배경은 이걸로 고정하고, 다음 장면으로 넘어갈 때는 A 배우가 걸어 나오게 해라"라고 정밀하게 지시하기 때문에, 긴 이야기라도 흐트러짐 없이 만들어집니다.

---

🏆 왜 이 기술이 특별한가요?

기존의 다른 기술들은 배경이 자꾸 변하거나 (Drift), 캐릭터가 갑자기 사라지는 문제가 있었습니다. 하지만 인피니티 스토리는 다음과 같은 성과를 거두었습니다.

1. 배경이 가장 안정적: 같은 장소에서 찍은 것처럼 배경이 흔들리지 않습니다.
2. 캐릭터가 가장 일관적: 같은 캐릭터가 여러 장면에 나와도 얼굴과 옷이 똑같습니다.
3. 전환이 가장 매끄럽습니다: 캐릭터가 화면을 오가며 자연스럽게 이어집니다.

🚀 결론

이 기술은 "AI 가 1 시간짜리 영화를 만들 때, 마치 실제 영화 제작팀이 세트장을 고정하고 배우들의 움직임을 정교하게 연기하듯" 영상을 만들어냅니다.

앞으로 이 기술은 교육용 영상, 웹툰을 애니메이션으로 바꾸는 것, 혹은 개인이 상상하는 이야기를 영화처럼 만들어주는 등 다양한 분야에서 **'진짜 같은 긴 영상'**을 만드는 데 큰 역할을 할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 장편 스토리텔링 비디오 생성 기술은 다음과 같은 세 가지 주요 한계에 직면해 있습니다:

• 배경 일관성 부족 (Background Consistency): 장편 영상에서 샷 (Shot) 이 전환될 때 배경이 미세하게 변하거나 드리프트 (Drift) 되어 장면의 정체성이 유지되지 않습니다. 기존 방법들은 주로 전경 (캐릭터) 에 집중하고 배경은 암묵적으로 처리하여, 시간이 지남에 따라 조명, 공간 배치, 외관이 변하는 문제가 발생합니다.
• 부자연스러운 샷 전환 (Jarring Shot-to-Shot Transitions): 여러 캐릭터가 등장하거나 퇴장하는 복잡한 상황에서, 캐릭터가 갑자기 나타나거나 사라지는 현상이 발생합니다. 기존 모델들은 주로 단일 객체 전환에 국한되거나, 샷 간 연결이 매끄럽지 못해 영화적인 전환 (Cinematic Transitions) 을 구현하지 못합니다.
• 확장성 한계 (Scalability): 현재 대부분의 생성 모델은 4~16 초의 짧은 클립 생성에 그치며, 수시간 분량의 긴 서사적 비디오를 일관된 시각적 내러티브로 생성하는 것은 여전히 난제입니다.

2. 제안된 방법론 (Methodology)

저자들은 InfinityStory라는 새로운 프레임워크를 제안하며, 이는 다중 에이전트 (Multi-Agent) 시스템과 두 가지 핵심 기술 (배경 일관성 유지 및 전환 인식 합성) 을 기반으로 합니다.

A. 계층적 다중 에이전트 계획 (Hierarchical Multi-Agent Planning)

고수준의 스토리 스펙을 입력받아 다음 4 단계 에이전트를 통해 생성을 분해합니다:

1. Chapter Agent: 이야기를 챕터로 나누고 캐릭터 관계 및 내러티브 아크를 정의합니다.
2. Location Agent: 이야기의 배경이 될 고정된 위치 (Location) 라이브러리를 생성합니다. 각 장면 (Scene) 은 하나의 고정된 위치에 바인딩되어 배경 일관성을 보장합니다.
3. Scene Agent: 챕터를 구체적인 장면으로 확장하며, 해당 장면에 속한 모든 샷이 동일한 배경을 공유하도록 제약 조건을 적용합니다.
4. Shot Agent: 장면을 개별 샷으로 분해합니다.
   • 홀수 샷 (Narrative): 이미지 - 투 - 비디오 (I2V) 를 사용하여 내러티브 내용을 생성합니다.
   • 짝수 샷 (Transition): 첫 번째/마지막 프레임 투 비디오 (FLF2V) 를 사용하여 샷 간의 매끄러운 전환을 생성합니다.

B. 위치 기반 배경 주입 (Location-Grounded Background Injection)

장면의 일관성을 유지하기 위해 배경과 캐릭터를 분리하여 처리합니다:

• 고정 배경 생성: 각 위치 (Location) 에 대해 텍스트 - 투 - 이미지 (T2I) 모델로 고정된 배경 이미지 ($B_\ell$) 를 생성합니다.
• 키프레임 합성: 생성된 배경에 캐릭터 참조 이미지를 합성 (I2I) 하여 일관된 키프레임 ($K_k$) 을 만듭니다.
• 비디오 생성:
  • I2V: 키프레임에서 홀수 샷의 비디오를 생성합니다.
  • FLF2V: 이전 샷의 마지막 프레임과 다음 샷의 키프레임을 연결하여 짝수 샷 (전환 샷) 을 생성합니다. 이 과정에서 배경은 양쪽 끝에서 고정되어 장면 드리프트를 방지합니다.

C. 영화적 다중 객체 전환 합성 (Cinematic Multi-Subject Transition Synthesis - CMTS)

캐릭터의 등장 (Entry), 퇴장 (Exit), 교체 (Replacement) 를 자연스럽게 처리하기 위한 새로운 모듈입니다:

• 데이터셋 구축: 10,000 개의 다중 객체 전환 시퀀스를 포함하는 합성 데이터셋을 생성했습니다. 이는 VLM(시각 - 언어 모델) 을 사용하여 캐릭터 수와 전환의 정확성을 필터링한 후, 3,980 개의 고품질 비디오로 정제되었습니다.
• 모델 학습: 이 데이터셋으로 FLF2V 모델을 미세 조정 (Fine-tuning) 하여, 캐릭터가 갑자기 나타나거나 사라지지 않고 프레임 간에 자연스럽게 이동하도록 학습시켰습니다.

3. 주요 기여 (Key Contributions)

1. CMTS (Cinematic Multi-Subject Transition Synthesis): 등장, 퇴장, 교체를 포함한 다중 객체 전환을 명시적인 움직임 감독 (Movement-type supervision) 하에 처리하는 최초의 방법론을 제안했습니다.
2. 확장 가능한 엔드 - 투 - 엔드 프레임워크: 수시간 분량의 서사적 비디오를 생성하면서도 스토리 구조와 영화적 일관성을 유지하는 시스템을 구축했습니다.
3. 배경 일관성 파이프라인: 배경 보존과 전경 역학을 분리하여, 위치 주입 (Location Injection) 과 선택적 교차 샷 메모리 게이트 (Cross-shot Memory Gating) 를 통해 장기간의 일관성을 확보했습니다.
4. 대규모 합성 데이터셋: 기존에 부족했던 다중 객체 전환 시나리오를 다루는 10,000 개의 어노테이션 된 비디오 데이터셋을 공개했습니다.

4. 실험 결과 (Results)

VBench 벤치마크를 통해 기존 모델 (StoryGPT-V, MovieAgent, CineTrans 등) 과 비교 평가했습니다.

• 성능 지표:
  • 배경 일관성 (Background Consistency): 88.94 (1 위, 기존 모델 대비 최상)
  • 주제 일관성 (Subject Consistency): 82.11 (1 위)
  • 평균 순위 (Average Rank): 2.80 (전체 모델 중 1 위)
• 분석:
  • 배경 주입 (Background Injection) 을 제거할 경우 주제 일관성과 배경 일관성 지표가 크게 하락하여, 이 기술이 핵심임을 입증했습니다.
  • 다중 객체 전환 (Multi-Character Transition) 을 제거할 경우 미적 품질과 운동 매끄러움이 감소하여, 전환 모델이 캐릭터의 자연스러운 이동을 담당함을 보여줍니다.
  • 이미지 품질과 미적 점수는 일부 베이스라인보다 약간 낮았으나 (480p 해상도 및 편집 과정의 아티팩트 때문), 일관성과 전환의 매끄러움 측면에서 압도적인 우위를 보였습니다.

5. 의의 및 결론 (Significance)

InfinityStory 는 장편 스토리텔링 비디오 생성 분야에서 **장면 드리프트 (Scene Drift)**와 갑작스러운 캐릭터 변화라는 오랜 난제를 해결했습니다.

• 기술적 의의: 배경을 고정된 위치로 바인딩하고, 다중 객체 전환을 위한 전용 데이터셋과 모델을 도입함으로써, 영화적인 품질의 긴 형식 (Long-form) 비디오 생성을 가능하게 했습니다.
• 미래 전망: 이 연구는 AI 가 단순한 짧은 클립을 넘어, 복잡한 내러티브와 일관된 세계관을 가진 장편 영화를 자동 생성할 수 있는 기반을 마련했다는 점에서 의미가 큽니다. 향후 더 다양한 캐릭터 조합과 복잡한 스토리라인에 대한 일반화 능력을 향상시키는 방향으로 연구가 진행될 예정입니다.