Narrative Weaver: Towards Controllable Long-Range Visual Consistency with Multi-Modal Conditioning

이 논문은 생성형 AI 의 장기적 일관성과 다중 모달 제어 문제를 해결하기 위해 고수준 서사 계획과 동적 메모리 은행을 결합한 '내러티브 웨버 (Narrative Weaver)' 프레임워크를 제안하고, 이를 평가하기 위한 대규모 데이터셋을 공개한 연구입니다.

핵심

🎬 '내러티브 위버 (Narrative Weaver)': AI 영화감독과 사진관리의 마법

이 논문은 **"AI 가 긴 이야기를 만들 때, 등장인물과 배경이 자꾸 바뀌거나 흐트러지는 문제를 해결한 새로운 방법"**을 소개합니다.

기존의 AI 는 짧은 영상이나 사진 한 장을 만드는 건 잘하지만, **"오랜 시간 동안 같은 인물이 같은 옷을 입고, 같은 배경에서 이야기를 이어가는 것"**은 매우 어렵습니다. 마치 영화를 찍을 때, 1 장의 사진은 잘 나왔는데 2 장에서는 주인공의 얼굴이 바뀌거나 옷이 다른 색으로 변해버리는 것과 같습니다.

이 문제를 해결하기 위해 개발된 **'내러티브 위버 (Narrative Weaver)'**는 마치 유능한 영화 제작팀처럼 작동합니다.

---

🎭 1. 핵심 역할: "지휘자"와 "메모장"

이 시스템은 크게 두 가지 핵심 역할을 합니다.

① 지휘자 (MLLM): "대본을 쓰는 감독"

기존 AI 는 "그림을 그려줘"라고 하면 그리는 데만 집중합니다. 하지만 내러티브 위버는 먼저 대본 (스토리) 을 먼저 씁니다.

• 비유: 마치 영화 감독이 "1 장은 주인공이 커피를 마시고, 2 장은 창밖을 바라보며, 3 장은 친구를 만난다"라고 구체적인 대본을 먼저 짜는 것입니다.
• 이 '지휘자'는 텍스트로 이야기를 계획하고, 다음 장면이 어떻게 이어져야 할지 미리 정해줍니다.

② 메모장 (Memory Bank): "잊지 않는 비서"

가장 중요한 부분은 **일관성 (Consistency)**입니다.

• 비유: 영화를 찍을 때, 100 장의 사진을 찍는데 매번 주인공의 얼굴이 달라지면 어떨까요? 내러티브 위버는 **'기억 메모장'**을 가지고 있습니다.
• 이 메모장에 첫 번째 사진의 주인공 얼굴, 옷차림, 배경을 저장해두고, 다음 사진을 그릴 때마다 "아, 이 사람은 처음에 입었던 빨간 망토를 입고 있었지?"라고 수시로 확인합니다.
• 덕분에 시간이 지나도 주인공의 얼굴이나 옷이 변하지 않고, 이야기가 자연스럽게 이어집니다.

---

🛠️ 2. 어떻게 배웠을까요? (단계별 훈련)

이 AI 는 한 번에 모든 것을 배운 것이 아니라, 3 단계로 나누어 점진적으로 훈련받았습니다.

1. 1 단계 (스토리텔러): 먼저 대본 쓰는 법을 배웁니다. "어떤 이야기가 흘러가야 하는지" 텍스트로 계획하는 능력을 기릅니다.
2. 2 단계 (연결고리): 대본과 그림을 이어줍니다. "대본에 나온 '빨간 망토'라는 단어를 그림에서 실제로 빨간 망토로 그리는 법"을 배웁니다.
3. 3 단계 (세밀한 조정): 마지막 단계에서 세부적인 일관성을 다집니다. "앞서 그린 그림의 조명, 그림자, 배경의 나무 모양까지 완벽하게 맞추는 법"을 훈련합니다.

이렇게 조금씩 단계별로 배우는 방식 덕분에 적은 데이터로도 뛰어난 성능을 낼 수 있었습니다.

---

📸 3. 새로운 데이터: "쇼핑 광고용 스토리보드"

이 연구를 위해 기존에 없던 **새로운 데이터셋 (EAVSD)**을 만들었습니다.

• 문제: 기존 데이터는 짧은 영상 조각들이라 긴 이야기를 만들기에 부족했습니다.
• 해결: 쇼핑 광고에 초점을 맞췄습니다. "이 제품을 다양한 상황에서 보여주는 광고"를 만들기 위해, 한 제품이 30 만 장 이상의 이미지 속에서 같은 모습으로 등장하는 데이터를 직접 만들었습니다.
• 예시: "여름 카페에서 커피를 마시는 모습" → "겨울 산책길에서 코트를 입고 걷는 모습"으로 이어지는데, 옷차림과 얼굴은 똑같이 유지되도록 훈련했습니다.

---

🌟 4. 왜 중요한가요? (실생활 적용)

이 기술이 완성되면 다음과 같은 일이 가능해집니다.

• 개인화된 광고: "내 아이가 주인공이 되어 모험을 떠나는 애니메이션"을 AI 가 자동으로 만들어줍니다. 아이가 옷을 갈아입거나 배경이 바뀌어도 아이의 얼굴은 그대로 유지됩니다.
• 웹툰/만화 제작: "주인공이 도시를 여행하는 이야기"를 그릴 때, 매 페이지마다 주인공의 특징이 일관되게 유지되어 화가 없이도 스토리를 이어갈 수 있습니다.
• 영화 제작: 대본만 입력하면, 등장인물과 배경이 일관된 긴 영상 시나리오를 자동으로 생성해줍니다.

💡 한 줄 요약

"내러티브 위버는 AI 에게 '대본을 먼저 쓰고, 기억을 잘해서 등장인물이 흐트러지지 않게 하는' 능력을 가르쳐, 긴 이야기를 자연스럽게 만들어내는 마법 같은 시스템입니다."

이 기술은 이제부터 AI 가 단순히 그림을 그리는 것을 넘어, 진짜 스토리를 가진 콘텐츠를 만드는 시대를 열었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

최근 생성형 AI (Diffusion 모델 등) 는 고화질의 짧은 영상이나 이미지를 생성하는 데 탁월한 능력을 보여주고 있습니다. 그러나 장거리 (Long-Range) 시각적 일관성과 **서사적 연속성 (Narrative Coherence)**을 유지하는 데에는 심각한 한계가 존재합니다.

• 주요 문제점:
  • 기존 모델들은 짧은 클립이나 단일 프레임에서는 잘 작동하지만, 여러 장면으로 이어지는 긴 서사 (예: 영화, 광고) 를 생성할 때 캐릭터, 배경, 스토리라인의 일관성이 깨지는 '시각적 드리프트 (Visual Drift)' 현상이 발생합니다.
  • 기존의 계획 (Planning) 기반 방법들은 텍스트 조건에만 의존하여 시각적 제어가 부족하거나, 단순히 이전 프레임을 참조하는 방식만으로는 초기 시각적 조건 (Initial Visual Anchor) 을 유지하며 긴 시퀀스를 생성하는 데 실패합니다.
  • 이러한 장거리 일관성을 위한 통합된 프레임워크와 적합한 평가 데이터셋이 부재했습니다.

2. 제안 방법론: Narrative Weaver (Methodology)

저자들은 Narrative Weaver라는 새로운 하이브리드 프레임워크를 제안합니다. 이는 자회귀 (Autoregressive, AR) 모델과 확산 (Diffusion) 모델을 결합하여 고수준의 서사 계획과 미세한 시각적 제어를 동시에 수행합니다.

핵심 아키텍처 구성 요소

1. 멀티모달 대규모 언어 모델 (MLLM) - '감독' 역할:

   • 입력된 시각적/텍스트 컨텍스트를 받아 고수준의 스토리보드 (내러티브 계획) 를 텍스트로 생성합니다.
   • 동시에 생성된 시각적 정보를 압축하여 **학습 가능한 쿼리 (Learnable Queries)**로 인코딩합니다.
   • **동적 인과 어텐션 마스크 (Dynamic Causal Attention Mask)**를 사용하여 텍스트 토큰과 학습 가능한 쿼리가 서로 적절하게 상호작용하도록 설계하여, 텍스트 계획 능력을 해치지 않으면서 시각적 일관성을 학습합니다.

2. 동적 메모리 뱅크 (Dynamic Memory Bank):

   • 생성된 이전 프레임들의 VAE 특징 (Features) 을 캐시하여 저장합니다.
   • 기하급수적 감쇠 (Geometric Decay) 전략을 적용하여 최근 프레임에 더 높은 가중치를 두면서도 전체 메모리 길이를 제한합니다.
   • 이를 통해 현재 생성 단계가 초기 조건과 이전 프레임들에 '앵커링 (Anchoring)'되도록 하여 시각적 드리프트를 방지합니다.

3. 점진적 다단계 학습 전략 (Progressive Multi-Stage Training):

   • Stage 1 (서사 계획): MLLM 만을 학습시켜 텍스트 기반의 스토리텔링 능력을 습득합니다.
   • Stage 2 (의미론적 정렬): 학습 가능한 쿼리와 확산 모델 간의 연결을 학습하여, 텍스트 계획이 시각적 의미 공간과 정렬되도록 합니다.
   • Stage 3 (미세 조정 및 일관성): 확산 모델을 최종적으로 미세 조정하여, 메모리 뱅크와 입력 조건을 결합한 포괄적인 조건 신호를 통해 프레임 간 미세한 일관성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크 제안: 고수준의 서사 계획 (MLLM) 과 미세한 시각적 제어 (Diffusion + Memory Bank) 를 통합한 최초의 종합 솔루션을 제시했습니다.
2. 새로운 데이터셋 (EAVSD) 구축:
   • 기존 데이터셋은 장거리 서사 생성에 부적합하여, 저자들은 **E-commerce Advertising Video Storyboard Dataset (EAVSD)**을 구축 및 공개했습니다.
   • 약 33 만 개의 고품질 이미지와 풍부한 서사 주석 (Product Image, Description, Marketing Goal -> Multi-scene Storyboard) 을 포함하며, 브랜드 일관성이 필수적인 전자상거래 광고 시나리오에 최적화되어 있습니다.
3. 효율적인 아키텍처:
   • 확산 모델의 계산 복잡도를 프레임 수에 따라 이차함수적으로 증가시키는 기존 방식에서, MLLM 을 중재자로 사용하여 선형 (Linear) 성장으로 복잡도를 낮췄습니다. 이는 긴 시퀀스 생성 시 계산 효율성을 극대화합니다.

4. 실험 결과 (Results)

저자들은 세 가지 시나리오 (제어 가능한 다중 장면 생성, 자율적 스토리텔링, 전자상거래 광고) 에서 광범위한 실험을 수행했습니다.

• 정량적 평가:
  • GPT-4o 평가: 텍스트 - 이미지 일관성 (ITC), 참조 - 생성 일관성 (RGC), 스타일/콘텐츠 일관성 (MSSC/MSCC) 등 여러 지표에서 기존 최첨단 방법 (StoryDiffusion, Flux.1-Kontext, Qwen-Image-Edit 등) 보다 우수한 성능을 기록했습니다.
  • 자동화 지표: CLIP Score 와 DreamSim 에서도 타사 모델 대비 높은 점수를 얻었으며, 특히 프레임 간 일관성 유지 능력이 뛰어났습니다.
• 정성적 평가:
  • 사용자 연구 (User Study): 180 건 이상의 응답을 기반으로 한 사용자 선호도 조사에서 Narrative Weaver 가 가장 선호되는 결과를 보였습니다.
  • 시각적 비교: 다른 모델들은 캐릭터의 외형 변화, 조명 불일치, '복사 - 붙여넣기'와 같은 정적인 동작을 보인 반면, Narrative Weaver 는 환경 일관성을 유지하면서도 자연스러운 서사 진행을 보여주었습니다.
• 애블레이션 연구:
  • 3 단계 학습 전략 중 Stage 2(의미론적 정렬) 와 Stage 3(미세 조정) 을 모두 수행했을 때 성능이 극대화됨을 확인했습니다. 특히 Stage 3 은 프레임 간 일관성을 확보하는 데 결정적인 역할을 했습니다.

5. 의의 및 결론 (Significance)

• 실용적 적용 가능성: 이 연구는 AI 가 단순히 이미지를 생성하는 것을 넘어, 영화 제작이나 광고와 같은 전문적인 콘텐츠 제작 워크플로우에 직접 적용 가능한 수준으로 발전했음을 시사합니다.
• 데이터 부족 문제 해결: 장거리 일관성 생성을 위한 고품질 데이터셋의 부재를 EAVSD 를 통해 해결함으로써, 향후 관련 연구의 기준 (Benchmark) 을 제시했습니다.
• 확장성: 현재는 이미지 생성에 초점을 맞추었으나, 아키텍처는 비디오 생성으로 자연스럽게 확장 가능하여, 향후 동적인 모션과 카메라 워크를 포함한 장거리 비디오 생성 연구의 기초를 마련했습니다.

요약하자면, Narrative Weaver는 생성형 AI 의 가장 큰 난제 중 하나인 "긴 서사에서의 일관성 유지" 문제를 해결하기 위해, 언어 모델의 계획 능력과 확산 모델의 생성 능력을 효율적으로 결합한 혁신적인 프레임워크입니다.