CANVAS: Continuity-Aware Narratives via Visual Agentic Storyboarding

1. 문제 정의 (Problem Statement)

장편 시각적 스토리텔링 (Long-form visual storytelling) 은 일관된 캐릭터, 안정적인 환경, 매끄러운 장면 전환을 유지하며 일련의 이미지 시퀀스를 생성해야 합니다. 기존 생성 모델들은 개별 프레임의 품질은 우수하지만, 다음과 같은 연속성 (Continuity) 문제로 인해 장편 서사를 구현하는 데 실패합니다.

• 캐릭터 외형의 변화 (Character Drift): 장면이 바뀔 때마다 캐릭터의 얼굴, 헤어스타일, 의상이 일관되지 않게 변함.
• 불안정한 배경 (Unstable Environments): 같은 장소가 다시 등장할 때 공간 구조나 배경 요소가 일관되지 않음.
• 사물 상태의 논리적 오류 (Prop State Inconsistency): 도난당하거나 사라진 물체가 다시 나타나거나, 상태 변화 (예: intact → broken) 가 서사에 따라 올바르게 반영되지 않음.
• 근접성 의존성: 기존 방법들은 주로 직전 프레임에 의존하여 생성하므로, 장거리 (Long-range) 의존성을 가진 서사적 연속성을 유지하지 못함.

2. 방법론 (Methodology)

저자들은 스토리보드 생성을 명시적인 세계 상태 모델링 (World-state Modeling) 문제로 재정의하고, 이를 해결하기 위해 CANVAS (Continuity-Aware Narratives via Visual Agentic Storyboarding) 라는 다중 에이전트 프레임워크를 제안합니다. CANVAS 는 학습이 필요 없는 (Training-free) 방식으로, 다음과 같은 세 가지 핵심 구성 요소를 통해 작동합니다.

A. 글로벌 스토리 플래닝 (Global Story Planning)

이미지 생성 전에 서사의 전개를 계획하여 캐릭터, 위치, 사물의 상태 변화를 명시적으로 정의합니다.

• 캐릭터 (Character): 각 샷 (Shot) 에서 캐릭터의 외형 상태 (옷, 헤어 등) 를 매핑하여 정체성 드리프트를 방지합니다.
• 위치 (Location): 등장하는 장소를 클러스터링하여 동일한 장소가 다시 등장할 때 일관된 배경 아키텍처를 유지하도록 합니다.
• 사물 상태 (Object State): 사물이 등장, 이동, 파괴, 도난되는 등의 상태 전이를 추적하여 논리적 일관성을 확보합니다.

B. 메모리 기반 순차 생성 (Sequential Generation with Memory)

전체 계획을 바탕으로 메모리를 활용하여 샷을 순차적으로 생성합니다.

• 시각 상태 메모리 (Visual State Memory): 캐릭터 아노커 (Anchor), 배경 아노커, 생성된 프레임, 사물 상태를 저장하는 지속적 메모리 구조를 유지합니다.
• 아노커 검색 (Anchor Retrieval): 현재 샷을 생성할 때, 글로벌 계획에 따라 필요한 캐릭터 아노커, 이전 프레임, 또는 저장된 배경 아노커를 검색하여 조건부 생성 (Conditional Generation) 에 활용합니다.
  • 연속 샷: 이전 프레임을 아노커로 사용.
  • 재등장 샷: 저장된 배경 아노커를 재사용.
  • 새로운 샷: 캐릭터 아노커만 활용하여 생성 후 메모리 업데이트.

C. QA 기반 후보 선택 (QA-based Candidate Selection)

생성된 여러 후보 프레임 중 가장 일관된 프레임을 선택합니다.

• 생성된 후보 이미지들에 대해 글로벌 계획에서 도출된 시각적 질문 (Visual Questions) 을 VLM(비전 - 언어 모델) 에게 제시합니다.
• 캐릭터 일치도, 배경 연속성, 사물 상태 정확도 등을 점수화하여 가장 높은 점수를 받은 프레임을 최종 선택하고 메모리를 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. CANVAS 프레임워크: 전역 계획, 메모리 유도 검색, 순차적 메모리 업데이트를 통해 스토리보드 생성을 명시적인 세계 상태 추적으로 모델링하는 학습 불필요 (Training-free) 다중 에이전트 시스템 제안.
2. HardContinuityBench: 기존 벤치마크 (ViStoryBench, ST-Bench) 가 포착하지 못하는 장거리 서사적 연속성 (재등장하는 장소, 긴 시간 간격, 복잡한 사물 상태 변화) 을 테스트하기 위해 설계된 새로운 고난도 벤치마크 도입.
3. ContinuityEval: 캐릭터, 배경, 소품의 연속성을 세밀하게 측정하는 VLM 기반 평가 프레임워크 제안.

4. 실험 결과 (Results)

CANVAS 는 ViStoryBench, ST-Bench, 그리고 새로 제안된 HardContinuityBench 에서 최신 베이스라인 (AutoStudio, Story-Iter, Story2Board, Gemini-CT 등) 과 비교 평가되었습니다.

• 성능 향상:
  • 배경 연속성 (Background Continuity): 기존 최상위 베이스라인 대비 21.6% 향상 (HardContinuityBench 에서 특히 두드러짐).
  • 캐릭터 일관성 (Character Consistency): 9.6% 향상.
  • 소품 일관성 (Props Consistency): 7.6% 향상.
• 평가 지표:
  • 자동 평가 (ContinuityEval) 와 인간 선호도 평가 (Human Preference Study) 모두에서 CANVAS 가 압도적인 승률 (배경/소품 90.9%, 캐릭터 86.7% 등) 을 기록했습니다.
  • 기존 방법들은 장거리 장면 재등장 시 배경 구조가 무너지거나 캐릭터가 변하는 오류를 보인 반면, CANVAS 는 일관된 세계 상태를 유지했습니다.
• Video Generation 영향: 생성된 스토리보드를 기반으로 영상 (Veo-3.1) 을 생성했을 때, CANVAS 가 초기화한 키프레임이 사용된 영상이 서사적 일관성과 캐릭터 유지 측면에서 가장 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 장편 시각적 서사의 새로운 패러다임: 기존에 단순한 프레임 간 유사성 유지에 의존하던 접근법을 넘어, 명시적인 세계 상태 모델링 (Explicit World-state Modeling) 을 통해 장거리 연속성을 해결했습니다.
• 학습 불필요 (Training-free) 접근: 대규모 모델을 재학습시키지 않고, 에이전트 기반의 계획 및 메모리 메커니즘을 통해 높은 품질의 연속성을 달성하여 계산 비용과 접근성을 개선했습니다.
• 미래 작업: 상호작용형 인간 - 루프 (Human-in-the-loop) 시각적 스토리텔링 및 복잡한 물리적 상호작용 모델링으로의 확장을 계획하고 있습니다.

요약하자면, CANVAS 는 생성형 AI 가 장편 스토리를 시각화할 때 발생하는 '일관성 붕괴' 문제를 해결하기 위해, 계획 (Planning), 기억 (Memory), 검증 (Verification) 의 에이전트 사이클을 도입하여 캐릭터, 배경, 사물이 서사 전체에 걸쳐 논리적이고 시각적으로 일관되게 유지되도록 한 획기적인 연구입니다.