AnimeAgent: Is the Multi-Agent via Image-to-Video models a Good Disney Storytelling Artist?

이 논문은 정적 확산 모델의 한계를 극복하고 디즈니의 애니메이션 워크플로우에서 영감을 받아 이미지-비디오 기반의 다중 에이전트 프레임워크인 AnimeAgent 를 제안하며, 이를 통해 일관성, 프롬프트 충실도, 스타일화 측면에서 최첨단 성능을 달성함을 보여줍니다.

핵심

🎬 애니메이션 스토리텔링의 새로운 혁명: '애니메이전트 (AnimeAgent)'

이 논문은 **"인공지능이 디즈니 애니메이션처럼 살아있는 스토리를 그릴 수 있을까?"**라는 질문에 답하기 위해 개발된 새로운 시스템, **애니메이전트 (AnimeAgent)**에 대한 이야기입니다.

기존의 AI 그림 도구들은 "한 번에 그림을 그리는" 방식이라서 캐릭터가 장면마다 달라지거나 (예: 빨간 옷을 입었는데 다음 장면에는 파란 옷), 동작이 뻣뻣하다는 문제가 있었습니다. 이를 해결하기 위해 연구팀은 디즈니 애니메이션 제작 방식을 차용한 '다중 에이전트 (Multi-Agent)' 시스템을 만들었습니다.

이 시스템을 쉽게 이해할 수 있도록 디즈니 애니메이션 스튜디오를 예로 들어 설명해 드릴게요.

---

🏭 1. 기존 방식 vs. 새로운 방식: "일회용 카메라" vs. "디렉터와 애니메이터"

• 기존 방식 (Static T2I):

  • 비유: "한 장의 사진을 찍어서 스토리를 만드는 것"입니다.
  • 문제점: 각 장면을 따로따로 찍다 보니, 1 장에서는 캐릭터가 웃고 있는데 2 장에서는 표정이 바뀌거나 옷이 달라집니다. 마치 **사진을 복사해서 붙여넣기 (Copy-Paste)**하듯 동작이 자연스럽지 않고, 복잡한 동작을 그릴 때 실수가 많습니다.

• 새로운 방식 (AnimeAgent):

  • 비유: **"디즈니 애니메이션 제작팀"**을 구성한 것입니다.
  • 핵심 아이디어: 단순히 그림을 그리는 게 아니라, 스토리, 캐릭터, 동작을 연속적으로 이어가는 '영상 (Video)'을 먼저 상상하고, 그중에서 가장 표현력 있는 장면들을 골라 스토리보드로 만듭니다.

---

🎭 2. 애니메이션 제작팀의 역할 (3 명의 에이전트)

애니메이전트는 세 명의 전문 에이전트가 팀을 이루어 일합니다.

👨‍💼 1) 디렉터 (Director Agent): "시나리오를 구체적인 지시로 바꾸는 사람"

• 역할: 사용자가 "눈이 내리는 숲에서 소녀가 길을 잃었다"라고만 말해도, 디렉터는 이를 **디즈니 애니메이션 제작팀이 이해할 수 있는 '작업 지시서 (Dope Sheet)'**로 바꿉니다.
• 세부 내용: "소녀는 어떤 옷을 입었는지, 숲의 나무는 어떤 색인지, 카메라는 어디에 있어야 하는지"를 아주 구체적으로 적어줍니다. 이렇게 해야 다음 단계에서 캐릭터가 일관성을 유지할 수 있습니다.

🎨 2) 아티스트 (Artist Agent): "연속적인 움직임을 그리는 화가"

• 역할: 디렉터가 준 지시서를 바탕으로 실제 영상을 생성합니다.
• 특이점: 기존 AI 는 정지된 그림을 그렸지만, 이 아티스트는 이미지-to-영상 (I2V) 기술을 사용합니다.
  • 비유: 마치 첫 장면을 찍은 뒤, 그다음 장면이 자연스럽게 이어지도록 연속해서 촬영하는 것과 같습니다.
  • 효과: 캐릭터가 움직일 때 옷차림이 바뀌지 않고, 배경도 자연스럽게 변합니다. 마치 실제 애니메이션을 촬영하듯 '동선 (Motion Trajectory)'을 먼저 만들고, 그중에서 가장 극적인 순간 (예: 눈물을 흘리는 순간, 도망치는 순간) 을 골라냅니다.

👁️ 3) 리뷰어 (Reviewer Agent): "엄격한 감독이자 비평가"

• 역할: 만들어진 영상을 보고 "이게 맞는 거야?"라고 검토하고 고쳐줍니다.
• 두 가지 검사:
  1. 일관성 검사: "소녀의 머리카락 색이 장면마다 바뀌지 않았나?", "옷이 뒤집어지지 않았나?"를 확인합니다. 문제가 있으면 디렉터에게 다시 지시서를 수정하라고 보냅니다.
  2. 감성 검사: "이 장면이 정말 슬픈가?", "동작이 자연스러운가?"를 인간과 AI 가 함께 평가합니다. 단순히 예쁜 그림이 아니라 이야기가 전달되는지를 봅니다.

---

🌟 3. 왜 이 방식이 특별한가요? (디즈니의 비법)

이 시스템은 디즈니 애니메이션의 고전적인 제작 기법인 **"스트레이트 어헤드 (Straight Ahead)"**와 **"포즈 투 포즈 (Pose to Pose)"**를 섞어서 사용합니다.

• 스트레이트 어헤드: 한 장면을 그릴 때 다음 장면을 자연스럽게 이어가는 방식 (유동적인 움직임).
• 포즈 투 포즈: 중요한 순간 (클라이맥스) 을 먼저 잡고 그 사이를 채우는 방식 (논리적인 구성).

애니메이전트는 이 두 가지를 모두 활용합니다. 먼저 연속적인 움직임을 만들어내어 (유동성), 그중에서 가장 이야기 전달력이 좋은 장면들을 골라냅니다 (논리성). 덕분에 캐릭터가 일관되고, 동작이 살아있으며, 이야기가 매끄럽게 전달됩니다.

---

📊 4. 결과는 어떨까요?

연구팀은 이 시스템을 테스트해 보았습니다.

• 다른 AI 들: 캐릭터가 장면마다 옷이 바뀌거나, 표정이 일관되지 않았습니다.
• 애니메이전트: 캐릭터의 얼굴, 옷, 배경이 모든 장면에서 똑같게 유지되었고, 사용자가 원하는 이야기 (예: "눈물을 흘리며 문을 연다") 를 정확히 표현했습니다.

마치 실제 애니메이션 스튜디오에서 전문 감독이 일일이 지시하고 수정하듯, AI 가 스스로 생각하며 그림을 그려내는 것입니다.

💡 요약

애니메이전트는 단순히 그림을 그리는 AI 가 아니라, 디렉터, 화가, 비평가가 팀을 이루어 디즈니 애니메이션처럼 살아있는 스토리를 만들어내는 시스템입니다. 앞으로 우리가 보는 애니메이션이나 게임의 배경을 만드는 데 큰 도움을 줄 것으로 기대됩니다!

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

**커스텀 스토리보드 생성 (Custom Storyboard Generation, CSG)**은 캐릭터, 배경, 대본을 입력받아 고품질의 다중 캐릭터 일관성을 가진 스토리텔링 이미지를 자동 생성하는 것을 목표로 합니다. 하지만 기존 방법론들은 다음과 같은 세 가지 주요 한계에 직면해 있습니다.

1. 정적 (Static) 모델의 한계: 기존 텍스트 - 이미지 (T2I) 확산 모델 기반 접근법은 동적인 표현력이 부족하며, 종종 "복사 - 붙여넣기 (copy-paste)" 패턴에 의존하여 복잡한 포즈나 다중 캐릭터 상호작용을 자연스럽게 표현하지 못합니다.
2. 일회성 (One-shot) 추론의 결함: 한 번의 추론으로 결과를 생성하는 방식은 누락된 속성을 수정하거나 프롬프트 준수도를 iteratively(반복적으로) 개선할 수 없어, 의도하지 않은 속성 누락이나 일관성 저하를 초래합니다.
3. 비강건한 평가자 (Evaluator) 의 부재: 기존 멀티 에이전트 프레임워크는 CLIP 점수나 MLLM 기반 평가를 사용하는데, 이는 CLIP 이 예술적 왜곡에 둔감하고 MLLM 점수가 주관적이며 불안정하여, 스타일화된 애니메이션 품질을 신뢰성 있게 평가하기 어렵습니다.

2. 제안 방법론: AnimeAgent (Methodology)

저자들은 위 한계를 해결하기 위해 Image-to-Video (I2V) 모델의 잠재력을 활용한 최초의 멀티 에이전트 프레임워크인 AnimeAgent를 제안했습니다. 이 프레임워크는 디즈니 애니메이션의 "Straight Ahead(순차적 그리기)"와 "Pose to Pose(키 프레임 중심)"를 결합한 워크플로우에서 영감을 받았습니다.

핵심 구성 요소

1. 디렉터 에이전트 (Director Agent):

   • 사용자의 비전문적인 입력 (텍스트, 참조 이미지) 을 구조화된 **계층적 텍스트 도우 시트 (Hierarchical Textual Dope-Sheet)**로 변환합니다.
   • 캐릭터, 샷 (Shot), 배경, 구성, 관계 등 5 가지 차원으로 세분화하여 프롬프트의 모호성을 줄이고 샷 간 일관성을 유지합니다.
   • 이전 샷의 결과를 참조로 사용하여 캐릭터의 정체성과 외형 연속성을 보장합니다.

2. 아티스트 에이전트 (Artist Agent):

   • I2V 모델을 핵심 엔진으로 사용하여 **연속적인 모션 궤적 (Continuous Motion Trajectory)**을 생성합니다.
   • 시각적 도우 시트 (Visual Dope-Sheet) 효과: I2V 모델의 첫 번째 프레임을 참조 이미지의 정체성과 스타일을 고정하는 '시각적 앵커'로 활용합니다.
   • 내재적 시공간 추론: 프레임 단위의 순차적 생성을 통해 복잡한 다중 캐릭터 장면에서도 자연스러운 상호작용과 공간적 논리를 자동으로 추론합니다.

3. 리뷰어 에이전트 (Reviewer Agent):

   • 생성된 궤적을 평가하고 개선하는 폐쇄 루프 (Closed-loop) 를 형성합니다.
   • 일관성 리뷰어 (Consistency Reviewer): MLLM 을 활용하여 비디오의 핵심 프레임들을 분석하고, 원래 도우 시트와의 유사도를 계산하여 캐릭터 정체성이나 배치 오류를 감지합니다. 이를 통해 디렉터에게 피드백을 주어 텍스트 도우 시트를 **반복적으로 정제 (Iterative Refinement)**합니다.
   • 혼합 리뷰어 (Mixed Reviewer): 최종 스토리보드 프레임을 선택하기 위해 객관적 지표와 주관적 평가를 결합합니다.
     • 객관적: 미적 점수 (Aesthetic Score) 와 모션 점수 (Motion Score, 광학 흐름 기반) 를 계산하여 동적인 'Extremes(최대 동작 지점)'를 식별합니다.
     • 주관적: MLLM 을 사용하여 대본의 의도, 감정 표현, 설득력 등을 평가합니다.
   • 이 과정을 통해 단순한 완성도가 아닌, 스토리텔링의 정점을 포착하는 가장 표현력 있는 프레임 (Extremes) 을 최종 결과물로 선정합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 I2V 기반 멀티 에이전트 CSG 프레임워크: 정적 T2I 모델의 한계를 넘어, 동적 모션 사전 (Motion Prior) 을 활용한 일관성 있고 표현력 있는 스토리보드 생성을 실현했습니다.
2. 하이브리드 워크플로우 및 정제 메커니즘: 디즈니의 워크플로우를 모방한 '이중 도우 시트 (텍스트 + 시각)'와 '혼합 리뷰어'를 도입하여, 생성 과정의 반복적 정제와 최적의 프레임 선별을 가능하게 했습니다.
3. 새로운 벤치마크 구축 (AnimeBoard-GT): 기존 CSG 벤치마크의 한계를 보완하기 위해, 인간이 주석 (Ground-truth) 을 달아 신뢰할 수 있는 평가가 가능한 새로운 데이터셋을 구축했습니다.
4. SOTA 성능 달성: 일관성, 프롬프트 충실도, 스타일화 측면에서 기존 방법론들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가: ViStoryBench 및 새로 구축된 AnimeBoard-GT 에서 13 가지 CSG 방법론 및 9 가지 상용 플랫폼 (Doubao, GPT-4o, Gemini 등) 과 비교 실험을 수행했습니다.
  • 일관성 (CIDS) 및 스타일 유사도 (CSD): 모든 메트릭에서 최고 성능을 기록했습니다. 특히 캐릭터 정체성 유지 (CIDS 0.727~0.785) 와 스타일 일관성에서 기존 T2I 기반 방법론보다 월등히 우수했습니다.
  • 프롬프트 정합성 (PA): 복잡한 내러티브 지시를 정확하게 따르는 능력이 뛰어났습니다.
  • CLIP-I 점수: AnimeBoard-GT 에서 0.786 의 점수로 Ground-truth 와의 높은 정합성을 보였습니다.
• 정성적 평가: '앨리스', '알라딘', '마법 지시' 등 다양한 스토리 시나리오에서 다른 방법론들이 겪는 캐릭터 드리프트 (Drift), 논리적 불일치, 배경 복사 - 붙여넣기 문제를 해결하고, 자연스러운 포즈와 스토리 흐름을 보여주었습니다.
• 사용자 연구: 20 명의 평가자를 대상으로 한 조사에서 캐릭터 일관성, 프롬프트 정합성, 미적 품질 모든 항목에서 1 위를 차지했습니다.
• Ablation Study: 디렉터 에이전트, 리뷰어 에이전트 (일관성 및 혼합 리뷰어), 아티스트 에이전트 (I2V 모델) 의 각 구성 요소가 전체 성능에 필수적임을 입증했습니다. 특히 I2V 모델 사용과 반복적 정제 과정이 일관성과 표현력에 결정적인 역할을 했습니다.

5. 의의 및 결론 (Significance)

이 논문은 정적 이미지 생성에서 동적 비디오 생성 모델 (I2V) 로의 패러다임 전환을 통해 애니메이션 스토리보드 생성의 질적 도약을 이루었습니다.

• 기술적 의의: 단순한 이미지 생성을 넘어, 시간적 연속성과 모션 역학을 이해하는 AI 애니메이션 제작 프로세스를 구축했습니다.
• 실용적 의의: 애니메이션 제작의 높은 비용과 반복적인 수정 작업을 줄이고, 디즈니 스타일의 고품질 스토리텔링을 자동화할 수 있는 가능성을 제시했습니다.
• 한계 및 향후 과제: 대규모 MLLM 과 I2V 백본에 의존하여 계산 비용과 지연 시간이 발생한다는 점을 지적하며, 향후 경량화 및 실시간 배포를 위한 효율적인 모델 개발을 계획하고 있습니다.

요약하자면, AnimeAgent는 AI 가 단순히 그림을 그리는 것을 넘어, 애니메이션 감독처럼 스토리를 이해하고, 캐릭터를 일관되게 유지하며, 역동적인 장면을 구성하는 진정한 '스토리텔링 아티스트'로 거듭날 수 있음을 입증한 획기적인 연구입니다.