StoryMovie: A Dataset for Semantic Alignment of Visual Stories with Movie Scripts and Subtitles

이 논문은 영화 대본과 자막을 정렬한 StoryMovie 데이터셋을 구축하고 이를 기반으로 Qwen Storyteller3 모델을 미세 조정하여 시각적 근거뿐만 아니라 캐릭터 대화와 관계의 의미론적 정합성을 크게 향상시켰음을 보여줍니다.

핵심

이 논문은 **"영화 스토리를 그림으로 만들 때, AI 가 자주 하는 실수를 어떻게 고칠까?"**에 대한 해답을 제시합니다.

한마디로 요약하면, **"그림만 보고 이야기를 지어내면 AI 는 캐릭터의 이름이나 대사를 엉뚱하게 만들어내는데, 실제 영화 대본 (스크립트) 과 자막을 연결해서 AI 에게 '진짜 이야기'를 가르쳤더니 훨씬 똑똑해졌다"**는 내용입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "눈은 좋지만 귀가 막힌 AI"

과거의 AI(비주얼 스토리텔링 모델) 는 그림을 보는 능력은 뛰어났습니다.

• 상황: 두 사람이 서로 마주 보고 있는 그림이 있습니다.
• AI 의 반응: "아, 두 사람이 서로를 바라보고 있군. 아마도 연인이겠지? '사랑해'라고 말하고 있겠지."

하지만 실제 영화에서는 그 두 사람이 형제일 수도 있고, 적대적인 관계일 수도 있습니다. AI 는 그림만 보고 "연인"이라고 추측해서 **할루시네이션 (망상)**을 일으켰습니다. 그림 속 인물의 표정이나 옷차림만으로는 그들이 누구인지, 무슨 대화를 나누는지 알 수 없기 때문입니다.

비유: 마치 눈만 가리고 귀를 막은 상태에서 두 사람이 대화하는 장면을 보고, "저 두 사람은 아마도 결혼식을 올리는 중이겠지?"라고 추측하는 것과 같습니다. 틀릴 확률이 매우 높죠.

2. 해결책: "영화 대본과 자막을 연결하는 '매칭' 기술"

저자들은 이 문제를 해결하기 위해 StoryMovie라는 새로운 데이터셋을 만들었습니다. 핵심 아이디어는 다음과 같습니다.

• 영화 대본 (스크립트): "누가, 언제, 무슨 말을 했는지"는 정확히 적혀 있지만, "그 장면이 영화의 몇 분 몇 초에 나오는지"는 모릅니다.
• 자막 (서브타이틀): "언제, 무슨 말이 들렸는지"는 정확히 적혀 있지만, "누가 말했는지"는 모릅니다.

저자들은 이 두 가지를 **LCS(가장 긴 공통 부분 수열)**라는 알고리즘으로 맞춰서, **"대본의 '존'이 자막의 '00:15:30'에 한 말"**이라고 정확히 연결했습니다.

비유: 마치 **대본 작가 (대본)**와 **녹음실 기술자 (자막)**가 만나서, "자, 이 대본의 3 페이지 2 줄은 15 분 30 초에 녹음된 거야. 그리고 그걸 말한 사람은 존이야!"라고 시간표와 대본을 완벽하게 동기화시킨 것입니다. 이제 AI 는 그림을 볼 때, "아, 이 장면은 존이 '안녕'이라고 말한 15 분 30 초 구분이구나"라고 정확히 알 수 있게 된 것입니다.

3. 결과: "Qwen Storyteller3"의 등장

이렇게 정교하게 연결된 데이터를 바탕으로 Qwen Storyteller3라는 새로운 AI 모델을 훈련시켰습니다.

• 이전 모델: 그림만 보고 "아, 저 사람은 존이야. '안녕'이라고 말했어."라고 임의로 지어냈습니다.
• 새로운 모델 (Storyteller3): 그림을 보면서도 "이건 존이 '안녕'이라고 말한 장면이야. 그리고 표정이 화난 건 대본에 '(화난 목소리로)'라고 적혀 있었어."라고 진실에 기반해 이야기를 지어냅니다.

4. 성능 평가: "얼마나 잘했을까?"

연구진은 DeepSeek V3 라는 다른 AI 를 심판으로 세우고 두 모델을 비교했습니다.

• 대사 배정 (누가 무슨 말을 했나?):
  • 기존 모델: 3.5% 만 맞췄습니다.
  • 새로운 모델: 89.9% 를 맞췄습니다! (약 90% 정확도)
• 관계 파악 (누가 누구와 어떤 관계인가?):
  • 기존 모델은 형제를 연인으로 오해하는 경우가 많았지만, 새로운 모델은 대본을 참고해서 정확한 관계를 파악했습니다.

비유: 기존 모델이 눈가리개 한 채로 두 사람의 관계를 추측하다가 10 번 중 9 번을 틀렸다면, 새로운 모델은 눈가리개를 벗고 대본을 확인한 뒤 10 번 중 9 번을 맞춘 것입니다.

5. 결론 및 한계

이 연구는 **"그림만 보는 것만으로는 부족하고, 실제 이야기 (대본) 를 함께 봐야 AI 가 더 똑똑해진다"**는 것을 증명했습니다.

• 장점: 캐릭터의 이름, 대사, 감정, 관계를 훨씬 자연스럽게 만들어냅니다.
• 한계: 아직은 영화라는 특정 장르의 데이터만 사용했습니다. 가족 사진이나 일상적인 SNS 사진처럼 대본이 없는 상황에서는 아직 완벽하지 않을 수 있습니다. 또한, 영어 영화에 국한되어 있어 다른 언어나 문화에는 적용이 필요합니다.

한 줄 요약:

"AI 에게 그림만 보여주고 이야기를 지으라고 하면 엉뚱한 소리를 하지만, 실제 영화 대본과 자막을 연결해서 '진짜 이야기'를 가르쳐주니, 이제 AI 는 영화 속 등장인물의 이름과 대사를 정확히 맞춰서 멋진 이야기를 만들어냅니다."

기술 요약

논문 요약: StoryMovie (시각적 스토리텔링을 위한 영화 대본 및 자막과의 의미 정렬 데이터셋)

1. 문제 정의 (Problem)

기존의 시각적 스토리텔링 (Visual Storytelling) 모델들은 이미지 시퀀스에서 이야기를 생성할 때, 객체 인식 (Visual Grounding) 은 정확하게 수행하더라도 의미론적 할루시네이션 (Semantic Hallucination) 에 시달리는 문제가 있습니다.

• 구체적 문제: 모델은 이미지 속 인물과 사물을 정확히 식별하더라도, 실제 영화 대본과 무관하게 잘못된 대화 배정 (Dialogue Attribution), 인물 간의 관계 왜곡 (예: 가족을 연인으로 묘사), 또는 감정 상태의 오류를 발생시킵니다.
• 기존 접근법의 한계: 이전 연구들 (GroundCap, StoryReasoning 등) 은 시각적 엔티티의 추적 (Re-identification) 과 시각적 근거 (Grounding) 에 집중하여 참조 오류를 줄였으나, 시각 정보만으로는 인물의 실제 관계, 대본에 기반한 대화, 그리고 정서적 뉘앙스를 파악할 수 없어 이러한 의미론적 오류를 완전히 해결하지 못했습니다.

2. 방법론 (Methodology)

이 논문은 StoryMovie 데이터셋과 이를 활용한 Qwen Storyteller3 모델을 제안하며, 다음과 같은 단계적 프로세스를 따릅니다.

• StoryMovie 데이터셋 구축:

  • 구성: 1,757 개의 스토리로 구성되며, 각 스토리는 영화 시퀀스, 실제 영화 대본 (Screenplay), 자막 (Subtitles) 이 정렬되어 있습니다.
  • 정렬 파이프라인 (Alignment Pipeline):
    1. LCS 매칭: 가장 긴 공통 부분 수열 (Longest Common Subsequence, LCS) 알고리즘을 사용하여 대본의 대화 내용과 자막 텍스트를 매칭합니다.
    2. 시간 동기화: 자막의 타임스탬프를 대본의 대화 블록에 할당하여, 누가 언제 무엇을 말했는지에 대한 정확한 시간적 정렬을 수행합니다.
    3. 데이터 생성: 시각적 grounding 태그 (XML 태그) 를 유지하면서, 대본의 실제 캐릭터 이름, 대화, 감정 지시어 (예: "(분노하며)"), 액션 라인을 통합하여 스토리를 생성합니다.

• 모델 학습 (Qwen Storyteller3):

  • 점진적 학습 전략:
    1. Qwen Storyteller: 기본 시각적 grounding 및 CoT(Chain-of-Thought) 추론 학습.
    2. Qwen Storyteller2: 대비 강화 학습 (Contrastive RL) 을 통한 엔티티 재식별 (Re-identification) 개선.
    3. Qwen Storyteller3 (본 논문): StoryMovie 데이터셋을 이용한 의미론적 정렬 (Semantic Alignment) 학습.
  • 학습 방식: Qwen3-VL-235B-A22B(MoE) 를 기반으로 Supervised Fine-Tuning (SFT) 을 수행하며, LoRA(Rank 32) 를 적용하여 효율성을 높였습니다.
  • 목표: 모델이 시각적 단서뿐만 아니라 대본의 맥락을 참조하여 실제 캐릭터 이름, 정확한 대화 배정, 그리고 대본에 명시된 감정 및 관계를 반영한 이야기를 생성하도록 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. StoryMovie 데이터셋: 시각적 스토리텔링을 위한 Ground-truth 의미적 맥락 (대본 및 자막 정렬) 을 제공하는 1,757 개의 대규모 데이터셋 공개.
2. 대본 - 자막 정렬 파이프라인: LCS 기반 토큰 매칭을 통해 대본의 대화와 자막의 타임스탬프를 동기화하여 대화 배정 (Dialogue Attribution) 을 가능하게 하는 기술적 프레임워크 제시.
3. Qwen Storyteller3 모델: 시각적 grounding 과 의미론적 정렬을 결합하여, 할루시네이션을 줄이고 실제 영화의 내러티브에 부합하는 고품질 스토리를 생성하는 모델 개발.

4. 평가 결과 (Evaluation Results)

DeepSeek V3 를 판정자 (Judge) 로 사용한 쌍대 비교 (Pairwise Preference Evaluation) 및 질문 - 답변 (Q&A) 평가를 통해 검증되었습니다.

• 기저 모델 (Qwen2.5-VL 7B) 대비 성능:
  • 자막 정렬 (대화 배정 정확도): 89.9% 의 승리율 (Win Rate) 달성 (기저 모델은 3.5%).
  • 시놉시스 정렬 (내러티브 일치도): 87.6% 의 승리율 달성.
• 이전 모델 (Qwen Storyteller, 대본 정렬 없음) 대비 성능:
  • 자막 정렬: 48.5% vs 38.0% (10.5%p 향상). 이는 시각적 grounding 만으로는 해결되지 않던 대화 배정 오류가 개선되었음을 의미합니다.
  • 시놉시스 정렬: 42.7% vs 28.5%.
• 사실성 평가 (Factuality via Q&A):
  • 생성된 스토리가 대본 기반 질문 (감정, 행동, 관계) 에 얼마나 정확하게 답하는지 측정.
  • 전체 정확도: 제안 모델 93.9% vs 베이스라인 63.2% (30.7%p 향상).
  • 특히 인물 관계 (Relationship) 항목에서 94.7% vs 55.3% 로 큰 격차를 보이며, 시각 정보만으로는 파악하기 어려운 관계 추론 능력이 크게 향상됨을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 할루시네이션 해결의 새로운 패러다임: 시각적 grounding 만으로는 해결할 수 없는 '의미론적 할루시네이션'을 해결하기 위해, 외부의 신뢰할 수 있는 텍스트 소스 (대본) 를 시각 모델에 통합하는 접근법의 유효성을 입증했습니다.
• 다중 모달 정렬의 중요성: 시각적 외형 (Appearance) 과 텍스트적 맥락 (Context) 을 동시에 정렬함으로써, 모델이 대본 작가가 의도한 캐릭터성, 감정 톤, 플롯 진행을 학습할 수 있게 되었습니다.
• 향후 전망: 이 연구는 영화 콘텐츠에 국한되어 있으나, 개인 사진이나 소셜 미디어 등 다양한 시각 소스로 확장하고 다국어 지원을 추가하는 방향으로 발전할 잠재력을 가지고 있습니다.

결론적으로, StoryMovie와 Qwen Storyteller3는 시각적 스토리텔링 분야에서 단순한 이미지 설명을 넘어, 실제 내러티브에 기반한 정확하고 일관된 이야기 생성을 가능하게 하는 중요한 이정표가 됩니다.