Each language version is independently generated for its own context, not a direct translation.

🎭 감정이 살아있는 이야기: 'EmoStory'란 무엇일까요?

이 논문은 **"단순히 그림을 이어 붙이는 것이 아니라, 그림 속 캐릭터의 감정을 읽을 수 있는 이야기를 만들어내는 AI"**를 소개합니다. 기존 기술이 '무엇이 그려져 있는지'에만 집중했다면, 이 새로운 기술인 EmoStory는 '그 이야기가 어떤 기분을 주는가'에 주목합니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제점: "감정이 없는 로봇 작가"

기존의 AI 그림 생성 기술은 마치 감정이 없는 로봇 작가와 같습니다.

상황: "강아지 이야기를 그려줘"라고 하면, 로봇은 강아지가 해변을 걷거나 숲을 산책하는 그림을 그립니다.
한계: 하지만 이 그림들이 신나는지, 무서운지, 슬픈지는 전혀 고려하지 않습니다. 강아지가 해변을 걷는 그림이 '기쁨'을 주든 '외로움'을 주든, AI는 똑같은 강아지만 그릴 뿐입니다.

2. 해결책: EmoStory의 두 단계 과정

EmoStory는 이 문제를 해결하기 위해 **두 명의 전문가 (에이전트)**와 마법 같은 붓을 사용합니다.

1 단계: "감정 작가와 시나리오 작가" (기획 단계)

이 단계에서는 두 명의 AI 에이전트가 팀을 이뤄 이야기를 구상합니다.

🧠 감정 작가 (Emotion Agent):
- 역할: "기쁨", "공포", "슬픔" 같은 추상적인 감정을 구체적인 사물로 바꿔주는 사람입니다.
- 비유: 마치 "기쁨"을 말하면 "반짝이는 조명, 팝콘, 웃음소리"를 떠올리는 사람 같습니다.
- 작동: "강아지"와 "기쁨"을 입력받으면, AI 는 강아지가 "카툰 말 위에서 설탕 솜을 먹으며 놀고 있다"는 구체적인 장면을 떠올립니다. 반면, "공포"를 입력받으면 "어두운 숲, 박쥐, 해골" 같은 요소를 선택합니다.
✍️ 시나리오 작가 (Writer Agent):
- 역할: 감정 작가의 아이디어를 이어 붙여 자연스러운 이야기로 만듭니다.
- 비유: 영화 대본을 쓰는 사람처럼, "강아지가 설탕 솜을 먹다가 카툰 말에 탑승한다"는 식으로 장면들을 자연스럽게 연결합니다.

2 단계: "정교한 그림 그리기" (생성 단계)

이제 만들어진 이야기를 실제 그림으로 그려야 합니다. 여기서 가장 중요한 건 **"주인공 (강아지) 은 똑같이 유지하면서, 배경만 감정에 맞게 바꾸는 것"**입니다.

🎭 분리된 붓 (Region-aware Generation):
- 문제: 기존 기술은 강아지와 배경을 그릴 때 혼란이 생깁니다. 예를 들어, "강아지"와 "카툰 말"을 그릴 때 강아지가 말과 합쳐져서 '말강아지'가 되거나, 강아지의 얼굴이 뭉개질 수 있습니다.
- EmoStory의 해결책: AI 는 그림을 두 영역으로 나눕니다.
  1. 주인공 영역: 강아지는 절대 변하지 않게 고정합니다. (일관성 유지)
  2. 배경/감정 영역: 강아지 주변에만 '설탕 솜', '불꽃놀이' 같은 감정 요소를 채워 넣습니다.
- 비유: 마치 가면극을 하는 것과 같습니다. 배우 (강아지) 는 같은 사람이지만, 무대 배경과 조명, 소품만 상황에 따라 '신나는 파티'나 '무서운 미스터리'로 바뀝니다.

3. 왜 이것이 특별한가요? (결과)

이 기술은 단순히 그림을 잘 그리는 것을 넘어, 사람의 마음을 움직이는 이야기를 만들어냅니다.

기존 기술: "강아지"를 그렸을 때, 배경이 무조건 평범하거나 감정이 없었습니다.
EmoStory:
- 신나는 이야기: 강아지가 해변에서 서핑을 타며 웃습니다. (밝은 색, 파도, 햇살)
- 무서운 이야기: 같은 강아지가 어두운 숲에서 해골을 발견하며 떨립니다. (어두운 색, 박쥐, 안개)
- 중요한 점: 두 이야기 모두 똑같은 강아지가 등장하지만, 보는 사람의 기분은 완전히 다릅니다.

4. 요약: 한 문장으로 정리하면?

"EmoStory 는 같은 주인공 (강아지) 을 등장시키되, 배경과 소품을 감정에 맞춰 변신시켜, 보는 사람이 '신남', '공포', '슬픔'을 직접 느낄 수 있는 살아있는 그림 이야기를 만들어내는 AI 입니다."

이 기술은 앞으로 우리가 만나는 AI 그림들이 단순한 장난감이 아니라, 우리의 감정에 공감하고 이야기를 전달하는 예술적 도구가 될 수 있음을 보여줍니다.

Each language version is independently generated for its own context, not a direct translation.

논문 개요: EmoStory (감성 인식 스토리 생성)

이 논문은 기존 이미지 기반 스토리 생성 방법론이 주로 '주체 (Subject)'의 일관성에만 집중하여 감성적 표현이 부족하다는 문제를 지적하고, **감성 인식 스토리 생성 (Emotion-Aware Story Generation)**이라는 새로운 태스크를 제안합니다. EmoStory 는 특정 감성 (예: 흥분, 공포, 만족, 슬픔 등) 을 명시적으로 지시하여, 주체 일관성을 유지하면서도 감성적으로 풍부한 시각적 스토리 (이미지 시퀀스) 를 생성하는 프레임워크입니다.

1. 문제 정의 (Problem)

기존 방법의 한계: 최근 확산 모델 (Diffusion Models) 기반의 스토리 생성 기술은 프레임 간 일관성과 디테일을 개선했으나, 대부분 **감성 중립 (Emotion-Neutral)**적입니다. 즉, "무엇이 (What)" 등장하는지는 모델링하지만, "어떻게 (How)" 감성적으로 해석되거나 시각화되어야 하는지는 간과합니다.
감성의 추상성: 감성은 구체적인 시각적 요소 (예: "흥분"을 위한 햇살과 파도, "공포"를 위한 박쥐와 해골) 로 구체화되어야 하며, 텍스트 프롬프트만으로는 이러한 시각적 구성과 감성적 영향을 정밀하게 제어하기 어렵습니다.
주체와 감성 요소의 충돌: 스토리 내 감성 요소가 주체 (예: 개, 판다) 와 공간적으로 겹칠 경우, 기존 방법은 주체가 왜곡되거나 감성 요소가 제대로 표현되지 않는 문제가 발생합니다.

2. 제안 방법론 (Methodology)

EmoStory 는 2 단계 프레임워크로 구성되며, 추상적인 감성을 구체적인 시각적 서사로 변환하고 이를 일관되게 생성합니다.

1 단계: 에이전트 기반 스토리 기획 (Agent-based Story Planning)

감성 중립적인 텍스트를 감성적으로 풍부한 서사 프롬프트로 변환하는 과정입니다.

감성 에이전트 (Emotion Agent):
- 대규모 시각 감성 데이터셋인 EmoSet을 기반으로 8 가지 감성 (기쁨, 경이, 공포, 슬픔 등) 에 대한 **감성 요인 트리 (Emotion Factor Trees)**를 구축합니다.
- 주어진 감성과 주제 (Subject) 를 입력받아, 해당 감성을 가장 잘 표현하는 구체적인 시각적 요소 (예: "흥분" + "개" $\rightarrow$ "서핑 보드", "파도") 를 선택합니다.
- 주제, 감성 요소, 테마, 사건을 포함한 **스토리 스크립트 (Story Script)**를 생성합니다.
작가 에이전트 (Writer Agent):
- 생성된 스토리 스크립트를 바탕으로, 프레임 간 일관성을 유지하면서 감성적 표현력을 극대화하는 연속된 스토리 프롬프트 (Coherent Story Prompts) 시퀀스를 생성합니다.

2 단계: 영역 인식 스토리 생성 (Region-aware Story Generation)

생성된 프롬프트를 바탕으로 이미지를 생성하되, 주체의 일관성과 감성 요소의 명확성을 동시에 확보합니다.

영역 분리 (Region Disentanglement):
- 이미지를 **주체 영역 (Subject Region)**과 **비주체 영역 (Non-subject/Element Region)**으로 분리합니다.
- 크로스 어텐션 (Cross-attention) 맵을 이진 마스크로 변환하여 주체 위치를 정밀하게 파악합니다.
주체 정렬 모듈 (Subject Alignment):
- 주체 영역에서는 참조 이미지 (Reference Image) 와 스토리 이미지의 특징을 부드럽게 혼합하여 주체의 일관성을 유지합니다.
- 텍스트 프롬프트의 시맨틱 정보를 주체 영역에 주입하여 주체가 왜곡되지 않도록 합니다.
감성 구성 모듈 (Emotional Composition):
- 비주체 영역 마스크를 활용하여 감성 관련 요소 (배경, 소품 등) 가 주체 영역이 아닌 곳에 배치되도록 유도합니다.
- 이를 통해 주체가 감성 요소와 섞여 왜곡되는 것을 방지하고, 감성적 분위기를 명확하게 전달합니다.

3. 주요 기여 (Key Contributions)

새로운 태스크 정의: 명시적인 감성 지시를 포함하는 감성 인식 스토리 생성 태스크를 처음 제안했습니다.
EmoStory 프레임워크: 에이전트 기반의 기획 (감성 에이전트 + 작가 에이전트) 과 영역 인식 생성 (주체 정렬 + 감성 구성) 을 통합한 2 단계 아키텍처를 제안했습니다.
데이터셋 및 평가: 25 가지 주제와 8 가지 감성 방향을 커버하는 **600 개의 스토리 (각 4 장의 이미지)**로 구성된 새로운 평가 데이터셋을 구축했습니다.
성능 입증: 정량적, 정성적 실험 및 사용자 연구를 통해 기존 최첨단 방법론 (SOTA) 대비 감성 정확도, 프롬프트 정렬, 주체 일관성에서 우월한 성능을 보임을 증명했습니다.

4. 실험 결과 (Results)

데이터셋: 25 개 주제 (인간, 동물 등) $\times$ 8 개 감성 $\times$ 3 개 스토리 = 총 600 개 스토리 (각 4 프레임).
비교 대상: StoryDiffusion, ConsiStory, StoryGen, IP-Adapter 등 8 가지 SOTA 스토리 생성 방법.
평가 지표:
- 감성 정확도 (Emotion Accuracy): 생성된 스토리가 목표 감성과 일치하는 정도.
- 프롬프트 정렬 (Prompt Alignment): 이미지와 텍스트 프롬프트의 일치도.
- 주체 일관성 (Subject Consistency): 프레임 간 주체의 일관성.
성능:
- EmoStory 는 세 가지 지표 모두에서 기존 방법들을 압도적으로 능가했습니다.
- 특히 **감성 정확도 (70.17%)**와 주체 일관성 (71.70%) 간의 트레이드오프를 효과적으로 균형 잡았습니다.
- 사용자 연구: 38 명의 참가자를 대상으로 한 연구에서 EmoStory 는 감성 유발 (74.23%), 주체 일관성 (68.42%), 균형성 (83.80%) 에서 가장 높은 선호도를 받았습니다.
시각화: 영역 분리 (Region Disentanglement) 기법을 적용했을 때, 초기 단계에서도 주체 위치가 정확히 잡히고 배경 요소가 주체를 침범하지 않아 왜곡이 크게 감소함을 확인했습니다.

5. 의의 및 한계 (Significance & Limitations)

의의:
- 시각적 스토리텔링에 **감성적 차원 (Emotional Dimension)**을 성공적으로 도입하여, 단순한 이미지 나열을 넘어 관객의 감정을 자극하는 내러티브 생성을 가능하게 했습니다.
- 추상적인 감성 개념을 구체적인 시각적 요소로 매핑하고, 이를 공간적으로 제어하는 기술적 통찰을 제공했습니다.
한계 및 향후 과제:
- 현재는 8 가지 이산적 (Discrete) 인 감성 카테고리만 지원하며, 실제 인간의 복잡한 감성 스펙트럼을 모두 포괄하지는 못함.
- 특정 감성 (예: 분노) 에 대한 시각적 요소의 다양성이 부족함.
- 단일 주체 입력에 국한되어 있으며, 긴 프롬프트나 다중 주체 상호작용을 지원하지 않음.

결론적으로, EmoStory 는 생성형 AI 가 단순한 사실적 묘사를 넘어 감성적으로 풍부하고 일관된 스토리를 창작할 수 있는 새로운 방향성을 제시한 중요한 연구입니다.

EmoStory: Emotion-Aware Story Generation