EmoCtrl: Controllable Emotional Image Content Generation

이 논문은 기존 텍스트-이미지 생성 모델의 감정 표현 부족과 감정 중심 모델의 콘텐츠 왜곡 문제를 해결하기 위해, 콘텐츠와 감정을 동시에 제어할 수 있는 'EmoCtrl'과 이를 위한 데이터셋 및 최적화 기법을 제안하고 인간 선호도와 창의적 응용 측면에서 우수한 성능을 입증합니다.

핵심

이 논문은 **"감정을 조절할 수 있는 그림을 그리는 새로운 AI"**를 소개합니다. 이 AI 의 이름은 **'EmoCtrl(이모컨트롤)'**입니다.

기존의 그림 그리기 AI 들은 "강아지"라고 하면 강아지를 그리지만, 그 강아지가 "기분 좋은지", "슬픈지"는 잘 조절하지 못했습니다. 반대로 감정을 표현하는 AI 는 강아지를 그리라고 해도 강아지 모양이 망가져서 이상한 괴물이 나오곤 했죠.

EmoCtrl 은 이 두 가지 문제를 동시에 해결합니다. "내가 원하는 내용 (예: 강아지)"을 지키면서, "내가 원하는 감정 (예: 기쁨)"을 완벽하게 담아내는 그림을 그려줍니다.

이 기술이 어떻게 작동하는지, 일상적인 비유로 설명해 드릴게요.

---

1. 문제 상황: 두 가지의 실패한 시도

지금까지의 AI 들은 마치 서로 다른 성격을 가진 두 명의 화가처럼 행동했습니다.

• 화가 A (기존 텍스트-to-이미지 AI): "강아지"라고 하면 아주 정확하게 강아지를 그립니다. 하지만 그 강아지는 표정이 없거나, 그림이 너무 평범해서 감정이 느껴지지 않습니다. 마치 감정이 없는 로봇 같습니다.
• 화가 B (감정 중심 AI): "기쁨"을 표현하라고 하면 화려한 색감과 웃는 표정을 넣습니다. 하지만 "강아지"라고 했을 때 강아지 대신 웃는 고양이나 기괴한 괴물이 나올 수도 있습니다. 내용을 망가뜨리고 감정만 극단적으로 표현하는 미친 예술가 같습니다.

2. EmoCtrl 의 해결책: 완벽한 조연과 지휘자

EmoCtrl 은 이 두 화가를 합쳐서 하나의 완벽한 팀으로 만들었습니다. 이 팀은 그림을 그릴 때 세 가지 중요한 도구를 사용합니다.

① '감정 토큰'이라는 마법 지팡이 (학습 가능한 토큰)

EmoCtrl 은 8 가지 기본 감정 (기쁨, 슬픔, 분노, 두려움 등) 을 나타내는 특별한 마법 지팡이를 8 개 가지고 있습니다.

• "기쁨" 지팡이를 들면 AI 는 밝은 색과 활기찬 분위기를 자동으로 떠올립니다.
• "슬픔" 지팡이를 들면 회색빛과 차분한 분위기를 떠올립니다.
  이 지팡이들은 그림의 내용 (강아지) 을 해치지 않으면서, 그림 전체에 감정의 색감을 입혀줍니다.

② 두 가지 언어로 대화하는 번역가 (텍스트 및 시각 향상)

EmoCtrl 은 그림을 그릴 때 두 가지 언어를 동시에 사용합니다.

• 텍스트 번역가 (문장 다듬기): "강아지"라는 말만으로는 감정이 부족합니다. AI 는 "기쁨" 지팡이를 이용해 문장을 자연스럽게 바꿉니다.

  • 원문: "강아지가 바닥에 있다."
  • EmoCtrl 의 변형: "기쁜 표정의 강아지가 바닥에서 장난감을 물고 뛰어논다."
  • 비유: 마치 시나리오 작가가 대본을 더 생동감 있게 고쳐주는 역할입니다.

• 시각 번역가 (색감과 분위기 입히기): 문장만 바꾸는 게 아니라, 그림 그리는 과정 자체에 감정을 주입합니다.

  • 비유: 마치 조명 디자이너나 색채 전문가가 무대 위에 "기쁨"이라는 조명을 비추거나 "슬픔"이라는 회색 안개를 끼우는 것과 같습니다.

③ 엄격한 심사위원 (사람의 취향에 맞춰 다듬기)

그림이 완성되면, EmoCtrl 은 엄격한 심사위원을 불러옵니다.

• "이 그림이 정말 '기쁨'을 느끼게 하나요?"
• "강아지 모양이 망가진 건 아닌가요?"
  심사위원의 피드백을 받아 AI 는 그림을 다시 다듬습니다. 이 과정을 통해 AI 는 사람들이 실제로 좋아할 만한 그림을 더 잘 그리게 됩니다.

---

3. 실제 결과: 어떤 그림이 나올까요?

이 기술로 만든 그림들은 다음과 같습니다.

• "바다 + 기쁨": 햇살이 반짝이고, 파도가 춤추는 듯한 밝고 따뜻한 바다.
• "바다 + 슬픔": 비가 내리고, 회색빛 구름이 낀 차분하고 쓸쓸한 바다.
• "강아지 + 공포": 어두운 밤, 그림자에 가려진 불안한 강아지의 실루엣.

핵심은? 바다나 강아지라는 주체는 그대로인데, 분위기와 감정만 완벽하게 바뀐다는 점입니다.

4. 왜 이 기술이 중요할까요?

• 예술가들에게: 감정을 표현하는 데 시간을 덜 들이고, 원하는 분위기를 쉽게 만들 수 있습니다.
• 일상에서: "오늘은 기분이 좋으니, 내 프로필 사진에 기쁨이 느껴지는 강아지 그림을 만들어줘"라고 요청하면, AI 가 바로 그걸 만들어줍니다.
• 창의성: 같은 '도시'라는 주제에 '기쁨'을 입히면 화려한 네온사인의 도시가 되고, '슬픔'을 입히면 안개 낀 고요한 도시가 되어 다양한 예술 작품을 만들 수 있습니다.

요약

EmoCtrl 은 **"내용은 정확히 지키면서, 감정은 마음대로 조절할 수 있는 마법의 붓"**입니다. 앞으로 우리가 AI 로 그리는 그림은 단순히 '무엇이 그려진 그림'을 넘어, **'어떤 감정을 전달하는 그림'**이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 텍스트-이미지 생성 모델 (Text-to-Image, T2I) 은 사용자가 입력한 텍스트의 **시맨틱 내용 (Content)**을 정확하게 반영하는 데는 탁월하지만, 이미지가 전달하는 **감정적 톤 (Emotional Tone)**을 제어하는 데는 한계가 있습니다.

• 기존 모델의 한계:
  • Stable Diffusion 등 T2I 모델: 내용은 잘 유지하지만 감정 표현력이 부족하여 무감정하거나 의도한 감정이 반영되지 않은 결과가 나옵니다.
  • 감정 기반 생성 모델 (EmoGen 등): 감정을 잘 표현하지만, 그 과정에서 원래 의도한 콘텐츠 (사물, 장면) 가 왜곡되거나 사라지는 문제가 발생합니다.
  • LLM 과의 결합: 대형 언어 모델 (LLM) 이 감정을 설명할 수는 있으나, 이를 구체적인 시각적 단서 (색채, 분위기, 구도) 로 변환하여 콘텐츠와 조화롭게 이미지를 생성하는 능력은 부족합니다.
• 제안된 과제 (C-EICG): 본 논문은 **제시된 콘텐츠 (Content)**를 충실히 유지하면서도 **목표 감정 (Target Emotion)**을 명확하게 표현하는 "제어 가능한 감정적 이미지 콘텐츠 생성 (Controllable Emotional Image Content Generation, C-EICG)"이라는 새로운 태스크를 정의합니다.

2. 방법론 (Methodology)

저자들은 EmoCtrl이라는 프레임워크를 제안하며, 이는 크게 세 가지 핵심 요소로 구성됩니다.

가. 데이터 구축 (Data Construction)

기존 감정 데이터셋 (EmoSet, EmoEditSet) 은 감정 레이블만 존재하여 콘텐츠 제어에 부적합했습니다. 이를 해결하기 위해 새로운 데이터셋 **EmoSet+**와 **EmoEditSet+**를 구축했습니다.

• 과업: 기존 이미지에 멀티모달 LLM(MLLM) 과 LLM 을 활용하여 상세한 캡션과 시각적 개념 (Concept) 을 추출하고, 이를 감정 레이블과 연결했습니다.
• 구조: {감정, 콘텐츠 (개념 또는 문장), 감정적 프롬프트 (Affective Prompt), 이미지}의 4 중항 (Quadruplet) 형태로 구성하여, 추상적인 감정을 구체적인 시각적 단서로 연결하는 학습 데이터를 확보했습니다.

나. EmoCtrl 프레임워크 (Two-Stage Enhancement)

감정 표현을 강화하기 위해 **텍스트적 (Textual)**과 시각적 (Visual) 두 가지 보완적 모듈을 도입했습니다.

1. 텍스트적 감정 강화 (Textual Emotion Enhancement):
   • 각 감정 카테고리 (예: 즐거움, 슬픔 등 8 가지) 에 대해 학습 가능한 **감정 토큰 (Emotion Tokens)**을 정의합니다.
   • LLM 을 미세 조정 (LoRA) 하여, 입력된 콘텐츠와 감정 토큰을 결합하고 이를 **감정 인식 프롬프트 (Emotion-aware Prompt)**로 변환합니다. 이를 통해 추상적인 감정을 구체적인 시각적 묘사 (예: "밝은 색", "활기찬 분위기") 로 확장합니다.
2. 시각적 감정 강화 (Visual Emotion Enhancement):
   • 확산 모델 (Diffusion Model) 내부에 동일한 감정 토큰을 시각적 감정 토큰으로 투영하여 주입합니다.
   • 크로스 어텐션 (Cross-attention) 메커니즘을 통해 생성 과정에서 색상, 밝기, 스타일 등 **지각적 단서 (Perceptual Cues)**를 강화하여 감정의 충실도를 높입니다.

다. 감정 주도 선호도 최적화 (Emotion-driven Preference Optimization, EDPO)

생성된 이미지가 인간의 선호도와 감정 목표에 부합하도록 강화 학습 (RL) 기법을 적용했습니다.

• 보상 함수 설계:
  • PickScore: 일반적인 인간 선호도 및 텍스트 - 이미지 정합성.
  • 감정 보상 (Emotion Reward): 목표 감정의 분류 확률.
  • 극성 보상 (Polarity Reward): 긍정/부정 감정의 일관성을 유지하도록 설계.
• 최적화 알고리즘: 그룹 상대 정책 최적화 (GRPO, Group-Relative Policy Optimization) 를 사용하여 그룹 내 샘플 간 상대적 우위를 통해 모델을 미세 조정합니다.

3. 주요 기여 (Key Contributions)

1. C-EICG 태스크 정의 및 데이터셋 구축: 콘텐츠와 감정을 동시에 제어하는 새로운 태스크를 정의하고, 이를 위한 대규모 학습 데이터셋 (EmoSet+, EmoEditSet+) 을 구축했습니다.
2. EmoCtrl 프레임워크 제안: 텍스트와 시각 영역에서 감정을 동시에 강화하는 모듈과, 인간의 선호도에 맞춰 감정을 정교화하는 EDPO 를 통합한 아키텍처를 개발했습니다.
3. 성능 입증: 기존 SOTA 방법론들 (Stable Diffusion, EmoGen, LLM 기반 모델 등) 보다 콘텐츠 충실도와 감정 표현력 모두에서 우수한 성능을 보였으며, 이를 사용자 연구와 정량적 평가를 통해 검증했습니다.

4. 실험 결과 (Results)

• 정량적 평가 (Quantitative):
  • Emo-A (감정 정확도): 64.64% 로 기존 최상위 모델 (EmoGen 45.23%) 을 크게 상회했습니다.
  • EC-A (감정 - 콘텐츠 공동 정확도): 50.99% 로 2 위 모델 (24.86%) 보다 압도적으로 높았습니다. 이는 콘텐츠 왜곡 없이 감정을 잘 표현함을 의미합니다.
  • Sem-C (시맨틱 명확성): 0.673 으로 가장 높은 수치를 기록하여, 감정을 표현하더라도 이미지의 의미가 명확함을 입증했습니다.
• 정성적 평가 및 사용자 연구 (Qualitative & User Study):
  • 48 명의 참가자를 대상으로 한 사용자 연구에서 EmoCtrl 은 감정 유발 (88.75%), 콘텐츠 충실도 (86.77%), 균형 (87.76%) 모든 항목에서 압도적인 선호도를 받았습니다.
  • 기존 모델들은 감정을 표현할 때 콘텐츠가 왜곡되거나, 콘텐츠를 유지할 때 감정이 부재한 반면, EmoCtrl 은 두 가지 요구사항을 모두 충족했습니다.
• 응용 가능성: 스타일 제어 (예술적 스타일 + 감정) 및 다중 감정 제어 (상반된 감정의 혼합 등) 와 같은 창의적인 작업에서도 강력한 적응력을 보였습니다.

5. 의의 및 결론 (Significance)

• 이론적 의의: 이미지 생성 분야에서 '콘텐츠'와 '감정'을 독립적이면서도 조화롭게 제어할 수 있는 새로운 패러다임을 제시했습니다. 특히 추상적인 감정 개념을 구체적인 시각적 단서로 변환하는 메커니즘을 학습 가능한 토큰과 프롬프트 엔지니어링을 통해 구현했습니다.
• 실용적 가치: 예술 창작, 인간 - 컴퓨터 상호작용 (HCI), 마케팅 등 감정이 중요한 다양한 분야에서 의도한 분위기 (예: 공포, 희망, 즐거움) 를 유지하면서 특정 대상을 묘사하는 이미지 생성이 가능해졌습니다.
• 한계점 및 향후 과제: 현재 텍스트 입력에만 의존하며, 실제 이미지 입력을 통한 감정 제어는 지원하지 않습니다. 또한 학습 데이터의 편향성을 줄이고 고해상도 고품질 감정 데이터셋으로 확장할 필요가 있습니다.

요약하자면, EmoCtrl 은 콘텐츠의 의미와 감정의 톤을 동시에 정밀하게 제어할 수 있는 최초의 강력한 프레임워크로, 텍스트-이미지 생성 기술의 한계를 감정 표현의 측면에서 획기적으로 확장했습니다.