Cross-Modal Alignment for Emotion-Consistent Text-to-Image Generation (ChinaMM 2026)

디지털 시대에 우리는 컴퓨터에게 말로 그림을 그려달라고 요청하는 것에 익숙해졌습니다. "공원에서 놀고 있는 골든 리트리버"라고 입력하면, 기계는 몇 초 만에 설득력 있는 이미지를 만들어낼 수 있습니다. 하지만 이러한 시스템은 속도와 시각적 충실함에도 불구하고, 요청의 가장 인간적인 요소인 '감정'을 놓치는 경우가 많습니다. "외로운 생일 파티"라는 프롬프트는 풍선이 가득하고 밝은 색상의 방을 생성할 수 있지만, 이는 기술적으로는 정확할지언정 정서적으로는 공허합니다. 기계는 사물은 보지만 그 이면에 숨겨진 슬픔은 보지 못하기 때문입니다. 우리가 말하는 것과 기계가 느끼는 것 사이의 이 간극은 현재 연구자들이 메우고자 노력하고 있는 핵심 과제입니다. 목표는 단순히 제대로 된 이미지를 만드는 것이 아니라, 기쁨, 공포, 슬픔 등 텍스트의 구체적인 정서적 의도와 공명하는 비주얼을 만드는 것입니다.

중국 통신대학교의 한 연구팀은 이 격차를 메우기 위한 새로운 방법을 제안했습니다. 그들은 자신들의 접근 방식을 '텍스트-이미지 감정 일관성 생성(Text-to-Image Emotion Consistent Generation)' 프레임워크라 부르며, 이는 기계가 추상적인 감정을 구체적인 시각적 세부 사항으로 번역하는 법을 가르치기 위해 설계된 2단계 프로세스입니다. 이 시스템은 미리 프로그래밍된 라벨이나 외부 가이드에 의존하는 대신, 문장의 정서적 핵심을 먼저 이해한 다음 그 이해를 바탕으로 이미지 생성을 유도하려고 시도합니다. 연구자들은 기존 방식들이 감정을 이미지 생성 과정의 일부로 엮어내는 것이 아니라, 단순히 사후적인 태그나 별개의 요소로 취급하기 때문에 실패한다고 주장합니다.

이 과정은 연구자들이 '감정-지능 공명 생성(Emotion-Intelligence Resonance Generation)'이라고 부르는 단계로 시작됩니다. 인간 예술가가 "계단 위의 행복한 강아지"와 같은 프롬프트를 읽는 모습을 상상해 보십시오. 붓을 들기 전, 예술가는 행복이 어떤 모습인지 생각할 것입니다. 따뜻한 햇살, 밝은 색상, 혹은 장난스러운 자세 같은 것들 말입니다. 컴퓨터도 이와 유사한 작업을 수행합니다. 먼저, 텍text를 분석하여 기쁨이나 분노와 같은 지배적인 감정을 식별합니다. 일단 감정이 식별되면, 시스템은 특화된 시각적 단서 라이브러리를 참조합니다. 예를 들어 기쁨에는 '따뜻한 햇살', 공포에는 '어두운 그림자'와 같은 연상 작용을 활용합니다. 그런 다음 원래의 프롬프트를 재작성하여 이러한 구체적인 시각적 세부 사항을 풍부하게 입힙니다. 따라서 행복한 강아지에 대한 단순한 요청은 따뜻한 햇살 아래 서 있고 근처에 알록달록한 풍선이 있는 강아지에 대한 더 상세한 지시문이 됩니다. 이렇게 풍부해진 설명이 이미지 생성기에 입력되면, 원래의 텍스트만으로는 제공할 수 없는 더 강한 정서적 톤을 담은 그림이 만들어집니다.

하지만 연구자들은 더 나은 설명이 있더라도 생성 과정 중에 최종 이미지가 정서적 타격감을 잃는 경우가 있다는 것을 발견했습니다. 이를 해결하기 위해 그들은 '감정 유도 교차 모달 강화(Emotion-Guided Cross-Modal Enhancement)'라고 불리는 두 번째 단계를 추가했습니다. 이 단계는 마치 마지막 광택을 내는 작업처럼, 기계가 방금 만든 이미지를 보고 "이것이 정말 우리가 의도한 감정을 전달하는가?"라고 자문합니다. 만약 목표가 공포였다면, 시스템은 주요 피사체를 바꾸지 않으면서도 불안감을 심화시키기 위해 조명을 미세하게 조정하거나 그림자에 특정 질감을 더할 수 있습니다. 이러한 정교화 작업은 이미지의 시각적 특징에 정서적 의미를 직접 주입함으로써 이루어지며, 최종 결과물이 사용자가 묘사한 느낌과 일치하도록 보장합니다.

이 2단계 방식이 실제로 효과가 있는지 테스트하기 위해, 연구팀은 기쁨, 놀람, 분노, 혐오, 공포, 슬픔의 여섯 가지 기본 감정을 고르게 다루도록 정교하게 균형을 맞춘 3,000개의 텍스트 프롬프트 데이터셋을 구축했습니다. 그들은 표준적인 강력한 생성 모델들과 정서적 편집을 위해 설계된 다른 도구들을 포함한 여러 기존 모델들과 자신들의 시스템을 비교했습니다. 결과는 명확한 개선을 보여주었습니다. 생성된 이미지가 의도한 감정과 일치하는지를 판단하도록 요청했을 때, 이들의 방식은 광범위한 긍정 또는 부정적 감정에 대해 88.43%, 여섯 가지 구체적인 감정을 구별하는 데 있어 69.23%의 정확도를 달enc성했습니다. 이 수치들은 몇 퍼센트 포인트 뒤처진 기존의 최고 성능 모델들보다 높았습니다.

연구진은 또한 사람들이 이미지에 어떻게 반응하는지 알아보기 위해 자원봉사자들을 대상으로 연구를 진행했습니다. 참가자들에게 원래의 텍스트 프롬프트와 함께 다양한 시스템에서 생성된 네 개의 서로 다른 이미지를 보여주고, 어떤 것이 감정을 가장 잘 포착했는지 선택하게 했습니다. 새로운 프레임워크가 27.04%의 표를 얻으며 전문적인 정서 편집 도구들을 제치고 가장 많이 선택되었습니다. 중요한 점은, 이 시스템이 원래 프롬프트의 의미를 왜곡하지 않으면서 이 성과를 거두었다는 것입니다. 기존의 방식 중 일부는 이미지를 매우 감정적으로 만들면서 장면 자체를 완전히 바꿔버려, 슬픈 공원을 완전히 다른 장소로 변하게 만들기도 했지만, 새로운 방식은 장면의 인지 가능성을 유지하면서 분위기만을 변화시켰습니다.

물 아직 한계는 존재합니다. 연구자들은 '놀람'의 감정이 모든 방법, 심지어 자신들의 방식에서도 정확하게 포착하기 특히 어렵다는 점을 언급했습니다. 이는 놀람이 공포 및 기쁨과 시각적 특성을 공유하기 때문에 구별하기 어렵기 때문일 가능성이 큽니다. 또한, 시스템은 현재 안정성을 확보하기 위해 약간 오래된 기존의 이미지 생성 백본에 의직하고 있어, 최신 모델들에 비해 아직 최고의 이미지 품질을 생산하지 못할 수도 있습니다. 그러나 핵심적인 결론은 변하지 않습니다. 감정을 먼저 이해한 다음 시각적 세부 사항을 정교화하는 방식으로 작업을 분리함으로써, 컴퓨터는 인간의 경험에 더 진실되게 느껴지는 이미지를 생성할 수 있습니다. 이 연구는 기계가 우리의 창의적인 요청을 진정으로 이해하기 위해서는, 우리가 무엇을 묘사하고 있는가뿐만 아니라 그것에 대해 어떻게 느끼고 있는가까지 배워야 한다는 점을 시사합니다.