💬 NLP

Large Emotional World Model

이 논문은 인간의 감정을 핵심 상태 변수로 통합하여 미래의 감정 및 물리적 상태를 예측하는 새로운 프레임워크인 Large Emotional World Model(LEWM)을 소개하며, 이를 통해 세계 상태 예측, 감정 이해 및 일반 추론 작업에서 상당한 성능 향상을 입증한다.

원저자: Changhao Song, Yazhou Zhang, Hui Gao, Chang Yang, Peng Zhang

게시일 2026-07-30

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Changhao Song, Yazhou Zhang, Hui Gao, Chang Yang, Peng Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 운전하는 법을 가르치려 한다고 상상해 보세요. 만약 당신이 로봇에게 물리 법칙만을 보여준다면, 로봇은 벽돌 벽에 부딪히면 차가 멈춘다는 사실을 배울 것입니다. 그것이 '물리적 세계'입니다. 하지만 로봇이 사람들로 가득한 도시에서 운전하게 하고 싶다면, 물리 법칙만으로는 충분하지 않습니다. 만약 어떤 운전자가 끼어든다면, 다른 운전자가 화를 내거나, 브레이크를 세게 밟거나, 혹은 소리를 지를 수도 있다는 것을 이해해야 합니다. 만약 로봇이 그 '감정'을 예측하지 못한다면, 다음에 어떤 일이 일어날지도 예측할 수 없습니다. 이것이 '월드 모델(World Models)'이라 불리는 분야의 핵심적인 질문입니다. 과학자들은 단순히 지금 일어나고 있는 일을 보는 것이 아니라, 미래가 어떻게 펼쳐질지를 시뮬레이션할 수 있는 디지털 두뇌를 만들기 위해 노력하고 있습니다. 오랫동안 이 디지털 두뇌들은 물리 엔진과 같았습니다. 블록이나 공을 움직이는 데는 뛰어나지만, 인간이 왜 그렇게 행동하는지는 이해하는 데 매우 서툴렀습니다. 그들은 비밀 재료인 '감정'을 놓치고 있었습니다.

이 논문은 **대규모 감정 월드 모델(Large Emotional World Model, LEWM)**이라는 새로운 종류의 디지털 두뇌를 소개합니다. 톈진 대학교의 창하오 송(Changhao Song)과 그의 연구팀은 인간의 세상에서 미래를 예측하려면, 먼저 감정을 예측해야 한다는 점을 깨달았습니다. 그들은 EWH(Emotion-Why-How)라는 거대한 새로운 데이터셋을 구축했는데, 이는 10,850개의 짧은 영상 이야기들로 이루어진 도서관과 같습니다. 각 이야기는 한 사람과, 그 사람이 이전에 느꼈던 감정, 그가 한 행동, 그의 감정이 어떻게 변했는지, 그리고 그 후에 어떤 일이 일어났는지를 보여줍니다. 이것은 마치 캐릭터가 행복한지, 화가 났는지, 혹은 슬픈지에 따라 줄거리가 완전히 달라지는 '당신의 선택은?' 책과 같습니다.

이 도서관을 사용하여, LEWM은 마치 미스터리를 해결하는 탐정처럼 두 단계로 생각하도록 훈련되었습니다. 첫째, 모델은 "방금 일어난 일을 바탕으로, 이 사람이 다음에 어떻게 느낄 것인가?"라고 묻습니다. 즉, 감정을 예측합니다. 둘째, 모델은 "이제 그들이 어떻게 느끼는지 알았으니, 다음에 무엇을 할 것인가?"라고 묻습니다. 감정을 중간 단계에 둠으로써, 모델은 똑같은 교통사고라 할지라도 운전자가 행복하다면 차분한 대화로 이어질 수 있고, 화가 나 있다면 고함이 오가는 상황으로 이어질 수 있음을 볼 수 있습니다. 결과는 인상적입니다. 새로운 감정 데이터셋에서 LEWM은 기존 모델보다 최대 45.72% 더 높은 정확도를 보였습니다. 또한 일반적인 감정을 이해하는 능력도 향상되었으며(한 테스트에서 17.47% 개선), 물리적 세계를 이해하는 능력을 잃지 않으면서도 정치나 과학에 관한 까다로운 질문에 답하는 능력까지 더 똑똑해졌습니다. 이 논문은 AI에게 감정을 신경 쓰도록 가르치는 것이 단순히 AI를 더 친절하게 만드는 것이 아니라, 실제 인간 세상이 실제로 어떻게 돌아가는지를 예측하는 능력을 훨씬 더 향상시키는 것임을 시사합니다.

기술 요약: 대규모 감정 세계 모델 (Large Emotional World Model, LEWM)

문제 정의

현재의 세계 모델은 주로 상태 전이를 지배하는 물리적 법칙(예: 물체의 움직임, 공간적 연속성)을 학습하도록 설계되어 있습니다. 이러한 모델은 물리적 세계를 시뮬레이션하는 데는 효과적이지만, 행동, 결정, 상호작용이 내부적인 정동 역학(affective dynamics)에 의해 깊게 형성되는 "인간의 세계"를 포착하는 데는 실패합니다. 기존 모델들은 감정을 상태 전이의 명시적인 인과 요인으로 다루는 경우가 거의 없습니다. 결과적으로, 동일한 물리적 사건(예: 교통사고)이 에이전트의 감정 상태(예: 협력적 해결 vs. 적대적 대립)에 따라 서로 다른 궤적을 초래할 수 있는 인간 중심적 환경에서 미래 상태를 정확하게 예측하지 못합니다.

방법론

1. 데이터셋 구축: Emotion-Why-How (EWH)

감정 상태 전이에 대한 데이터 부족 문제를 해결하기 위해, 저자들은 감정 역학을 중심으로 한 최초의 세계 모델 데이터셋인 EWH를 구축했습니다.

데이터 소스: TikTok/Douyin에서 추출한 2,258개의 1인칭 비디오와 8개의 TV 시리즈(예: Friends, The Office)에서 추출한 1,583개의 에피소드를 포함하며, 가정, 직장, 여행 등 다양한 환경을 다룹니다.
구조: 이 데이터셋은 10,850개의 감정 인식 전이 튜플을 포함합니다. 각 튜플은 $T = \langle(S_0, E_0), H, (S_1, E_1)\rangle$ $T = ⟨(S_{0}, E_{0}), H, (S_{1}, E_{1})⟩$ 로 공식화됩니다. 여기서:
- $S_0, S_1$ : 관찰 가능한 상태 (동기화된 비디오, 오디오, 이미지).
- $E_0, E_1$ : 감정 상태 (중립, 행복, 슬픔, 분노, 공포, 놀람, 혐오로 라벨링됨).
- $H$ : 개입된 행동 궤적.
Why-How 로직: 이 구조는 "Why"(행동의 정서적 이유)와 "How"(감정 전이가 미래 상태 진화에 미치는 영향)를 명시적으로 연결합니다.
파이프라인: 비디오 세그멘테이션, 감정 인식 전이 마이닝(Qwen3.5-VL 및 GPT-5 사용), 샘플 구축, 그리고 엄격한 품질 관리(자동 필터링 + 인간 검증)를 포함하는 4단계 파이프라인을 거칩니다.

2. 모델 아키텍처: 대규모 감정 세계 모델 (LEWM)

LEWM은 멀티모달 인코더–LLM–멀티모달 디코더 프레임워크이며, 미래 예측을 두 개의 결합된 단계로 분해합니다:

멀티모달 세계 상태 인코딩: 관찰 가능한 상태( $V, A, I$ )와 현재 감정( $E_t$ )을 모달리티별 인코더를 통해 인코딩하여 LLM 임베딩 공간으로 투영합니다. 행동 궤적( $H_t$ )은 텍스트로 토큰화됩니다.
감정 인식 전이 모델링 (분해된 예측):
- 1단계 (감정 예측): 모델은 현재 문맥이 주어졌을 때 미래의 감정 상태( $\hat{E}_{t+1}$ )를 먼저 예측합니다: $p(E_{t+1} | S_t, E_t, H_t)$ .
- 2단계 (상태 예측): 예측된 감정은 미래 세계 상태를 예측하기 위한 조건 신호로 사용됩니다: $p(S_{t+1} | S_t, E_t, H_t, \hat{E}_{t+1})$ .
- 이 설계는 미래 상태가 외부 관찰뿐만 아니라 정서적 전이에 의해 매개된다는 가정을 바탕으로 합니다.
자기 회귀 생성 (Autoregressive Generation): 모델은 전용 생성 토큰([IMG], [VID], [AUD])을 사용하여 미래의 멀티모달 상태를 자기 회귀적으로 생성합니다.
최적화: 미래 감정 분류, 자기 회귀 토큰 생성, 그리고 멀티모달 미래 상태 예측(임베딩 공간 거리 기반)을 공동으로 감독하는 멀티태스크 손실 함수를 사용합니다.

주요 기여

정동적 세계 모델링(Affective World Modeling)의 정식화: 물리적 상태 진화와 정서적 원인을 모두 포착하기 위해 감정을 핵심 상태 변수로 통합하는 개념을 도입했습니다.
EWH 데이터셋: 정적 감정 인식을 넘어 동적 세계 모델링으로의 간극을 메우는, 감정 상태 전이에 명시적으로 초점을 맞춘 최초의 세계 모델 데이터셋을 제작했습니다.
LEWM 아키텍처: 예측된 감정 상태를 조건으로 하여 세계 상태 예측을 수행하는 분해된 예측 프레임워크를 제안하였으며, 이 방식이 일반적인 추론 능력을 저해하지 않으면서 성능을 향상시킨다는 것을 입증했습니다.

실험 결과

세계 상태 예측

EWH (감정적 세계): LEWM은 12개 작업 중 10개에서 최고의 성능을 달ей었습니다. 베이스라인인 WorldGPT와 비교했을 때, 비디오 예측은 최대 45.73%, 오디오 예측은 최대 24.75% 향상되었습니다.
WorldNet (물리적 세계): LEWM은 물리적 세계 설정에서도 일관된 이득(최대 3.94%)을 보였으며, 특히 오디오 예측에서 두드러졌습니다. 이는 감정 역학이 물리적 전이를 위한 보완적인 단서를 제공함을 시사합니다.
절제 연구 (Ablation): 감정 조건 제거("No Emotion") 시 성능이 일관되게 저하되었습니다. "Oracle Future"(실제 정답 감정)를 사용했을 때 가장 높은 이득을 얻었으며, 이는 더 정확한 감정 예측을 통해 추가적인 개선 가능성이 크다는 것을 나타냅냅니다.

감정 이해

MELD: LEWM은 감성 분석에서 **17.47%**의 Weighted-F1 향상을 달성했으며, 세밀한 감정 인식에서도 유의미한 이득을 보였습니다.
일반화: 모델은 까다로운 28개 클래스의 GoEmotions 벤치마크에서 백본 모델보다 우수한 성능을 보였으며, 이는 감정 전이를 학습하는 것이 전이 가능한 감정 표현을 생성함을 나타냅니다.

일반 추론

벤치마크 (MMLU, HellaSwag, VQAv2, NExT-QA): LEWM은 일반 추론 작업에서 베이스라인인 WorldGPT와 대등한 수준을 유지했습니다. 특히, MMLU의 정치학(Political Science)에서 6.10%, VQAv2의 동물 인식(Animal recognition)에서 **5.95%**의 이득을 얻어, 감정 모델링이 일반 추론을 해치지 않으며 오히려 강화할 수 있음을 입증했습니다.

반사실적 분석 (Counterfactual Analysis)

개입 실험(상태와 행동은 고정한 채 입력 감정만 교체) 결과, LEWM은 모든 모달리티에 걸쳐 미래 상태 예측에서 구조적이고 비제로(non-zero)인 변화를 생성했습니다. 고각성(High-arousal) 감정은 더 큰 발산을 유도했으며, 이는 모델이 감정을 미래 상태 예측의 능동적인 변수로 취급하고 있음을 확인시켜 줍니다.

의의 및 주장

본 논문은 감정을 세계 모델에 통합함으로써 인간 중심적 환경에 대한 더 현실적인 시뮬레이션이 가능해진다고 주장합니다. 물리적 상태 예측을 넘어 정동 역학을 모델링함으로써, LEWM은 지능형 에이전트의 예측 이해 범위를 확장합니다. 이 연구는 인간의 행동, 상호작용 및 의사결정을 더 잘 모델링할 수 있는 "사회적으로 근거를 둔 에이전트(socially grounded agents)"를 위한 토대를 마련합니다. 저자들은 이 접근 방식이 단순히 감정을 정적으로 분류하는 것이 아니라, 미래 세계 상태의 인과적 동인으로서 감정의 동적 진화를 모델링하는 것임을 강조합니다.