💬 NLP

EmoS: A Theory-Grounded Framework for Evaluating and Aligning Emotional Intelligence in Spoken Language Models

이 논문은 EmoSBench 벤치마크, EmoDialogue 데이터셋, 그리고 고도화된 최적화 기술로 학습된 특화 모델로 구성되어 현재의 음성 언어 모델과 인간 수준의 정서적 지능 사이의 격차를 크게 좁히는 이론 기반 프레임워크인 EmoS를 소개한다.

원저자: Junyu Wang, Siyuan Zhang, Peiyuan Jiang, Jian Zong, Jingyu Zhang, Tianrui Wang, Yuqin Lin, Zhenghui Chen, Shuqing Xie, Ziyang Ma, Meng Ge, Xiaobao Wang, Longbiao Wang, Jianwu Dang

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junyu Wang, Siyuan Zhang, Peiyuan Jiang, Jian Zong, Jingyu Zhang, Tianrui Wang, Yuqin Lin, Zhenghui Chen, Shuqing Xie, Ziyang Ma, Meng Ge, Xiaobao Wang, Longbiao Wang, Jianwu Dang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 당신의 가장 친한 친구가 되는 법을 가르치고 있다고 상상해 보세요. 당신은 이미 로봇에게 당신의 목소리를 듣고, 당신의 말을 이해하며, 당신의 지시를 완벽하게 따르는 법을 가르쳤습니다. 그것은 마치 백과사전 전체를 암송할 수 있는 아주 똑똑한 앵무새와 같습니다. 하지만 여기 함정이 있습니다. 좋은 친구가 된다는 것은 단순히 지식을 아는 것이 아니라, 누군가와 함께 '느끼는' 것에 관한 것입니다. 그것은 당신이 "괜찮다"라고 말하더라도 슬픔 때문에 목소리가 떨리는 것을 알아차리는 것이며, 혹은 당신을 응원해야 할 때와 그저 조용히 들어주어야 할 때를 아는 것입니다. 이것을 **정서 지능(EI)**이라고 부릅니다. 오랫동안 과학자들은 로봇에게 똑똑해지는 법(IQ)은 잘 가르쳐 왔지만, 정서적으로 현명해지는 법(EQ)을 가르치는 데는 어려움을 겪어 왔습니다. 큰 질문은 이것입니다: 컴퓨터가 정말로 한숨, 웃음, 혹은 떨리는 목소리 뒤에 숨겨진 감정을 이해하고, 진정으로 인간처럼 느껴지는 방식으로 반응할 수 있을까요?

여기서 새로운 연구가 등장합니다. 연구자들은 우리가 화려한 로봇을 가지고 있고 그들이 말하고 들을 수는 있지만, 그들이 정말로 감정을 이해하는지 테스트할 좋은 방법이 없다는 사실을 깨달았습니다. 대부분의 테스트는 로봇이 소리를 들을 수 있는지, 혹은 "행복"이나 "슬픔" 같은 기본적인 감정을 추측할 수 있는지만 확인합니다. 하지만 진짜 정서 지능은 훨씬 더 깊습니다. 그것은 4단계의 사다리와 같습니다. 첫째, 감정을 **인지(Perceiving)**하는 것(목소리에서 슬픔을 듣는 것); 둘째, 왜 그런 감정이 생겼는지 **이해(Understanding)**하는 것(그 슬픔이 직장에서의 힘든 하루에서 왔음을 깨닫는 것); 셋째, 그 감정을 사용하여 결정을 내리는 데 **사용(Using)**하는 것(격려의 말을 하기보다 부드럽게 대하는 법을 아는 것); 마지막으로, 문제를 해결하기 위해 상황을 **관리(Managing)**하는 것(사람을 진정시키는 것)입니다. 이 논문의 저자들인 중국 대학 연구진은 로봇이 이 사다리를 올라갈 수 있는지 확인하기 위해 완전히 새로운 놀이터를 만들기로 했습니다.

그들은 EmoSBench라는 거대한 새로운 테스트를 만들었는데, 이것은 로봇의 감정을 위한 거대한 장애물 코스와 같습니다. 단순히 "이 목소리가 행복한가?"라고 묻는 대신, 이 테스트는 열 가지의 까다로운 시나리오를 제시합니다. 어떤 시나리오는 로봇에게 중립적인 문장 속에 숨겨진 태도를 포착하도록 요구하고, 어떤 시나리오는 한 대화 전체에 걸쳐 사람의 기분이 어떻게 변하는지를 추적하도록 하며, 또 어떤 시나리오는 화가 난 상태에서 내린 잘못된 결정을 재고하도록 돕는 도전을 줍니다. 오늘날 가장 똑똑한 로봇들—유명한 GPT-4o-Audio와 일부 오픈 소스 모델들을 포함하여—에 이 테스트를 실행했을 때, 그들은 거대한 격차를 발견했습니다. 최고의 로봇조차 정답률이 약 **52.6%**에 불과했습니다. 이는 가장 어려운 부분에서 동전 던지기 승률과 별반 다르지 않습니다! 결국, 그저 잘 듣는 것만으로는 충분하지 않으며, 이 로봇들에게는 대화의 "심장"이 빠져 있다는 것이 드러났습니다.

이를 해결하기 위해, 팀은 단순히 로봇을 미세 조정하는 데 그치지 않고, 완전히 새로운 선생님을 만들었습니다. 그들은 전문가들에 의해 모든 답변이 채점된 수천 개의 대화 라이브러리인 EmoDialogue라는 특별한 데이터셋을 구축했습니다. 어떤 답변은 로봇 같고 차갑지만(점수 1점), 어떤 답변은 괜찮지만 다소 딱딱하며(점수 3점), 가장 좋은 답변은 따뜻하고 공감 능력이 뛰어나며 타이밍이 완벽합니다(점수 4점). 이 라이브러리를 사용하여, 그들은 EmoS라는 이름의 새로운 전문 로봇 평가자를 훈련시켰습니다. 그들은 EmoS가 단순히 정답을 맞히는 것뿐만 아니라, 적절한 추론과 함께 '정확한' 답을 얻도록 보상하는 특별한 방식을 사용하여 교육했습니다.

결과는 게임 체인저였습니다. 거대 상업용 로봇들이 고전하는 동안, 새로운 EmoS 모델은 실제 인간의 수행 능력에 매우 근접한 **83.8%**의 점수를 기록했습니다. 이는 겨우 시험을 통과하는 학생에서 일류 전문가로 거듭난 것과 같습니다. 연구진은 또한 EmoS를 깨끗한 연습용 데이터가 아닌 유튜브의 실제 녹음본으로 테스트했는데, EmoS는 여전히 다른 로봇들을 큰 차이로 앞지르며 제 실력을 발휘했습니다. 이는 적절한 훈련과 정서 지능이 실제로 무엇을 의미하는지에 대한 명확한 이해가 있다면, 우리가 마침내 우리의 말을 듣는 것을 넘어 우리의 마음을 진정으로 이해하는 언어 모델을 구축할 수 있음을 시사합니다.

기술 요약: EmoS – 음성 언어 모델의 정서 지능 평가 및 정렬을 위한 이론 기반 프레임워크

1. 문제 정의

현재의 음성 언어 모델(Spoken Language Models, SLMs)은 청각적 이해, 문맥 인식, 지시 이행 측면에서 상당한 이정표를 달성했습니다. 그러나 이들의 정서 지능(Emotional Intelligence, EI) 평가는 단순한 파라언어적 인지(예: 어조나 음량 감지)에 국한되어 있어 매우 초보적인 수준에 머물러 있습니다. 기존의 벤치마크들은 음성을 단순히 텍스트 처리를 위한 보조 입력으로 취급하거나 거친 입도의 감정 분류에 의존하는 경향이 있습니다.

본 논문은 중요한 격차를 식별합니다. 심리학의 4가지 분과 모델(인지, 이해, 활용, 조절)로 정의되는 진정한 정서 지능은 감정에 대해 추론하고 이를 문제 해결에 활용하는 복잡한 인지 능력을 수반합니다. 현재의 평가 방식은 이러한 계층 구조를 포착하지 못합니다. 또한, 독점 모델(예: GPT-4o-Audio)을 평가자로 사용하는 것은 인위적으로 낮은 성능 상한선을 만들어, 현재 시스템의 본질적인 결함을 가리는 결과를 초래합니다. 전문화된 평가자를 훈련할 수 있는 이론적으로 정렬된 미세한 수준의 데이터셋이 부족한 실정입니다.

2. 방법론

저자들은 세 가지 핵심 구성 요소인 새로운 벤치마크(EmoSBench), 특화된 데이터셋(EmoDialogue), 그리고 전용 평가 모델(EmoS)로 이루어진 종합적인 프레임워크를 제안합니다.

2.1 EmoSBench: 평가 벤치마크

메이어와 솔로비(Mayer and Salovey)의 4가지 분과 모델을 기반으로 구축된 EmoSBench는 네 가지 계층적 차원과 열 가지 구체적인 하위 과제를 통해 SLM을 평가합니다:

정서 인지 (Perceiving Emotion):
- 기초 음향 정보 인지 (BAP): 명시적인 정서적 및 파라언어적 특징 식별.
- 암묵적 태도 분석 (IAA): 미세한 음향적 힌트나 텍스트적 함의로부터 미묘한 단서 포착.
정서 이해 (Understanding Emotion):
- 정서 상태 추적 (EST): 대화 턴(turn)에 따른 정서적 변화 식별.
- 정서 인과 관계 분석 (ECA): 현재의 정서 상태를 과거의 트리거와 연결.
정서 활용 (Using Emotion):
- 정서-인지 매칭 (ECM): 정서 상태가 인지적 과업을 어떻게 촉진하는지 이해.
- 정서 기반 계획 조정 (EPA): 의사결정을 유도하기 위해 음향-의미적 충돌(예: 망설이는 어조와 확신에 찬 텍스트의 불일치)을 감지.
정서 조절 (Managing Emotion):
- 사회적 전략 실행 (SSE): 도전적인 사회적 목표를 달성하기 위해 텍스트와 어조를 조율.
- 선제적 완화 및 정서적 완충 (PMB): 부정적인 정보를 부드럽게 전달.
- 갈등 해결 및 완화 (CRD): 고압적인 시나리오에서의 공감 우선 전략.
- 가치 정렬 및 안전 응답 (VAR): 유해한 입력에 맞서 안전 원칙을 준수하면서 대화를 유지.

2.2 EmoDialogue: 훈련 데이터셋

미세한 수준의 EI 데이터 부족 문제를 해결하기 위해, 저자들은 7만 개 이상의 쌍으로 구성된 이중 언어(중국어/영어) 데이터셋인 EmoDialogue를 큐레이션했습니다.

합성: 현실적인 사용자-모델 상호작용을 시뮬레이션하기 위해 DeepSeek-R1 LLM을 사용하여 생성되었습니다.
등급 산정: 각 사용자 입력은 EI 품질(기계적/부적절함에서 선제적 가이드를 포함한 높은 EI까지)에 따라 1점에서 4점까지 엄격하게 등급이 매겨진 네 개의 후보 응답과 쌍을 이룹니다.
합성: 감정, 속도, 음량에 대한 명시적 제어와 한숨, 기침 등의 비언어적 단서가 추가된 고충실도 오디오를 Doubao TTS API를 사용하여 생성했습니다.
품질 관리: Whisper-Large-V3를 통한 자동 필터링(WER/CER < 5%) 후 자연스러움과 일관성에 대한 수동 검토를 거쳤습니다.

2.3 EmoS: 특화된 평가 모델

EmoS는 두 단계의 훈련 패러다임을 통해 최적화된 보상 모델입니다:

지도 미세 조정 (SFT): EmoDialogue를 기반으로 초기화하여 EI 지식의 기초적인 분포를 확립합니다.
강화 학습 (RL): **그룹 상대 정책 최적화 (GRPO)**를 활용하여 모델의 점수 산정 및 추론을 이론적 가이드라인에 정렬합니다.

보상 엔지니어링:
정밀한 서수적 점수 산정과 유효한 추론을 강제하기 위해, 저자들은 복합 보상 함수를 설계했습니다:

가파른 지수 정확도 보상 (SEAR): $R_a(\Delta) = \alpha \cdot e^{-\lambda\Delta}$ . 이는 예측 오류에 지수적으로 페널티를 부여하여, 예측 오류(예: 4 대신 3을 예측)가 발생할 경우 올바른 예측보다 훨씬 낮은 보상을 받게 함으로써 최적화의 나태함을 방지합니다.
추론 충실도 보상 (RFR): 자동 비평가(Qwen3-8B)를 사용하여 추론 과정을 평가하는 메커니즘입니다. 적응형 가중치 계수를 통해 정답을 맞혔을 때 완전한 강화를 받는 동시에, 오답을 냈을 때도 모델이 추론 로직에 대해 잔여 감독을 받을 수 있도록 합니다.

3. 주요 결과

3.1 벤치마크 성능 (EmoSBench)

EmoSBench에 대한 실험 결과, 현재 모델들과 인간의 성능 사이에 상당한 격차가 있음이 드러났습니다:

인간 기준선: 평균 정확도 86.0%.
선도적인 독점 모델: GPT-4o-Audio는 52.6%, Gemini 2.5 Pro는 54.0%를 기록했습니다.
선도적인 오픈 소스 모델: 대부분의 오픈 소스 SLM(예: Qwen2-Audio, Freeze-Omni)은 30% 미만의 점수를 기록하며 무작위 추측보다 간신히 나은 수준을 보였습니다. Qwen3-Omni(30B 파라미터)조차 50.1%에 그쳤습니다 범.
EmoS 성능: 특화된 EmoS 모델은 **83.8%**의 평균 정확도를 달성하여 인간 수준의 성능에 근접했으며, 모든 베이스라인을 크게 앞질렀습니다.

3.2 실제 환경 일반화

YouTube 영상에서 추출한 실제 제약 없는 데이터셋(531개 샘플)을 대상으로 평가했습니다:

배경 소음과 자발적인 비유창성으로 인해 모든 모델의 성능이 저하되었습니다.
EmoS는 **62.9%**의 정확도를 유지하며, 가장 강력한 베이스라인인 Gemini 2.5 Pro(43.3%)를 19.6% 차이로 앞질렀습니다. 이는 모델이 단순히 합성 데이터에 과적합된 것이 아니라 전이 가능한 정서적 추론을 학습했음을 시사합니다.

3.3 절제 연구 (Ablation Studies)

SFT 단독 적용 시 베이스라인이 37.2%에서 57.0%로 향상되었습니다.
GRPO 단독 적용 시 (SFT 없이) 63.0%에 도달하여 RL 탐색의 가치를 입증했습니다.
SEAR 및 RFR은 각각 성능을 높였으며, SFT + GRPO + SEAR + RFR의 조합이 최고치인 83.8%의 정확도를 산출했습니다.

4. 의의 및 주장

본 논문은 정서적으로 지능적인 대화 시스템을 발전시키기 위한 기초적인 프레임워크를 구축한다고 주장합니다. 주요 기여는 다음과 같습니다:

이론적 근거: 단순한 음향적 인지를 넘어 계층적 인지 프레임워크(인지, 이해, 활용, 조절)로 EI 평가를 확장하여, 고도의 EI 상호작용을 더 현실적으로 반영합니다.
데이터 혁신: 이론적으로 정의된 점수 구배를 가진 최초의 데이터셋을 도입하여, 단순한 분류를 넘어 정서적 상호작용의 질을 강조합니다.
특화된 평가: 범용적인 SOTA 모델을 심판으로 사용하는 것이 인위적으로 낮은 천장을 설정한다는 것을 보여줍니다. 이론에 정렬된 데이터로 훈련된 특화된 평가자(EmoS)를 개발함으로써, 정밀한 인간 수준의 EI 평가가 가능하다는 것을 입증했습니다.

저자들은 현재의 SLM들이 강력한 일반 지시 이행 능력을 갖추고 있음에도 불구하고, 복잡한 EI 시나리오에 필수적인 미묘한 인지적 추론 능력은 부족하다고 결론짓습니다. EmoS는 이 격차를 메우며, 미래의 음성 언어 모델이 진정한 정서 지능을 갖추도록 평가하고 정렬하는 강력한 도구를 제공합니다.