VoxEmo: Benchmarking Speech Emotion Recognition with Speech LLMs

이 논문은 언어별 다양성과 인간 감정의 모호성을 반영하기 위해 35 개 감정 말뭉치와 표준화된 툴킷을 포함한 음성 감정 인식 (SER) 벤치마크인 VoxEmo 를 제안하며, 이를 통해 생성형 음성 LLM 이 하드 라벨 정확도에서는 기존 모델을 따르지 못하지만 인간의 주관적 감정 분포에는 더 잘 부합함을 입증했습니다.

핵심

이 논문은 **"음성으로 감정을 읽는 AI(음성 LLM)"**가 얼마나 잘하는지, 그리고 어떻게 더 잘 평가할 수 있을지 연구한 내용입니다.

기존의 감정을 읽는 AI 는 "화난가? 슬픈가?"처럼 정해진 답만 고르는 객관식 시험을 치렀다면, 최신 AI 는 "이 소리를 듣고 어떤 감정이 들리나요?"라고 주관식 서술형으로 답을 내는 방식입니다.

이 논문은 이 새로운 방식의 AI 를 평가하기 위해 **'VoxEmo(복스모)'**라는 새로운 시험지를 만들었고, 그 결과를 분석했습니다. 쉽게 비유해서 설명해 드릴게요.

---

1. 왜 새로운 시험지 (VoxEmo) 가 필요했을까요?

기존 방식의 문제점:
과거의 AI 는 정해진 답안지 (예: 기쁨, 슬픔, 분노 등 5 가지) 에서 하나만 고르는 객관식을 치렀습니다. 하지만 최신 AI 는 사람처럼 말을 하거나 글을 써서 답을 내놓는 주관식입니다.

• 문제: "화난 것 같아"라고 답할지, "분노가 느껴져"라고 답할지, 아니면 "화난 듯 보입니다"라고 답할지는 AI 가 어떻게 질문을 받느냐 (프롬프트) 에 따라 달라집니다. 같은 AI 가 질문만 살짝 바꿔도 점수가 천차만별이 되어, 누가 더 잘하는지 비교하기 어렵습니다.
• 또 다른 문제: 인간의 감정은 애매합니다. 같은 소리를 들어도 A 는 "화난 것 같다"고 하고 B 는 "슬픈 것 같다"고 할 수 있습니다. 기존 시험지는 이 '애매함'을 무시하고 딱 하나의 정답만 요구했습니다.

VoxEmo 의 해결책:
저자들은 **35 개의 다양한 음성 데이터셋 (15 개 언어)**을 모아 거대한 시험지를 만들었습니다.

• 다양한 질문 방식: 단순히 "감정은?"이라고 묻는 것부터, "소리의 톤을 분석해서 감정을 추론해줘"처럼 복잡한 지시까지 다양한 질문을 던져 봅니다.
• 애매함 인정: 정답이 하나만 있는 게 아니라, 여러 사람이 어떻게 느꼈는지 그 **분포 (확률)**를 정답으로 인정합니다. (예: 10 명 중 6 명은 화남, 4 명은 슬픔이라고 느꼈다면, 정답은 '화남 60%, 슬픔 40%'가 됩니다.)

2. 실험 결과: AI 는 어떻게 반응했나요?

연구진은 두 가지 대표적인 음성 AI (Qwen2-Audio와 Audio Flamingo 3) 를 이 시험지에 대입해 봤습니다.

① 질문 방식 (프롬프트) 에 따라 점수가 극적으로 변함

• 비유: 같은 학생에게 "수학을 풀어줘"라고 하면 잘 풀지만, "수학 문제를 풀면서 그 과정을 설명해줘"라고 하면 당황해서 엉뚱한 답을 낼 수 있습니다.
• 결과: AI 는 질문을 어떻게 던지느냐에 따라 점수가 20~50% 이상 차이가 났습니다. 특히 "소리의 특징 (톤, 높이 등) 을 먼저 설명해줘"라고 지시하면, Qwen2-Audio 는 감정을 더 잘 알아맞혔지만, Audio Flamingo 3 는 오히려 헷갈려 했습니다.

② "애매함"을 잘 포착하는 능력

• 비유: 전통적인 AI 는 "이건 화난 거야!"라고 100% 확신하며 답합니다. 하지만 최신 생성형 AI 는 "화난 것 같기도 하고, 슬픈 것 같기도 해요..."라고 확률을 이야기합니다.
• 결과: 정답이 딱 하나인 객관식 문제에서는 기존 AI 가 더 잘했지만, 사람들이 감정을 어떻게 느꼈는지 그 '분포'를 맞추는 능력에서는 최신 AI 가 놀라웠습니다. 특히 Qwen2-Audio 는 사람이 느낀 감정의 분포를 매우 잘 따라 했습니다. 즉, AI 가 인간의 '모호한 감정'을 이해하는 데 탁월한 잠재력을 보였습니다.

③ 학습 (미세 조정) 을 시키면?

• 비유: 학생에게 특정 과목 (예: 한국어 감정) 만 집중적으로 가르치면 (학습), 그 과목에서는 천재가 됩니다.
• 결과: AI 를 특정 데이터로 학습 (SFT) 시키면 점수가 크게 올랐습니다. 하지만 학습 데이터가 적거나 자연스러운 대화 (실제 상황) 인 경우에는 여전히 기존 AI 보다 점수가 낮았습니다.

3. 핵심 교훈: "정답"보다 "이해"가 중요해진다

이 논문의 가장 큰 메시지는 **"감정은 정답이 하나가 아닐 수 있다"**는 것입니다.

• 과거: AI 는 정해진 답안지를 맞추는 기계였습니다.
• 현재와 미래: AI 는 사람의 감정을 '이해'하고, 그 감정이 얼마나 복잡하고 애매한지를 확률로 표현할 수 있는 존재가 되었습니다.

비록 아직은 완벽한 점수를 받지는 못하지만, 최신 AI 는 "이 소리는 화난 것 같지만, 슬픈 면도 있어"라고 인간의 복잡한 감정 세계를 더 잘 모방하고 있습니다.

4. 결론: 이 연구가 우리에게 주는 의미

이 연구는 단순히 "어떤 AI 가 더 점수가 높은가"를 따지는 것을 넘어, AI 가 인간의 감정을 어떻게 이해하고 있는지를 새로운 눈으로 보게 해줍니다.

• VoxEmo는 앞으로 개발될 감정 인식 AI 들을 평가할 때, 단순히 정답률만 보지 않고 **"질문 방식에 얼마나 민감한가", "인간의 애매한 감정을 얼마나 잘 반영하는가"**를 함께 보아야 한다는 기준을 제시했습니다.
• 앞으로 우리가 AI 와 대화할 때, AI 가 우리의 감정을 단순히 분류하는 것을 넘어, 그 감정의 뉘앙스를 더 깊이 이해하고 공감할 수 있는 시대가 올 것임을 시사합니다.

한 줄 요약:

"감정은 정답이 하나인 객관식이 아니라, 여러 사람이 다르게 느낄 수 있는 주관식입니다. 이 연구는 최신 AI 가 그 '애매한 감정'을 얼마나 잘 이해하고 표현하는지 측정하는 새로운 기준 (VoxEmo) 을 만들었습니다."

기술 요약

논문 개요: VoxEmo

이 논문은 음성 대언어 모델 (Speech LLM) 을 활용한 음성 감정 인식 (SER, Speech Emotion Recognition) 을 평가하기 위한 포괄적인 벤치마크인 VoxEmo를 제안합니다. 기존의 폐쇄형 분류 (closed-set classification) 에서 개방형 텍스트 생성 (open text generation) 으로 패러다임이 전환됨에 따라 발생하는 평가의 불확실성과 인간 감정의 본질적 모호성을 해결하기 위해 설계되었습니다.

1. 문제 정의 (Problem)

• 평가 프로토콜의 부재: 기존 SER 는 고정된 아키텍처를 가진 분류기로 평가되었으나, Speech LLM 은 프롬프트 (지시문) 에 따라 텍스트를 생성하는 방식입니다. 이로 인해 프롬프트 구성, 디코딩 설정, 파싱 규칙 등 추론 시 (inference-time) 의 설정에 따라 결과가 극도로 민감하게 변하여 (Zero-shot stochasticity), 연구 간 비교가 어렵습니다.
• 감정의 모호성 과 라벨의 불확실성: 인간의 감정은 본질적으로 모호하고 주관적입니다. 기존 벤치마크는 종종 다수의 어노테이터 간 불일치를 단일 '하드 라벨 (hard label)'로 축소하여, 데이터의 불확실성과 분포 정보를 무시합니다.
• 도메인 이동 (Domain Shift): 다양한 언어, 녹음 환경, 라벨 소스 (화자가 의도한 감정 vs 청자가 지각한 감정) 간의 차이를 체계적으로 분석할 수 있는 표준화된 프레임워크가 부족했습니다.

2. 방법론 (Methodology)

2.1. VoxEmo 벤치마크 구성

• 데이터셋: 15 개 언어로 된 35 개의 감정 코퍼스 (Acted/연극적 데이터 28 개, In-the-wild/자연적 데이터 7 개) 를 포함합니다.
• 메타데이터 표준화: 각 데이터셋에 대해 '라벨 소스 (Label Source)'를 명시적으로 문서화했습니다.
  • Expr (Expressed): 화자가 의도한 감정 (주로 연극적 데이터).
  • Perc (Perceived): 청자가 지각한 감정 (주로 자연적 데이터).
• 소프트 라벨 (Soft-label) 프로토콜: 다중 어노테이터가 있는 5 개의 데이터셋 (CREMA-D, IEMOCAP 등) 에 대해, 어노테이터 간 불일치를 노이즈가 아닌 의미 있는 분포로 간주하여 분포 기반 (distribution-aware) 소프트 라벨을 Ground Truth 로 사용합니다.

2.2. 실험 설정

• 모델: 약 7B 파라미터 규모의 두 가지 대표적인 Speech LLM 을 선정했습니다.
  • Qwen2-Audio (Q2A): Whisper-large-v3 인코더 + Qwen-7B LLM.
  • Audio Flamingo 3 (AF3): Whisper-large-v3 인코더 + Qwen2.5-7B LLM.
• 프롬프트 전략 (Zero-shot): 5 가지 변형을 통해 프롬프트의 영향을 분석했습니다.
  1. Direct: 직접 감정 분류.
  2. +T: ASR 전사본 포함.
  3. +A: 음향적 설명 (Acoustic caption, 피치, 강도 등) 포함.
  4. +R: 추론 과정 포함.
  5. Ensemble: 위 5 가지 프롬프트의 결과를 투표 (Voting) 방식으로 집계하여 파싱 실패를 보정하고 분포를 추정.
• 지도 학습 (SFT): LoRA (Low-Rank Adaptation) 를 사용하여 훈련 데이터에 파인튜닝한 결과를 Zero-shot 결과와 비교했습니다.

3. 주요 기여 (Key Contributions)

1. 표준화된 평가 툴킷: 프롬프트 템플릿, 생성 설정, 출력 파싱, 유효하지 않은 출력 처리를 통일한 SER 평가 툴킷 제공.
2. 대규모 벤치마크: 15 개 언어, 35 개 코퍼스를 아우르는 포괄적인 성능 지표 및 점수판 (Scoreboard) 공개.
3. 새로운 메타데이터 스키마: '지각된 (Perceived)' 대 '표현된 (Expressed)' 감정을 명시적으로 구분하여 분포 인식 평가가 가능하도록 함.
4. 구조화된 크로스 도메인 설정: 라벨 세트와 음향적 특성의 변화를 명시적으로 격리하여 도메인 이동 성능을 평가하는 프레임워크 제시.

4. 실험 결과 및 분석 (Results & Analysis)

4.1. Zero-shot 성능과 프롬프트 민감도

• 프롬프트 의존성: 프롬프트 선택에 따라 성능이 극적으로 변했습니다. (예: TESS 데이터셋에서 Q2A 의 Macro-F1 이 49 포인트 차이 발생).
• 음향 설명 (+A) 의 효과: Q2A 는 연극적 (Acted) 데이터에서 음향 설명을 포함할 때 성능이 크게 향상되었으나, AF3 은 오히려 성능이 저하되었습니다. 이는 모델별 훈련 데이터 구성 및 음향 정보 통합 방식의 차이로 추정됩니다.
• 전사본 (+T) 의 영향: 연극적 데이터에서는 전사본이 노이즈가 되어 성능을 저하시켰으나, 자연적 (In-the-wild) 데이터에서는 Q2A 의 성능을 향상시켰습니다.

4.2. 지도 학습 (SFT) vs Zero-shot

• SFT 의 효과: LoRA 파인튜닝을 통해 Q2A 는 대부분의 데이터셋에서 Zero-shot 성능을 크게 상회하며 기존 Supervised Baseline (EmoBox) 과 경쟁 가능한 수준에 도달했습니다. (평균 Macro-F1 23.7 포인트 향상).
• 모델 간 차이: Q2A 는 SFT 후 30 개 비교 데이터셋 중 15 개에서 Baseline 을 능가했으나, AF3 은 SFT 후에도 성능이 저하되거나 Baseline 에 미치지 못하는 경우가 많았습니다.

4.3. 소프트 라벨 및 인간 주관성 정렬

• 프롬프트 앙상블의 중요성: 단일 프롬프트는 파싱 실패율이 높고 불안정했으나, Ensemble 전략은 파싱 실패를 보정하고 인간 어노테이터의 분포 (Soft label) 와의 정렬 (Cosine Similarity 등) 을 크게 향상시켰습니다.
• 감정 모호성 포착: Zero-shot Speech LLM 은 하드 라벨 정확도에서는 Supervised 모델보다 낮을 수 있으나, 인간의 감정 분포를 더 잘 모방하는 능력을 보여주었습니다. 특히 자연적 데이터에서 모델이 출력하는 확률 분포가 인간의 불확실성을 잘 반영함을 확인했습니다.

4.4. 크로스 도메인 전이 (Cross-Corpus Transfer)

• Q2A 는 MELD(방송 데이터) 를 소스로 사용하여 다른 도메인 (CREMA-D, IEMOCAP 등) 으로 전이할 때 Zero-shot 보다 유의미한 성능 향상을 보였습니다. 반면 AF3 은 자연적 데이터 (In-the-wild) 타겟으로 전이 시 성능이 저하되는 경향을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환의 평가 기준 제시: 생성형 LLM 기반 SER 의 평가가 단순히 정확도 (Accuracy) 가 아닌, 프롬프트 안정성, 소프트 라벨 정렬, 도메인 이동성을 종합적으로 고려해야 함을 증명했습니다.
• 감정 인식의 본질 재정의: Speech LLM 은 단순 분류기를 넘어, 인간의 감정 지각에 내재된 모호성과 주관성을 확률 분포 형태로 자연스럽게 모델링할 수 있는 잠재력을 가짐을 보여주었습니다.
• 향후 과제: 더 다양한 아키텍처와 대규모 모델로 확장, SFT 하이퍼파라미터 민감도 분석, 데이터셋 내 세부 요소 (클래스 불균형 등) 분석이 필요함을 지적했습니다.

이 논문은 Speech LLM 이 SER 분야에서 강력한 잠재력을 가지고 있지만, 이를 평가하기 위해서는 기존의 폐쇄형 분류 평가 기준을 넘어선 새로운 벤치마크 (VoxEmo) 와 프로토콜이 필수적임을 강조합니다.