기술 요약: SYMPATHEIA – 지속적 정동 컨디셔닝을 통한 감성 적응형 음성 비서

문제 정의

공감 능력을 갖춘 구어 대화 시스템은 사용자의 정서 상태를 추론하여 적절한 응답을 생성할 수 있어야 한다. 그러나 일상적인 대화는 어휘적 또는 음향적 신호만으로는 신뢰성 있게 추론하기 어려운 약하거나, 중립적이거나, 모호한 정서적 단서들을 포함하는 경우가 많다. 현재의 시스템들은 다음과 같은 두 가지 주요 한계에 직면해 있다:

1. 음성의 모호성: 기존의 많은 방법론은 고강도의 감정 단서에 최적화되어 있어, 자연스러운 대화에서 흔히 발생하는 미묘하거나 복합적인 정서 상태를 처리하는 데 어려움을 겪는다. 이들은 모호한 음성 단서를 외부 정서 신호(예: 얼굴 표정 또는 생체 신호)와 결합하는 메커니즘이 부족하다.
2. 이산적 표현: 감정은 흔히 고정된 이산적 범주(예: "기쁨", "슬픔")를 사용하여 모델링된다. 이는 자연스러운 상호작와를 제한한다. 실제 세계의 감정 표현은 화자나 문화에 따라 다양하게 나타나기 때문이다. 연속적 표현인 가치-각성(Valence-Arousal, VA) 모델이 이러한 미세한 차이를 포착하기에 더 적합함에도 불구하고, 음성-대-음성(speech-to-speech) 생성 분야에서는 충분히 활용되지 못하고 있다.

방법론

저자들은 의미론적으로 적절하고 정서적으로 정렬된 응답을 생성하도록 설계된 음성-대-음성 대화 프레임워크인 SYMPATHEIA를 소개한다. 이 시스템은 사용자 음성으로부터의 암묵적 정서 추론과 연속적인 VA 인터페이스를 통한 선택적 명시적 정서 제어를 통합한다.

시스템 아키텍처

• 백본(Backbone): 모델은 엔드 투 엔드 음성 언어 모델인 GLM-4-Voice-9B를 기반으로 구축되었다.
• 토큰화(Tokenization): 입력 오디오는 WhisperVQ 토크나이저(12.5 Hz)를 사용하여 이산 음성 토큰으로 인코딩된다.
• 컨디셔닝(Conditioning): 연속적인 가치-각성 쌍($z = (v, a)$)이 시스템 프롬프트에 User emotion (valence=v, arousal=a) 형태로 삽입된다.
  • VA 인터페이스: VA 좌표($v, a \in [-1, 1]$)는 외부 정서 감지 모듈(얼굴 표정, EEG/ECG와 같은 생체 신호 또는 텍스트 설명)을 위한 공유 인터페이스 역할을 한다.
  • 양식 불가지론(Modality Agnostic): 외부 센서는 각자의 고유한 출력을 확률 가중 매핑을 통해 기대 좌표로 변-환하여 VA 평면에 매핑함으로써, 대화 모델이 특정 감지 양식에 구애받지 않도록 한다.
• 학습 전략: 모델은 SYMPATHEIA-18k 데이터셋을 사용하여 저차원 적응(LoRA) 방식으로 미세 조정(Fine-tuning)된다.
  • VA 앵커(Anchors): 학습에는 특정 VA 좌표에 매핑된 12개의 명명된 감정 앵커(예: 기쁨, 슬픔, 분노)가 사용된다. 이는 모델이 고립된 클래스 레이블이 아닌 연속적인 정서 공간을 학습하도록 유도한다.
  • 드롭아웃(Dropout): 견고성을 확보하기 위해, 중립이 아닌 학습 샘의 1/3에 대해 VA 컨디션을 무작위로 드롭한다. 이를 통해 외부 신호가 없을 때 음성 단서로부터 정서를 추론하도록 강제한다.

데이터셋: SYMPATHEIA-18k

정서 조건부 음성-대-음성 데이터의 부족을 해결하기 위해, 저자들은 18,000개의 질의-응답 쌍으로 구성된 합성 코퍼스인 SYMPATHEIA-18k를 구축하였다:

• 정서 풍부 분할 (~12k): 정서가 풍한 사용자 질의와 그에 적절한 응답을 쌍으로 묶어, 의미론적 및 음향적 정렬을 학습시킨다.
• 중립 분할 (6k): 500개의 정서적으로 중립적인 질의와 12개의 서로 다른 응답(각 타겟 감정별 1개)을 쌍으로 묶었다. 이는 명시적 정서 제어를 격리하여, 음성이 정서적 증거를 제공하지 않을 때 VA 조건을 활용하도록 모델을 학습시킨다.
• 생성: 텍el은 특정 공감 전략을 가진 Qwen3-32B를 사용하여 생성되었으며, 오디오는 정서적으로 일관된 운율과 속도를 보장하기 위해 Qwen3-TTS를 사용하여 합성되었다.

주요 기여

1. SYMPATHEIA 프레임워크: 암묵적인 음성 기반 정서 추론과 외부 센서 또는 사용자 인터페이스로부터 오는 명시적이고 연속적인 VA 컨디셔닝을 결합한 음성 네이티브 모델이다.
2. SYMPATHEIA-18k 데이터셋: 표현력이 풍부한 상호작용과 중립적 상호작용을 모두 포함하며, 모델이 정서 상태를 구분하고 외부 정서 신호를 활용하도록 설계된 대규모 합성 데이터셋이다.
3. 모듈형 멀티모달 인터페이스: 다양한 외부 정서 소스(얼굴, 생체 신호, 텍스트)가 대화 백본의 구조적 변경 없이 통합된 VA 인터페이스를 통해 응답 생성을 가이드할 수 있도록 하는 시스템 설계이다.

결과

본 논문은 여러 지표에 걸쳐 강력한 구어 대화 베이스라인(GLM-4-Voice, Qwen3-Omni, OpenS2S 포함)을 대상으로 SYMPATHEIA를 평가한다:

• 공감적 응답 품질: SYMPATHEIA는 자동화된 공감 평가와 인간 감정 평균 의견 점수(MOS) 연구에서 가장 높은 점수를 기록했다. 특히 명시적 정서 제어가 필요한 설정(VA 프롬프트가 포함된 중립 질의)에서 베이스라인을 크게 앞질렀다.
• 응답 다양성: 타겟 감정에 관계없이 유사한 응답을 생성하는 경와가 잦은 베이스라인들과 달리, SYMPATHEIA는 서로 다른 감정 조건 간에 낮은 의미적 및 어휘적 유사성을 보여주었다. 이는 모델이 정서 신호에 따라 콘텐츠와 톤을 성공적으로 적응시켰음을 나타낸다.
• 운율 정렬: 운율 특징(F0, 에너지, 발화 속도) 분석 결과, SYMPATHEIA가 생성한 음성은 타겟 VA 좌표와 유의미하게 상관관계가 있는 것으로 나타났다. 높은 각성(Arousal) 타겟은 더 높은 피치 변동성과 빠른 발화 속도를 보였고, 가치(Valence)는 에너지와 스펙트럼 함량에 영향을 미쳤다.
• 멀티모달 통합: 외부 단서(얼굴, EEG, ECG, 텍텍스트)를 통합했을 때 "단서 없음" 조건보다 공감 점수가 향상되었다. 얼굴 표정과 텍스트 설명이 가장 큰 이득을 주었으며, 생체 신호 또한 노이즈가 있음에도 불구하고 개선 효과를 제공했다.
• 절제 연구(Ablation Studies):
  • 미세 조정은 모델의 일반적인 대화 능력(UTMOS, BERTScore, ASR-WER로 측정)을 저하시키지 않았다.
  • 모델은 VA 좌표에 가우시안 노이즈를 가해 변형을 주어도 효과적으로 작동하였으며, 이는 상류(upstream) 센싱 오류에 대한 내성과 앵커 외 값을 처리하는 능력을 입증한다.

의의 및 주장

본 논문은 연속적 정서 컨디셔닝이 감성 적응형 음성 비서를 구축하기 위한 실질적이고 효과적인 메커즘임을 시사한다. 공유된 VA 인터페이스를 통해 센싱과 생성을 분리함으로써, SYMPATHEIA는 대화 백본을 유지하면서도 다양한 정서 인식 시스템을 통합할 수 있다.

저자들은 중립적이거나 모호한 음성을 처리하는 문제를 외부 신호가 정서적 톤을 가이드하게 함으로써 해결할 수 있다고 주장한다. 또한, 현재의 평가는 주로 자동화된 판정자와 합성 데이터에 의존하고 있으나, 결과적으로 명시적 VA 제어가 의미론적 및 음향적 응답 전략 모두를 조직화하여 더 공감적인 상호작용을 이끌어낸다는 점을 강조한다.

인정된 한계점:

• 학습 데이터가 합성 데이터이므로, 실제 자발적인 대화에서의 비유창성이나 장기적 역동성을 완전히 포착하지 못할 수 있다.
• VA 평면은 압축된 표현이며, 단일 지점이 혼합된 감정이나 턴 내부의 급격한 변화를 완전히 포착할 수는 없다.
• 문화나 개인에 따라 이산적 감정 레이블을 VA 좌표로 매핑하는 보편적인 방식은 존재하지 않는다.
• 현재 평가는 주로 자동화되어 있으며, 실제 배포 시 체감되는 공감도와 신뢰도를 검증하기 위해서는 자발적이고 장기적인 대화에 대한 인간 평가가 향후 필요하다.