Modeling and Benchmarking Spoken Dialogue Rewards with Modality and Colloquialness

1. 문제 정의 (Problem)

종단간 (End-to-End) 구어 대화 시스템의 급속한 발전과 함께, 텍스트 기반 대화 시스템을 넘어 비언어적 뉘앙스 (Prosody, Emotion) 와 자발적인 대화의 특성을 고려한 평가 및 최적화 방법이 절실히 요구되고 있습니다. 그러나 기존 방법론은 다음과 같은 두 가지 주요 간극 (Gap) 을 해결하지 못해 평가의 신뢰성이 떨어집니다.

1. 모달리티 간극 (Modality Gap): 음성에는 억양, 감정, 채널 상태 등 비언어적 정보가 포함되어 있으나, 기존 텍스트 기반 평가자는 이를 인식하지 못합니다. 또한, 일반 목적의 오디오 LLM 은 의미 내용이 동일할 때 자연스러운 인간 음성과 합성 아티팩트를 구분하는 데 실패하는 '모달리티 맹목 (Modality Blindness)' 현상을 보입니다.
2. 구어체 간극 (Colloquialness Gap): 텍스트 최적화 시스템이 생성한 응답은 문법적으로 정확하지만, 구어체로 변환 시 너무 대본 (Scripted) 처럼 들립니다. 반면 자연스러운 대화는 간결함, 단절, 담화 마커 (Discourse markers), 상호작용적 단서 등을 포함합니다.

2. 방법론 (Methodology)

저자들은 위 두 가지 간극을 해결하기 위해 SDiaReward라는 종단간 다턴 (Multi-turn) 보상 모델과 이를 학습시키기 위한 데이터셋 및 벤치마크를 제안했습니다.

가. 데이터셋 구성: SDiaReward-Dataset

• 규모: 약 11,000 개의 선호도 쌍 (Preference Pairs), 총 200 시간의 음성 데이터.
• 구성 요소:
  • 모달리티 인식 (Modality-aware) 쌍: 실제 인간 음성 (Wild, Semi-wild, Scripted) 과 고품질 합성 음성 (TTS) 을 비교하여, 의미는 동일하지만 음향적 자연스러움 (Prosody) 이 다른 데이터를 구성합니다.
  • 구어체 (Colloquialness) 쌍: 동일한 의미의 '문어체 (Written-style)'와 '구어체 (Spoken-style)' 대본을 생성한 후, 동일한 TTS 설정으로 합성하여 음질 차이는 배제하고 스타일적 자연스러움만 평가하도록 설계했습니다.
• 전처리: 노이즈 제거, 화자 분리 (Diarization), VAD 기반 세그먼트화, LLM 기반 품질 필터링을 거쳐 고품질 에피소드 단위로 구성했습니다.

나. 보상 모델링 프레임워크: SDiaReward

• 아키텍처: Qwen2.5-Omni 를 백본으로 사용하는 종단간 멀티모달 보상 모델입니다. 텍스트 요약 없이 전체 대화 컨텍스트 (음성 + 텍스트) 를 직접 처리하여 프라시적 뉘앙스를 학습합니다.
• 학습 목표: Bradley-Terry 선호도 프레임워크를 기반으로 한 쌍별 (Pairwise) 순위 학습을 수행합니다.
  • 손실 함수: 선호도 손실 ($L_{pref}$) 에 더해, 도메인 편향을 방지하고 점수 분포를 안정화하기 위해 Center Regularization ($L_{center}$) 을 추가했습니다. 이는 절대적인 점수 편향이 아닌 도메인 내 상대적 선호도를 학습하도록 유도합니다.
• 평가 기준: 단일 모델 내에서 (i) 모달리티 인식 (음향적 일관성, 자연스러움) 과 (ii) 구어체 (자발성, 비형식성) 를 동시에 평가할 수 있도록 조건부 프롬프트를 통해 분해된 보상을 학습합니다.

다. 벤치마크: ESDR-Bench

• 목적: 모델의 일반화 능력을 엄격하게 평가하기 위해 고안된 계층적 (Stratified) 벤치마크입니다.
• 특징: 데이터 소스 (Wild, Semi-wild, Scripted) 와 메타데이터 (감정, 담화 행위 등) 를 기반으로 균등하게 샘플링하여, 특정 도메인에 치우치지 않은 평가가 가능하도록 설계했습니다.

3. 주요 기여 (Key Contributions)

1. SDiaReward-Dataset: 구어 대화 보상 모델 학습을 위한 최초의 대규모 선호도 쌍 데이터셋 (11k 쌍, 200 시간) 을 구축하고 공개합니다.
2. 종단간 보상 모델링 프레임워크: 텍스트와 음성을 통합하여 모달리티와 구어체 간극을 동시에 해결하는 단일 보상 모델을 제안합니다.
3. ESDR-Bench 및 분석: 다차원 주석과 계층적 샘플링을 통한 엄격한 벤치마크를 구축하고, 일반 목적 모델 대비 전문 데이터 기반 모델의 우월성을 실증적으로 분석했습니다.

4. 실험 결과 (Results)

• 성능: SDiaReward-7B 모델은 ESDR-Bench 에서 96.06% 의 전체 정확도 (Overall Macro) 를 기록하며, GPT-4o Audio, Gemini 2.5 Pro 등 상용/오픈소스 오디오 LLM 들을 압도했습니다.
  • 특히 모달리티 벤치마크에서 일반 모델들이 50~70% 대의 낮은 성능을 보인 반면, SDiaReward 는 96.61% 의 높은 정확도를 달성하여 합성음과 인간 음성을 정확히 구분함을 증명했습니다.
  • 구어체 벤치마크에서도 97.20% 의 높은 성능을 보였습니다.
• 일반화 능력: 3B 모델은 'Wild' 데이터에서는 잘 작동했으나 'Semi-wild'에서 성능이 급격히 떨어지는 반면, 7B 모델은 모든 도메인에서 일관된 성능 (Macro Accuracy 94.91%) 을 유지하여 모델 스케일의 중요성을 입증했습니다.
• 인간 일치도: 블라인드 인간 평가에서 모델의 예측과 인간 라벨의 일치율은 83.5% 에 달했으며, 특히 'High Confidence' 구간에서는 88.3% 를 기록했습니다.
• 아블레이션 연구:
  • Pooling 전략: Mean Pooling 이 Last Token 또는 Attention Pooling 보다 더 안정적이고 정확한 성능을 보였습니다.
  • Center Loss: Center Loss 를 적용함으로써 점수 드리프트 (Score Drift) 를 방지하고 도메인 간 상대적 순위를 올바르게 학습할 수 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 구어 대화 시스템의 평가와 정렬 (Alignment) 에 있어 텍스트 중심의 접근법을 넘어선 새로운 패러다임을 제시합니다.

• 상대적 표현력 (Relative Expressiveness) 의 학습: 제안된 모델은 단순한 아티팩트 탐지를 넘어, 각 도메인 (Wild vs Scripted) 의 특성에 맞춰 상대적인 대화의 표현력을 학습한다는 점이 확인되었습니다. 이는 강화학습 (RL) 단계에서 단순한 청각적 깨끗함보다는 감정적이고 상호작용적인 행동을 생성하도록 유도하는 데 핵심적입니다.
• 실용적 함의: 기존 일반 목적 모델이 놓친 비언어적 정보와 구어체 특성을 포착함으로써, 더 자연스럽고 인간 친화적인 AI 비서 개발을 위한 신뢰할 수 있는 보상 신호를 제공합니다.
• 향후 과제: 절대적인 보상 점수의 도메인 편향을 완화하고, 더 다양한 합성 엔진과 고품질 연기 데이터를 포함하여 모델의 견고성을 높이는 것이 향후 연구 방향입니다.

요약하자면, 이 논문은 SDiaReward를 통해 구어 대화의 핵심인 '음향적 자연스러움'과 '대화적 자발성'을 데이터 기반으로 정량화하고 평가하는 체계를 정립함으로써, 차세대 구어 대화 시스템 발전의 토대를 마련했습니다.