기술 요약: 비모달(Bi-modal) 비꼬기 탐지기의 피드로백 손실을 통합한 비꼬는 음성 합성

문제 정의

비꼬는 음성 합성(Sarcastic speech synthesis)은 비꼬는 어조를 전달하기 위해 필요한 미묘한 운율(예: 과장된 억양, 예상치 못한 피치 변화, 변화된 타이밍)과 주석이 달린 비꼬는 음성 데이터셋의 부족으로 인해 텍스트 음성 변환(TTS) 연구에서 여전히 중요한 과제로 남아 있다. 딥러닝이 일반적인 TTS 역량을 발전시켰음에도 불구하고, 기존 시스템은 주로 중립적이거나 낭독 스타일의 음성에 집중되어 있어, 자발적인 비꼬는 의사소통의 역동적이고 맥락 의존적인 특성을 포착하는 데 어려움을 겪고 있다. 또한, 전용 비꼬기 데이터셋의 제한된 가용성은 모델이 특정 비꼬는 특징을 학습하고 재현하는 능력을 제한하며, 현재의 데이터 증강 기법은 합성된 오디오에서 비꼬는 본질을 포착하는 데 완전히 성공하지 못했다.

방법론

저자들은 비모달 비꼬기 탐지 모델로부터 얻은 피드백을 TTS 훈련 파이프라인에 통합하고, 2단계 미세 조정(fine-tuning) 전략을 결합한 새로운 프레임워크를 제안한다.

1. 피드백 손실을 포함한 비모달 비꼬기 탐지기

핵심 혁신은 오디오(음성)와 텍스트 입력을 모두 처리하는 독립적인 비모달 비꼬기 탐지기를 훈련하는 것이다.

• 아키텍처: 탐지기는 음성에서 멜 스펙트로그램을 추출하고, 이를 멀티 헤드 셀프 어텐션(multi-head self-attention)을 갖춘 스펙트럼 및 시간 모듈을 통해 처리한 뒤, BERT로 인코딩된 텍스트 임베딩과 결합한다. 이후 완전 연결 계층(fully connected layer)이 비꼬기 레이블을 예측한다.
• 통합: 이 탐지기는 (FastSpeech 2 기반의) TTS 훈련 루프에 통합된다. 훈련 중에 탐지기는 대상 오디오와 텍스트로부터 "비꼬기 임베딩(sarcasm embedding)"을 생성한다. 이 임베딩은 분산 어댑터(variance adaptor) 이전에 음소 인코더 출력과 결합된다.
• 손실 함수: 예측된 멜 스펙트로그램과 실제 정답(ground-truth) 멜 스펙트로그램 사이의 표준 평균 절대 오차(MAE) 외에도, 저자들은 **피드백 손실(feedback loss)**을 도입한다. 이 손실은 정답 오디오+텍스트 임베딩과, 비꼬기 탐지기가 예측된 멜 스펙트로그램+텍스트로부터 추출한 임베딩 사이의 코사인 거리로 계산된다. 이는 TTS 모델이 탐지기가 비꼬는 특징으로 인식할 수 있는 오디오를 생성하도록 강제함으로써, 합성 모델을 "비꼬기 인지적(sarcasm-aware)"으로 만든다.

2. 2단계 미세 조정 전략

데이터 부족 문제를 해결하기 위해 저자들은 점진적인 미세 조정 접근 방식을 채택한다.

• 1단계 (대화 적응): 고품질 낭독 음성(LibriTTS)으로 훈련된 사전 훈련된 FastSpeech 2 모델을 다양한 대화형 데이터셋(Friends 및 The Big Bang Theory와 같은 시트콤에서 추출)으로 미세 조정한다. 이 단계는 모델을 자연스러운 대화 패턴, 다양한 억양 및 속도에 적응시킨다.
• 2단계 (비꼬기 특화): 모델을 레이블이 지정된 비꼬는 데이터셋(MUStARD++)으로 추가 미세 조정한다. 이 단계는 특히 비꼬기에 고유한 미묘한 억양 단서와 피치 변화를 습득하는 것을 목표로 한다.

3. 데이터 및 훈련

• 데이터셋: 시스템은 사전 훈련을 위해 LibriTTS를, 1단계를 위해 선별된 대화형 데이터셋(6.17시간)을, 2단계 및 탐지기 훈련을 위해 MUStARD++ 코퍼스(1,202개 발화)를 사용한다.
• 전처리: 오디오는 22,050 Hz로 리샘플링되고, 무음이 제거되며, Demucs를 사용하여 배경 소음 및 웃음소리에서 인간의 목소리를 분리한다.
• 구성: TTS 모델은 256차원 임베딩을 가진 4개의 FFT 블록을 사용한다. 탐지기는 50 에포크 동안 훈련되며, TTS 모델은 800k 번의 사전 훈련 반복과 100k 번의 미세 조정 반복을 거친다.

주요 기여

1. 비꼬기 탐지 피드백의 새로운 통합: 본 논문은 피드백 손실을 통해 비모달 비꼬기 탐지기를 TTS 파이프라인에 통합하는 방법을 제시한다. 이를 통해 합성 모델이 탐지기의 비꼬는 특징 인식을 최적화함으로써 비꼬는 뉘앙스를 학습할 수 있게 하여, 모델의 비꼬는 표현 능력을 향상시킨다.
2. 포괄적인 입력 모달리티 비교: 본 연구는 비로써 텍스트와 음성 입력을 결합한 비꼬기 탐지가 음성 전용 입력보다 F1-score를 유의미하게 개선함을 입증하며, 음향적으로 명확하지 않을 수 있는 비꼬기를 식별하기 위한 텍스트의 의미론적 단서의 필요성을 강조한다.
3. 2단계 미세 조정 방법: 저자들은 (낭독 $\to$ 대화 $\to$ 비꼬기)로 이어지는 효과적인 미세 조정 파이프라인을 제안하여 데이터 부족 문제를 완화하고, 모델이 더 정확하고 적절한 비꼬는 운율을 생성하도록 유도한다.

결과

비꼬기 탐지 성능

• 탐지기 정확도: 제안된 비모달 탐지기는 베이스라인인 MUStARD++ 탐지기보다 우수한 성능을 보였다. 실제 데이터에서 음성+텍스트 구성은 F1-score 71.2%(베이스라인 68.7% 대비)를 달성했다.
• 합성된 음성 평가: 제안된 모델을 평가하는 데 탐지기가 사용되었을 때, 제안된 모델은 음성+텍스트 조건에서 베이스라인(68.8%)보다 높은 F1-score(70.1%)를 기록했다. 이는 제안된 모델의 합성된 운율이 텍스트의 의미론적 의도와 더 밀접하게 일치함을 나타낸다.

주관적 평가

• 평균 의견 점수 (MOS): 제안된 모델은 베이스라인보다 유의미하게 높은 MOS 점수를 획득했다. 특히, 제안된 모델의 발화 중 **15%**가 최고 점수(5/5)를 받은 반면, 베이스라인은 **5%**에 그쳤다.
• 선호도 테스트: 헤드 투 헤드 비교에서, **53%**의 청취자가 제안된 모델의 출력이 더 강한 비꼬는 경향을 보인다고 평가했으며, **49%**가 전반적으로 제안된 모델을 선호했다. 청취자들은 베이스라인의 출력을 "덜 설득력 있고", "단조롭다"고 묘근한 반면, 제안된 모델은 더 자연스럽고 표현력이 풍부하다고 인식했다.

의의 및 주장

본 논문은 비꼬기 탐지와 합성을 연결하는 최초의 포괄적인 접근 방식을 제시한다고 주장한다. 멀티모달 탐지 기술의 발전을 활용함으로써, 본 연구는 감정적으로 지능적이고 표현력이 풍부한 음성을 생성하는 유망한 방향을 제시한다.

저자들은 자신들의 방법이 합성된 비꼬는 음성의 표현력과 자연스러움을 개선하며, 고유한 운율적 및 의미론적 특징을 성공적으로 포착한다고 강조한다. 또한 시트콤 유래 데이터를 사용함으로써 실제 세계의 비꼬는 상호작용을 반영하는 생태학적 타당성을 확보했다고 언급한다.

그러나 저자들은 다음과 같은 한계점을 인정하며 신중한 태도를 유지한다:

• 피드백 손실과 2단계 미세 조정 각각의 개별적 기여도를 분리하여 파악할 수 없다는 점.
• 중립적인 비-비꼬기 텍스트를 포함한 대조군이 없어, 청취자들이 실제 운율적 단서와 관계없이 비꼬는 것을 기대하도록 유도(priming)되었을 가능성이 있다는 점.
• 청취자의 판단이 합성된 음성의 품질 때문인지, 아니면 텍스트 자체의 비꼬는 성격 때문인지 구분하기 어렵다는 점.

향าท 연구로는 중립적인 텍스트를 포함하도록 데이터셋을 확장하고, 비꼬기의 미세한 정도를 모델링하며, 지각적 미묘함을 더 잘 포착할 수 있도록 평가 지표를 정교화하는 것이 제안되었다.