기술 요약: LibriConvo – ASR 및 화자 분할을 위한 문학 낭독 기반 대화 시뮬레이션

문제 정의

현대 음성 처리 시스템, 특히 엔드 투 엔드 화자 분할(EEND) 및 다중 화자 자동 음성 인식(ASR)은 주석이 달린 방대한 양의 대화형 오디오를 필요로 한다. 그러나 신뢰할 수 있는 턴 단위 레이블을 갖춘 실제 다자간 대화를 수집하는 것은 비용이 많이 들고 어렵다. 합성 데이터 생성이 일반적인 대안으로 등장했지만, 단순한 발화 혼합 방식은 현실적인 차례 주고받기(turn-taking) 행동, 안정적인 화자 정체성 패턴, 그리고 전체 대화 전반의 의미적 연속성을 포착하는 데 실패하는 경우가 많다. 또한, 기존의 SASC(Speaker-Aware Simulated Conversation) 프레임와 같은 프레임워크는 대화 타이밍에 대한 이론적 모델링은 제공했으나, 릴리스된 벤치마크 데이터셋과 ASR 및 화자 분할 작업에 대한 다운스트림 평가 결과가 부족했다.

방법론

본 논문은 특정 개선 사항을 적용하여 SASC 프레임워크를 구현함으로써 구축된 합성 대화 음성 코퍼스인 LibriConso를 소개한다. 이 프레임워크는 다운스트림 작업에 대한 적합성과 현실성을 높이기 위해 설계되었다. 구축 파이프라인은 다음과 같은 몇 가지 핵심 기술 구성 요소를 포함한다:

1. 대화 타이밍 및 통계

기존 주석(특히 Switchboard 코퍼스의 중첩 및 간격 통계)의 불일치를 해결하기 위해, 저자들은 English CallHome 코퍼스를 활용하였다. 저자들은 더 신뢰할 수 있는 시간적 경계를 도출하기 위해 외부 음성 활동 감지(VAD) 모델인 Silero VAD를 사용하였다.

• 휴지 압축(Pause Compression): 예비 분석 결과, 재구성된 대화에 부자연스럽게 긴 휴지가 포함되어 있음이 밝혀졌다. 자연스러운 발화를 모사하기 위해, 결정론적 피스와이즈 선형 변환(deterministic piecewise linear transform)을 적용하여 침묵 지속 시간을 조절하였다. 이는 짧은 간격은 보존하면서도, 임계값 $t=1.0$을 초과하는 휴지에 대해 압축 계수 $s=0.4$를 사용하여 긴 침묵을 선택적으로 압축함으로써, 이벤트의 상대적 순서는 유지하되 인위적인 단절성을 줄였다.
• 차례 주고받기(Turn-Taking): CallHome 데이터로 학습된 1차 마르코프 체인(first-order Markov chain)을 사용하여 화자 전환 확률을 모델링하였다.

2. 의미적 연속성

텍ual 컨텍스트에 의존하는 ASR 모델을 저해할 수 있는 기존 합성 데이터셋의 의미적 일관성 결여 문제를 해결하기 위해, 저자들은 발화 선택에 제약을 두었다.

• 소스 자료: 발화는 읽기로 구성된 책 챕터인 LibriTTS에서 추출되었다.
• 도서 제약(Book Constraint): 각 시뮬레이션된 대화는 단일 도서의 발화들로 구성되어, 대화 참여자들이 공통된 의미적 토대를 공유하도록 보장한다.
• 길이 필터링: 발화는 2초에서 10초 사이의 현실적인 범위 내로 필터링되었다.

3. 음향적 현실성 (실내 임펄스 응답)

저자들은 BUT Speech@FIT Reverb Database에서 실내 임펄스 응답(RIR)을 선택하기 위한 공간적 타당성 휴리스틱을 구현하였다.

• 선택 전략: 무작위 선택 대신, 이상적인 인간 음성 위치(예: 높이 1.5m 소스 높이, 소스-마이크 거리 1m)와 관련된 기하학적 속성(높이, 거리, 고도, 방위각)을 기준으로 구성을 순위화하였다.
• 다양성: 선택 과정은 화자들이 최소 20°의 방위각 차이를 갖도록 요구하여 공간적 다양성을 확보하며, 이를 통해 선형 배치를 피하고 자연스러운 대화 장면을 근사한다. 이 절차는 대화의 40%에 적용되었다.

4. 데이터셋 구축 및 분할

결과물인 코퍼스는 830명의 고유 화자가 참여하는 1,496개의 대화를 포함하여 240.1시간의 오디오를 담고 있다.

• 화자 분리 분할(Speaker-Disjoint Splits): 강력한 평가를 수행하고 데이터 누수를 방지하기 위해, 데이터셋은 특정 화자가 하나의 분할 세트에만 나타나도록 훈련, 검증, 테스트 세트로 분할되었다.
• 분포: 분할은 약 80–10–10% 비율(훈련: 193.7h/580명; 검증: 23.1h/127명; 테스트: 23.3h/123명)을 따른다.

주요 기여

1. LibriConvo 데이터셋: ASR 및 화자 분할을 위해 특별히 설계된, 턴 단위 화자 레이블과 전사(transcription)를 포함한 240.1시간의 합성 대화 데이터셋을 공개하였다.
2. 강화된 구축 파이프라인: 다음 기능을 갖춘 SASC 프레임워크의 데이터셋 지향적 구현을 제공한다:
   • 의미적 연속성을 개선하기 위한 도서 제약 기반 발화 샘플링.
   • 음향적 타당성을 높이기 위한 현실성 기반 RIR 선택 전략.
   • 자연스러운 발화 통계에 더 잘 맞추기 위한 휴지의 시간적 압축.
3. 재현 가능한 베이스라인: 화자 분리 분할에 대한 화자 분할 및 ASR의 벤치마크 결과를 확립하여, 다중 화자 음성 처리 시스템을 평가하기 위한 표준을 제공한다.

실험 결과

화자 분할 (Speaker Diarization)

두 가지 최첨단 프레임워크가 추가 미세 조정 없이 평가되었다:

• Pyannote 파이프라인: 세그멘테이션, 임베딩 추출 및 클러스터링을 사용하는 모듈형 프레임워크.
• Sortformer: 일관된 화자 레이블 순서를 강제하기 위해 "Sort Loss"를 사용하는 인코더 기반 모델.

결과: Sortformer는 테스트 세트에서 Pyannote 파이프라인을 크게 능가하였으며, Pyannote의 24.4% 대비 **11.1%의 화자 분할 오류율(DER)**을 달 기록하였다. Sortformer는 또한 오류 분포의 분산이 더 낮아 기록 간의 높은 일관성을 보여주었다.

자동 음성 인식 (ASR)

저자들은 사전 학습된 모델(Whisper-large-v3, Canary-1B-v2)과 **직렬 출력 훈련(Serialized Output Training, SOT)**을 사용하여 미세 조정된 FastConformer 모델(Large 및 XLarge)을 평가하였다.

• 훈련 접근 방식: 모든 중첩 지점에서 발화를 분리하는 토큰 수준의 변형과 달리, SOT 방식은 각 화자의 발화를 하나의 일관된 단위로 보존하며 <sc> 토큰으로 화자 변경을 표시한다.
• 지표: 단어 오류율(WER), 연결 최소 순열 WER(cpWER), 세그먼트 정확도(SegAcc).

결과:

• 사전 학습된 모델은 미세 조정 없이도 우수한 성능을 보였다 (예: Whisper-large-v3는 테스트 세트에서 7.46% WER 달성).
• SOT를 통해 미세 조정된 FastConformer-CTC XLarge 모델이 가장 우수한 종합 성능을 보였다: 테스트 세트에서 7.29% WER 및 6.97% cpWER을 기록하며 제로샷(zero-shot) Whisper-large-v3 베이스라인을 능가하였다.
• 모든 모델은 cpWER로 평가했을 때 성능이 향상되었는데, 이는 내용 자체는 정확하지만 화자 세그먼트의 순서가 참조값과 가끔 달랐음을 시사한다.

의의 및 주장

본 논문은 LibriConvo를 합성 대화 음성 연구 및 다중 화자 시스템 평가를 위한 실용적인 벤치마크로 자리매김한다. 저자들은 이 데이터셋이 이전의 시뮬레이션 데이터셋이 가진 한계점, 즉 의미적 일관성의 결여와 비현실적인 시간적 간격 문제를 해결한다고 주장한다.

결과는 다음을 입증한다:

1. 엔드 투 엔드 트랜스포머 아키텍처(Sortformer와 같은)는 모듈형 파이프라인에 비해 중첩된 음성을 분리하고 화자 연속성을 유지하는 데 매우 효과적이다.
2. **직렬 출력 훈련(SOT)**은 모든 중첩에서 음성을 파편화하는 대신 발화의 일관성을 보존하는 효과적인 다중 화자 ASR 전략이다.
3. 본 방법론은 재현 가능하며, 더 큰 규모의 데이터셋을 생성하거나 다양한 음향 조건에 적응하도록 확장될 수 있다.

저자들은 LibriConvo가 이론적 프레임워크와 실제 시스템 평가 사이의 간극을 메우는 현실적인 시뮬레이션 환경을 제공함으로써, 향후 다중 화자 음성 처리 연구를 위한 가치 있는 자원이 될 것이라고 결론짓는다.