⚡ electrical engineering

Unifying Diarization, Separation, and ASR with Multi-Speaker Encoder

본 논문은 공유된 기본 아키텍처와 잔차 가중합 인코딩을 통해 화자 분리, 음성 분리, 다화자 자동음성인식을 공동으로 학습하는 통합 다화자 인코더 (UME) 를 소개하며, 이는 작업 간 의존성을 효과적으로 활용하여 중첩 음성 데이터셋에서 최첨단 성능을 달성합니다.

원저자: Muhammad Shakeel, Yui Sudo, Yifan Peng, Chyi-Jiunn Lin, Shinji Watanabe

게시일 2026-05-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Muhammad Shakeel, Yui Sudo, Yifan Peng, Chyi-Jiunn Lin, Shinji Watanabe

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

가정해 보세요. 세 사람이 서로의 말을 가로막으며 떠드는 시끄러운 저녁 파티에 있고, 배경에서는 큰 소리로 라디오가 재생되고 있습니다. 당신의 목표는 다음 세 가지를 동시에 수행하는 것입니다:

화자 분리 (Speaker Diarization): 누가 언제 말하고 있는지 파악하기.
음성 분리 (Speech Separation): 다른 사람들의 볼륨을 낮추는 것처럼 각 사람의 목소리를 물리적으로 분리하여 선명하게 듣기.
자동 음성 인식 (ASR): 각 사람이 무엇을 말했는지 정확하게 기록하기.

보통 컴퓨터는 이러한 문제들을 세 명의 전문가가 고립되어 작업하듯 하나씩 해결하려 합니다. 하지만 이 논문의 저자인 무함마드 샤킬 (Muhammad Shakeel) 과 그의 팀은 이렇게 질문했습니다. "세 가지 작업을 동시에 수행하도록 학습하는 초지능 뇌를 구축한다면 어떨까요?"

간단한 비유를 사용하여 그들이 어떻게 했는지 살펴보겠습니다.

"범용 번역기" 뇌 (인코더)

팀은 OWSM이라는 사전 훈련된 "음성 기반 모델 (Speech Foundation Model)"로 시작했습니다. 이 모델을 수백만 권의 책을 읽고 수천 시간의 깨끗한 1 인 음성을 들어본 고학력 학생이라고 상상해 보세요. 이 학생은 언어 이해에 뛰어나지만, 서로의 말을 가로막으며 떠드는 시끄럽고 붐비는 방에 가본 적은 없습니다.

연구자들은 이 "학생"에게 새로운 임무를 부여했습니다: 통합 다중 화자 인코더 (Unified Multi-Speaker Encoder, UME). 이 새로운 시스템은 단순히 한 목소리만 듣는 것이 아니라, 저녁 파티의 혼란을 처리해야 합니다.

비밀 재료: "잔차 가중 합 (Residual Weighted-Sum, RWSE)"

이것이 이 논문의 가장 창의적인 혁신입니다.

딥러닝 모델이 음성을 처리할 때, 고층 빌딩의 층수처럼 여러 계층을 거칩니다.

아래층은 원시 소리 (삐삐 소리, 윙윙거림, 음높이) 를 듣습니다.
중간층은 음절과 단어를 이해하기 시작합니다.
위층은 전체 의미와 맥락을 이해합니다.

이전 모델들은 보통 가장 위층의 답변만 가져왔습니다. 하지만 저자들은 혼란스러운 방에서는 모든 층의 정보가 필요하다는 것을 깨달았습니다.

그들은 **잔차 가중 합 인코딩 (Residual Weighted-Sum Encoding, RWSE)**이라는 기법을 만들었습니다. 모델의 서로 다른 층인 관리자 팀이 최종 의사결정자에게 메모를 전달하는 상황을 상상해 보세요.

CEO(최상위 층) 의 말만 듣는 것이 아니라, 의사결정자는 CEO, 중간 관리자, 신입 사원으로부터 온 메모의 **가중치 혼합 (weighted mix)**을 듣습니다.
시스템은 각 층을 얼마나 들어야 할지 결정하는 법을 학습합니다. 때로는 원시 소리가 가장 중요하고, 때로는 맥락이 가장 중요합니다.
이는 "하향식 정렬 (bottom-up alignment)"을 만들어, 시스템이 누가, 무엇을, 언제 말했는지를 모두 동시에 이해하도록 보장합니다. 왜냐하면 이 모든 요소가 끊임없이 서로 소통하기 때문입니다.

삼자 경쟁

이 시스템은 "다중 작업 학습 (multi-task learning)" 접근법으로 훈련됩니다. 마치 학생이 다음 세 가지 점수를 받는 기말고사를 치르는 상황을 상상해 보세요:

누가 말하고 있는지 정확히 식별하기.
목소리를 정확히 분리하기.
텍스트를 정확히 전사하기.

학생이 한 부분에 막히면 다른 부분들이 이를 해결하는 데 도움을 줍니다. 예를 들어, 시스템이 누가 말하고 있는지 확신이 없다면, 목소리를 분리할 수 있다는 사실이 화자를 추측하는 데 도움을 줍니다. 목소리를 분리하지 못한다면 텍스트 전사가 단서를 제공할 수 있습니다. 이 모든 요소들이 서로를 도와 오류 가능성을 줄입니다.

결과: 새로운 기록

팀은 두 세 사람이 배경 소음 속에서 서로의 말을 가로막으며 대화하는 시뮬레이션된 잡음 대화 (LibriMix 데이터셋) 에서 시스템을 테스트했습니다.

결과: 그들의 "통합 뇌 (UME)"는 이러한 작업을 별도로 수행하려 했던 이전 모델들을 크게 능가했습니다.
하이라이트: 누가 언제 말했는지 파악하는 작업 (화자 분리) 에서 거의 완벽한 점수를 달성하여, 가장 혼란스러운 3 인 대화에서도 2% 미만의 오류율을 기록했습니다. 이는 시작 모델 (OWSM) 이 깨끗한 1 인 음성만으로 훈련되었음에도 불구하고 이전 최첨단 모델들보다 더 나은 성능을 보인 것입니다.

왜 중요한가 (논문에 따르면)

이 논문은 이러한 작업을 통합함으로써 시스템이 "공유 표현 공간 (shared representation space)"을 학습한다고 주장합니다. 쉽게 말해, 컴퓨터는 어떤 전문 도구 단독으로 처리하는 것보다 실제 대화의 혼란을 더 잘 처리하는 단일하고 강력한 인간 음성 이해 체계를 구축한 것입니다.

그들은 단순히 더 나은 도구를 만든 것이 아니라, 컴퓨터에게 세 가지 관련 작업을 동시에 가르치는 것이 특히 중첩된 음성을 다룰 때 모든 작업에 대해 더 똑똑하게 만든다는 것을 증명했습니다.

기술 요약: 다화자 인코더를 통한 화자 분리, 음성 분리 및 자동 음성 인식의 통합

문제 제기
화자 분리 (SD), 음성 분리 (SS), 그리고 다화자 자동 음성 인식 (ASR) 은 "누가, 무엇을, 언제 말했는지"를 이해하기 위한 핵심 작업들입니다. 전통적으로 이러한 작업들은 고립된 음향 정보에 기반하여 작동하는 독립적인 단일 작업 모델로 해결되어 왔습니다. 이러한 접근법은 작업들 간의 내재적 상호 의존성을 활용하지 못합니다. 최근의 프레임워크들은 이러한 작업들을 통합하려 시도했으나, 종종 고정된 최적의 순서 (예: SD $\to$ SS $\to$ ASR) 를 따르거나 다화자 대화에 어려움을 겪는 사전 훈련된 음성 기초 모델 (SFM) 에 의존합니다. 또한, 기존 연구들은 인코더의 서로 다른 층이 서로 다른 의미 정보를 포착한다고 제안합니다 (예: SD 를 위한 초기 층, ASR 을 위한 최종 층). 그럼에도 불구하고 대부분의 통합 모델은 모든 작업에 걸쳐 계층적 정보를 동시에 효과적으로 활용하지는 못합니다.

방법론: 통합 다화자 인코더 (UME)
저자들은 공유 음성 기초 모델 (SFM) 인코더를 사용하여 SD, SS, 그리고 다화자 ASR 을 공동으로 최적화하도록 설계된 엔드 투 엔드 (E2E) 프레임워크인 통합 다화자 인코더 (UME) 를 제안합니다.

공유 인코더: 이 프레임워크는 공유 특징 추출기로 OWSMv3.1(Open Whisper Style Speech Model) 인코더를 활용합니다. 단일 화자 작업만으로 훈련된 이전 SFM 들과 달리, OWSMv3.1 은 여기서 다화자 시나리오에 맞게 적응되었습니다.
잔차 가중 합 인코딩 (RWSE): 핵심 혁신은 인코더의 여러 층에서 은닉 표현을 추출하는 것입니다. 단일 층이나 단순한 가중 합에 의존하는 대신, UME 는 잔차 가중 합 인코딩을 사용합니다. 이는 다음을 포함합니다:
1. 작업별 학습 가능한 가중치 ( $\omega^{(l)}_{task}$ ) 를 사용하여 모든 인코더 층의 가중 합 ( $H_{ws}$ ) 을 계산합니다.
2. 이 가중 합을 최종 인코더 층 ( $H^{(L)}$ ) 에 추가하여 최종 층의 영향을 증폭시키면서 중간 의미 수준에서의 정보를 통합합니다.
3. 이 메커니즘은 작업 간의 하향식 정렬과 정보 교환을 용이하게 합니다.
작업별 분기:
- 화자 분리 (SD): 순열 불변 훈련 (PIT) 을 사용하는 엔드 투 엔드 신경 화자 분리 (EEND) 모델을 사용합니다. RWSE 특징을 사용하여 이진 화자 활동 라벨을 예측합니다.
- 음성 분리 (SS): Conv-TasNet 아키텍처를 통합합니다. RWSE 특징은 업샘플링되어 1 차원 컨볼루션 인코더의 출력과 연결됩니다. 이러한 결합된 특징은 소스 신호를 분리하기 위한 마스크를 생성하기 위해 시간 컨볼루션 네트워크 (TCN) 를 통과합니다.
- 다화자 ASR: 결합 CTC/어텐션 기반 프레임워크를 확장합니다. RWSE 특징은 화자 구별 인코더 블록 ( $SpeakerEnc^{c}_{SD}$ ) 을 통해 처리되어 화자별 특징을 추출한 후, 화자 순열을 처리하기 위해 PIT 를 사용하는 트랜스포머 기반 디코더로 디코딩됩니다.
최적화: 이 모델은 세 가지 손실 함수의 가중 합으로 훈련됩니다: 화자 분리 손실 (BCE), 분리 손실 (SI-SDR), 그리고 ASR 손실 (CTC + 교차 엔트로피). 가중치 ( $\lambda_{diar}, \lambda_{sep}, \lambda_{asr}$ ) 는 경험적으로 조정됩니다.

주요 기여

통합 프레임워크: SD, SS, 그리고 다화자 ASR 을 공동으로 최적화하는 단일 네트워크의 제안으로, 순차적 또는 독립적인 작업 처리에서 벗어납니다.
RWSE 메커니즘: 모든 인코더 층의 은닉 표현을 활용하기 위해 잔차 가중 합 인코딩을 도입하여, 하향식 정렬과 작업 간 상호 의존성을 개선할 것으로 가설을 세웠습니다.
성능 향상: 중첩된 음성 데이터에서 단일 작업 베이스라인 및 이전 통합 접근법보다 상당한 성능 개선을 입증했습니다.

실험 결과
이 프레임워크는 100% 중첩을 포함하는 잡음 ("mixboth") 과 청결 ("mixclean") 조건 모두에서 2 화자 (Libri2Mix) 및 3 화자 (Libri3Mix) 데이터셋으로 평가되었습니다.

화자 분리: UME 는 최첨단 결과를 달성했습니다. Libri2Mix 청결 평가 세트에서 화자 분리 오율 (DER) 이 **1.37%**였으며, Libri3Mix 에서는 **2.29%**였습니다. 이러한 결과는 OWSMv3.1 이 청결한 음성만으로 사전 훈련되었음에도 불구하고 WavLM Large 를 사용한 이전 연구를 포함한 기존 연구들을 크게 능가합니다.
음성 분리: 통합 접근법은 분리 전용 베이스라인 (Conv-TasNet) 보다 일관된 개선을 보여주었습니다. Libri2Mix 청결 데이터에서 SI-SNR 은 베이스라인의 10.93 dB 대비 17.06 dB로 향상되었습니다.
다화자 ASR: 이 프레임워크는 다양한 중첩 설정에서 견고성을 입증했습니다. Libri2Mix 청결 세트에서 단어 오율 (WER) 은 **6.4%**였으며, SOT-Conformer 및 Whisper-medium-SS-TTI 와 같은 강력한 베이스라인을 능가했습니다.
절대 실험 (Ablation Studies): 결과는 ASR 분기를 사전 훈련된 모델로 초기화하는 것이 훈련 안정성에 중요함을 확인시켰으며, 특히 3 화자 시나리오에서 초기화 없이 훈련할 경우 발산이 발생했습니다. RWSE 메커니즘 또한 단순한 가중 합이나 단일 층 입력에 비해 효과적임이 입증되었습니다.

의의 및 주장
이 논문은 UME 프레임워크가 SD, SS, 그리고 다화자 ASR 을 위한 공유 표현 공간을 성공적으로 창출하여 작업들이 서로의 상호 의존성으로부터 혜택을 볼 수 있게 했다고 주장합니다. RWSE 를 통해 SFM 인코더 내의 계층적 정보를 활용함으로써, 이 모델은 인코더에 대한 작업별 사전 훈련 없이도 우수한 일반화와 성능을 달성합니다. 저자들은 이 접근법이 계단식 시스템에서 흔히 발생하는 오차 누적을 효과적으로 최소화한다고 지적합니다. 현재 작업은 영어 데이터셋 (LibriMix) 에 초점을 맞추고 있지만, 저자들은 향후 작업에서 이 프레임워크를 다국어 시나리오와 CHiME-6 과 같은 더 까다로운 실제 세계 데이터셋으로 확장하는 데 관심을 표명했습니다.