기술 요약: CALM – 다화자 ASR 을 위한 결합 컨텍스트 음향 - 언어 모델링

1. 문제 제기

단일 화자 자동 음성 인식 (ASR) 시스템은 최첨단 성능을 달성해 왔으나, 중첩된 발화와 대화 특유의 어휘로 특징지어지는 다화자 환경에서는 그 효능이 현저히 저하됩니다. 이러한 저하는 두 가지 주요 원인에서 비롯됩니다:

1. 음향적 과제: 중첩 구간에서 비대상 화자의 간섭으로 인한 비최적의 화자 할당.
2. 언어적 과제: 훈련 데이터에서 희소하거나 보이지 않는 고유명사, 약어, 전문 용어를 포함한 도메인 특화 언어에 대한 적응력 부족.

이전 접근법들은 주로 이러한 문제들을 별도로 처리해 왔습니다. 음향 오류는 일반적으로 대상 화자 (TS) 조건부 처리 (예: 화자 임베딩) 를 통해 완화되는 반면, 언어적 적응력은 컨텍스트 편향 (CB) 또는 얕은 융합을 통해 처리됩니다. 그러나 기존 연구들은 종종 단일 화자 또는 중첩되지 않은 조건 하에서 이러한 방법들을 평가하거나, 고도로 중첩된 시나리오에서 어려움을 겪는 직렬화된 출력 훈련 (SOT) 프레임워크에 의존합니다. 결정적으로, 이전 방법들은 음향 및 언어 컨텍스트 간의 상호 의존성을 간과하여, 언어적 오류 (예: 보이지 않는 어휘로 인한 오류) 가 여전히 독립적인 저하 원인으로 남을 때 음향 오류만 해결하는 것은 불충분함을 보여줍니다.

2. 방법론: CALM 프레임워크

저자들은 대상 화자 조건부 처리와 동적 어휘 기반 컨텍스트 편향을 통합하는 엔드 - 투 - 엔드 프레임워크인 CALM(Joint Contextual Acoustic-Linguistic Modeling) 을 제안합니다. 이 아키텍처는 다음과 같은 구성 요소를 통해 중첩 발화에서의 견고한 컨텍스트 적응을 보장하도록 설계되었습니다:

2.1. 음향 및 화자 모델링

• 특징 추출: 시스템은 프레임 레벨 특징을 추출하기 위해 상류 모델로 WavLM-Large를 사용하며, 이를 인코더 공간으로 투영합니다.
• 화자 인코더: 대상 화자 단서 (등록 발화) 는 주의력 풀링을 갖춘 ECAPA-TDNN과 RawNet3 프로젝터로 처리되어 화자 임베딩 ($E_s$) 을 생성합니다.
• 오디오 인코더: Conformer 인코더는 투영된 특징을 숨겨진 상태로 매핑합니다.
• 화자 적응: 화자 임베딩 $E_s$는 FiLM(Feature-wise Linear Modulation) 메커니즘을 사용하여 중간 및 최종 오디오 인코더 상태의 숨겨진 표현을 변조합니다. 이를 통해 음향 모델은 등록된 화자와 관련된 특징을 선택적으로 증폭할 수 있습니다.
• 보조 VAD: 최종 적응된 인코더 상태에 음성 활동 감지 (VAD) 헤드가 연결되어 프레임 레벨 대상 화자 활동 사후 확률을 계산하며, 음향 모델링을 정규화합니다.

2.2. 동적 어휘 및 컨텍스트 편향

• 편향 인코더: Transformer 기반 인코더 (평균 풀링 포함) 는 편향 목록 $B$(구문 집합) 를 구문 레벨 벡터 표현으로 인코딩합니다.
• 동적 어휘 확장: 프레임워크는 편향 목록에서 파생된 동적 어휘 ($V_{d-vocab}$) 로 정적 어휘 ($V_{stat}$) 를 확장합니다. 각 편향 구문은 단일 동적 토큰으로 처리됩니다.
• 결합 출력 레이어: 모델은 정적 및 동적 어휘 모두에 대한 정렬 점수를 계산합니다. 이들은 편향 가중치 하이퍼파라미터 ($\mu$) 로 제어되는 가중 소프트맥스(이전 작업에서 적응됨) 를 거쳐 연결됩니다. 이 메커니즘은 추론 중 과도한 편향 또는 편향 부족을 방지합니다.
• 자기 조건부 처리: 이전 작업과 유사하게, 중간 레이어의 사후 확률이 인코더 입력에 다시 추가되어 동적 어휘 정보가 인코더 전체에 전파되도록 합니다.

2.3. 훈련 목적 함수

모델은 다음을 결합한 가중 다중 작업 손실 함수를 사용하여 최적화됩니다:

1. CTC 손실: 최종 레이어 및 선택된 중간 레이어 (interCTC) 에서 계산됨.
2. 주의 손실: 토큰을 자기회귀적으로 예측하는 동적 어휘 기반 주의 디코더를 통해 계산됨.
3. VAD 손실: 예측된 활동 레이블과 실제 레이블 간의 이진 교차 엔트로피.

3. 주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

1. 통합 프레임워크: 대상 화자 조건부 처리와 동적 어휘 확장을 통합하여 결합 음향 - 언어 적응을 가능하게 하는 새로운 아키텍처.
2. 확장 가능한 개인화: 다양한 편향 목록 크기와 동적 다화자 대화 시나리오 전반에 걸쳐 효과적으로 유지되는 개인화된 컨텍스트 적응 메커니즘.
3. 광범위한 평가: 영어 (LibriSpeechMix, AMI) 및 일본어 (CSJMix) 데이터셋에 대한 포괄적인 실험을 통해 최첨단 베이스라인 대비 상당한 개선을 입증.

4. 실험 결과

저자들은 시뮬레이션된 영어 (LibriSpeechMix), 시뮬레이션된 일본어 (CSJMix), 그리고 표준화된 실제 세계 혼합물 (AMI-IHM-Mix) 에서 CALM 을 평가했습니다.

4.1. 영어 (LibriSpeechMix)

• 성능: 두 화자 혼합물 (LibriSpeech2Mix) 에서 CALM 은 편향 목록 2,000 개 항목을 사용하여 기존 TS-ASR 모델 대비 편향 단어 오류율 (B-WER) 을 12.7 에서 4.7 로 감소시켰습니다.
• 일반화: 편향 목록이 커질수록 성능이 저하되는 기존 컨텍스트 편향 방법과 달리, CALM 은 목록 크기가 증가함에 따라 B-WER 과 편향되지 않은 WER(U-WER) 모두에서 일관된 개선을 보여주었습니다.
• 비교: CALM 은 재현된 베이스라인 및 이전 대상 화자 ASR 접근법 (예: Whisper-large-SS-TTI, Transformer SA-ASR) 보다 우월한 성능을 발휘하여 전체 WER 을 가장 낮게 기록했습니다 (LibriSpeech2Mix 기준 3.56).

4.2. 일본어 (CSJMix)

• 교차 언어 검증: CALM 은 문자 기반 언어인 일본어에서도 견고함을 입증했습니다. CSJMix2 에서 편향 목록 100 개 항목을 사용하여 편향 문자 오류율 (B-CER) 이 16.6 에서 8.4(eval3) 로 감소했습니다.
• 일관성: 이 프레임워크는 전체 CER 을 안정적으로 유지하면서 두 화자 및 세 화자 혼합물 전반에 걸쳐 B-CER 을 지속적으로 개선했습니다.

4.3. 표준화된 혼합물 (AMI)

• 실제 세계 검증: AMI 코퍼스 (IHM-mix 조건) 에서 CALM 은 편향 목록 1,000 개 항목을 사용하여 B-WER 을 34.7 에서 22.1 로 감소시켰습니다.
• 관찰: 전체 WER 은 대화 데이터에서 흔히 발생하는 짧은 발화와 채움 단어 (fillers) 로 인한 삽입 오류로 인해 약간 증가했으나, B-WER 의 상당한 감소는 표준화된 실제 세계 혼합물에서 편향 용어를 인식하는 모델의 능력을 입증했습니다.

5. 중요성 및 주장

이 논문은 CALM 이 과거에 고립적으로 또는 중첩되지 않은 조건 하에서 평가되어 왔던 기존 대상 화자 및 컨텍스트 편향 접근법의 한계를 넘어선 중요한 진전이라고 주장합니다.

• 결합 모델링: 주요 중요성은 언어적 및 음향적 적응을 개별적으로 처리하는 것보다 결합적으로 활용하는 것이 더 효과적임을 입증한 데 있습니다. 화자 임베딩은 직접적으로 동적 어휘 레이어를 변조하여 음향 및 언어 정보를 정렬합니다.
• 견고성: 이 프레임워크는 시뮬레이션 환경뿐만 아니라 채움 단어 및 화자 변동성과 같은 과제를 처리하는 표준화된 실제 세계 대화 데이터셋 (AMI) 에서도 효과적임이 입증되었습니다.
• 확장성: 결과는 동적 어휘 확장과 화자 인식 적응의 통합이 확장 가능하고 개인화된 다화자 ASR 을 가능하게 하여, 중첩으로 인한 음향 오류와 보이지 않는 어휘 과제를 모두 효과적으로 해결함을 확인시켜 줍니다.

저자들은 이 결합 음향 - 언어 통합이 회의록 및 그룹 토론과 같은 실제 응용 프로그램에서 개인화된 다화자 ASR 을 위한 견고한 솔루션을 제공하며, 이전 방법의 제약 조건을 넘어 해당 분야를 발전시킨다고 결론지었습니다.