Mind the Shift: Using Delta SSL Embeddings to Enhance Child ASR

기술 요약: MIND THE SHIFT: 아동 ASR 강화를 위한 델타 SSL 임베딩 활용

문제 정의
자기지도 학습(Self-supervised learning, SSL) 모델은 성인 자동 음성 인식(ASR)에서는 상당한 성공을 거두었으나, 아동 ASR에서는 여전히 어려움을 겪고 있다. 이러한 성능 격차는 높은 기본 주파수 및 포먼트 주파수, 큰 화자 변동성, 빠른 발달적 변화를 포함한 아동 음성의 음향적 및 언어적 특성에서 기인한다. Whisper와 같은 지도 학습 모델은 대규모 학습 데이터 덕분에 우수한 성능을 보이지만, 학습 데이터에 대한 해석 가능성과 투명성이 부족한 경우가 많다. SSL 모델은 더 해석 가능하고 전이 가능한 대안을 제공하지만, 아동 특정 데이터의 부족과 사전 학습(pre-training)과 타겟 작업 간의 도메인 불일치로 인해 어려움에 직면해 있다. 또한, 여러 SSL 모델의 특징 융합(feature fusion)은 탐구되어 왔으나, 특히 아동 ASR을 위해 미세 조정된(fine-tuned) 모델들을 융합하는 잠재력은 아직 충분히 연구되지 않았다.

방법론
저자들은 **델타 SSL 임베딩(delta SSL embeddings)**을 활용하는 새로운 특징 융합 접근 방식을 제안한다. 여러 미세 조정된 모델의 임베딩을 직접 융합하는 대신, 이들은 델타 임베딩($\Delta$)을 미세 조정된 모델과 그에 대응하는 사전 학습 모델 간의 차이로 정의한다:
$$\Delta E = E_{ft} - E_{pt}$$
가설은 이러한 델타 임베딩이 다른 모델의 일반적인 표현을 보완하는 작업 특화 정보(미세 조정에 의해 유도된 "변화(shift)")를 인코딩한다는 것이다.

본 연구는 서로 다른 사전 학습 목적 함수를 가진 세 가지 대표적인 SSL 인코더를 활용한다: Wav2Vec 2.0 (대조 손실), HuBERT (오프라인 클러스터링/의사 라벨), WavLM (노이즈 강건성을 갖춘 멀티태스크 목적 함수). 실험 프레임워크는 다음과 같다:

1. 참조 모델(Reference Model): MyST 코퍼스에서 강력한 단일 모델 성능을 보이는 WavLM을 참조 모델로 사용한다.
2. 델타 생성: 미세 조정된 임베딩에서 사전 학습된 임베딩을 빼는 방식으로 HuBERT와 Wav2Vec 2.0의 델타 임베딩을 생성한다.
3. 융합 전략: 미세 조정된 WavLM 임베딩을 세 가지 전략을 사용하여 다른 모델의 델타 임베딩과 융합한다:
   • 결합(Concatenation): 특징 차원을 따라 특징을 결합한다.
   • 가중 조합(Weighted Combination): 학습 가능한 볼록 조합(convex combination)을 사용한다.
   • 교차 주의 집중(Cross-Attention): 참조 임베딩을 쿼리(query)로, 델타 임베딩을 키(key) 및 값(value)으로 사용한다.
4. 분석: 저자들은 델타 임베딩의 상보성(complementarity)과 기여도를 분석하기 위해 정준 상관 분석(Canonical Correlation Analysis, CCA)과 전문가 혼합(Mixture of Experts, MoE) 게이팅 프레임워크를 채택한다.

주요 기여

1. 델타 임베딩 융합에 관한 첫 연구: 본 논문은 특히 아동 ASR에 적용하여 델타 임베딩을 통해 미세 조정된 SSL 표현을 융합하는 첫 연구를 제시한다.
2. 최적의 융합 전략: MyST 코퍼스 평가를 통해, 저자들은 결합(concatenation) 방식이 특히 퓨샷(few-shot) 및 저자원 시나리오에서 가중 합(weighted sums)이나 교차 주의 집중보다 일관되게 우수한 성능을 보임을 입증하였다.
3. 최첨단 성능(SOTA): 제안된 방법은 MyST 코퍼스에서 9.64의 단어 오류율(WER)을 달성하였으며(WavLM과 $\Delta$Wav2Vec 2.0 융합 시), 이는 해당 데이터셋에 대한 SSL 모델 중 새로운 최상위 성능을 기록한 것이다.
4. 저자원 효율성: 이 접근 방식은 극도로 낮은 자원의 설정(1시간의 학습 데이터)에서도 유의미한 이득을 얻었으며, 표준 미세 조정 임베딩 융합 대비 HuBERT에서는 10%의 상대적 WER 감소, Wav2Vec 2.0에서는 4.4%의 감소를 달로했다.

결과

• 성능: WavLM과 $\Delta$W2V2를 융합했을 때 모든 데이터 규모(Full, 10h, 5h, 1h)에서 가장 좋은 결과를 얻었다. 1시간 설정에서, 이 융합은 WER을 22.47%(WavLM 단독)에서 21.81%로 낮추었다.
• 전체 임베딩과의 비교: 전체 미세 조정 임베딩을 융합하는 것과 비교했을 때, 델타 임베딩은 대등하거나 더 나은 성능을 보였다. 구체적으로 1시간 설정에서, WavLM과 $\Delta$HuBERT를 융합하는 것은 WavLM과 미세 조정된 HuBERT를 융합하는 것보다 상대적으로 10% 낮은 WER을 기록했다.
• 분석 결과:
  • CCA: 분석 결과, 미세 조정은 상위 트랜스포머 레이어에서 가장 큰 표현 변화를 유도한다. 델타 임베딩은 이러한 작업 특화된 변화를 효과적으로 포착한다.
  • 상보성: 다양한 사전 학습 목적 함수를 가진 모델들(WavLM 및 W2V2)이 유사한 목적 함수를 가진 모델들(WavLM 및 HuBERT)보다 더 강한 상보성을 보였다. MoE 분석은 W2V2 델타 임베딩이 더 큰 상보적 가치를 제공하며, 참조 모델의 가중치에 대한 의존도가 더 적음을 확인해주었다.
  • 교차 도메인: 성인 음성(LibriSpeech)으로 미세 조정된 모델에서 유도된 델타 임베딩도 베이스라인보다 우수한 성능을 보였으나, 인도메인(in-domain) 델타가 가장 좋은 성능을 보였다. 이는 델타 임베딩이 특정 작업 적응을 포착함을 확인시켜 준다.

의의
본 논문은 델타 임베딩이 아동 ASR을 위한 다중 모델 융합의 단순하면서도 효과적인 메커니즘을 제공한다고 주장한다. 작업 특화된 변화를 분리함으로써, 델타 임베딩은 여러 개의 전체 모델을 융합하기 위한 계산적 오버헤드 없이도 이질적인 SSL 인코더 간의 상보성을 향상시킨다. 이러한 결과는 데이터 부족이 주요 병목 현상인 저자원 시나리오에서 특징 융합이 아동 ASR을 발전시키는 유망한 방향임을 강조한다. 본 연구는 "태스크 벡터(task vectors)"의 개념을 파라미터 공간에서 표현 공간으로 확장하여, 델타 임베딩의 저자원 음성 인식 적용 가능성을 넓혔다.