Languages in Whisper-Style Speech Encoders Align Both Phonetically and Semantically

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 사전 학습된 Whisper 스타일 음성 모델 (Speech Foundation Models) 은 다국어 간 의미 정렬 (Cross-lingual alignment) 을 보유하고 있으며, 이를 통해 언어 간 지식 이전이 가능하다는 것이 알려져 있습니다. 기존 연구들은 '구두 번역 검색 (Spoken Translation Retrieval)'을 통해 이러한 정렬을 검증해 왔습니다.
• 문제점: 기존 연구의 주요 한계는 **음운론적 중첩 (Phonetic Overlap)**을 통제하지 않았다는 점입니다. 동음이의어, 차용어 (Loanwords), 고유명사, 또는 발음이 유사한 단어 (Cognates) 와 같은 요소들이 실제 의미적 유사성 없이도 검색 성능을 인위적으로 높일 수 있는 '단서 (Shortcuts)'로 작용할 수 있습니다.
• 핵심 질문: 음성 모델의 교차 언어 정렬이 실제 의미적 (Semantic) 유사성에 기반한 것인지, 아니면 단순히 발음적 (Phonetic) 유사성에 의존하는 것인지를 규명해야 합니다.

2. 방법론 (Methodology)

2.1. 발음 통제 챌린지 세트 구축 (Pronunciation-Controlled Challenge Set)

• 데이터 구성: FLEURS 데이터셋을 기반으로, 발음적 단서가 제거된 새로운 평가 세트를 구축했습니다.
  • 필터링: 고유명사, 차용어 (일본어의 경우 가타카나 스크립트 제거), 유사 발음 측정 단위 등을 제거했습니다.
  • 언어 쌍: 유형론적 (Typologically) 및 계통론적으로 먼 언어 쌍 (예: 영어 - 중국어, 프랑스어 - 일본어 등) 을 선택하여 어근 공유 가능성을 최소화했습니다.
• 목적: 발음적 단서가 없는 상태에서도 교차 언어 검색이 가능한지 확인하여 의미적 정렬의 존재를 입증합니다.

2.2. 학습 목표 비교 실험 (Comparative Study)

• 모델 비교: Whisper 스타일 인코더의 정렬 능력이 '구두 번역 (Speech Translation)' 학습 목표에 의해 주도되는지, 아니면 '다국어 자동 음성 인식 (Multilingual ASR, 다음 토큰 예측)'만으로도 발생하는지 비교했습니다.
  • OWSM (Open Whisper-style Speech Models): 구두 번역 학습을 포함한 모델과 이를 제외한 모델 (Low-Restriction) 을 비교 분석했습니다.

2.3. 초기 종료 (Early Exiting) 실험

• 가설: 인코더의 마지막 층 (Final Layer) 은 언어별 의미에 특화되어 있을 가능성이 높으며, 중간 층 (Intermediate Layers) 은 언어에 덜 의존적인 더 일반적인 표현을 담고 있을 것이라고 가정했습니다.
• 기법: DecoderLens 기법을 활용하여, 인코더의 마지막 층 대신 중간 층의 표현을 디코더에 입력하여 추론을 수행했습니다.
• 적용: 훈련 중 보지 못한 저자원 언어 (Low-resource languages) 에 대한 ASR 성능 향상을 목표로 했습니다.

3. 주요 기여 (Key Contributions)

1. 발음 단서 없는 교차 언어 검색 가능성 입증: 발음적 유사성이 제거된 챌린지 세트에서도 Whisper 모델의 최종 층에서 교차 언어 검색 정확도가 무작위 추측보다 훨씬 높게 유지됨을 보였습니다.
2. 구두 번역 목표의 중요성 규명: Whisper 스타일 모델의 의미적 교차 언어 정렬 능력은 구두 번역 학습 목표에 의해 강력하게 주도됨을 발견했습니다. 다국어 ASR 만으로 학습된 모델은 정렬 능력이 존재하지만 그 정도가 약했습니다.
3. 초기 종료 (Early Exiting) 를 통한 일반화 성능 향상: 인코더의 초기 층을 사용하여 언어별 의미에 덜 의존하는 표현을 유도함으로써, 훈련 데이터에 포함되지 않은 저자원 언어의 음성 인식 오류율 (WER, CER) 을 개선하는 방법을 제시했습니다.

4. 실험 결과 (Results)

• 교차 언어 검색 (Spoken Translation Retrieval):

  • Whisper-large-v2: 발음 단서가 제거된 챌린지 세트에서도 최종 층 (Final Layers) 에서 R@1, R@5, R@10 지표를 통해 무작위 베이스라인보다 현저히 높은 성능을 보였습니다. 이는 모델이 의미적 특징에 의존하고 있음을 시사합니다.
  • OWSM 비교: 구두 번역 학습을 포함한 모델 (Normal) 이 포함하지 않은 모델 (Low-Restriction) 보다 검색 정확도가 훨씬 높았습니다. 특히 최종 층에서 그 격차가 두드러졌으나, ASR 만 학습된 모델도 R@10 에서 유의미한 정렬 능력을 보였습니다.

• 초기 종료 및 저자원 언어 ASR 성능:

  • 7 개의 저자원 언어 (케추아어, 아일랜드어, 자바어 등) 에 대한 실험 결과, 7 개 중 5 개 언어에서 최종 층 (Layer 32) 을 사용하는 것보다 **중간 층 (예: Layer 24~29)**을 사용하는 것이 CER(문자 오류율) 과 WER(단어 오류율) 을 개선했습니다.
  • 사례 분석 (자바어): 최종 층은 인도네시아어 단어를 과도하게 사용하여 자바어 발음과 어긋나는 전사를 생성한 반면, 초기 종료 (Layer 29) 는 자바어 금전 (Gold) 전사에 더 발음적으로 충실한 결과를 보여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 의미론적 정렬의 실증: 음성 모델의 교차 언어 정렬이 단순한 발음적 유사성이 아닌, 실제 의미 공간의 정렬임을 실험적으로 증명했습니다.
• 학습 목표의 영향: 구두 번역 (Speech Translation) 과 같은 지도 학습 (Supervised Learning) 과 다중 작업 (Multi-task) 신호가 의미 표현을 형성하는 데 결정적인 역할을 한다는 것을 강조했습니다.
• 실용적 적용 (Low-Resource Languages): Whisper 와 같은 대규모 모델이 훈련 데이터에 없는 저자원 언어에서 성능이 떨어지는 문제를 해결하기 위해, **인코더의 초기 층을 활용하는 전략 (Early Exiting)**이 효과적임을 보였습니다. 이는 모델이 특정 언어의 의미에 과도하게 특화되는 것을 방지하고, 더 일반적인 음향/언어적 표현을 활용하게 함으로써 일반화 성능을 높입니다.
• 향후 연구: 이러한 초기 종료 기법이 사회언어학적 변이 (Sociolinguistic variation) 나 보지 못한 화자 (Unseen speakers) 에 대한 성능에도 적용 가능한지 추가 연구가 필요함을 제안했습니다.

이 논문은 Whisper 스타일 모델의 내부 작동 원리를 더 깊이 이해하고, 저자원 언어 지원과 같은 실제 과제를 해결하기 위한 새로운 접근법 (초기 종료) 을 제시했다는 점에서 중요한 의의를 가집니다.