기술 요약: 스위스 독일어 ASR을 위한 Whisper의 자막 정렬 미세 조정(Subtitle-Aligned Fine-Tuning)

문제 정의

스위스 독일어(Schweizerdeutsch)를 위한 자동 음성 인식(ASR)은 근본적인 과제에 직면해 있다: 이 언어는 표준화된 철자가 없는 방언의 연속체이며, 표준 독일어(Hochdeutsch)와 비교했을 때 상당한 음운론적, 형태론적, 구문론적 차이를 보인다. OpenAI의 Whisper를 포함한 기존 ASR 시스템은 훈련 코퍼스의 표현력 부족으로 인해 이 방언을 처리하는 데 어려움을 겪으며, 종종 표준 독일어 근사치를 출력하거나, 영어로 삽입하거나, 환각(hallucination) 현상을 일으킨다.

이 분야의 핵심 쟁점은 이러한 시스템의 평가 방식이다. 발표된 최첨단(SOTA) 결과들(12.1% ~ 17.5%의 단어 오류율 범위)은 독점 데이터를 사용하거나, 모델 가중치를 공개하지 않거나, 혹은 평가 데이터가 의도치 않게 훈련에 포함되거나 동일한 전사 관습을 공유하는 벤치마크 오염(benchmark contamination) 문제를 겪고 있다. 또한, 표준적인 단어 오류율(WER)은 방언-표준어 번역 작업에 부적합하다. 왜냐로써 유효한 문체적 변이(예: 시제 변화, 어순 변화)를 오류로 간차하여, 번역의 모호성과 인식 실패를 혼동하기 때문이다.

방법론

데이터 수집 및 파이프라인

본 연구는 약 지도 학습(weak supervision)을 위해 전문적으로 작성된 표준 독일어 자막과 쌍을 이루는 1,367시간의 방송 음성을 활용한다. 데이터는 네 가지 공개 저장소에서 추출되었다:

1. SRF Mediathek: 다양한 스위스 공영 TV 콘텐츠 675.6시간.
2. Swiss Parliament (SPC v2): 베른 방언 토론 202.4시간.
3. YouTube: 기관 및 공공 채널의 132.8시간.
4. PlaySuisse: 각본이 있는 시리즈 및 고밀도 방언 영화 179.9시간.

엄격한 파이프라인을 통해 데이터 처리를 수행한다:

• 품질 필터링: 무음 지속 시간, 신호 대 잡음비(SNR), 길이, 메타 텍스트(크레딧, 소리 묘사)의 존재 여부를 기준으로 오디오-텍스트 쌍을 필터링한다.
• 자막 정렬: WebVTT 자막을 오디오와 정렬하는 파이프라인을 사용하지만, 실험 결과 타임스탬프를 재정렬하는 것이 원래의 타임스탬프보다 미미한 이득만을 제공했다. 이는 Whisper의 30초 어텐션 윈도우가 미세한 오프셋을 보완함을 시사한다.
• 커리큘럼 설계: 훈련 실행에는 순차적 및 혼합 전략을 사용하여 특정 데이터 소스의 영향(예: 노이즈가 있는 각본 시리즈와 깨끗한 방언 영화의 구분)을 격리하였다.

모델 아키텍처 및 훈련

기본 모델은 Whisper large-v3(1.55B 파라미터)이다. 본 연구는 NVIDIA DGX Spark(128 GB 통합 메모리)에서 16회의 반복 실행을 통해 두 가지 미세 조정 전략을 비교한다:

1. LoRA (Low-Rank Adaptation): 모든 어텐션 및 피드포워드 프로젝션에 적용되었다. 연구는 랭크($r$)와 스케일링 계수($\alpha$)를 체계적으로 변화시켰다. 결정적인 발견은 일반적인 LLM 휴리스틱인 $\alpha = 2r$이 Whisper에서 치명적인 디코더 불안정성(환각)을 유발한다는 점이었다. 최적의 구성은 보수적인 스케일링인 $\alpha/r = 0.2$를 사용하였다.
2. 전체 미세 조정 (Full Fine-Tuning): 모든 1.55B 파라미터를 3단계 커리큘럼(기초, 다양화, 전문화)에 이은 혼합 에포크를 사용하여 훈련하였다.

평가 전략

모델은 훈련 데이터와 엄격히 분리된 공개 벤치마크인 **전체 스위스 독일어 방언 테스트 세트(ASGDTS)**를 통해 평가되었다.

• 지표: 표준 WER을 계산하였으나, 저자들은 오류를 분해하기 위해 **조화된 WER 분석(Harmonized WER Analysis)**을 도입하였다:
  • cWER (Content WER): 실제 전사 오류(부분적 또는 전체적 실패)만을 카운트한다.
  • sWER (Style WER): 문체적 차이(시제, 어순, 스위스 철자법)로 인해 페널티를 받은 의미론적으로 올바른 출력물을 카운트한다.
  • bWER (Bias-Corrected WER): 스타일을 오류로 과잉 분류하는 체계적인 편향을 조정한다.
• 자기 학습 제어 (Self-Training Control): 벤치마크 오염을 테스트하기 위해, ASGDTS 테스트 세트에만 독점적으로 미세 조정된 "바닐라" Whisper 모델(스위스 독일어 훈련 데이터 0)을 사용하여 기초적인 "기억(memorization)" 효과를 측정하였다.

주요 결과

1. 정직한 베이스라인 성능

엄격히 분리된 데이터로 훈련 및 평가된 가장 우수한 '정직한 모델'들은 다음을 달성했다:

• LoRA 어댑터: 25.32% WER (13.9% cWER).
• 전체 미세 조정 모델: 25.60% WER (13.8% cWER).
• 개선 사항: 전체 미세 조정은 제로샷 베이스라인(28.56% $\to$ 25.60%)에 대해 완만한 개선을 보였으며, LoRA보다 안정성과 견고함 측면에서 우수했으나, 두 방식 모두 약 25.6% WER에서 정체되었다.

2. 오류율의 분해

연구 결과, 표준 WER은 방언-표준어 작업에서 오류를 크게 과대평가한다는 것이 밝혀졌다:

• 측정된 WER 페널티 중 **11.3~11.9%**는 실제 인식 실패가 아닌 **유효한 문체적 변이(sWER)**에서 기인한다.
• **cWER (실제 오류)**은 **13.8%**이다.
• **bWER (편향 수정 WER)**은 **8.5%**로, 이는 실제 오류율이 측정된 WER의 약 1/3 수준임을 시사한다.

3. 벤치마크 오염 및 기억(Memorization)

통제된 실험은 벤치마크 오염이 발표된 "최첨단(SOTA)" 결과를 주도한다는 것을 입증했다:

• 스위스 독일어 훈련 데이터 없이 ASGDTS 테스트 세트에만 자기 학습시킨 바닐라 Whisper 모델은 13.88% WER을 달성했다.
• 이는 발표된 결과들(예: 17.1% 및 17.5%)을 가볍게 능가하며, 전체 미세 조정 모델의 "정직한" cWER에 근접한다.
• 결론: 발표된 낮은 WER은 진정한 방언 이해보다는 관습 매칭(convention matching)(벤치마크의 특정 전사 스타일을 암기하는 것)을 반영한다. 스위스 독일어 데이터에 대한 사전 훈련은 오히려 자기 학습 성능을 저하시켰는데, 이는 견고한 모델이 벤치마크 관습에 과적합되는 것에 저항함을 나타낸다.

4. LoRA 스케일링 및 환각

연구는 과도한 LoRA 스케일링($\alpha/r = 2.0$)이 Whisper 디코더를 불안정하게 만들어, 모델이 문장 종료 동작을 망각하고 환각을 일으키게 함을 확인했다. 스케일링을 $\alpha/r = 0.2$로 낮춤으로써 환각을 제거하고 성능을 개선하여, ASR에서의 흔한 휴리스틱 오용을 바로잡았다.

5. 데이터 품질 vs 양

데이터 품질이 양보다 더 중요하다는 것이 증명되었다.

• 자막 제공자 중요성: 특정 제공자(예: 크레딧이 포함된 PlaySuisse 각본 시리즈)의 데이터는 성능 저하(+2.92 pp WER)를 일으킨 반면, 동일 플랫폼의 고밀도 방언 영화는 성능을 향상시켰다(-2.28 pp WER).
• 커리큘럼의 한계: 다양한 데이터 소스에 대한 순차적 훈련은 종종 파괴적 망각(catastrophic forgetting)을 초래했으나, 고품질 서브셋(785시간)에 대한 혼합 훈련은 전체 1,367시간 데이터셋의 성능과 일치했다.

의의 및 주장

본 논문은 Whisper를 사용한 스위스 독일어 ASR에 대해 최초로 공개 라이선스가 부여되고, 엄격하게 평가되었으며, 재현 가능한 베이스라인을 제공한다고 주장한다. 주요 기여는 다음과 같다:

1. 벤치마크 오염 폭로: 현재의 최첨단 결과들이 평가 세트의 관습을 훈련하거나 일치시킴으로써 부풀려졌음을 보여준다. 스위스 독일어 훈련이 전혀 없는 모델도 벤치마크 전사 스타일을 암기함으로써 "SOTA" WER을 달려낼 수 있다.
2. 평가 방식의 재정의: 원시(raw) WER은 방언-표준어 번역에 부적절하다고 주장한다. 제안된 cWER 및 bWER 지표는 인식 실패와 유효한 문체적 번역 선택을 분리함으로써 더 공정한 평가를 제공한다.
3. 기술적 교정: 인코더-디코더 ASR 모델에 대한 LoRA 스케일링 휴리스틱 적용을 바로잡아 디코더 불안정성을 방지한다.
4. 재현성: 독점 데이터나 제한적인 라이선스에 의존하는 이전 연구들과 달리, 본 연구는 모델 가중치(Apache 2.0)를 공개하고 오직 공개적으로 접근 가능한 데이터만을 사용하여 독립적인 검증을 가능하게 한다.
5. 하드웨어 접근성: 수십억 개의 파라미터를 가진 ASR 미세 조정이 단일 데스크톱 워크스테이션(NVIDIA DGX Spark)에서도 가능하다는 것을 입증하여, 고자원 모델 연구에 대한 접근성을 민주화한다.

저자들은 "스타일 플로어(style floor)"(번역 모호성으로 인해 달성 가능한 최소 WER)는 작업 자체에 내재된 것이며, 하이퍼파라미터 튜닝만으로는 줄일 수 없다고 결론짓는다. 향후의 발전은 단순히 낮은 원시 WER 숫자를 쫓는 것이 아니라, 의미론적 평가 지표와 관습 인지형 훈련 전략을 필요로 한다.