기술 요약: 자동 음성 인식을 위한 데이터 효율적 온-폴리시 증류

문제 제기

경쟁력 있는 자동 음성 인식 (ASR) 모델을 구축하려면 일반적으로 대규모 오디오 감독 데이터 (예: 수백만 시간) 가 필요하므로, 이러한 모델을 재현하거나 특화시키는 비용이 매우 비싸고 소규모 예산으로는 접근이 어렵습니다. Whisper 나 Qwen3-Omni 와 같은 최근 대규모 시스템은 방대한 학습 데이터 (예: 68 만 시간에서 2000 만 시간) 를 통해 강력한 성능을 입증했지만, 제한된 큐레이션 오디오 예산 (예: 10 만 시간) 으로 고품질 ASR 모델을 학습시키는 것은 여전히 어렵습니다. 또한, ASR 의 표준 지식 증류 (KD) 방법은 종종 '오프-폴리시' 방식으로, 학생 모델이 생성 과정에서 마주치는 특정 오류나 접두어가 아닌 정적 교사 전사본을 기반으로 학습합니다. 이로 인해 학생 모델의 행동과 교사의 피드백 사이에 불일치가 발생할 수 있습니다.

방법론

본 논문은 오직 10 만 시간의 음성 데이터로 학습된 0.6B 파라미터 오디오 조건부 언어 모델인 Ark-ASR을 소개하고, 그 성능을 향상시키기 위한 교사 유도 온-폴리시 증류 (OPD) 프레임워크를 제안합니다.

아키텍처

Ark-ASR 은 Qwen2 기반의 오디오 조건부 인과 언어 모델로 구현되었습니다.

• 오디오 브랜치: GLM-ASR 인코더 설계를 따르며, Whisper 스타일 인코더를 활용하여 음성 특징을 음향 은닉 상태로 변환합니다. 이러한 상태는 정규화되고 시간적으로 병합된 후 MLP 어댑터를 통해 Qwen2 언어 모델의 은닉 차원으로 투영됩니다.
• 생성: 적응된 오디오 임베딩은 프롬프트의 플레이스홀더 오디오 토큰을 대체하여, 인과적 디코더가 전사 토큰을 자기회귀적으로 생성할 수 있게 합니다.

학습 파이프라인

제안된 학습 레시피는 세 단계로 구성됩니다:

1. Ark-Base (SFT): 10 만 시간의 오디오 데이터로 학습된 지도 미세 조정 (SFT) 체크포인트.
2. Teacher-Data (TD) 적응: Ark-Base 를 2,000 시간의 교사 생성 ASR 데이터로 적응시키는 중간 단계. 이 단계는 학생과 교사 간의 초기 호환성을 개선하는 것을 목표로 합니다.
3. 온-폴리시 증류 (OPD): 핵심 기여 사항입니다. 오프-폴리시 방법과 달리, OPD 는 학생이 생성한 자체 궤적을 기반으로 학생을 학습시킵니다.
   • 과정: 학생은 그래디언트 없이 전사본을 생성합니다. 그런 다음 고정된 Qwen-ASR 교사는 교사 강제 (teacher-forcing) 모드에서 해당 특정 오디오와 학생이 생성한 텍스트 접두사를 평가합니다.
   • 목적: 학생은 그래디언트를 사용하여 재평가되며, 학생이 실제로 방문한 상태에서 교사의 피드백과 로지트를 정렬합니다.
   • 유니온 Top-$k$ KL 목적 함수: 토크나이저 차이로 인한 문제를 처리하고 밀집된 피드백을 보장하기 위해, 손실은 유니온 서포트 세트에 대해 계산됩니다. 이 세트는 각 위치에서 교사의 Top-$k$ 토큰과 학생의 Top-$k$ 롤아웃 후보의 합집합으로 형성됩니다. 목적 함수는 이 유니온 서포트에 걸쳐 있는 교사와 학생 분포 간의 온도 스케일링된 켈빈 - 레이블 (Kullback-Leibler, KL) 발산을 최소화합니다.

주요 기여

1. ASR 을 위한 데이터 효율적 OPD: 본 논문은 언어 모델링에서 이전에 연구되었던 온-폴리시 증류가 ASR 에 효과적으로 적용될 수 있음을 보여줍니다. 이는 음성 특유의 토큰화 민감도와 음향적 타당성 문제를 해결합니다.
2. 제한된 데이터로 달성된 성능: 제안된 방법은 오직 10 만 시간의 학습 오디오를 사용하여 0.6B 모델에 대해 최첨단 결과를 달성했습니다. 이는 Qwen3-Omni AuT 인코더에 보고된 2000 만 시간 규모보다 약 1/200 수준입니다.
3. 진단적 통찰 (VUSS): 저자들은 **유효 유니온 서포트 크기 (VUSS)**를 진단 지표로 도입했습니다. TD 단계가 VUSS 를 감소시켜 학생과 교사의 토큰 서포트 간의 중첩과 지역적 호환성이 증가함을 보여주며, 이는 최종 성능 향상과 상관관계가 있음을 입증했습니다.

실험 결과

본 연구는 AISHELL-1, WenetSpeech (Meeting 및 Net), LibriSpeech (Clean 및 Other) 등 다섯 가지 벤치마크에서 Ark-ASR 변형들을 Qwen3-ASR 베이스라인 (0.6B 및 1.7B) 과 비교 평가했습니다.

• 베이스라인 비교: 초기 Ark-Base (SFT 만 적용) 는 Qwen3-ASR-0.6B 베이스라인보다 성능이 낮았습니다.
• OPD 의 영향: Ark-Base 에 OPD 를 적용 (Ark-Base+OPD) 하면 다섯 가지 데이터셋 모두에서 성능이 향상되었습니다.
• 전체 파이프라인 (Ark-Base+TD+OPD): 이 변형이 가장 강력한 결과를 냈습니다. 이는 다섯 가지 평가 세트 중 네 곳에서 동규모의 Qwen3-ASR-0.6B를 능가했습니다:
  • AISHELL-1: 1.95% CER (Qwen3-ASR-0.6B 의 2.07% 대비).
  • WenetSpeech Net: 5.39% CER (5.45% 대비).
  • LibriSpeech Clean: 2.45% WER (2.81% 대비).
  • LibriSpeech Other: 4.56% WER (5.05% 대비).
  • 참고: 전체적으로 가장 강력한 모델인 Qwen3-ASR-1.7B 를 능가하지는 못했습니다.
• 진단적 검증: VUSS 지표는 TD 적용 전 평균 53.06 에서 TD 적용 후 51.61 로 감소했습니다. 이는 TD 적응이 학생 - 교사 간의 지역적 호환성을 향상시켜 후속 OPD 감독을 더 효과적으로 만든다는 가설을 뒷받침합니다.

중요성과 주장

본 논문은 강력한 교사와 호환되는 지도 미세 조정 (SFT) 초기화가 결합될 때, 교사 유도 온-폴리시 학습이 소형 ASR 모델을 개선하기 위한 실현 가능하고 데이터 효율적인 경로임을 주장합니다.

저자들은 이 방법이 더 큰 모델 (1.7B) 이나 최첨단 시스템이 사용하는 방대한 데이터 규모 (2000 만 시간) 와의 격차를 완전히 메우지는 못하지만, 데이터 예산의 일부로 상당한 성능 향상을 달성할 수 있음을 보여준다고 강조합니다. 결과는 ASR 에서의 OPD 성공이 학생과 교사 간의 지역적 호환성에 크게 의존함을 시사합니다. 즉, 학생은 SFT 와 TD 를 통해 충분히 초기화되어야 하며, 그래야 교사의 밀집된 피드백이 생성 과정에서 학생이 방문하는 특정 상태에 대해 구별 가능하고 유용하게 유지될 수 있습니다.

본 논문은 SFT 와 OPD 의 결합이 현재 최첨단 시스템의 금지적인 데이터 규모를 요구하지 않고 소형 ASR 모델을 강화하는 실용적인 경로임을 결론지었습니다.