기술 요약: Qwen3-ASR 기술 보고서

문제 정의

자동 음성 인식(ASR) 분야는 전통적인 엔드 투 엔드 패러다임(예: Transducer, AED)에서 대규모 오디오-언어 모델(LALM) 접근 방식으로 전환되었습니다. LALM은 장문 전사, 노이즈 강건성, 세계 지식 통합 측면에서 우수한 능력을 제공하지만, 기존 솔루션들은 실제 배포 시 다음과 같은 한계에 직면하는 경우가 많습니다:

1. 벤치마크 포화: 오픈 소스 ASR 모델들은 복잡한 실제 시나리오(예: 방언, 노인 음성, 노래)에서 상당한 품질 차이가 있음에도 불구하고, 표준 공개 벤치마크에서는 미미한 차이만을 보이는 경우가 많습니다.
2. 파편화된 도구: 타임스탬프 생성(강제 정렬)은 일반적으로 별도의 도구(예: CTC, CIF, MFA)를 사용하는 후처리 단계로 이루어지며, 이는 다국어 통합 및 시간적 세밀도 측면에서 유연성이 부족합니다.
3. 효율성 대 정확도 트레이드오프: 온디바이스 또는 고동시성 산업 애플리케이션을 위해 높은 정확도와 낮은 지연 시간 사이의 균형을 맞추는 모델이 필요합니다.
4. 특수 시나리오: 노래하는 목소리, 배경 음악이 포함된 노래, 다양한 방언에 대한 견고한 인식은 범용 ASR 시스템에 여전히 도전 과제로 남아 있습니다.

방법론

1. 모델 아키텍처

Qwen3-ASR 제품군은 강력한 오디오 이해 능력을 활용하는 Qwen3-Omni 파운데이션 모델을 기반으로 구축되었습니다. 아키텍처는 다음과 같이 구성됩니다:

• AuT 인코더: 별도로 사전 학습된 어텐션-인코더-디코더(AED) 기반의 인코더입니다. Fbank 특징(100Hz)을 8배 다운샘플링하여 12.5Hz 토큰을 생성합니다. 스트리밍 및 오프라인 추론을 모두 지원하기 위해 동적 플래시 어텐션 윈도우(1s–8s)를 사용합니다.
• 프로젝터 및 LLM: 프로젝터는 인코더 출력을 LLM 공간으로 매핑합니다.
  • Qwen3-ASR-1.7B: Qwen3-1.7B를 기반으로 하며, 300M 파라미터의 AuT 인코더(1024 hidden size)를 가집니다.
  • Qwen3-ASR-0.6B: Qwen3-0.6B를 기반으로 하며, 효율성에 최적화된 180M 파라미터의 AuT 인코더(896 hidden size)를 가집니다.
• Qwen3-ForcedAligner-0.6B: 강제 정렬을 슬롯 채우기(slot-filling) 작업으로 재구성한 새로운 비자기회적(non-autoregressive, NAR) 모델입니다. 사전 학습된 AuT 인코더와 Qwen3-0.6B LLM을 사용하여 전사문에 삽입된 특수 [time] 토큰에 대한 이산적 타임스탬프 인덱스를 예측합니다.

2. 학습 전략

학습 파이프라인은 네 가지 뚜렷한 단계로 구성됩니다:

1. AuT 사전 학습: 일반적인 오디오 표현을 확립하기 위해 약 4,000만 시간의 의사 라벨링(pseudo-labeled) ASR 데이터(주로 중국어 및 영어)로 학습됩니다.
2. Omni 사전 학습: 3조 개의 멀티모달(오디오, 비전, 텍스트) 데이터로 학습된 Qwen3-Omni 파운데이션을 활용합니다.
3. ASR 지도 미세 조정(SFT):
   • 더 작고 분리된 다국어 데이터셋을 사용합니다.
   • 비음성 데이터, 스트리밍 강화 데이터, 컨텍스트 바이어싱을 포함합니다.
   • 인스트럭션 완화(Instruction Mitigation): 모델이 프롬프트 내의 자연어 지시사항을 무시하고 ASR 기능에만 집중하도록 학습되어 인스트럭션 주입 실패를 방지합니다.
   • 출력 형식: 언어와 텍텍스트를 나타내는 구조화된 출력(예: language English<asr_text>...)을 생성하거나, 음성이 감지되지 않을 경우 None을 생성합니다.
4. ASR 강화 학습(RL): 노이즈 강건성과 전사 안정성을 높이기 위해 약 5만 개의 발화(노이즈, 다국어, 기능적 데이터 포함)에 대해 그룹 시퀀스 정책 최적화(GSPO)를 적용합니다.

3. 강제 정렬 학습

• 의사 라벨링(Pseudo-Labeling): Montreal Forced Aligner(MFA) 출력을 의사 라벨로 사용하며, 이를 모델이 증류(distill)하고 평활화(smooth)하여 체계적인 편차를 줄입니다.
• 인과적 학습(Causal Training): 표준적인 다음 토큰 예측과 달리, 모델은 시퀀스 이동 없이 인과적 학습을 사용하여 타임스탬프 슬롯을 명시적으로 인식하고 채웁니다.
• 동적 슬롯 삽입: 일반화 성능을 높이기 위해 학습 중에 시작/종료 타임스탬프 슬롯을 무작위로 삽입합니다.

주요 기여

1. 최첨단 올인원(All-in-One) ASR:

   • 52개 언어 및 방언을 지원합니다 (30개 언어 + 22개 중국어 방언).
   • 오픈 소스 모델 중 SOTA 성능을 달성하며, 상용 API(GPT-4o, Gemini-2.5-Pro, Doubao-ASR)와 경쟁할 수 있는 수준입니다.
   • 복잡한 시나리오(노래하는 목소리, 배경 음악이 있는 노래, 노인/어린이 음성, 극심한 노이즈)에서 강건함을 입증했습니다.

2. 새로운 비자기회적 강제 정렬:

   • 최초의 LLM 기반 다국어 강제 정렬 모델인 Qwen3-ForcedAligner-0.6B를 도입했습니다.
   • 11개 언어에 대해 유연한 세밀도(단어, 문장, 단락 단위)를 지원합니다.
   • 모든 타임스탬프를 동시에 예측하는 비자기회적 방식으로 작동하여 추론 속도를 크게 향상시킵니다.

3. 효율성 및 확장성:

   • Qwen3-ASR-0.6B는 평균 첫 토큰 시간(TTFT)이 92ms에 불과하며, 128개 동시성 환경에서 초당 2,000초의 오디오를 처리하는 처리량을 달성합니다.
   • 최대 단일 추론 지속 시간이 1,200초(20분)인 통합 오프라인 및 스트리밍 추론을 지원합니다.

4. 오픈 소스 생태계:

   • Apache 2.0 라이선스 하에 세 가지 모델의 가중치를 공개합니다.
   • 다중 세밀도 정렬, 스트리밍 및 다국어 처리를 지원하는 포괄적인 추론 및 미세 조정 프레임워크를 제공합니다.

실험 결과

ASR 성능

• 공개 벤치마크: 영어 및 중국어 벤치마크(LibriSpeech, WenetSpeech, Fleurs 등)에서 Qwen3-ASR-1.7B는 오픈 소스 베이스라인(Whisper-large-v3, FunASR)을 일관되게 능가하며 상용 API와 경쟁할 만한 수준을 유지합니다.
• 내부 강건성 테스트: 16개 영어 악센트, 22개 중국어 방언, 어려운 조건(노인 음성, 잰말놀이, 극심한 노이즈)을 포함한 스트레스 테스트에서 Qwen3-ASR-1.7B는 모든 서브셋에서 가장 낮은 단어 오류율(WER)을 기록하며 상용 API를 넘어섰습니다.
• 다국어 및 LID: 모델은 높은 언어 식별(LID) 정확도(예: Fleurs 기준 1.7B에서 98.7%)를 달성하며 30개 언어 전반에 걸쳐 강력한 성능을 유지합니다.
• 노래하는 목소리: Qwen3-ASR-1.7B는 노래 전용 벤치마크(M4Singer, MIR-1k-vocal)에서 최고의 결과를 얻었으며, 다른 모델들이 종종 실패하는 배경 음악이 포함된 장문 노래 전사에서도 베이스라인을 크게 앞질렀습니다.

강제 정렬 성능

• 정확도: Qwen3-ForcedAligner-0.6B는 인간이 라벨링한 데이터셋에서 기존 방식(Monotonic-Aligner, NFA, WhisperX) 대비 누적 평균 편차(AAS)를 67%~77% 감소시켰습니다.
• 강건성: 긴 발화에서 성능이 저하되는 베이스라인들과 달리, 제안된 모델은 300초 길이의 연결된 클립 및 교차 언어 시나리오에서도 낮은 AAS를 유지합니다.
• 효效率: 0.001에 가까운 실시간 계수(RTF)를 달성하여, 초당 1,000초의 오디오를 처리합니다.

의의 및 주장

본 논문은 Qwen3-ASR 제품군이 고성능, 다국어 및 강건한 음성 인식을 커뮤니티에 보급하는 데 있어 중요한 진전임을 주장합니다. LALM 패러다임을 활용함으로써, 이 모델들은 전통적인 ASR이 어려움을 겪었던 장문 전사, 방언 변이, 노래하는 목소리 인식 등의 문제를 해결합니다.

Qwen3-ForcedAligner-0.6B의 도입은 타임스탬프 생성을 위한 통합된 다국어 및 효율적인 솔루션을 제공함으로써 음성 기술 스택의 공백을 메우는 핵심적인 기능적 구성 요소로 강조됩니다. 저자들은 이 모델들을 오픈 라이선스로 공개하고 재현 가능한 프레임워크를 함께 제공함으로써, 자동 음성 인식 및 오디오 이해 연구와 개발을 가속화하는 것을 목표로 한다고 밝히고 있습니다.