Whisfusion: Parallel ASR Decoding with Masked Diffusion

기술 요약: Whisfusion

문제 정의
Whisper, Canary, Qwen3-ASR과 같은 자기회귀(Autoregressive, AR) 인코더-디코더 모델은 현재 고품질 다국어 자동 음성 인식(ASR) 분야를 주도하고 있다. 그러나 이들의 좌측-우측(left-to-right) 디코딩 메커니즘은 구조적 지연 시간 병목 현상을 야기한다. 디코더가 동일한 오디오 임베딩에 반복적으로 어텐션을 수행하면서 토큰을 순차적으로($y_1, y_2, \dots, y_T$) 생성해야 하므로, 추론 시간이 전사 길이에 선형적으로 비례하여 증가하기 때문이다.

비자기회귀(Non-autoregressive, NAR) 대안인 CTC 기반 시스템들은 프레임 수준의 정렬을 병렬화함으로써 이러한 병목 현상을 피한다. 하지만 이들의 조건부 독립 가정은 전사 수준의 생성 모델링 능력을 희생시키는 경우가 많아, 현대적인 AR 시스템에 비해 정확도가 낮다. Mask-CTC와 같은 정제 기반 NAR 방식들이 단일 단계(one-shot) CTC보다 개선된 성능을 보여주기는 하지만, 여전히 정렬에서 유도된 가설에 얽매여 있다. 저자들은 마스크드 확산 언어 모델(Masked Diffusion Language Models, 예: LLaDA, MDLM)이 마스크된 시퀀스를 병렬로 반복적으로 디노이징하는 방식으로서, 강력한 오디오 컨디셔닝을 통해 AR 수준의 정확도를 확보할 수 있다면 ASR을 위한 유망한 NAR 접근법이 될 것이라고 상정한다.

방법론: Whisfusion
저자들은 좌측-우측 토큰 생성 대신 고정된 단계의 전사 디노이징을 수행하도록 설계된 음성 조건부 마스크드 확산 프레임워크인 Whisfusion을 제안한다.

• 아키텍처: Whisfusion은 고정된 Whisper-large-v3 인코더를 사용하여 오디오 임베딩을 생성한다. 그 위에 처음부터 학습된(from-scratch) 마스크드 확산 디코더(24개 레이어, 약 830M 파라미터)를 쌓아 올린다. 디코더는 현대적인 LLaMA 스타일의 스택(RMSNorm, SwiGLU, RoPE)을 사용하며, 부분적으로 마스크된 전사에 대한 양방향 셀프 어텐션(bidirectional self-attention)과 모든 블록에서 고정된 오디오 임베딩에 대한 크로스 어텐션(cross-attention)을 적용한다.
• 학습 전략 (고마스크 특화): 추론 궤적(완전히 마스크된 전사에서 시작함)과 학습을 일치시키기 위해 저자들은 2단계 학습 레시피를 채택한다.
  1. 1단계: 일반적인 오디오 조건부 인필링(infilling)을 학습하기 위해 균등한 마스크 비율 분포($t \sim U(0, 1)$)를 사용하는 표준 마스크드 확산 학습을 진행한다.
  2. 2단계: 특화된 고마스크 분포($t \sim U(0.7, 1.0)$)를 통한 미세 조정(fine-tuning)을 수행한다. 이는 모델이 텍스트 문맥이 거의 없거나 전혀 없는 "완전 마스크" 영역에 특화되도록 강제하여, 초기 디노이징 단계의 품질을 향상시킨다.
• 디코딩 (병렬 확산 디코딩 - PDD): 추론은 완전히 마스크된 전사로부터 시작된다. 디코더는 고정된 횟수의 디노이징 단계(기본값 $N=3$)를 수행한다. 각 단계에서 모든 마스크된 위치가 병렬로 예측된다. 결정적으로, 저자들은 신뢰도 기반 선택 대신 **무작위 베르누이 재마스킹(random Bernoulli remasking)**을 단계 사이에 사용한다. 이는 신뢰도 기반 휴리스틱으로 인한 학습-추론 간의 불일치를 방지하고, 고마스크 영역에서 발생하는 불충분한 신뢰도 보정 문제를 완화한다.
• 후보 선택: PDD 프로세스는 $K$개의 후보 전사(기본값 $K=5$)를 생성한다. 최종 가설은 다른 후보들과의 쌍별 편집 거리(pairwise edit distance) 합을 최소화하는 후보를 선택하는 최소 베이즈 위험(Minimum Bayes Risk, MBR) 합의를 통해 결정된다. 선택 과정에서 Whisper 가능도 재순위화(likelihood reranking) 단계를 옵션으로 사용하여 고정된 인코더의 가능도 점수를 통해 선택을 더욱 정교화할 수 있다.

주요 기여

1. Whisfusion 모델: 고정된 Whisper-large-v3 임베딩에 크로스 어텐션을 통해 처음부터 학습된 비자기회귀 디코더를 결합한 음성 조건부 마스크드 확산 ASR 모델을 도입하였다.
2. 학습 및 디코딩 레시피: 무작위 재마스킹과 MBR 합의를 활용하여 학습 분포를 완전 마스크 상태인 추론 시작점과 일치시키는 고마스크 특화 학습 전략 및 병렬 확산 디코딩(PDD) 파이프라인을 개발하였다.
3. 실증적 검증: 영어, 유럽어, CJK 벤치마크에 대한 포괄적인 평가를 통해 마스크드 확산이 병렬 추론의 높은 처리량 이점을 유지하면서도 최첨단 AR 시스템과 경쟁 가능한 정확도를 달나갈 수 있음을 입증하였다.

결과
약 68,000시간의 11개 언어 음성 데이터로 평가한 결과, Whisfusion은 파레토 최적(Pareto-optimal)의 속도-정확도 트레이드오프를 보여준다:

• 정확도: Whisfusion은 영어, 유럽어, CJK 벤치마크의 그룹 평균 정확도에서 Whisper-large-v3를 능가한다. 재순위화를 적용할 경우, Canary-1b-v2 및 Qwen3-ASR의 정확도에 근접한다.
  • 영어: 6.55% WER (기본값) vs. Whisper-large-v3의 7.11%.
  • 유럽어: 8.19% WER (기본값) vs. Whisper-large-v3의 9.27%.
  • CJK: 11.08% CER (기본값) vs. Whisper-large-v3의 13.77%.
• 처리량: Whisfusion은 Whisper-large-v3보다 4~5배, Canary 및 Qwen3-ASR보다 3~7배 더 빠르게 실행된다.
  • RTFx(Real-Time Factor)는 173.45(기본값) 및 143.27(재순위화 포함)을 달성하였으며, 이는 Whisper-turbo(143.99)의 정확도와 맞먹으면서도 처리량 측면에서 이를 능가한다.
• NAR 베이스라인과의 비교: CTC 기반 시스템(OWSM-CTC, MMS-all)보다 정확도 면에서 크게 앞서면서도 높은 처리량을 유지하며, 통합 프로토콜 하에서 다른 확산/플로우 기반 베이스라인(Drax, Whisper-LLaDA)보다 속도와 정확도 모두에서 우수하다.

의의 및 주장
본 논문은 **마스크드 확산(masked diffusion)**이 고처리량 다국어 전사를 위한 파레토 경쟁력이 있는 패러다임임을 확립한다. 저자들은 Whisfusion이 빠른 정렬 기반 디코딩(CTC)과 고품질 자기회귀 디코딩 사이의 전통적인 트레이드오프를 성공적으로 깨뜨렸다고 주장한다. 대규모 다국어 학습, 고마스크 특화, 그리고 합의 기반 병렬 디코딩을 결합함으로써, 이 시스템은 NAR 모델의 고정 단계, 병렬 추론 이점을 유지하면서도 현대적인 AR ASR의 정확도 영역에 진입하였다.

한계점
저자들은 세 가지 주요 한계점을 언급한다:

1. 컨텍스트 윈도우: 모델은 고정된 Whisper-large-v3 인코더의 30초 제한을 그대로 물려받는다. 롱폼(long-form) 또는 스트리밍 ASR으로 확장하려면 추가적인 청킹(chunking) 전략이 필요하다.
2. 후보 선택: 오라클 분석에 따르면 PDD는 MBR이나 Whisper 재순위화에 의해 선택된 것보다 더 나은 가설을 생성할 수 있음이 나타났으며, 이는 학습된 재순위화 모델이나 리스크 최적화의 개선 여지가 있음을 시사한다.
3. 범위: 실험은 전사 작업에 국한되어 있으며, 오디오 질의응답이나 명령어 수행과 같은 더 넓은 음성-언어 능력은 평가하지 않았다.