기술 요약: MURMUR – 장문 ASR을 위한 효율적인 추론 시스템

문제 정의

장문 자동 음성 인식(ASR)은 정확도와 지연 시간(latency) 사이의 근본적인 트레이드오프에 직면해 있습니다. 기존 방식은 다음과 같은 중대한 한계를 가진 두 가지 범주로 나뉩니다:

1. 청크 기반 파이프라인 (예: WhisperX): 이 시스템들은 병렬 추론과 낮은 지연 시간을 구현하기 위해 고정된 짧은 창(window, 예: 30초) 단위로 오디오를 처리합니다. 그러나 이들은 컨텍스트 단절(context fragmentation) 문제를 겪으며, 이로 인해 청크 경계에서의 화자 할당 및 타임스탬프 생성 오류가 발생합니다. 또한, 세그먼트를 결합하기 위해 취약한 휴리스틱과 외부 모듈(예: 별도의 다이어리제이션)에 의존하므로, tcpWER(time-constrained WER)과 같은 지표에서 성능 저하를 초-래합니다.
2. 장기 컨텍스트 싱글 패스 모델 (예: VibeVoice-ASR): 이 모델들은 전체 녹음 파일을 단일 자기회귀(autoregressive) 패스로 처리하여, 우수한 정확도와 네이티브 화자/타임스탬프 출력을 위한 크로스 청크 컨텍스트를 유지합니다. 하지만 계산 비용이 매우 높으며, 이차 함수적 어텐션 스케일링(quadratic attention scaling)과 KV 캐시 관리 비용으로 인해 높은 추론 지연 시간을 겪습니다. 또한, 반복 루프(repetition loops)와 같은 치명적인 실패에 취-약하여 전체 추서 요청을 실패하게 만들 수 있습니다.

핵심 과제는 싱글 패스 모델의 높은 정확도와 견고한 화자/타임스탬프 정렬 능력을 달하면서도, 청크 기반 시스템의 낮은 지연 시간과 견고함을 확보하는 것입니다.

방법론

저자들은 이 트레이드오프를 극복하기 위해 두 가지 그래뉼리티(granularity)에서 작동하는 MURMUR라는 추론 시스템을 제안합니다.

1. 청크 간 최적화: 조절 가능한 청크 크기

고정된 짧은 윈도우를 고수하거나 전체 녹음을 한 번에 처리하는 대신, MURMUR는 청크 크기를 조절 가능한 하이퍼파라미터로 취급합니다.

• 분석: 저자들은 AMI-IHM 데이터셋을 통해 청크 크기와 성능 간의 관계를 분석했습니다. 그 결과, 적절한 컨텍스트 길이를 넘어서면 정확도가 정체되는 반면, 컨텍스트가 지나치게 길어지면 누적된 음향적 혼란(acoustic confusion)으로 인해 성능이 저하될 수 있음을 발견했습니다.
• 전략: MURMUR는 300초의 중간 청크 크기를 채택합니다. 이 크기는 다양한 조건에서 싱글 패스 정확도를 충족하거나 상회하면서도, 배치 병렬 추론을 가능하게 하는 균형점을 제공합니다.
• 스티칭(Stitching): 시스템은 음성 활동 감지(VAD)를 사용하여 음성 경계를 식별하고, 세그먼트를 300초 청크로 병합하여 병렬로 처리합니다. 추론 후에는 크로스 청크 재정렬(cross-chunk realignment)을 수행합니다. 결정적으로, 외부 다이어리제이션 레이블을 강제로 적용하는 대신, 청크 내 모델의 내부 화자 할당을 그라운드 트루스로 취급하고 다이어리제이션은 청크 경계 간의 화자 신원을 조정하는 데만 사용합니다.

2. 청크 내 최적화: 슬라이딩 윈도우 KV 캐시 제거(Eviction)

300초 청크 내의 지연 시간을 더욱 줄이기 위해, MURMUR는 커스텀 KV 캐시 제거 정책을 통해 어텐션 희소성(attention sparsity)을 활용합니다.

• 관찰: 프로파일링 결과, 음성 토큰은 극단적인 어텐션 희소성을 보였습니다. VibeVoice-ASR의 경우, 대부분의 레이어에서 전체 어텐션 가중치의 99%를 차지하는 것은 25% 미만의 음성 토큰이었습니다. 또한, 어텐션 패턴은 디코딩이 진행됨에 따라 이동하는 대각선 방향의 희소성을 보입니다.
• 정책: 시스템은 **출력 토큰(output tokens)**과 **음성 토큰(speech tokens)**에 각각 별도로 적용되는 슬라이딩 윈도우 제거 전략을 구현합니다.
  • 출력 토큰: "싱크(sink)" 토큰과 최근 토큰의 슬라이딩 윈도우를 유지하는 StreamingLLM 스타일의 방식을 따릅니다.
  • 음성 토큰: "지연 및 이동(delay-and-shift)" 정책을 도입합니다. 초기에는 모델이 초기 오디오 컨텍스트를 참조할 수 있도록 고정된 음성 토큰 윈도우를 유지합니다. 디코딩이 진행됨에 따라 윈도우가 앞으로 이동하며, 활성 어텐션 대역을 벗어난 오래된 음성 토큰을 제거합니다.
• 구현: 이를 위해서는 프리필(pre-filled)된 음성 토큰과 생성된 텍스트 토큰에 대한 서로 다른 제거 로직을 처리할 수 있는 커스 custom KV 캐시 관리가 필요합니다.

주요 기여

1. 청크 크기에 대한 체계적 분석: 본 논문은 장기 컨텍스트 ASR을 위한 하이퍼파라미터로서 청크 크기의 특성을 상세히 규명하였으며, 중간 크기(300초)가 전사 정확도, 화자 할당, 시간 정렬 및 지연 시간 사이의 트레이드오프를 최적화함을 입증했습니다.
2. MURMUR 아키텍처: VAD 가이드 기반의 청크 병렬 추론과 청크 내 KV 캐시 제거를 결합한 추론 시스템 설계입니다. 이 시스템은 정렬을 위한 외부 후처리 모듈 없이도 타임스탬프와 화자 레이블이 포함된 엔드 투 엔드 전사 결과를 생성합니다.
3. 음성 토큰 희소성 활용: 장기 컨텍스트 ASR 모델 내 음성 토큰의 극단적인 어텐션 희소성을 식별하고 이를 활용하여, 정확도 저하를 최소화하면서 추론 비용을 줄이는 새로운 제거 정책을 제시했습니다.

결과

AMI-IHM, AMI-SDM, Tedlium3, Earnings21 데이터셋에 대해 VibeVoice-ASR 모델을 사용하여 평가한 결과:

• 정확도 vs. 지연 시간: AMI-IHM 데이터셋에서 MURMUR는 싱글 패스 정확도(음성 토큰 제거 시 tcpWER 약 25.29%, 베이스라인 25.68%)에 필적하는 성능을 보이면서도 지연 시간을 4.2배 단축했습니다 (370.7초에서 88.43초로).
• 견고성: 14개의 AMI-IHM 녹음 중 2개에서 치명적 실패(반복 루프)가 발생했던 싱글 패스 추론과 달리, MURMUR는 실패를 개별 청크로 국한시켜 전체 요청이 실패하는 것을 방지합니다.
• 제거 효과:
  • 출력 토큰 제거만 적용 시 3.85배의 속도 향상.
  • 음성 토큰 제거만 적용 시 4.20배의 속도 향상.
  • 두 가지를 모두 결합했을 때 3.79배의 속도 향상 (관리 오버헤드로 인해 약간 낮음).
  • 음성 토큰 제거 전략은 제거를 하지 않은 베이스라인 대비 tcpWER에서 1% 미만의 상대적 저하만을 보였습니다.
• 비교: MURMUR는 tcpWER 측면에서 WhisperX와 같은 청크 기반 베이스라인(25.73% vs 35.54%)보다 성능이 월등히 뛰어나면서도 유사한 지연 시간을 유지했습니다.

의의 및 주장

본 논문은 음성 인식이 (텍스트 LLM과 달리) 음향 노이즈와 화자의 복잡성이 결합되어 나타나는 "날카롭고 명확하게 정의된 최적의 컨텍스트 길이"(약 300초)를 가진다고 주장합니다.

MURMUR의 의의는 싱글 패스 정확도를 얻기 위해 반드시 싱글 패스 추론이 필요한 것은 아님을 보여준 데 있습니다. 최적의 청크 크기 지점을 식별하고 음성 토큰의 특정 어텐션 희소성 패턴을 활용함으로써, MURMUR는 두 세계의 장점인 장기 컨텍스트 모델의 높은 충실도와 청크 기반 파이프라인의 효율성을 모두 달取得했습니다. 저자들은 이 연구를 장문형 ASR을 위한 컨텍스트 인지형 추론 전략의 단계로 포지셔닝하며, 엔드 투 엔드 장기 컨텍스트 ASR 모델이 보편화됨에 따라 이러한 발견이 일반화될 수 있음을 시사합니다.

논문은 현재 영어에 국한된 평가와 화자 정보가 포함된 전사를 네이티브하게 생성하는 모델에만 적용 가능하다는 점 등 제한 사항을 겸허히 언급합니다. 이는 모든 장문 ASR 문제를 해결하겠다는 것이 아니라, 새롭게 등장하는 장기 컨텍스트 ASR 모델 클래스를 위한 구체적이고 효율적인 추론 아키텍처를 제안하는 것입니다.