How to Recognize New Words: A Comparison Between Context Biasing Methods and Speech LLMs

기술 요약: 새로운 단어 인식 – 컨텍스트 바이어싱(Context Biasing) vs. 음성 LLM(Speech LLMs)

문제 정의
Whisper와 같은 엔드 투 엔드 트랜스포머 아키텍처 기반의 자동 음성 인식(ASR) 시스템은 다양한 조건에서 낮은 전체 단어 오류율(WER)을 달ей합니다. 그러나 이들은 학습 데이터에 없거나 드문 단어, 즉 고유 명사, 약어, 도메인 특화 용어 등을 인식하는 데 있어 지속적인 취약성을 보입니다. 이러한 단어들은 발화에서 가장 정보 가치가 높은 부분인 경우가 많기 때문에, 빈번하게 등장하는 기능어(function words)들로 인해 전체 WER이 낮게 유지되더라도, 이 단어들에 대한 오류는 전사(transcript)의 유용성을 불균형적으로 저하시킵니다.

방법론
본 논문은 이 과제를 해결하기 위한 두 가지 구별된 전략을 통제된 환경에서 직접 비교(head-to-head comparison)합니다:

1. 컨텍스트 바이어싱 방법(Context Biasing Methods): 기본 ASR 모델(Whisper-large-v2)을 매번 모델 파라미터를 변경하지 않고도 추론 시 단어나 구절 목록을 수용할 수 있도록 확장합니다. 저자들은 기존 연구를 바탕으로 두 가지 특정 아키텍처를 구현하고 평가했습니다:
   • 방법 A (Method A): 디코더 내에 전용 컨텍스트 어텐션(context-attention) 레이어를 사용합니다. 이는 바이어스 목록 내에 관련 정보가 있는지 예측하고, 어텐션 메커니즘을 통해 가장 관련 있는 항목을 추출합니다.
   • 방법 B (Method B): 바이어스 목록 항목에 대응하는 동적 토큰(dynamic tokens)을 추가하여 디코더의 어휘(vocabulary)를 확장합니다. 모델은 출력 내의 하위 시퀀스를 이러한 동적 토큰으로 교체하는 법을 학습하며, 이 토کن들은 컨텍스트 목록을 기반으로 임베딩됩니다.
2. 음성 대규모 언어 모델(Speech LLMs): 오디오와 텍스트 프롬프트를 공동으로 소비하는 세 가지 최신 모델(Qwen3-ASR, Qwen3-Omni, VibeVoice-ASR)을 사용합니다. 이 설정에서는 관심 단어들을 텍스트 프롬프트에 직접 배치하여, 모델이 생성 과정에서 해당 단어들에 주목(attend)할 수 있게 합니다.

평가는 세 가지 데이터셋을 대상으로 수행되었습니다: Earnings-21(비독독(non-read), 도메인 특화), LibriSpeech(독독(read) 음성, test-clean 및 test-other 분할), Yodas(비독독, YouTube 데이터). 본 연구는 방해 요소(distractors, 무관한 단어)의 수를 변화시키고 프롬프트 내 단어 순서에 대한 민감도를 분석함으로써 견고성을 체계적으로 조사했습니다. 평가지표로는 바이어스된 WER(BWER), 비바이어스된 WER(UWER), 그리고 전체 WER을 사용했습니다.

주요 기여

• 비교 평가: read speech 및 non-read speech 시나리오 전반에서 Whisper 기반 컨텍스트 바이어싱과 세 가지 최첨단 음성 LLM을 체계적으로 비교했습니다.
• 견고성 분석: 방해 요소의 수와 프롬프트 단어 순서에 대한 민감도를 정량화하여, 두 접근 방식이 노이즈가 있는 컨텍스트를 처리하는 방식의 유의미한 차이를 밝혀냈습니다.
• 필터링 메커니즘: 긴 목록의 방해 요소에 대한 음성 LLM의 민감도를 완화하기 위해, 추론 전 보조 음성 LLM을 사용하여 바이어스 목록을 필터링하는 방안을 조사했습니다.
• 트레이드오프 특성화: 적절한 방법 선택을 가이드하기 위해 전용 바이어싱 방법과 유연한 음성 LLM 간의 성능 트레이드오프를 명확히 규명했습니다.

결과

• 컨텍스트 바이어싱 성능: 두 바이어싱 방법 모두 UWER에는 거의 영향을 주지 않으면서 BWER을 크게 감소시켰습니다(방법 A는 상대적으로 최대 70%, 방법 B는 88% 감소). 방법 A는 방해 요소에 대해 높은 견고성을 보였는데, 올바른 단어가 존재할 때의 성능 저하는 BWER 기준 최대 2%(UWER 기준 7%)에 불과했으나, 올바른 단어가 없을 때는 BWER 최대 17%(UWER 기준 12%)까지 저하되었습니다. 방법 B는 깨끗한 조건에서 A보다 낮은 BWER을 달성했지만, 방해 요소가 추가될 때 더 크게 고전했습니다. 올바른 단어가 존재할 때의 저하는 BWER 최대 17%(UWER 기준 19%)에 달했고, 올바른 단어가 없을 때의 저하는 잘못 예측된 동적 토큰으로 인한 삽입 오류(insertion errors)로 인해 BWER 최대 55%(UWER 기준 20%)에 달했습니다.
• 음성 LLM 성능: 음성 LLM은 read speech(LibriSpeech)에서 탁월한 성능을 보였으며, 특히 Qwen3-Omni가 방해 요소가 없는 설정에서 가장 낮은 BWER을 기록했습니다. 그러나 이들은 non-read speech(Earnings-21, Yodas)에서 일반화 능력이 떨어졌으며, 이 경우 이들의 비바이어스 베이스라인은 표준 Whisper 모델보다 뒤처지는 모습을 보였습니다.
• 방해 요소에 대한 민감도: 음성 LLM은 방해 요소의 수에 매우 민감합니다. 250개의 방해 요소를 추가하면 BWER이 급격히 악화되었습니다(상대적으로 39%에서 570% 증가). 또한, 이들의 성능은 프롬프트의 단어 순서에도 민감하여, 타겟 단어가 앞부분에 나타날 때 더 좋은 성능을 보였습니다.
• 필터링의 영향: 보조 모델(Qwen3-Omni)을 사용하여 바이어스 목록을 정제하는 필터링 단계를 적용하면, 프롬프트를 몇 개의 관련 가능성이 높은 단어로 줄임으로써 성능 손실을 일부 회복할 수 있었습니다. 그러나 필터링을 적용하더라도 음성 LLM은 non-read 테스트 세트에서 여전히 방법 B보다 뒤처졌습니다.

의의 및 주장
본 논문은 특정 애플리케이션의 제약 조건에 따라 선택하는 방법이 달라져야 한다고 결론짓습니다:

• 전용 컨텍스트 바이어싱(Dedicated Context Biasing): 깨끗한 단어 목록을 사용할 수 있고, 노이즈가 많거나 긴 목록에 대한 탄력성이 필요한 경우 더 견고한 선택입니다. 이러한 방법들은 방해 요소의 수와 상관없이 성능을 유지하는 전용의 제어 가능한 인터페이스를 제공합니다.
• 음성 LLM(Speech LLMs): 자유 형식의 설명과 의미적 컨텍스트(예: 지리적 단서를 바탕으로 "forest"와 "Far East"를 구별하는 것)를 처리할 수 있는 더 유연한 인터페이스를 제공합니다. 하지만 이러한 유연성은 프롬프트 민감도와 대규모 잠재 단어 목록을 처리하기 위한 추가적인 필터링 단계의 실질적 필요성이라는 비용을 수반합니다.

저자들은 음성 LLM이 유망함을 보여주기는 하지만, non-read speech에 대한 일반화 능력의 한계와 프롬프트 구성에 대한 민감도 때문에, 특정 단어 목록을 바탕으로 높은 신뢰성이 요구되는 시나리오에서는 전용 바이어싱 방법이 더 우수하다고 강조합니다.