Massive Open-Vocabulary Keyword Spotting

기술 요약: 대규모 오픈 보캐블러리 키워드 스포팅 (Massive Open-Vocabulary Keyword Spotting)

문제 정의

자동 음성 인식(ASR) 시스템, 특히 Whisper와 같은 파운데이션 모델은 훈련 과정에서 거의 나타나지 않는 특수 용어를 전사할 때 성능이 저하되는 경우가 많습니다. 이를 완화하기 위해 디코더에 도메인 특화 용어를 주입하는 컨텍스추얼 바이어싱(Contextual Biasing, CB)과 오픈 보캐블러리 키워드 스포팅(Open-Vocabulary Keyword Spotting, OV-KWS)을 결ari한 방법이 제안되었으나, 기존 솔루션은 심각한 확장성 병목 현상에 직면해 있습니다. 현재 시스템은 키워드를 표현하기 위해 고차원 음향 임베딩(예: Whisper-medium)에 의존합니다. 수천 개의 용어가 포함된 대규모 글로사리(Glossary)를 위해 이러한 임베딩을 저장하는 것은 과도한 메모리 소비와 지연 시간 때문에 불가능합니다. 예를 들어, 베이스라인 방식은 키워드당 약 7.3 MB가 필요하며, 이는 8만 개 이상의 용어를 표준 80GB GPU에 로드하는 것을 불가능하게 만듭니다. 이는 의료나 항공 관제와 같이 방대한 도메인 특화 데이터베이스가 필요한 프로덕션 환경에서 CB의 적용을 제한합니다.

방법론

저자들은 대규모 글로사리를 처리할 수 있도록 오픈 보캐블러리 역량을 유지하면서 음향 임베딩을 압축하는 시스템을 제안합니다. 이 접근 방식은 Whisper 인코더에서 생성된 임베딩에 적용되는 3단계 압축 파이프라인을 포함합니다:

1. 레이어 선택 (희소 레이어 식별):
   모든 트랜스포머 레이어의 표현을 집계하는 대신, 시스템은 키워드 스포팅에 가장 예측력이 높은 레이어의 희소 서브셋을 식별하기 위해 자동화된 전략을 사용합니다. 학습 가능한 스코어 벡터 $w$가 sparsemax 활성화 함수에 의해 게이팅되어 레이어 표현에 적용됩니다. 이는 이진 교차 엔트로피 손실(binary cross-entropy loss) 및 희소성을 촉진하기 위한 보조 엔트로피 손실과 함께 ResNet 분류기와 함께 공동 학습됩니다. 실험 결과, 이 방식은 Whisper-large-v2의 32개 레이어를 단 3개의 예측 레이어(14, 16, 32번)로 줄였습니다.

2. 은닉 차원 축소 (Hidden Dimension Reduction):
   경량화된 단일 은닉층 피드 포워드 네트워크(FFN)를 사용하여 원래의 은닉 차원($h$)에서 더 작은 차원($h_{comp}$)으로 임베딩을 투영하도록 학습됩니다. 이는 기본 ASR 모델을 미세 조정(fine-tuning)할 필요 없이 특징 크기를 줄입니다.

3. 시간 해상도 축소 (Temporal Resolution Reduction):
   임베딩의 프레임 축을 따라 1D 합성곱 신경망(CNN)을 적용하여 시간 해상도를 줄입니다. 커널 크기 3, 스트라이드 1을 사용한 후, 맥스 풀링(커널 3, 스트라이드 2)을 적용하여 프레임 속도를 2배($\alpha=2$) 감소시킵니다.

시스템 통합:
압축된 키워드 임베딩은 데이터베이스에 저장됩니다. 추론 중에 OV-KWS 모델(압축된 임베딩과 ResNet 분류기 사용)은 발화 내에서 관련 키워드를 탐지합니다. 탐지된 키워드는 도메인 특화 용어 쪽으로 생성을 유도하기 위한 프롬프트로 Whisper 디코더에 전달됩니다.

주요 기여

• 자동 레이어 선택: 음향 인코더에서 키워드 스포팅에 가장 예측력이 높은 트랜스포머 레이어를 희소하게 식별하여 임베딩 생성에 사용되는 레이어 수를 줄이는 방법.
• 3차원 임베딩 압축: 레이어 선택, 은닉 차원 축소, 프레임 속도 축소의 결합을 통해 베이스라인 성능을 유지하면서 음향 임베딩을 128배 압축하는 메커니즘.
• 확장 가능한 프로덕션 시연: 제안된 압축 방식이 압축되지 않은 베이스라인에 비해 메모리 점유율과 지연 시간을 크게 줄이면서도 대규모 데이터베이스(16,062개 용어)를 처리할 수 있음을 보여주는 실제적인 시연.

실험 결과

시스템은 Whisper-large-v2를 백본으로 하여 Multilingual Librispeech (MLS) 데이터로 학습되었으며, 중국어(Aishell), 영어(ACL6060), 포르투갈어(내부 임상 데이터) 코퍼스로 테스트되었습니다.

• 키워드 스포팅 성능: 완전히 압축된 모델(LHF-comp)은 ACL6060에서 69 ± 4, Aishell에서 86 ± 4의 F1 점수를 달성했습니다. 특히, 훈련 중에 중국어 데이터를 접하지 않은 Aishell에서 압축된 모델은 최고의 성능을 보이는 비압축 베이스라인과 유사한 성능을 보였습니다.
• 메모리 및 지연 시간: 제안된 방법은 메모리 점유율을 128배 줄였습니다. 16,062개의 용어가 포함된 글로사리의 경우, 메모리 요구량이 베이스라인(~112 GB)에서 882 MB로 급감하여 48GB GPU(NVIDIA L40)에 전체 데이터베이스를 탑재할 수 있었습니다. 지연 시간 개선도 상당하여, 시스템은 대규모 데이터베이스를 비압축 베이스라인보다 6배 빠르게 처리했습니다.
• ASR 성능:
  • 소규모 정제된 글로사리(ACL6060, Aishell)의 경우, 압축 시스템을 사용한 컨텍스추얼 바이어싱은 엔티티 재현율(Entity Recall)을 높였고(예: ACL6060에서 52.5%에서 57.2%로 향상), 혼합 오류율(Mixed Error Rate, MER)을 낮추었습니다.
  • 대규모 미정제 내부 임상 글로사리의 경우, 시스템은 데이터를 성공적으로 처리했으나, CB 메커니즘이 편향되지 않은 모델에 비해 MER을 약간 악화시켰습니다(29.5%에서 32.4%). 저자들은 이를 미정제 글로사리에 포함된 "방해 요소(distractor)" 단어들이 가짜 양성(false positives)을 유발했기 때문으로 설명하며, Whisper의 프롬프트 컨디셔닝이 허위 일치(spurious matches)에 민감하다고 언급했습니다.

의의 및 주장

본 논문은 키워드의 텍스트와 발화의 오디오를 모두 인코딩하는 기존 솔루션들이 효율적이지만, 희귀 단어를 전사하는 데 필요한 중요한 음향 정보를 잃게 된다고 주장합니다. 반대로, 오디오(베이스라인과 같이)를 모두 인코딩하는 솔루션은 효과적이지만 대규모 글로사리에는 효율적이지 못합니다.

저자들은 자신들의 접근 방식이 이 간극을 메워, 대규모 데이터베이스가 있는 프로덕션 환경에서 효과적인 음향 기반 OV-KWS를 사용할 수 있게 한다고 주장합니다. 그들은 소비자급 하드웨어에서 성능 저하를 최소 최소화하면서 16,000개 이상의 용어가 포함된 글로사리를 저장하고 처리하는 것이 가능하다는 것을 입증했습니다. 그러나 논문은 대규모 미정제 리스트에 대한 ASR 결과에 대해서는 신중한 태도를 유지하며, 시스템 자체는 효율적이지만, 대규모 리스트에서의 컨텍스추얼 바이가 환각(hallucination)과 가짜 양성을 피하기 위해서는 추가적인 큐레이션이 필요함을 인정했습니다. 이 연구는 KWS가 전문 분야에서 병목 현상이 되어서는 안 된다는 점을 강조하며, 방해 단어가 존재하는 상황에서의 환각을 줄이고 프로덕션 데이터베이스를 큐레이션하는 미래 연구의 필요성을 강조합니다.