Speech-Aware Long Context Pruning and Integration for Contextualized Automatic Speech Recognition

기술 요약: 문맥화된 자동 음성 인식(ASR)을 위한 음성 인식 기반 장기 문맥 프루닝 및 통합

문제 정의

자동 음성 인식(ASR) 시스템은 일상적인 시나리오에서는 인간에 가까운 정확도를 달나 성취했지만, 슬라이드가 동반된 컨퍼런스 발표와 같이 도메인 특화 지식을 필요로 하는 **문맥화된 환경(contextualized environments)**에서는 어려움을 겪고 있습니다. 두 가지 주요 과제가 이러한 설정에서의 성능을 저해합니다:

1. 제한된 문맥 창(Constrained Context Windows): 대규모 사전 학습 모델 및 SpeechLLM은 문맥 창이 제한되어 있어, 방대한 양의 텍스트 입력(예: 여러 슬라이드에서 추출된 수십만 단어)을 처리하는 데 어려움이 있습니다.
2. 정보 희소성 및 노이즈(Information Sparsity and Noise): 장문 문맥 내에서 관련 키워드는 무관한 정보들 사이에 희소하게 존재합니다. 단순히 모든 OCR 추출 텍스트를 프롬프트로 결합하는 방식은 계산 오버헤드를 초래하고, 모델의 집중력을 분산시켜 중요한 도메인 용어의 인식 오류를 일으키는 노이즈를 유발할 위험이 있습니다.

Deep Biasing E2E 모델과 같은 기존 방식은 종종 구조적 경직성과 대규모 사전 학습 모델과의 성능 격차 문제를 겪습니다. 반대로, 모든 문맥 키워드를 프롬프트로 취급하는 SpeechLLM 기반 접근 방식은 절단(truncation)이나 의미론적 손실 없이 긴 문맥을 처리하고 노이즈를 효과적으로 필터링하는 데 어려움을 겪습니다.

방법론: SAP2 프레임워크

저자들은 관련 문맥 키워드를 동적으로 프루닝(pruning, 가지치기)하고 통합하도록 설계된 새로운 프레임워크인 SAP2(Speech-Aware Context Pruning with Speech-Driven Attention-based Pooling)를 제안합니다. 이 방법은 인간의 음성 인식이 사전 지식을 능동적으로 통합한다는 전제하에 작동하며, 기계 또한 음성 내용과 일치하도록 노이즈가 섞인 문맥을 필터링해야 한다는 원리에 기반합니다.

핵심 구성 요소

1. 2단계 프루닝-통합(Two-Stage Pruning-Integration, TPI) 파이프라인:

   • 1단계 (문맥 프루닝): SpeechLLM이 프루닝 모델 역할을 수행합니다. 이 모델은 전체 장문 문맥 키워드($Z$)와 음향 특징($X$)을 입력으로 받습니다. 음성 주도 어텐션 기반 풀링(Speech-Driven Attention-based Pooling) 메커니즘을 사용하여, 음성 내용과 가장 관련이 높은 핵심 키워드 부분 집합($\tilde{Z}$)을 동적으로 선택합니다.
   • 2단계 (문맥화된 ASR): 프루닝된 키워드($\tilde{Z}$)를 음성 특징과 결합하여 ASR 모델에 입력함으로써 최종 전사를 수행합니다.
   • 참고: 프루닝 모델과 인식 모델을 공동으로 학습시킬 수도 있지만, 저자들은 키워드 선택과 음성 인식이라는 두 목적 사이의 간섭을 피하기 위해 2단계 방식(SAP2-TPI)이 더 우수한 결과를 낸다는 것을 발견했습니다.

2. 음성 주도 어텐션 기반 풀링(Speech-Driven Attention-based Pooling):

   • 문맥 길이가 LLM의 윈도우 제한을 초과하는 문제를 해결하기 위해, 이 메커니즘은 방대한 텍로 입력 데이터를 압축합니다.
   • 음성 임베딩과 문맥 키워드 임베딩 사이의 어텐션 점수를 계산합니다.
   • 키워드들은 이 점수에 의해 가중치가 부여되며, 가중치가 적용된 텍스트 특징에 대해 윈도우 단위의 풀링 연산이 수행됩니다. 이는 문맥 길이를 줄이면서도 음성 중심의 정보를 보존하며, 결과적으로 딥 바이아싱 모델의 교차 어텐션(cross-attention) 이점과 SpeechLLM의 유연성을 결합합니다.

주요 기여

• 효과적인 장기 문맥 처리: SpeechLLM이 OCR로 추출된 텍스트 문맥을 동적으로 필터링하여 음성과 직접 관련된 키워드만을 남기도록 지시하는 음성 인식 기반 문맥 프루닝 프레임워크를 도입했습니다.
• 교차 모달 문맥 압축: 교차 모달 정렬(cross-modal alignment)을 활용하여 방대한 텍스트 입력을 간결하고 음성에 유의미한 문맥 임베딩으로 압축하는 음성 주도 어텐션 기반 풀링 메커니즘을 개발했습니다.
• 최첨단 성능(State-of-the-Art Performance): SlideSpeech 및 LibriSpeech 데이터셋에서 우수한 성능을 입증하였으며, 특히 광범이한 문맥 입력 조건 하에서의 견고함을 보여주었습니다.

실험 결과

본 프레임워크는 SlideSpeech(컨퍼런스 슬라이드) 및 LibriSpeech 데이터셋을 통해 평가되었습니다.

• SlideSpeech 성능:

  • L95 서브셋(5개 슬라이드 문맥으로 학습됨)에서 **7.71%**의 단어 오류율(WER)을 달성하여, 이전의 SOTA(MaLa-ASR) 대비 상대적으로 10.45% 감소된 성능을 보였습니다.
  • 편향 키워드 오류율(Biased Keyword Error Rate, B-WER): 비문맥 기반 베이스라인 대비 41.1% 감소하여, 도메인 특화 용어 인식의 유의미한 개선을 나타냈습니다.
  • 재현율(Recall): 높은 수준의 문맥 키워드 재현율인 **95.59%**를 유지했습니다.
  • 확장성: 모델은 문맥이 1개 슬라이드에서 5개 슬라이드로 확장되어도 견고한 성능을 보였으며, 재학습 없이도 미학습 문맥 길이(최대 25개 슬라이드)까지 일반화되어 WER 저하가 미미함을 보여주었습니다.

• LibriSpeech 성능:

  • 100개의 단어 리스트를 사용하는 test-clean 서브셋에서 **1.12%**의 WER을 달려 이전의 SOTA 방식들을 능가했습니다.
  • 증가하는 바이아싱 리스트 길이(최대 1000단어)에 대해서도 성능 저하가 거의 없는 강력한 견고성을 보여주었습니다.

• 절제 연구(Ablation Studies):

  • 프루닝 전략: 2단계 TPI 방식은 직접적인 프롬프트 결합(PC) 및 공동 프루닝-통합(JPI) 모델보다 B-WER 및 키워드 재현율 측면에서 훨씬 뛰어난 성능을 보였습니다.
  • 풀링 메커니즘: 음성 주도 어텐션 기반 풀링은 긴 문맥을 처리하는 데 결정적이었으며, 풀링이 없는 모델에 비해 5개 슬라이드 시나리오에서 성능을 향상시켰습니다.
  • 효율성: 2단계 파이프라인은 상당한 계산 복잡성을 도입하지 않았습니다. 추론 시간은 베이스라인 방법과 유사한 수준을 유지했으며, 압축 메커니즘 덕분에 프루닝 시간은 크게 단축되었습니다.

의의 및 주장

본 논문은 SAP2가 문맥 창 용량과 노이즈 내성과 관련된 현재의 문맥화된 ASR 시스템의 결정적인 한계를 해결한다고 주장합니다. 인간 뇌가 사전 지식을 능동적으로 통합하는 과정을 모사함으로써, 이 프레임워크는 노이즈가 섞인 장문 문맥을 필터링하여 핵심 정보를 성공적으로 추출합니다.

저자들은 자신들의 방법이 최첨단 성능을 달면서도 견고한 확장성을 유지한다는 점을 강조합니다. 문맥 길이가 증가할 때 성능이 저하되는 기존 방식들과 달리, SAP2-TPI는 광범위한 문맥 입력 조건에서도 일관되게 성능을 유지합니다. 이 연구는 동적인 음성 인식 기반 프루닝이 도메인 지식을 ASR 시스템에 통합하는 데 있어 정적인 결합보다 더 효과적인 전략임을 시사합니다.

저자가 언급한 한계점: 현재 구현은 문맥을 단일 단어로 분할하여 사용합니다. 향후 연구에서는 의미 있는 구절 형태의 문맥(phrasal contexts)과 시각적 임베딩을 활용한 멀티모달 융합을 탐구할 것을 제안합니다.