기술 요약: Whisper-Aware LLM (속삭임 인지 LLM)

1. 문제 정의

속삭이는 음성(Whispered speech)은 성대의 진동 부재로 인해 기본 주파수(F0)와 조화 구조(harmonic structure)가 결여되어 있어, 자동 음성 인식(ASR) 시스템에 근본적인 과제를 제기합니다. 이러한 음향적 모호성은 정확도와 신뢰성 사이의 치명적인 트레이드오프를 발생시킵니다:

• 지각적 실패 (Perceptual Failure): 주로 일반 음성에 대해 학습된 모델들은 속삭임의 단서들을 포착하는 데 실패하여 높은 오류율을 보이는 경우가 많습니다.
• 환각 (Hallucation): 희미한 속삭임을 포착하기 위해 모델의 민감도를 높이면, 역설적으로 주변 소음을 음성으로 잘못 전사하는 환각 현상에 대한 취약성이 높아집니다.

데이터 증강(의사 속삭임 데이터 생성)이나 정적 모델 적응(예: 프로젝션 레이어)과 같은 기존 솔루션들은 근본 원인인 '신호 불확실성의 본질적 증가'를 해결하지 못합니다. 이러한 방법들은 합성 데이터와 실제 데이터 간의 분포 차이로 인해 어려움을 겪거나, 광범위한 속삭임 변동성에 대응할 수 있는 역동성이 부족합니다.

2. 방법론

본 논문은 오디오-LLM에 신호 불확실성에 대한 내재적 자기 인식(self-awareness)을 부여하도록 설계된 프레임워크인 Whisper-Aware LLM을 소개합니다. 핵심 철학은 모델에게 불확실한 입력으로부터 높은 확신을 가진 예측을 강요하는 대신, 전사(transcription)를 시도하기 전에 음향 신호의 물리적 결함을 정량화하도록 가르치는 것입니다.

2.1. 아키텍처

이 프레임워크는 Qwen2-Audio를 기반으로 구축된 표준 오디오-LLM을 두 가지 주요 구성 요소로 강화합니다:

1. 불확실성 인지 모듈 (Uncertainty Perception Module, UPM): 음향 표현을 처리하여 불확실성 지표를 생성하는 경량 네트워크입니다.
2. 신뢰도 융합 디코딩 (Confidence-Fused Decoding): 이러한 지표를 생성 과정에 통합하는 메커니즘입니다.

2.2. 자기 지도 학습 기반 불확실성 학습

UPM은 속삭임 음성의 특정 결함을 식별하기 위해 두 가지 물리 기반(physics-informed), 레이블 프리(label-free) 자기 지도 학습 태스크를 사용하여 학습됩니다:

• F0 윤곽선 예측 (F0 Contour Prediction): F0의 부재가 인식 저하의 주요 요인이라는 발견에 착안하여, 예측 헤드가 음향 특징으로부터 F0 윤곽선을 재구성하도록 시도합니다. 예측 오차는 프레임 단위의 신뢰도 점수($h_{conf}$)를 도출하기 위해 정규화됩니다.
• 마스크된 스펙트럼 재구성 (Masked Spectrum Reconstruction): 두 번째 헤드는 무작위로 마스킹된 프레임을 재구성하여 속삭임 스펙트럼의 비구조적이고 노이즈와 같은 특성을 포착합니다. 이 태스크의 최종 은닉 상태는 전역 불확실성 벡터($u_{global}$)를 형성합니다.

2.3. 신뢰도 융합 디코딩

학습된 불확실성은 두 가지 방식으로 LLM 디코더를 가이드하도록 운용됩니다:

• 전역 지시문 임베딩 (Global Instruction Embedding): 전역 불확실성 벡터는 MLP를 통해 지시문 임베딩($e_{instruct}$)으로 변환됩니다. 이는 디코더의 입력 시퀀스 앞에 붙여져, 모델에게 전체 신호 품질에 대해 알리는 고수준의 시스템 프롬프트 역할을 합니다.
• 프레임 단위 어텐션 변조 (Frame-wise Attention Modulation): 프레임 단위 신뢰도 점수는 어텐션 메커니즘에 가산 바이어스(additive bias)로 주입됩니다. 이를 통해 모델은 UPM에 의해 신뢰할 수 없다고 판단된 음향 프레임의 가중치를 동적으로 낮추어, 디코더가 불확실한 증거에 의해 현혹되는 것을 방지할 수 있습니다.

2.4. 3단계 학습 전략

사전 학습된 백본을 불안정하게 만들지 않으면서 안정적인 통합을 보장하기 위해, 저자들은 엄격한 3단계 프로토콜을 채택합니다:

1. UPM 사전 학습 (UPM Pre-training): 오디오-LLM 백본을 동결한 상태에서 UPM을 자기 지도 목적 함수로만 학습시킵니다.
2. 인터페이스 적응 (Interface Adaptation): 오디오 인코더, 어댑터, UPM, 그리고 디코딩 인터페이스(MLP 및 스칼라 가중치)를 대규모 LLM 디코더는 동결한 채 공동 학습시켜 모달리티를 정렬합니다.
3. 전체 엔드 투 엔드 미세 조정 (Full End-to-End Fine-tuning): 전체 모델을 복합 손실(ASR 손실 + 보조 불확실성 손실)을 사용하여 미세 조정하며, 효율성을 위해 LLM 디코더에 LoRA를 적용합니다.

3. 주요 기여

1. 새로운 프레임워크: 오디오-LLM에 자기 지도 학습 기반의 불확실성 인지를 직접 통합했습니다.
2. 물리 기반 태스크: 레이블 없이 불확실성을 학습하기 위한 방법으로서 F0 윤곽선 예측과 마스크된 스펙트럼 재구성을 도입했습니다.
3. 신뢰도 융합 디코딩: 학습된 신뢰도를 바탕으로 고수준의 시스템 지시와 프레임 수준의 어텐션 변조를 모두 제공하는 메커니즘을 제공합니다.
4. 학습 프로토콜: 대규모 사전 학습 모델과의 그래디언트 충돌을 피하면서 견고한 표현 학습을 가능하게 하는 체계적인 3단계 전략을 제시합니다.

4. 실험 결과

모델은 중국어(AISHELL6-Whisper) 및 영어(wTIMIT) 벤치마크와 일반 ASR 및 신뢰성 테스트를 통해 평가되었습니다.

• 속삭임 음성 정확도: 모델은 AISHELL6-Whisper 테스트 세트에서 **1.31%**의 글자 오류율(CER)을 기록하며 새로운 SOTA(State-of-the-art)를 달성했으며, 이는 이전 최고 성능인 Seed-ASR(1.58%) 대비 17%의 상대적 감소를 나타냅니다. 또한 일반 음성에서도 가장 낮은 오류율(0.63%)을 유지했습니다.
• 일반 ASR 성능: 표준 벤치마크(AISHELL-1 및 LibriSpeech-clean)에서 경쟁력 있는 성능(각각 1.34% CER 및 1.91% WER)을 보여주어, 속삭임에 대한 특화가 일반적인 능력을 저해하지 않음을 확인했습니다.
• 신뢰성 및 환각: 선별된 노이즈 환각 세트(Noise Hallucination Set)에서, 모델은 환각률(HR)을 강력한 베이스라인 모델들(Seed-ASR, Qwen3-ASR 등)에서 관찰된 25% 이상에서 **4.5%**로 감소시켰습니다. 이는 모델이 모호한 신호가 존재할 때 언제 말을 하지 말아야 하는지를 효과적으로 학습했음을 나타냅니다.
• 절제 연구 (Ablation Studies): 프레임 단위 어텐션 변조가 개선을 제공하기는 했으나, 전역 지시문(Global Instruction) 메커니즘이 성능 향상의 주요 동력이었으며, 이를 통해 CER을 베이스라인(3.98%)에서 1.84%로 대폭 낮췄음을 확인했습니다.

5. 의의 및 주장

본 논문은 Whisper-Aware LLM이 속삭임 음성 인식에서의 오랜 난제인 '정확도-신뢰성 트레이드오프'를 성공적으로 해결했다고 주장합니다. 불확실한 신호에 대해 예측을 강요하는 패러다임에서, 먼저 그 불확실성을 정량화하도록 가르치는 패러다임으로 전환함으로써, 이 프레임워크는 LLM이 음향적 증거를 선택적으로 신뢰할 수 있게 합니다.

저자들은 이 접근 방식이 고품질의 일반 음성에 대한 숙련도를 희생하지 않으면서도, 속삭임 벤치마크에서 SOTA 결과를 달eric하는 동시에 환각을 획기적으로 줄일 수 있다고 단언합니다. 이 연구는 신호의 불확실성을 단순히 음향적 증상으로 다루는 것이 아니라, 그 근본 원인을 해결하는 것이 ASR 시스템을 위한 더 견고한 길임을 강조합니다.