Whisper-CD: Accurate Long-Form Speech Recognition using Multi-Negative Contrastive Decoding

Whisper-CD 는 학습 없이 추론 단계에서 가우시안 노이즈, 무음 신호, 시간 이동 등 세 가지 음향 기반 부정 샘플을 대비하여 생성하는 다중 부정 대비 디코딩 프레임워크를 제안함으로써, 장문 음성 인식의 환각 및 반복 오류를 줄이고 기존 Whisper 시스템에 바로 적용 가능한 효율적인 솔루션을 제공합니다.

핵심

🎤 문제: "지친 통역사의 망상"

마이크로소프트나 오픈AI 같은 거대 기업들이 만든 Whisper라는 AI 는 방대한 양의 데이터를 학습해서 매우 똑똑합니다. 하지만 긴 회의나 인터뷰를 녹음해서 텍스트로 바꿀 때, 이 AI 는 가끔 이상한 행동을 합니다.

1. 망상 (Hallucination): 실제로는 침묵인데, AI 가 "감사합니다", "다음은..." 같은 가상의 말을 지어냅니다.
2. 악순환의 덫 (Repetition Loop): 한 번 실수를 하면 그 실수가 반복되어 "아, 아, 아, 아..."라고 끝없이 반복합니다.
3. 내용 생략: 중요한 말을 건너뛰고 넘어갑니다.

왜 이런 걸까요?
긴 녹음 파일을 처리할 때, AI 는 "이전 구절의 결과"를 다음 구절의 맥락으로 사용합니다. 그런데 한 번 실수가 생기면, 그 잘못된 정보가 다음 단계로 전달되면서 오류가 눈덩이처럼 불어납니다. 마치 나쁜 소문이 퍼져나가면서 진실이 왜곡되는 것과 비슷합니다.

---

💡 해결책: "Whisper-CD (비교를 통한 정교한 선택)"

이 논문이 제안한 Whisper-CD는 모델을 다시 가르치지 않고, **결정하는 순간 (추론 단계)**에 적용하는 똑똑한 방법입니다.

🕵️‍♂️ 비유: "현실감 있는 통역사 vs. 망상적인 통역사"

AI 가 단어를 고를 때, 보통은 "이게 맞을 것 같아!"라고 가장 확신하는 단어를 선택합니다. Whisper-CD 는 이 과정을 다음과 같이 바꿉니다.

1. 원본 (Clean Audio): 실제 녹음된 소리를 AI 에게 들려줍니다. (정상적인 통역사)
2. 세 가지 '혼란' 상황 (Negative Inputs): AI 에게 같은 소리를 들려주되, 일부러 소리를 망가뜨려 봅니다.
   • 잡음 주입 (Gaussian Noise): 소리에 심한 잡음을 섞어서 들립니다. (귀가 먹먹한 상태)
   • 침묵 신호 (Silence): 소리를 아예 끄고 '0'만 넣습니다. (완전한 침묵 상태)
   • 시간 이동 (Temporal Shift): 소리의 시작과 끝을 살짝 어긋나게 합니다. (리듬이 깨진 상태)

⚖️ 비교의 마법

AI 는 이 네 가지 상황 (원본 + 3 가지 망가진 상황) 에서 동시에 단어를 예측합니다.

• 원본에서는 "오늘 날씨가 좋네요"라고 확신합니다.
• 하지만 잡음이나 침묵 상태에서도 AI 가 여전히 "오늘 날씨가 좋네요"라고 확신한다면?
  • Whisper-CD 의 판단: "아! 이 단어는 실제 소리 때문이 아니라, AI 가 그냥 좋아해서 (망상) 고른 말이야! 이 단어는 제외하자!"
• 반대로, 원본에서만 "오늘 날씨가 좋네요"라고 하고, 다른 상황에서는 전혀 다른 단어를 고른다면?
  • Whisper-CD 의 판단: "오, 이 단어는 실제 소리에 확실하게 반응하는 거군! 이걸 선택하자!"

이처럼 **"실제 소리에만 반응하는 단어"**와 **"AI 의 망상에 반응하는 단어"**를 비교해서, 망상적인 단어는 점수를 깎아주고 진짜 단어를 선택하도록 유도합니다.

---

🚀 효과: 빠르고 정확한 결과

이 방법을 적용하면 어떤 변화가 일어날까요?

1. 망상과 반복 제거: AI 가 "감사합니다" 같은 헛소리를 지어내거나, 같은 문장을 10 번 반복하는 악순환을 끊어냅니다.
2. 정확도 향상: 실험 결과, 기존 방식보다 오류율 (WER) 이 최대 **24.3%**까지 줄어들었습니다. (예: 100 개 중 20 개를 틀렸다면, 이제 10 개만 틀리게 됨)
3. 속도 향상: 다른 고급 기술 (빔 서치) 을 쓰면 속도가 느려지는데, Whisper-CD 는 오히려 48% 더 빠르게 처리할 수 있습니다.
4. 설치형 해결책: 모델을 다시 학습시킬 필요가 없습니다. 이미 설치된 Whisper 시스템을 그냥 교체만 하면 바로 효과가 나옵니다.

📝 한 줄 요약

"Whisper-CD 는 AI 가 소리를 들을 때, '잡음'과 '침묵' 상태에서도 똑같은 말을 지어내는지 확인해 보고, 그 '망상'을 걸러내어 진짜 소리에만 집중하게 만드는 똑똑한 필터입니다."

이 기술은 AI 가 긴 이야기를 들을 때, "내가 들은 게 맞나?"라고 스스로 의심하고 확인하는 과정을 통해, 더 정확하고 신뢰할 수 있는 텍스트를 만들어냅니다.

기술 요약

1. 문제 정의 (Problem)

대규모 인코더 - 디코더 모델 (예: Whisper) 을 이용한 장문 (Long-form) 음성 인식은 다음과 같은 심각한 오류를 발생시킵니다.

• 할루시네이션 (Hallucination): 실제 음성이 없는 구간 (침묵 구간) 에서도 모델이 가상의 텍스트를 생성하는 현상.
• 반복 루프 (Repetition Loops): 특정 문장이나 구절이 무한히 반복되는 현상.
• 내용 생략 (Content Omissions): 발화된 내용을 누락하는 현상.

특히, 장문 오디오는 30 초 단위로 분할하여 처리하는 '분할 정복 (Divide-and-conquer)' 방식이 일반적입니다. 이때 이전 세그먼트의 전사본 (transcription) 을 컨텍스트로 사용하면, 초기 오류가 누적되어 후속 세그먼트로 전파되며 오류가 증폭되는 문제가 발생합니다. 기존 해결책은 모델 재학습이나 추가 모듈 도입이 필요하여 배포된 시스템에 적용하기 어렵다는 한계가 있었습니다.

2. 제안 방법: Whisper-CD (Methodology)

저자들은 학습이 필요 없는 (Training-free) 추론 시 (Inference-time) 대비 디코딩 (Contrastive Decoding, CD) 프레임워크인 Whisper-CD를 제안합니다. 이 방법은 모델 파라미터를 수정하지 않고, 토큰 생성 단계에서 로짓 (logits) 을 조정하여 오류를 억제합니다.

핵심 메커니즘

1. 다중 부정적 신호 (Multi-Negative Signals):
   청각적으로 자극된 3 가지 변형 (Perturbation) 을 통해 '부정적 (Negative)' 로짓을 생성합니다. 이는 모델이 음성 증거가 약하거나 왜곡된 상황에서도 선호하는 토큰을 식별하기 위함입니다.

   • 가우시안 노이즈 주입 (Gaussian Noise Injection): 입력 음성에 노이즈를 추가하여 세밀한 음성 정보를 흐리게 함.
   • 침묵 신호 (Silence Signal): 입력 스펙트로그램을 모두 0 으로 설정 (전체 침묵). 모델의 무조건적인 텍스트 사전 (prior) 과 '할루시네이션 패턴' (예: "Thank you for watching") 을 드러냄.
   • 오디오 시간 이동 (Audio Temporal Shift): 입력 파형을 시간적으로 이동시켜 음성과 타이밍의 불일치를 유발. 세그먼트 경계에서의 오류를 포착.

2. 다중 부정적 대비 로짓 (Multi-Negative Contrastive Logits):

   • 양적 (Positive) 로짓: 원본 청결한 오디오에서 얻은 로짓.
   • 부정적 (Negative) 로짓: 위 3 가지 변형 오디오에서 얻은 로짓들을 log-sum-exp 연산자를 통해 통합.
   • 최종 로짓 계산:
     $$\ell_{CD} = (1 + \alpha\tau) \ell_{pos} - \alpha\tau \log \left( \frac{1}{K} \sum_{k=1}^{K} \exp(\ell_{neg, k} / \tau) \right)$$
     여기서 $\alpha$는 대비 강도, $\tau$는 온도 파라미터, $K=3$은 부정적 신호의 개수입니다. 이 공식을 통해 부정적인 토큰 선택 확률을 낮추고 올바른 토큰 선택을 유도합니다.

3. 효율적인 추론:
   인코더 출력은 청결한 오디오와 3 개의 변형 오디오에 대해 한 번의 배치 (batch) 처리로 공유하며, 디코딩 단계에서도 병렬 처리를 통해 계산 오버헤드를 최소화합니다.

3. 주요 기여 (Key Contributions)

• ASR 에 대한 첫 번째 대비 디코딩 적용: 시각 - 언어 모델에서 사용되던 대비 디코딩 기법을 음성 인식 (ASR) 분야에 처음 적용하여 할루시네이션을 해결했습니다.
• 학습 불필요 (Training-free): 모델 재학습이나 추가 파라미터 업데이트 없이, 기존 Whisper 시스템에 'Drop-in' 방식으로 즉시 적용 가능합니다.
• 다양한 오류 패턴 동시 해결: 단일 오류 유형이 아닌, 침묵 구간 할루시네이션, 반복 루프, 내용 생략 등 다양한 장문 ASR 실패 패턴을 하나의 통합된 다중 부정적 목표 (Multi-negative Objective) 로 해결합니다.

4. 실험 결과 (Results)

5 개의 영어 장문 벤치마크 (CORAAL, Earnings22, VoxPopuli, TED-LIUM, REV-16) 에서 Whisper Large-v3 및 Large-v3-Turbo 모델을 대상으로 실험했습니다.

• 오류율 (WER) 감소:
  • CORAAL 데이터셋에서 베이스라인 대비 최대 24.3%p의 WER 감소 (Large-v3 기준 208.76% → 45.77%, 반복 루프 제거 효과).
  • Large-v3-Turbo 기준 CORAAL 에서 38.75% → 14.43% 로 대폭 개선.
• 처리 속도 (Throughput):
  • 빔 서치 (Beam Search, beam size=5) 대비 약 48% 빠른 토큰 생성 속도를 기록했습니다.
  • 빔 서치는 TED-LIUM 에서 성능이 저하되는 반면, Whisper-CD 는 모든 데이터셋에서 정확도와 속도의 균형을 유지했습니다.
• 효율성: 반복 루프를 제거하여 전체 생성 토큰 수를 줄임으로써, Large-v3 모델의 경우 실제 실행 시간 (Wall-clock time) 이 오히려 단축되기도 했습니다.

5. 의의 및 결론 (Significance)

• 배포된 시스템의 즉시 개선: 기존에 배포된 Whisper 기반 시스템의 재학습 없이도 추론 단계에서 바로 적용하여 성능을 획기적으로 개선할 수 있는 실용적인 솔루션을 제시했습니다.
• 장문 인식의 한계 극복: 장문 오디오 처리 시 발생하는 오류 누적 및 할루시네이션 문제를 효과적으로 완화하여, 대규모 언어 모델 기반 ASR 의 신뢰성을 높였습니다.
• 확장성: 제안된 다중 부정적 프레임워크는 향후 주파수 마스킹, 청크 셔플링 등 다른 오디오 변환 기법이나 디코더 전용 ASR 모델에도 쉽게 확장 적용될 수 있습니다.

결론적으로 Whisper-CD 는 복잡한 모델 수정 없이 계산 효율성을 유지하면서 장문 음성 인식의 정확도와 안정성을 동시에 달성한 중요한 기술적 진전입니다.