WhisperAlign: Word-Boundary-Aware ASR and WhisperX-Anchored Pyannote Diarization for Long-Form Bengali Speech

이 논문은 긴 형식의 벵골어 음성 인식과 화자 분리 과제를 해결하기 위해 WhisperX 기반의 단어 경계 인식 청크 전략과 도메인 특화 파인튜닝이 적용된 Pyannote 분할 모델을 통합한 'WhisperAlign' 솔루션을 제안합니다.

핵심

🎙️ 프로젝트의 목표: "혼란스러운 벵골어 파티의 기록 정리하기"

상상해 보세요. 방글라데시에서 1 시간 동안 이어진 대규모 파티가 있었습니다. 여러 사람이 동시에 말하고, 목소리가 겹치고, 배경 소음도 많습니다. 이 녹음 파일을 들어보면서 누가 언제 무엇을 말했는지를 완벽하게 기록해야 하는 과제를 받았다고 가정해 봅시다.

이 팀은 이 과제를 두 단계로 나누어 해결했습니다.

1. 작업 1 (ASR): "무슨 말이 들리는지" 텍스트로 바꾸기 (음성 인식)
2. 작업 2 (Diarization): "누가 그 말을 했는지" 구분하기 (화자 분리)

---

1 단계: "잘게 썰어 다시 조립하는" 음성 인식 (WhisperAlign)

기존의 AI 는 긴 녹음 파일을 한 번에 들으려다 보면, 중간에 말을 끊어버리거나 (단어 잘림), 없는 말을 만들어 내는 (환각 현상) 실수를 자주 했습니다. 마치 긴 책을 한 번에 다 읽으려다 지쳐서 내용을 헷갈리는 것과 비슷합니다.

이 팀이 개발한 WhisperAlign의 핵심 전략은 다음과 같습니다.

• 🍞 "완전한 식빵 조각"만 잘라내기 (단어 경계 인식):
  일반적인 방법은 시간을 기준으로 30 초마다 강제로 자르지만, 이때 "안녕하"라고 잘라 "세"가 다음 조각으로 넘어가는 실수가 생깁니다. 이 팀은 AI 가 각 단어의 시작과 끝을 정확히 알아내는 능력을 이용했습니다. 마치 식빵을 자를 때 "안녕하세요"라는 단어의 끝까지 포함되도록 정확히 자르는 것처럼, 단어가 끊기지 않는 구간만 잘게 잘라냈습니다.
• 🧩 "맞춤형 퍼즐"로 학습:
  이렇게 잘게 잘린 조각들 (20~28 초 분량) 에만 집중해서 AI 를 다시 훈련시켰습니다. 짧은 조각은 정보가 부족하고, 너무 길면 AI 가 혼란을 겪기 때문에, 가장 적절한 길이의 조각들만 모아 새로운 '전문가'를 만든 것입니다.
• 🚫 "침묵 구간은 버리기":
  사람들이 말하지 않는 침묵 구간은 AI 가 헛소리를 만들어내기 쉽습니다. 그래서 말소리만 있는 부분만 골라내어 AI 에게 주었습니다.

결과: 이 방법을 통해 AI 가 말을 잘못 들거나 (환각), 단어를 잘못 쓰는 실수가 크게 줄어들었습니다.

---

2 단계: "누가 언제 말했는지" 구분하기 (WhisperX-Anchored Pyannote)

두 번째 문제는 "A 와 B 가 동시에 말했을 때, 누가 무슨 말을 했는지"를 구분하는 것입니다. 특히 벵골어는 화법 특성이 서양 언어와 달라서 기존 AI 들이 헷갈려 했습니다.

이 팀의 Diarization 전략은 다음과 같습니다.

• 🎓 "벵골어 특화 교육" (파인튜닝):
  기존에 서양 언어로만 훈련된 AI 에게 벵골어 대화의 뉘앙스 (누가 언제 말을 끊고, 누가 먼저 시작하는지 등) 를 다시 가르쳤습니다. 전체 AI 를 새로 만드는 게 아니라, 가장 중요한 '구분하는 능력'을 담당하는 부분만 집중적으로 훈련시켜 비용과 시간을 아꼈습니다.
• 🚦 "경쟁 규칙 준수" (중복 제거):
  대회 규칙상 "동시에 두 사람이 말하는 구간"은 허용되지 않았습니다. 보통은 이 부분을 잘라내거나 삭제했는데, 이 팀은 AI 가 자연스럽게 "누가 더 지배적인 목소리인지" 판단하게 하여 겹치는 부분을 깔끔하게 정리했습니다.
• 🔗 "두 개의 감시카메라 교차 검증" (VAD 교차):
  여기서 가장 중요한 아이디어입니다.
  1. WhisperX라는 AI 가 "여기서부터 말소리가 시작된다"고 판단합니다.
  2. Pyannote라는 다른 AI 가 "여기서부터 화자가 바뀐다"고 판단합니다.
     보통 이 두 AI 의 판단이 서로 달라서 (시간이 어긋나서) 문제가 생깁니다. 이 팀은 두 AI 의 판단이 겹치는 부분 (AND) 만 최종 결과로 채택했습니다. 마치 두 명의 감시카메라가 동시에 찍은 영상만 신뢰하는 것처럼, 오류가 날 수 있는 경계선을 완전히 없앤 것입니다.

결과: 화자가 바뀌는 순간이 매우 정확해졌고, 배경 소음이나 헛소리가 섞인 구간이 사라졌습니다.

---

🏆 최종 성과: 왜 이 방법이 특별한가?

이 팀은 **"작게 잘라내어 정확히 맞추기 (ASR)"**와 **"두 가지 감시카메라로 교차 검증하기 (Diarization)"**라는 두 가지 아이디어를 결합했습니다.

• 기존 방식: 긴 파일을 무작위로 자르고, 서양식 AI 를 그대로 써서 큰 실수를 범함. (오류율 67% 이상)
• 이 팀의 방식: 단어가 끊기지 않게 정교하게 자르고, 벵골어 특성에 맞춰 훈련시킨 뒤, 두 AI 의 판단을 겹쳐서 오류를 잡음. (오류율 25% 이하로 대폭 감소)

💡 한 줄 요약

"긴 벵골어 녹음 파일을 '단어가 끊기지 않는 조각'으로 잘게 썰어 AI 에게 다시 가르치고, 두 가지 다른 AI 가 서로의 실수를 잡아주게 하여 완벽한 대화 기록을 만들어냈다."

이 기술은 자원이 부족한 언어 (벵골어 등) 에서도 고도의 음성 인식을 가능하게 하여, 향후 더 많은 언어와 상황에 적용될 수 있는 귀중한 청사진을 제시했습니다.

기술 요약

1. 문제 정의 (Problem Definition)

이 논문은 저자원 언어인 벵골어 (Bengali) 의 장형 (Long-Form) 음성을 처리하는 데 있어 발생하는 두 가지 주요 과제를 해결합니다.

• 맥락 손실 및 할루시네이션: 30 분 이상의 긴 오디오를 고정된 길이로 자르면 단어 중간이 잘리거나 (Truncation), Whisper 모델이 침묵 구간에서 잘못된 텍스트를 생성하는 할루시네이션 (Hallucination) 이 발생합니다.
• 화자 분리 (Diarization) 의 어려움: 기존 화자 분리 모델은 벵골어의 대화적 역동성 (Prosody, 턴테이킹) 을 제대로 반영하지 못하며, 중첩된 화자 (Overlapping speech) 를 처리할 때 시간적 불일치 (Temporal drift) 가 발생합니다.
• 데이터 부재: 제공된 데이터셋은 문단 수준의 주석만 있고, 발화 단위 (Utterance-level) 경계나 화자 타임스탬프가 없어 학습용 청크 (Chunk) 생성이 어렵습니다.

2. 방법론 및 아키텍처 (Methodology & Architecture)

논문은 ASR(음성 인식) 과 화자 분리 (Diarization) 를 위한 이중 스트림 파이프라인을 제안합니다.

A. 음성 인식 (ASR): WhisperAlign

• 의미 기반 단어 경계 인식 청킹 (Word-Boundary-Aware Chunking):
  • 고정 길이 자르기를 피하기 위해 Silero VAD로 음성을 먼저 분리합니다.
  • Whisper-timestamped를 활용하여 단어 수준의 타임스탬프를 추출하고, 이를 Ground Truth 텍스트와 Sequence Matching (difflib) 을 통해 정렬합니다.
  • 이 과정에서 잘못된 전사는 보정하고, 누락된 단어는 선형 보간 (Linear Interpolation) 으로 타임스탬프를 추정합니다.
  • 20~28 초 범위의 청크만 학습 데이터로 사용하여, 너무 짧은 오디오로 인한 컨텍스트 부족을 방지하고 Whisper 의 30 초 한계를 준수합니다.
• 모델 파인튜닝: 벵골어 특화 Whisper-medium 모델 (tugstugi_bengaliai-asr-whisper-medium) 을 위와 같이 정제된 청크 데이터셋으로 파인튜닝합니다.
• 추론 (Inference): VAD 가이드 추론을 적용하고, 반복되는 n-gram 과 영문 불필요 문구를 제거하는 후처리를 통해 할루시네이션을 억제합니다.

B. 화자 분리 (Diarization): WhisperX-Anchored Pyannote

• 도메인 특화 세그멘테이션 파인튜닝:
  • 전체 파이프라인을 재학습하는 대신, Pyannote 의 경량 세그멘테이션 모듈 (약 140 만 파라미터) 만 벵골어 데이터로 파인튜닝하여 화자의 턴테이킹 패턴을 학습시킵니다. (임베딩 모델은 고정)
• 배타적 화자 처리 (Exclusive Overlap Handling):
  • 중첩된 화자를 인위적으로 잘라내지 않고, Pyannote 의 exclusive_speaker_diarization 기능을 사용하여 시간적 중첩을 확률적으로 가장 지배적인 화자에게 할당합니다.
• VAD 교차 검증 (VAD Intersection):
  • WhisperX 와 Pyannote 가 서로 다른 VAD 를 사용하여 발생하는 시간 불일치를 해결하기 위해, Silero VAD(Silero VAD) 의 경계와 Pyannote 의 클러스터링 결과를 논리적 AND 연산으로 교차시킵니다. 이를 통해 배경 소음이나 경계에서의 할루시네이션을 완전히 제거합니다.

3. 주요 기여 (Key Contributions)

1. 외부 도구가 없는 자기 완결형 청킹 파이프라인: 몬트리올 포스드 얼라이너 (MFA) 와 같은 외부 정렬 도구나 발음 사전을 필요로 하지 않고, Whisper 자체의 어텐션 헤드를 활용하여 단어 경계를 정확히 파악하고 학습 데이터를 생성합니다.
2. 벵골어 특화 세그멘테이션 모델: 벵골어의 고유한 음향적 특성과 대화 리듬을 학습하도록 세그멘테이션 모델을 파인튜닝하여, 기존 모델이 겪던 화자 전환 오류를 개선했습니다.
3. VAD 기반 시간 정렬 (Temporal Alignment): ASR 과 화자 분리 모델 간의 VAD 불일치 문제를 해결하기 위한 'VAD Intersection' 기법을 도입하여, 텍스트와 화자 라벨의 시간적 정합성을 완벽하게 맞췄습니다.
4. 효율적인 파인튜닝 전략: 전체 모델을 재학습하지 않고 파라미터 효율적인 방법 (Segmentation 모듈만 학습) 을 사용하여 계산 비용을 절감하면서도 높은 성능을 달성했습니다.

4. 실험 결과 (Results)

• 음성 인식 (ASR) 성능:
  • 베이스라인 (Raw Whisper) 의 **WER 67.5%**에서 시작하여, 제안된 파이프라인 (VAD, 파인튜닝, 후처리) 을 적용한 후 **Public WER 25.2%**로 대폭 개선되었습니다.
  • 기존 벵골어 SOTA 모델인 Hishab TITU-BN(WER 50.67%) 보다 약 23 포인트, Tugstugi(Raw) 보다 약 7 포인트 더 낮은 오차율을 기록했습니다.
• 화자 분리 (Diarization) 성능:
  • 베이스라인 (Pyannote 3.1) 의 **DER 42.2%**에서, 세그멘테이션 파인튜닝과 VAD 교차 검증을 적용한 후 **Public DER 19.4%**로 획기적으로 감소했습니다.
  • 벵골어 벤치마크 (Bengali-Loop) 에서 기존 SOTA 모델 (DER 40.08%) 대비 약 12~16% 의 절대적 오차 감소 효과를 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 저자원 언어 (Low-resource language) 환경에서 장형 음성을 처리할 때 발생하는 핵심적인 문제들 (할루시네이션, 시간 불일치, 데이터 부재) 을 체계적으로 해결한 사례입니다.

• 실용성: 외부 어노테이션이나 복잡한 정렬 도구 없이도 고품질의 학습 데이터를 자동 생성할 수 있는 방법을 제시하여, 다른 저자원 언어로의 확장에 유용한 블루프린트를 제공합니다.
• 성능: 계산 비용을 크게 늘리지 않으면서 (파라미터 효율적 파인튜닝), ASR 과 화자 분리 모두에서 기존 벤치마크를 압도하는 성능을 달성했습니다.
• 기술적 통찰: ASR 과 화자 분리 모델 간의 VAD 불일치를 해결하는 '교차 검증 (Intersection)' 전략이 장기 음성 처리의 정확도를 높이는 데 결정적인 역할을 함을 증명했습니다.

결론적으로, 이 논문은 Whisper 와 Pyannote 를 기반으로 한 최적화된 파이프라인을 통해 벵골어 장형 음성 처리의 새로운 기준을 제시하며, 저자원 언어 기술 발전에 중요한 기여를 했습니다.