Make It Hard to Hear, Easy to Learn: Long-Form Bengali ASR and Speaker Diarization via Extreme Augmentation and Perfect Alignment
이 논문은 882 시간 규모의 대규모 벤골어 데이터셋 'Lipi-Ghor-882'를 구축하고, 정밀하게 정렬된 주석과 합성 음향 열화를 활용한 미세 조정으로 ASR 성능을 극대화함과 동시에 전처리 기반의 휴리스틱 후처리를 통해 화자 분리 정확도를 획기적으로 개선한 효율적인 이중 파이프라인을 제시합니다.
원저자:Sanjid Hasan, Risalat Labib, A H M Fuad, Bayazid Hasan
이 논문은 벵골어 (방글라데시와 인도 서벵골 지역의 언어) 로 된 긴 대화 녹음을 자동으로 받아쓰기 (ASR) 하고, 누가 언제 말했는지 구분하는 (화자 분리) 기술을 연구한 이야기입니다.
저희 팀 '빌라저스 (Villagers)'는 이 문제를 해결하기 위해 **"듣기는 어렵게, 배우기는 쉽게"**라는 독특한 철학을 적용했습니다. 마치 어두운 방에서 눈을 감고 소리를 듣고 훈련하는 운동선수처럼 말이죠.
이 연구의 핵심 내용을 일상적인 비유로 설명해 드릴게요.
1. 문제 상황: "소란스러운 파티"
벵골어로 된 긴 대화 녹음은 마치 시끄러운 파티와 같습니다.
문제 1 (받아쓰기): 여러 사람이 동시에 말하고, 배경음악이 들리며, 목소리가 깨져서 들립니다. 컴퓨터가 "누가 뭐라고 했는지" 알아듣기 매우 어렵습니다.
문제 2 (화자 구분): "누가 언제 말했는지" 구분하는 것도 어렵습니다. 특히 기존에 유명한 AI 모델들은 이 복잡한 파티 장면을 보면 완전히 혼란에 빠졌습니다.
2. 해결책 1: 받아쓰기 (ASR) - "고생해서 훈련시키기"
컴퓨터에게 받아쓰기를 가르칠 때, 우리는 가장 깨끗한 소리만 들려주는 것이 아니라, 일부러 소리를 지저분하게 만들어 훈련시켰습니다.
기존 방식: 깨끗한 소리로만 훈련하면, 컴퓨터는 "소리가 깨끗할 때만" 잘 알아듣습니다. (실제 파티에서는 실패)
우리의 방식 (Make it Hard to Hear): 훈련 데이터 20% 에 **인위적인 잡음과 울림 (Reverberation)**을 섞었습니다.
비유: 마치 눈가리개를 하고 시끄러운 지하철에서 대화하는 훈련을 시킨 것입니다. 이렇게 하면 컴퓨터는 소리의 '핵심' (발음) 에 집중하게 되어, 실제 시끄러운 상황에서도 훨씬 잘 알아듣게 됩니다.
결과: 이 '고생 훈련'을 통해 컴퓨터는 4 시간 걸리던 작업을 26 분 만에 끝내면서도 정확도가 크게 올랐습니다. (실시간 처리 속도가 0.019 로 빨라짐)
3. 해결책 2: 화자 구분 - "규칙으로 정리하기"
화자 구분 (누가 말했는지) 은 받아쓰기와 정반대의 전략이 필요했습니다.
실패한 시도: 최신 AI 모델 (Diarizen 등) 을 다시 훈련시키거나, 소음을 제거하려고 노력했지만 오히려 성능이 떨어졌습니다.
비유: 마치 훌륭한 요리사에게 "이 요리를 더 맛있게 해봐"라고 시켰는데, 재료가 나빠서 실패한 것과 같습니다.
성공한 전략: AI 가 뱉어낸 결과를 엄격한 규칙 (알고리즘) 으로 다듬는 것이었습니다.
규칙 예시:
두 사람이 동시에 말한 부분은 하나만 남긴다.
너무 짧은 말 (0.75 초 미만) 은 잡음으로 간주해 버린다.
같은 사람이 잠시 멈췄다가 다시 말하면, 두 구간을 하나로 합친다.
비유: AI 가 쓴 초고 (Draft) 를 엄격한 편집자가 다듬어 문법과 논리를 바로잡는 과정입니다. AI 가 잘 못해도, 편집자가 잘 다듬으면 훌륭한 책이 됩니다.
4. 기여: "882 시간의 보물창고 (Lipi-Ghor-882)"
이 연구를 위해 팀은 벵골어 대화 데이터가 부족하다는 문제를 해결하기 위해 882 시간 분량의 새로운 데이터셋을 만들었습니다.
유튜브의 다양한 영상 (뉴스, 팟캐스트, 인터뷰 등) 을 긁어모아, 누가 언제 말했는지 정교하게 라벨링했습니다.
이는 앞으로 벵골어 AI 를 연구하는 다른 사람들에게 거대한 보물 지도와 같은 역할을 할 것입니다.
5. 결론: "완벽한 AI 가 아니라, 현명한 조합"
이 논문의 핵심 교훈은 다음과 같습니다.
받아쓰기 (ASR): AI 모델 자체를 고치는 것보다, 데이터를 고생스럽게 (잡음 섞어서) 훈련시키는 게 더 효과적입니다.
화자 구분: 최신 AI 모델을 맹신하기보다, **간단하지만 강력한 규칙 (포스트 프로세싱)**으로 결과를 정리하는 게 더 효과적입니다.
결국, 우리는 최고의 AI 모델 하나를 찾는 대신, '고생 훈련'과 '엄격한 규칙'이라는 두 개의 날카로운 칼을 조합하여 벵골어 긴 대화 처리의 새로운 기준을 세웠습니다.
논문 요약: 저자원 (Low-Resource) 환경에서의 장기형 벵골어 음성 인식 및 화자 분리 최적화
이 논문은 DL Sprint 4.0 (BUET CSE FEST 2026) 대회에 참가한 'Team Villagers'팀의 연구 결과로, 벵골어 (Bengali) 의 장기형 (Long-form) 오디오에 대한 자동 음성 인식 (ASR) 과 화자 분리 (Speaker Diarization) 의 성능을 극대화하기 위한 방법론을 제시합니다. 연구팀은 기존 상식과 다른 접근법을 통해 ASR 에는 '잡음 데이터 학습'을, 화자 분리에는 '모델 재학습 대신 알고리즘적 후처리'를 적용하여 혁신적인 성과를 거두었습니다.
1. 문제 정의 (Problem Statement)
자원 부족: 벵골어는 ASR 과 화자 분리를 동시에 수행할 수 있는 대규모 정렬된 (Aligned) 데이터가 극도로 부족합니다.
장기형 오디오 처리의 어려움: 긴 대화 녹음 파일은 화자 전환, 배경 잡음, 반향 (Reverberation) 등 복잡한 요인으로 인해 기존 모델의 성능이 급격히 저하됩니다.
경쟁 목표: 22 시간 분량의 숨겨진 테스트 세트에 대해 높은 정확도 (WER, DER) 와 낮은 실시간 인자 (RTF, Real-Time Factor) 를 동시에 달성해야 했습니다.
2. 주요 기여 (Key Contributions)
Lipi-Ghor-882 데이터셋 구축: 벵골어 ASR 및 화자 분리를 위한 882 시간 분량의 다중 화자 데이터셋을 구축했습니다. 유튜브 (yt-dlp) 와 Pyannote API 를 활용하여 다양한 도메인의 오디오를 수집하고 정밀하게 주석 (Annotation) 을 달았습니다.
ASR 을 위한 '잡음 학습' 패러다임: 데이터 양을 늘리는 것보다, 완벽하게 정렬된 소량의 데이터에 인위적인 잡음과 반향을 추가하여 모델을 훈련시키는 것이 더 효과적임을 증명했습니다.
화자 분리를 위한 알고리즘적 후처리: 최첨단 (SOTA) 모델의 재학습이 실패하자, 모델 출력에 엄격한 휴리스틱 (Heuristic) 후처리 알고리즘을 적용하여 화자 분리 오차율 (DER) 을 획기적으로 개선했습니다.
최적화된 파이프라인: ASR 과 화자 분리를 분리된 파이프라인으로 구성하여, 약 0.019 의 매우 낮은 RTF 를 달성하며 실시간 처리 가능성을 입증했습니다.
3. 방법론 (Methodology)
A. 자동 음성 인식 (ASR)
모델 선정 및 최적화: 초기 평가에서 Moonshine(빠르지만 정확도 낮음), Titu-FastConformer(빠름), Wav2Vec2, Whisper-Medium(정확도 높음) 등을 비교했습니다. 최종적으로 Whisper-Medium을 선택하고 CTranslate2 (CT2) 와 Faster-Whisper를 사용하여 병렬 처리 (Dual T4 GPU) 를 구현했습니다.
성능: 추론 시간을 4 시간에서 26 분으로 단축 (RTF ≈ 0.019).
VAD 튜닝: 기본 VAD 파라미터가 첫 단어를 잘라내는 문제를 해결하기 위해 수동 조정이 필요했습니다.
학습 전략 (The "Make it Hard" Approach):
기존 방식 (PEFT, 컨텍스트 바이어싱, 데모스 (Demucs) 를 통한 노이즈 제거, 앙상블 등) 은 모두 실패하거나 성능 저하를 초래했습니다.
성공 요인: 완벽하게 정렬된 소규모 데이터셋의 20% 에 인위적인 잡음과 반향을 추가하여 모델을 훈련시켰습니다. 이는 모델이 단순한 음향 기억이 아닌 **심층적인 음운론적 특징 (Phonetic Features)**에 의존하도록 강제하여 성능을 비약적으로 상승시켰습니다.
B. 화자 분리 (Speaker Diarization)
모델 평가: Diarizen, Pyannote 3.1, ECAPA-TDNN 등 다양한 SOTA 모델을 평가했으나, Diarizen 은 예상과 달리 성능이 낮았습니다. WavLM 통합이나 VBx 적용도 효과가 없었습니다.
재학습의 실패: 인위적으로 음성을 뭉개서 (Muffled) 20 에포크 동안 재학습을 시도했으나 DER 개선은 미미했습니다.
성공 요인 (Post-Processing): 모델 재학습 대신 Pyannote Community-1 모델의 출력에 엄격한 후처리 알고리즘을 적용했습니다.
알고리즘 1 (Strict Gap Post-Processing):
화자 간 간격 강제 (Gap Enforcement): 화자 변경 시 최소 0.17 초의 간격을 둡니다.
마이크로 세그먼트 병합: 짧은 세그먼트를 제거하거나 동일 화자의 인접 세그먼트를 병합합니다.
중첩 제거 (Overlap Mitigation): 시간선 상의 겹침을 해결합니다.
화자 제거: 총 발화 시간이 9 초 미만인 화자는 제거합니다.
4. 실험 결과 (Results)
ASR 성능 (22 시간 테스트 세트):
FT Whisper-Med (Faster Whisper + Noise Augmentation) 모델이 가장 우수한 성능을 보였습니다.
공개 리더보드 WER: 0.30842, 비공개 리더보드 WER: 0.31070.
기존 Whisper-Medium (Tugstugi) 대비 WER 가 약 30% 이상 개선되었으며, RTF 는 0.019 로 매우 효율적입니다.
화자 분리 성능:
Pyannote Community-1 + Post-Processing이 비공개 리더보드에서 DER 0.26640을 기록하여 가장 좋은 성능을 냈습니다.
Diarizen (재학습 포함) 은 DER 0.27893 으로 오히려 성능이 떨어졌습니다.
5. 의의 및 결론 (Significance & Conclusion)
이 연구는 저자원 언어 (Low-resource language) 의 음성 처리에서 중요한 통찰을 제공합니다.
ASR: 단순히 데이터를 늘리는 것보다, 정밀하게 정렬된 데이터에 '어려운' 조건 (잡음) 을 부여하여 학습시키는 것이 모델의 일반화 능력을 높이는 핵심입니다.
화자 분리: 복잡한 모델 재학습이나 SOTA 모델 도입보다는, 출력된 결과에 대한 엄격한 알고리즘적 후처리가 실제 환경 (특히 벵골어와 같은 복잡한 화자 환경) 에서 더 큰 효과를 발휘할 수 있음을 증명했습니다.
실용성: 882 시간의 Lipi-Ghor 데이터셋과 최적화된 파이프라인은 벵골어 대화형 AI 의 미래 발전에 강력한 기반을 마련했습니다.
이 논문은 "듣기 어렵게 (잡음 추가), 배우기 쉽게 (정밀 정렬)"라는 역설적인 접근법이 장기형 오디오 처리의 핵심 열쇠가 될 수 있음을 보여주었습니다.