기술 요약: Bangla-WhisperDiar

문제 정의

본 논문은 장형 오디오 컨텍스트에서 방글라어 (벵골어) 구어 이해와 관련된 두 가지 중대한 과제를 다룹니다:

1. 방글라어 장형 자동 음성 인식 (ASR): 확장된 자발적 다화자 방글라어 녹음을 텍스트로 변환하는 작업입니다. 이 작업은 방언적 변이, 대화식 화법 패턴, 환경적 소음, 그리고 방글라 문자의 형태론적 복잡성으로 인해 복잡해집니다.
2. 화자 분할 (Speaker Diarization): 종종 중첩된 화법과 다양한 음향 조건을 포함하는 장형 녹음에서 "누가 언제 말했는지"를 결정하는 작업입니다.

전 세계적으로 2 억 3 천만 명 이상이 사용하는 방글라어의 보편성에도 불구하고, 이 언어는 음성 기술 분야에서 여전히 자원이 부족합니다. 최첨단 시스템은 일반적으로 영어와 같은 고자원 언어에 최적화되어 있어, 특히 다양한 실제 음향 환경에서 방글라어에 대한 성능이 최적이 아닙니다.

방법론

저자들은 광범위한 데이터 증강과 도메인 특화 전처리를 통해 사전 훈련된 모델의 미세 조정을 활용하여 두 가지 작업 모두를 위한 완전한 파이프라인을 제안합니다.

1. 방글라어 장형 ASR 파이프라인

ASR 시스템은 방글라어 지역 화법에 사전 훈련된 tugstugi_bengaliai-regional-asr_whisper-medium 변형인 Whisper-Medium 아키텍처를 기반으로 구축되었습니다.

• 데이터 전처리 및 청킹: 1 시간 이상의 장형 오디오는 Whisper 인코더의 실용적 한계인 25 초 단위의 비겹치는 청크로 분할됩니다. 이러한 청크에 대한 정답 레이블을 생성하기 위해 저자들은 순차적 퍼지 정렬 알고리즘을 구현했습니다. 이는 양방향 검색 창과 RapidFuzz 비율 점수를 사용하여 전체 정답 전사본을 ASR 가설과 정렬하며, 작은 삽입이나 삭제를 수용하면서도 읽기 순서를 유지합니다.
• 텍스트 정규화: 일관성을 보장하기 위해 방글라어 특화 정규화 파이프라인이 적용됩니다. 여기에는 1000~2099 년의 캘린더 연도를 처리하는 영어 숫자를 방글라어 단어로 변환하고, 비벵골어 유니코드 문자를 제거하며, 공백을 축소하는 작업이 포함됩니다.
• 오디오 증강: 견고성을 향상시키기 위해 훈련 클립의 30% 에 확률적 증강 파이프라인이 적용됩니다. 여기에는 다음이 포함됩니다:
  • 잡음 주입 (핑크/화이트 노이즈).
  • 멀티탭 에코 및 실내 잔향 (합성 Room Impulse Response 컨볼루션을 통해).
  • 클리핑 왜곡, 대역 통과 필터링 (전화 오디오 시뮬레이션), 피치 시프팅, 그리고 시간 스트레칭.
• 훈련 전략: 모델은 VRAM 제약 관리를 위해 8 비트 AdamW 옵티마이저를 사용하여 전체 가중치 미세 조정 (LoRA 와 같은 파라미터 효율적 적응이 아님) 을 거칩니다. 훈련은 혼합 정밀도 (fp16), 코사인 학습률 스케줄, 그리고 그라디언트 체크포인트를 활용합니다.
• 추론 및 후처리: 추론은 정적 KV 캐싱을 사용하는 빔 서치를 사용합니다. 후처리에는 유니코드 정규화, 제로 너비 문자 제거, 그리고 할루시네이션된 반복 (다중 단어 구, 단일 단어, n-그램) 을 제거하기 위한 반복적 정규식 기반 중복 제거 과정이 포함됩니다.

2. 화자 분할 파이프라인

화자 분할 시스템은 PyAnnote.Audio 프레임워크, 특히 pyannote/segmentation-3.0 모델을 활용합니다.

• 아키텍처: 파이프라인은 세 단계로 구성됩니다: 분할 (화자 턴 감지), 화자 임베딩 (화자 표현 추출), 그리고 클러스터링 (신원에 따라 세그먼트 그룹화).
• 미세 조정 전략: 저자들은 분할 교체 (segmentation-swap) 접근 방식을 채택합니다. PyTorch Lightning 을 사용하여 대회 주석 데이터셋에서 분할 구성 요소 (PyanNet 백본) 만 미세 조정합니다. 사전 훈련된 화자 임베딩 및 클러스터링 구성 요소는 수정 없이 유지됩니다.
• 데이터 준비: 주석은 표준 PyAnnote 형식 (RTTM, UEM, LST) 으로 변환됩니다. 훈련 세트는 10 개의 수동 주석 녹음으로 구성되며, 마지막 두 개는 검증용으로 예약됩니다.
• 후처리: 잡음 오분류로 인한 의심스러운 초단 세그먼트를 제거하기 위해 최소 지속 시간 필터 (0.3 초) 가 적용됩니다.

주요 기여

1. 종합적 데이터 파이프라인: ASR 가이드 정답 정렬 (퍼지 매칭을 통한) 과 방글라어 특화 텍스트 정규화를 특징으로 하는 방글라어 장형 오디오를 위한 자동 전처리 파이프라인 개발.
2. 견고한 증강 전략: 실제 세계 음향 열화에 대한 모델의 복원력을 향상시키기 위해 맞춤화된 다양한 오디오 증강 세트 (잡음, 잔향, 에코, 왜곡, 피치/시간 교란) 구현.
3. 미세 조정 프로토콜:
   • 8 비트 옵티마이저를 사용하여 소비자급 GPU 에서의 타당성을 입증한 ASR 을 위한 Whisper-Medium 의 전체 가중치 미세 조정.
   • 화자 분할을 위한 파이프라인 교체 전략을 통해 통합된 도메인 적응형 PyAnnote 분할 모델 미세 조정.
4. 후처리 기법: 출력 품질을 향상시키기 위한 ASR 을 위한 할루시네이션 제거 및 분할을 위한 단세그먼트 필터링 도입.

결과

제안된 시스템은 DL Sprint 4.0 벤치마크 (BengaliLoop 데이터셋) 에서 평가되었습니다.

• ASR 성능: 미세 조정된 시스템은 테스트 세트에서 **단어 오류율 (WER) 24.41%**를 달성했습니다. 이는 사전 훈련된 Tugstugi 기준선 (34.07%) 대비 상당한 개선이며, 기준선 대비 28.4% 의 상대적 감소입니다. 후처리는 25.76% 에서 24.41% 로 추가 감소를 기여했습니다.
• 분할 성능: 시스템은 **화자 분할 오류율 (DER) 23.92%**를 달성했으며, 이는 사전 훈련된 PyAnnote 기준선 (40.08%) 대비 40.3% 의 상대적 감소입니다. 이는 고전적인 VAD 기반 접근 방식과 사전 훈련된 신경 기준선 모두를 능가했습니다.
• 효율성: ASR 시스템은 단일 T4 GPU 에서 3 시간 38 분 녹음을 0.1659 의 실시간 인자 (RTF) 로 처리했으며, 듀얼 GPU 최적화로 0.0190 으로 개선되었습니다. 분할 모듈은 동일한 데이터를 0.1054 의 RTF 로 처리했습니다.
• 대회 점수: 비공개 테스트 세트에서 시스템은 24.75% 의 WER 와 26.13% 의 DER 를 달성했습니다.

중요성 및 주장

본 논문은 약자원 언어인 방글라어와 같은 언어에서는 강력한 다국어 사전 훈련 모델로 시작하더라도 도메인 적응이 결정적임을 보여주는 데 주요한 의의가 있다고 주장합니다.

• 미세 조정의 효과성: 결과들은 대화식 방글라어와 같은 도메인 특화 데이터에 대한 미세 조정이 일반 사전 훈련 모델과 특정 응용 요구 사항 사이의 격차를 크게 좁힌다는 것을 검증합니다.
• 전략적 효율성: 저자들은 선택적 미세 조정 (화자 분할을 위한 분할 구성 요소만) 이 화자 임베딩 구성 요소가 언어 간에 잘 일반화되기 때문에 성능 향상과 계산 효율성 사이의 균형을 잡는 효과적인 전략임을 강조합니다.
• 데이터 품질: 이 작업은 훈련 잡음을 줄이고 레이블 일관성을 향상시키기 위해 방글라어 특화 텍스트 정규화와 엄격한 데이터 정렬이 필수적임을 강조합니다.
• 견고성: 이 연구는 광범위한 데이터 증강이 실제 세계 음향 조건을 효과적으로 시뮬레이션하여 장형 녹음에서 발견되는 잡음과 왜곡에 대해 모델을 견고하게 만든다는 것을 보여줍니다.

저자들은 계산 제약과 제한된 주석 데이터가 여전히 과제이지만, 그들의 접근 방식이 방글라어 음성 처리를 위한 견고하고 확장 가능한 기반을 제공하며, 향후 작업은 엣지 배포를 위한 결합형 ASR-분할 아키텍처 및 모델 압축을 탐구할 계획이라고 결론지었습니다.