Indic DiarBench: A Multilingual Joint Diarization and ASR Benchmark for Indian Languages

기술 요약: Indic DiarBench

문제 정의
인도 언어에 대한 자동 음성 인식(ASR) 분야에서 상당한 진전이 있었으나, 기존 연구와 벤치마크는 주로 단일 화자 시나리오에 집중되어 있습니다. 회의, 인터뷰, 일상적인 대화와 같은 실제 응용 분야는 여러 화자가 상호작용하는 상황을 포함하며, 이는 화자 분리(누가 언제 말했는지 식별)와 ASR을 결합한 파이프라인을 필요로 합니다. 현재의 인도 언어 벤치마크는 화자 속성 레이블이 부족하거나, 일부 언어만을 다루거나, 화자 분리와 ASR 평가를 분리하여 수행한다는 점에서 불충분합니다. 이러한 분리는 결정적인 실패 모드를 은폐합니다. 예를 들어, 화자 분리 시스템이 생성한 짧고 파편화되며 중첩된 세그먼트에 ASR을 적용할 경우 성능이 크게 저하되는 경우가 많습니다. 인도의 22개 지정 언어를 대상으로 현실적인 대화 조건에서 공동 화자 속성 ASR을 평가하는 표준화된 다국어 벤치마크가 부재한 실정입니다.

방법론
이러한 격차를 해소하기 위해 저자들은 포괄적인 벤치마크 데이터셋이자 평가 프레임워크인 Indic DiarBench를 도입합니다.

• 데이터 수집: 코퍼스는 모든 22개 지정 인도 언어를 아우르는 약 108시간의 자연스러운 다중 화자 오디오로 구성됩니다. 데이터는 다음 세 가지 음향 조건으로 분류됩니다:

  1. 근접 필드 회의 (~53시간): 가상 회의에서 개별 근접 마이크를 통해 녹음되었으며, 자발적인 상호작용과 중첩을 포착합니다.
  2. 원거리 필드 회의 (~27시간): 먼 거리의 마이크로 녹음되어 잔향과 배경 소음을 포함합니다.
  3. In-the-wild 오디오 (~28시간): 제약 없는 환경에서의 지속적인 다중 화자 상호작용을 특징으로 하는 YouTube 영상을 큐레이션했습니다.
     데이터셋은 189개 지역의 485명 고유 화자를 포함하여 지리적, 인구통계학적, 방언적 다양성을 보장합니다.

• 주석 파이프라인: 고품질의 화자 속성 전사본을 생성하기 위해 엄격한 인간 참여형(human-in-the-loop) 프로세스가 채택되었습니다:

  1. 부트스트랩(Bootstrap): 주석 작업의 노력을 줄이기 위해 여러 ASR 시스템을 사용하여 초기 전사본을 생성했습니다.
  2. 인간 검증: 전문 주석가들이 단어 순서, 타임스탬프 및 화자 레이블을 수정했습니다. 회의 녹음의 경우, 주석가는 기존 레이블을 조정할 수는 있었으나 새로운 화자를 추가할 수는 없었습니다. In-the-wild 데이터의 경우, 시각적 단서를 바탕으로 화자를 병합하거나 추가할 수 있었습니다.
  3. 코드 혼용(Code-Mixing) 처리: 두 가지 전사 형식이 생성되었습니다: 하나는 영어 단어를 포함한 고유 인도 스크립트 형태이고, 다른 하나는 코드 혼용을 수용하기 위해 정규화된 형태(로만 문자로 표기된 영어, 아라비아 숫자로 표기된 숫자)입니다.
  4. 품질 관리: 전담 검수자와 언어별 전문가가 일관성, 중첩 처리 및 비음성 태그(, )를 검토했습니다.

• 평가 지표: 벤치마크는 두 가지 축을 통해 시스템을 평가합니다:

  • 음향 화자 분리(Acoustic Diarization): 중첩된 음성을 포함하여, 용서 콜라(forgiveness collar) 없이 화자 분리 에러율(DER)로 측정합니다.
  • 공동 성능(Joint Performance): 화자 순열(permutation) 문제를 해결한 후의 전사 정확도를 평가하기 위해 연결 최소 순열 단어 에러율(cpWER)을 사용하며, 화자 속성 오류를 명시적으로 처벌하기 위해 단어 화자 분리 에러율(WDER)을 사용합니다.

주요 기여

1. 최초의 다국어 벤치마크: 공동 ASR 및 화자 분리 레이블을 갖춘 모든 22개 지정 인도 언어를 다루는 최초의 오픈 액세스 리소스입니다.
2. 다양한 음향 조건: 근접 필드, 원거리 필드, in-the-wild 시나리오를 포괄하며, 화자 수(2~9명) 및 중첩 비율의 현실적인 변화를 포착하는 약 108시간의 통합 코퍼스입니다.
3. 인간이 교정한 그라운드 트루스(Ground Truth): 코드 혼용 및 중첩 음성 처리를 포함하여 엄격한 품질 관리를 거친 고품질의 시간 정렬 화자 속성 전사본(RTTM 형식)을 제공합니다.
4. 베이스라인 평가: 상용 음성 API(예: AWS, Azure, Deepgram), 멀티모달 대규모 언어 모델(예: GPT-4o, Gemini 3 Pro), 인도 특화 시스템(Sarvam AI)을 포함한 선도적인 시스템들에 대한 포괄적인 벤치마킹을 수행했습니다.

결과 및 분석
저자들은 이 데이터셋을 통해 여러 최첨단 시스템을 평가했습니다:

• 성능 리더: 인도 특화 파이프라인인 Sarvam AI가 가장 낮은 DER(16.0%)과 cpWER(38.8%)을 기록하며 최고의 전반적인 결과를 달했습니다.
• 상용 API: AWS Transcribe와 같은 시스템은 적절한 성능(23.5% DER)을 보였으나, 다른 시스템들은 상당히 높은 에러율을 나타냈습니다.
• 멀티모달 LLM: 이 모델들은 트레이드오프를 보여주었습니다. Gemini 3 Pro는 탐지된 세그먼트에 대한 강력한 ASR 덕분에 경쟁력 있는 WDER(33.0%)을 달성했으나, 미탐지 및 신뢰할 수 없는 타임스탬핑으로 인해 매우 높은 DER(74.0%)을 기록했습니다. GPT-4o는 더 나은 화자 분리 정확도를 보였으나, 특히 저자원 언어에서 낮은 cpWER을 보였습니다.
• 에러 패턴: 분석 결과, 인도 특화 파이프라인은 균형 잡힌 에러 프로필을 보인 반면, 멀티모달 LLM은 미탐지 에러(예: 감탄사와 같은 짧은 발화 탐지 실패)가 지배적이었습니다. 일반적인 상용 API는 보수적인 음성 활동 탐지(VAD)로 인해 높은 미탐지율을 보이는 경우가 많았습니다.
• 언어 및 조건별 편차: 성능은 언어와 조건에 따라 크게 달랐습니다. Telugu, Maithili, Dogri는 높은 중첩 비율과 화자 수로 인해 가장 까다로운 언어였습니다. Santali와 Urdu는 가장 쉬운 축에 속했습니다. In-the-wild 녹음은 낮은 중첩과 명확한 차례 넘기기 덕분에 일반적으로 가장 좋은 성능을 보였습니다. 근접 필드에서만 제공되는 저자원 언어는 여러 조건을 아우르는 고자원 언어에 비해 높은 에러율을 보였습니다.

의의
Indic DiarBench는 인도 언어의 다중 화자 대화 음성에 대한 표준화된 평가 프레임키를 구축합니다. 코드 혼용, 방언적 변이, 빈번한 화자 중첩과 같은 인도 음성의 뉘앙스를 포착하는 리소스를 제공함으로써, 이 벤치마크는 견고한 화자 속성 ASR 시스템 개발을 가능하게 합니다. 저자들은 실제 대화 전사를 위한 발전에는 ASR과 화자 분리를 공동으로 평가하는 벤치마크가 필요하다고 주장하는데, 이는 독립적인 평가가 화자 분리 오류로 인한 성능 저하를 포착하지 못하기 때문입니다. 이 데이터셋과 주석 및 베이스라인 시스템의 공개는 인도의 22개 헌법상 인정된 언어를 위한 포용적인 다국어 음성 기술 연구를 진전시키는 것을 목표로 합니다.