Indic DiarBench: A Multilingual Joint Diarization and ASR Benchmark for Indian Languages

Resumo Técnico: Indic DiarBench

Declaração do Problema
Embora progressos significativos tenham sido feitos no Reconhecimento Automático de Fala (ASR) para línguas indianas, as pesquisas e benchmarks existentes concentram-se predominantemente em cenários de um único falante. Aplicações do mundo real, como reuniões, entrevistas e conversas casuais, envolvem múltiplos falantes interagindo, necessitando de um pipeline que combine a diarização de locutores (identificar "quem falou quando") com o ASR. Os benchmarks atuais para línguas indianas são insuficientes porque carecem de rótulos atribuídos ao falante, cobrem apenas um subconjunto de línguas ou desacoplam a avaliação da diarização da avaliação do ASR. Esse desacoplamento mascara modos críticos de falha; por exemplo, o desempenho do ASR frequentemente degrada-se significamente quando aplicado aos segmentos curtos, fragmentados e sobrepostos produzidos por sistemas de diarização. Há uma carência de um benchmark multilíngue padronizado que avalie o ASR com atribuição de falante em todas as 22 línguas agendadas da Índia sob condições conversacionais realistas.

Metodologia
Para abordar essa lacuna, os autores introduzem o Indic DiarBench, um benchmark abrangente de conjunto de dados e framework de avaliação.

• Coleta de Dados: O corpus compreende aproximadamente 108 horas de áudio multifalante natural abrangendo todas as 22 línguas agendadas indianas. Os dados são categorizados em três condições acústicas:

  1. Reuniões de campo próximo (~53 hrs): Gravadas via microfones individuais de proximidade em reuniões virtuais, capturando interação espontânea e sobreposição.
  2. Reuniões de campo distante (~27 hrs): Gravadas com microfones distantes, introduzindo reverberação e ruído de fundo.
  3. Áudio "in-the-wild" (~28 hrs): Curado de vídeos do YouTube apresentando interações multifalantes sustentadas em ambientes não controlados.
     O conjunto de dados inclui 485 falantes únicos de 189 distritos, garantindo diversidade de representação geográfica, demográfica e dialetal.

• Pipeline de Anotação: Um rigoroso processo human-in-the-loop foi empregado para gerar transcrições de alta qualidade com atribuição de falante:

  1. Bootstrap: Transcrições iniciais foram geradas usando múltiplos sistemas de ASR para reduzir o esforço de anotação.
  2. Verificação Humana: Anotadores profissionais corrigiram sequências de palavras, timestamps e rótulos de falantes. Para gravações de reuniões, os anotadores ajustaram rótulos existentes, mas não puderam introduzir novos falantes; para dados in-the-wild, eles puderam fundir ou adicionar falantes baseando-se em pistas visuais.
  3. Tratamento de Code-Mixing: Dois formatos de transcrição foram criados: um em scripts nativos indic (incluindo palavras em inglês) e um formato normalizado (Inglês em script romano, numerais em algarismos arábicos) para acomodar o frequente code-mixing.
  4. Controle de Qualidade: Verificadores dedicados e especialistas em linguagem revisaram consistência, tratamento de sobreposição e tags de não-fala (, ).

• Métricas de Avaliação: O benchmark avalia sistemas em dois eixos:

  • Diarização Acústica: Medida via Taxa de Erro de Diarização (DER) sem um colar de perdão (forgiveness collar), incluindo fala sobreposta.
  • Desempenho Conjunto: Medido via Taxa de Erro de Palavra de Permutação Mínima Concatenada (cpWER) para avaliar a precisão da transcrição após resolver permutações de falantes, e Taxa de Erro de Palavra de Diarização (WDER) para penalizar explicitamente erros de atribuição de falante.

Principais Contribuições

1. Primeiro Benchmark Multilíngue: O primeiro recurso de acesso aberto cobrindo todas as 22 línguas agendadas da Índia com rótulos conjuntos de ASR e diarização.
2. Condições Acústicas Diversas: Um corpus unificado de ~108 horas cobrindo cenários de campo próximo, campo distante e in-the-wild, capturando variações realistas no número de falantes (2–9 falantes) e razões de sobreposição.
3. Ground Truth Corrigido por Humanos: Transcrições de alta qualidade, alinhadas temporalmente e com atribuição de falante (formato RTTM) com rigoroso controle de qualidade, incluindo tratamento específico para code-mixing e fala sobreposta.
4. Avaliações de Baseline: Benchmarking abrangente de sistemas líderes, incluindo APIs de fala comerciais (ex: AWS, Azure, Deepgram), LLMs multimodais (ex: GPT-4o, Gemini 3 Pro) e sistemas especializados em Indic (Sarvam AI).

Resultos e Análise
Os autores avaliaram múltiplos sistemas de última geração no conjunto de dados:

• Líderes de Desempenho: O pipeline especializado em Indic, Sarvam AI, alcançou os melhores resultados gerais, com a menor DER (16,0%) e cpWER (38,8%).
• APIs Comerciais: Sistemas como AWS Transcribe mostraram desempenho moderado (23,5% DER), enquanto outros exibiram taxas de erro substancialmente mais altas.
• LLMs Multimodais: Estes modelos apresentaram um compromisso (trade-off). O Gemini 3 Pro alcançou um WDER competitivo (33,0%) devido ao forte ASR em segmentos detectados, mas sofreu com um DER muito alto (74,0%) devido a detecções perdidas e marcação de tempo não confiável. O GPT-4o mostrou melhor precisão de diarização, mas um cpWER pobre, particularmente em línguas de baixos recursos.
• Padrões de Erro: A análise revelou que pipelines especializados em Indic possuíam perfis de erro equilibrados, enquanto LLMs multimodais eram dominados por erros de detecção perdida (ex: falha em detectar exclamações curtas como afirmações). APIs comerciais genéricas frequentemente exibiam altas taxas de detecção perdida devido a uma detecção de atividade de voz conservadora.
• Variância de Língua e Condição: O desempenho variou significativamente por língua e condição. Telugu, Maithili e Dogri foram os mais desafiadores devido às altas razões de sobreposição e contagem de falantes. Santali e Urdu estavam entre os mais fáceis. Gravações in-the-wild geralmente renderam o melhor desempenho devido à menor sobreposição e turnos de fala mais claros. Línguas de baixos recursos (disponíveis apenas em campo próximo) mostraram taxas de erro mais altas em comparação com línguas de altos recursos que abrangem múltiplas condições.

Significância
O Indic DiarBench estabelece um framework de avaliação padronizado para fala conversacional multifalante em línguas indianas. Ao fornecer um recurso que captura as nuances da fala indiana — como code-mixing, variação dialetal e sobreposição frequente de falantes — o benchmark permite o desenvolvimento de sistemas de ASR robustos com atribuição de falante. Os autores postulam que o progresso na transcrição conversacional do mundo real requer benchmarks que avaliem ASR e diarização conjuntamente, pois a avaliação independente falha em capturar a degradação causada pelos erros de diarização. O lançamento deste conjunto de dados, juntamente com as anotações e sistemas de baseline, visa avançar a pesquisa de tecnologia de fala multilíngue inclusiva para as 22 línguas constitucionalmente reconhecidas da Índia.