Benchmarking Automatic Speech Recognition for Indian Languages in Agricultural Contexts

Resumo Técnico: Benchmarking de Reconhecimento Automático de Fala para Línguas Indianas em Contextos Agrícolas

Definição do Problema
A digitalização dos serviços de assessoria agrícola na Índia enfrenta um gargalo crítico: a falta de sistemas robustos de Reconhecimento Automático de Fala (ASR) capazes de transcrever com precisão a terminologia específica do domínio em línguas indianas de baixos recursos. Embora o aprendizado profundo tenha avançado o ASR para línguas de altos recursos como o inglês, as línguas indianas em contextos agrícolas especializados sofrem com terminologia técnica, dialetos regionais e condições acústicas desafiadoras (ex: ruído de fundo, múltiplos interlocutores). Além disso, as métricas de avaliação tradicionais, como a Taxa de Erro de Palavra (WER), tratam todas as palavras igualmente, falhando em penalizar erros em termos críticos (ex: nomes de pesticidas, doenças de culturas), o que pode levar a consequências graves no mundo real, como perda de safras ou riscos à saúde. Os frameworks generalistas existentes não abordam esses requisitos específicos do domínio.

Metodologia
Os autores apresentam um framework abrangente de benchmarking baseado em um conjunto de dados de 10.934 gravações de áudio coletadas da plataforma Farmer.Chat entre junho de 2024 e fevereiro de 2025. O conjunto de dados abrange três línguas: Hindi (4.626 gravações), Telugu (4.075) e Odia (2.233).

• Características dos Dados: As gravações refletem condições reais de campo, caracterizadas por fala de fundo significativa, ruído de vento e eco. O estudo observa que as gravações em Odia possuem uma proporção notavelmente maior de amostras com alto nível de ruído em comparação ao Hindi.
• Modelos Avaliados: Dez sistemas de ASR foram avaliados, incluindo modelos de código aberto (Whisper, Meta MMS, AI4Bharat, Vaani, Spring Labs) e APIs comerciais (Google STT, Gemini 2.5 Pro, Azure Speech, Sarvam AI, Google Chirp 3).
• Métricas de Avaliação:
  • Métricas Tradicionais: Taxa de Erro de Palavra (WER), Taxa de Erro de Caractere (CER) e Taxa de Erro de Correspondência (MER).
  • Taxa de Erro de Palavra Ponderada pela Agricultura (AWWER): Uma métrica inovadora que atribui pesos (1–4) aos tokens com base em um léxico agrícola curado. Termos críticos (culturas, pragas, produtos químicos) recebem pesos mais altos (3–4), enquanto o vocabulário geral recebe peso 1. Isso penaliza mais severamente os erros em termos críticos do domínio.
  • Pontuação de Utilidade Baseada em LLM: Uso do GPT-4o para classificar a utilidade da transcrição em uma escala de 1 a 4, avaliando se a transcrição suporta o resultado correto da assessoria agrícola.
• Diarização de Locutor: O estudo analisou especificamente o impacto da diarização de locutor e da "seleção do melhor locutor" (isolando a transcrição do locutor principal) em gravações com múltiplos interlocutores, que são comuns em consultas agrícolas.

Principais Contribuições

1. Métricas Específicas de Domínio: Introdução da AWWER e da pontuação de utilidade baseada em LLM para priorizar a precisão da terminologia agrícola crítica sobre o vocabulário geral.
2. Benchmarking Multi-Modelo: Uma avaliação sistemática de 10 sistemas de ASR em três línguas indianas, fornecendo a primeira linha de base comparativa para ASR agrícola nestes contextos.
3. Caracterização da Qualidade do Áudio: Análise detalhada dos níveis de ruído e tipos de problemas de áudio (ex: fala de fundo, vento) em gravações agrícolas do mundo real, destacando a lacuna entre conjuntos de dados controlados de laboratório e dados de campo.
4. Impacto da Diarização de Locutor: Quantificação de como a diarização e a seleção do melhor locutor reduzem a WER, particularmente em ambientes de múltiplos interlocutores.
5. Análise de Padrões de Erro: Identificação de padrões de confusão recorrentes na terminologia agrícola (ex: nomes de culturas e termos químicos) entre as línguas.
6. Lançamento de Conjunto de Dados Aberto: Lançamento público de 10.864 pares áudio-transcrição no HuggingFace para facilitar pesquisas futuras.

Resultados

• Desempenho por Língua:
  • Hindi: Alcançou o melhor desempenho geral. O Google STT liderou com uma WER de 16,2%, embora o Gemini 2.5 Pro (Melhor Locutor) tenha alcançado a menor AWWER (13,3%), indicando uma melhor preservação de termos agrícolas, apesar de uma WER bruta ligeiramente superior.
  • Telugu: O Google STT liderou com uma WER de 33,2% e uma AWWER de 28,7%.
  • Odia: Apresentou os maiores desafios. O Azure Diarize (Melhor Locutor) alcançou a melhor WER de 35,1%, uma melhoria significativa em relação aos 70,7% do Google STT (sem diarização). Notavelmente, o Whisper (API da OpenAI) falhou catastroficamente no Odia, excedendo 100% de WER.
• Impacto da Diarização de Locutor: A diarização proporcionou reduções substanciais na WER, de até 66% em línguas com alta proporção de múltiplos interlocutores (ex: Hindi com Google Chirp 3). A magnitude da melhoria correlacionou-se fortemente com a porcentagem de gravações com múltiplos locutores.
• Divergência de Métricas: Uma lacuna significativa foi observada entre os rankings de WER e AWWER. Por exemplo, no Hindi, o Google STT teve a melhor WER, mas ficou em 5º lugar em AWWER, enquanto o Gemini 2.5 Pro ficou em 1º lugar em AWWER. Isso sugere que modelos com precisão geral aceitável podem ainda falhar em vocabulário agrícola crítico.
• Pontuação de Utilidade: Transcrições em Telugu receberam pontuações de utilidade mais altas do que as de Hindi, apesar de uma pior WER, potencialmente devido a comprimentos de consulta menores ou diferentes distribuições de erro. As transcrições em Odia tiveram as pontuações de utilidade mais baixas, refletindo a dificuldade da língua e a qualidade dos dados.

Significância e Alegações
O artigo estabelece benchmarks de linha de base para o desenvolvimento futuro de ASR agrícola em línguas indianas. Argumenta-se que:

1. A seleção de modelos é dependente do contexto: O "melhor" modelo varia conforme a língua e se a prioridade é a precisão geral (WER) ou a fidelidade de termos do domínio (AWWER).
2. A diarização é crítica: Para gravações de campo agrícolas com múltiplos locutores, a diarização de locutor com seleção do melhor locutor é o passo de pós-processamento mais impactante para melhorar a precisão.
3. Métricas padrão são insuficientes: A WER tradicional falha em capturar riscos específicos do domínio. A divergência entre os rankings de WER e AWWER expõe um "ponto cego" onde os modelos podem parecer precisos em termos gerais, mas falham nos termos específicos que são mais importantes para a segurança e eficácia agrícola.
4. Desafios de baixos recursos persistem: O desempenho em Odia permanece fraco sem tratamento especializado (como diarização), destacando que o suporte a línguas de baixos recursos está atrasado em relação às necessidades de implementação.

Os autores concluem que estes benchmarks, análises de erro e ferramentas de avaliação servem como um ponto de partida para o desenvolvimento de sistemas de ASR mais robustos e conscientes do domínio, enfatizando a necessidade de ajuste fino (fine-tuning) e pós-processamento específicos do domínio.