UrduSpeech: A 156-Hour Urdu Speech Corpus with 12-Dimension Paralinguistic Annotations

Este artigo apresenta o UrduSpeech, um corpus de fala urdu de grande escala e alta fidelidade contendo 156 horas de áudio com anotações paralinguísticas de 12 dimensões e uma avaliação padronizada, desenvolvido por meio de um pipeline orientado por LLM para abordar o status de recursos insuficientes da língua na tecnologia de fala.

O essencial

Imagine o mundo da inteligência artificial (IA) como uma biblioteca massiva. Por anos, esta biblioteca foi abastecida com livros em inglês, mandarim e espanhol, mas a seção dedicada ao urdu—uma língua falada por mais de 230 milhões de pessoas—estava quase vazia. É como tentar ensinar um robô a falar uma língua usando apenas alguns panfletos espalhados e empoeirados.

Este artigo apresenta o UrduSpeech, uma nova "estante" massiva projetada para corrigir esse desequilíbrio. Aqui está uma explicação simples do que os pesquisadores construíram e como o fizeram.

1. O Problema: Uma Língua Abandonada

O urdu é único porque é escrito da direita para a esquerda (como o árabe) e frequentemente mistura palavras em inglês nas frases (um pouco como uma pessoa alternando entre dois dialetos enquanto conta uma história). Por causa dessas peculiaridades, as ferramentas padrão de IA frequentemente ficam confusas, tratando o urdu como hindi ou falhando em entender quando o falante alterna entre línguas. Os pesquisadores queriam construir um recurso que respeitasse esses desafios específicos.

2. A Solução: Uma "Biblioteca de Som" de 156 Horas

A equipe criou o UrduSpeech, uma coleção de 156 horas de áudio de alta qualidade. Para colocar isso em perspectiva, se você o escutasse sem parar, levaria mais de seis dias para terminar.

Eles não apenas despejaram ruído aleatório em uma pasta. Eles organizaram esta biblioteca em três "salas" específicas (subconjuntos):

• US-Std: Urdu paquistanês padrão (a versão formal, de "livro didático").
• US-CS: Urdu com alternância de código (onde os falantes misturam naturalmente urdu e inglês, como dizer "I need a chai and a coffee").
• US-EngPk: Inglês falado com sotaque paquistanês.

3. Como Eles Construíram: O Pipeline do "Filtro Inteligente"

Reunir esses dados foi como tentar encontrar gemas específicas em uma pilha de pedras. Eles coletaram 200 horas de áudio da internet (YouTube) e de arquivos antigos (como programas de TV dos anos 1980). Para limpá-lo, usaram um processo de três etapas:

• Etapa 1: O Cancelador de Ruído: Eles usaram ferramentas de IA para remover o ruído de fundo (como tráfego ou vento) e separar diferentes vozes em uma conversa, garantindo que apenas o falante principal fosse gravado.
• Etapa 2: O "Editor Rigoroso" (LLM): Eles usaram uma IA poderosa (Gemini 2.5 Pro) para atuar como um editor rigoroso. Esta IA recebeu instruções especiais: "Não traduza palavras em inglês para o script urdu; mantenha-as como soam" e "Não confunda urdu com hindi". Também verificou o áudio em busca de 12 "tags" de "vibe" diferentes (paralinguísticas), como a idade do falante, emoção, textura da voz (é rouca ou suave?) e sotaque.
• Etapa 3: A Rede de Segurança Humana: Antes que os dados fossem finalizados, falantes nativos de urdu ouviram amostras para garantir que a IA não cometeu erros. Eles atuaram como os inspetores finais de controle de qualidade.

4. O Padrão-Ouro de Referência

Para provar que sua biblioteca era boa, eles criaram um conjunto "Padrão-Ouro" de 9 horas. Esta é uma pequena coleção perfeitamente curada que foi verificada e corrigida manualmente por humanos. Eles usaram isso para testar diferentes modelos de transcrição de IA.

O Resultado: Eles descobriram que a maioria dos modelos de IA existentes lutava com o urdu, frequentemente errando as palavras ou confundindo os scripts. No entanto, o modelo que escolheram (Gemini 2.5 Pro) desempenhou significativamente melhor, agindo como um falante nativo que entendia as nuances da língua.

5. O Que Há Dentro da Biblioteca?

A coleção final contém 71.792 clipes de áudio separados. É incrivelmente diversificada:

• Conteúdo: Inclui tudo, desde notícias e dramas até poesia, vlogs e até formas raras de poesia falada chamadas Bait-Bazi.
• Pessoas: Apresenta uma mistura equilibrada de homens e mulheres, e falantes de todas as idades, desde crianças até idosos.
• Qualidade: Quando humanos ouviram o áudio, deram-lhe uma pontuação alta (4,6 de 5), confirmando que as vozes são claras e as transcrições são precisas.

6. Por Que Isso Importa

Pense nos conjuntos de dados anteriores de urdu como uma pequena sala trancada com algumas cadeiras. O UrduSpeech é um vasto salão aberto com milhares de assentos, cheio de pessoas de todas as origens falando de todas as maneiras como realmente falam.

Os pesquisadores tornaram esta biblioteca gratuita e aberta para uso de qualquer pessoa. Ao fornecer esses dados de alta qualidade e bem organizados, eles esperam ajudar desenvolvedores de IA a construir melhores ferramentas para falantes de urdu, garantindo que esta língua importante não fique de fora do futuro digital.

Em resumo: Eles construíram uma biblioteca de som massiva e meticulosamente organizada para o urdu, corrigiram os erros que outras ferramentas de IA cometiam e provaram que, com a colaboração certa entre humanos e máquinas, até mesmo a fala complexa e mista de línguas pode ser compreendida perfeitamente.

Resumo técnico

Resumo Técnico: UrduSpeech

1. Declaração do Problema

Apesar de contar com aproximadamente 230 milhões de falantes, o urdu permanece criticamente sub-representado no campo da tecnologia de fala. Os recursos existentes falham em abordar desafios linguísticos e acústicos específicos inerentes à língua, incluindo:

• Restrições de Escrita: A escrita Perso-Árabe da direita para a esquerda (RTL).
• Alternância de Código (Code-Switching): A onipresença da alternância de código urdu-inglês (CS).
• Semelhança Acústica: A proximidade acústica do urdu com o hindi, levando a classificações equivocadas frequentes.
• Falta de Dados Especializados: Uma escassez de dados de alta fidelidade para tarefas nuances, como Compreensão de Leitura por Máquina, detecção de Deepfake e Reconhecimento de Emoção na Fala.
• Lacunas de Recursos: Conjuntos de dados existentes (por exemplo, ARL Urdu, Common Voice) frequentemente sofrem com licenciamento restritivo, altos custos, diversidade limitada de falantes ou falta de metadados paralinguísticos.

2. Metodologia

Os autores desenvolveram o UrduSpeech, um corpus de 156 horas, por meio de um pipeline de curadoria multiestágio e impulsionado por LLMs, projetado para lidar com áudio "in-the-wild" (selvagem).

Coleta e Pré-processamento de Dados

• Fontes: 200 horas de áudio bruto foram agregadas a partir do YouTube e de registros arquivados da Televisão do Paquistão (PTV) abrangendo quatro décadas (década de 1980–presente).
• Pré-processamento:
  • Separação de Fontes: Transição do Spleeter para o modelo Demucs para isolamento vocal eficiente.
  • Diarização de Falantes: Utilização do Pyannote 3.1 para separar falantes, seguido de alinhamento global manual para garantir consistência de ID.
  • Filtragem: Segmentos com menos de 2 segundos, clipes de um único falante e aqueles que excediam 35 segundos foram descartados. Este processo removeu 44 horas de ruído residual, resultando em um corpus final de 156 horas.

Seleção e Benchmarking de Modelos

Um estudo piloto de 13 horas foi conduzido para selecionar o modelo de transcrição ótimo. Três modelos foram avaliados contra a verdade-terrena de falantes nativos:

1. Whisper-large-v3: Falhou em áudio com alternância de código, frequentemente transliterando o inglês para a escrita urdu em vez de manter o conteúdo literal.
2. OmniASR-LLM-1B: Produziu alucinações em árabe/persa e exibiu loops de palavras em segmentos com sotaque.
3. Gemini-2.5-Pro: Selecionado como o modelo superior devido à sua consciência semântica e capacidades de engenharia de prompts. Alcançou a menor Taxa de Erro de Palavras (WER) e manteve com sucesso a fidelidade da escrita (urdu vs. hindi) e a transcrição literal durante a alternância de código.

Pipeline de Anotação

Uma estratégia de prompts em dois estágios usando o Gemini 2.5-Pro foi empregada:

1. Transcrição: Prompts impuseram restrições estritas para evitar a mistura de escritas hindi/devanagari e mandaram transcrição literal para alternância de código.
2. Metadados Paralinguísticos: Um segundo prompt gerou rótulos de metadados de 12 dimensões (por exemplo, tom, textura, ritmo, idade, sotaque) para cada segmento.

• Controle de Qualidade: Segmentos com pontuações de confiança do modelo abaixo de 0,6 foram descartados. O conjunto de dados final consiste em 71.792 clipes diarizados.

Validação Centrada no Ser Humano

• Conjunto de Benchmark: Um subconjunto de 9 horas (US-Benchmark) composto por US-Std, US-CS e US-EngPk foi manualmente corrigido por anotadores nativos para servir como verdade-terrena.
• Avaliação: 180 clipes foram amostrados em três níveis de complexidade e avaliados por seis falantes nativos de urdu usando uma escala Likert de 5 pontos (protocolo ITU-T P.800).
• Métricas: Avaliou-se qualidade de áudio, precisão de transcrição, demografia, prosódia, afeto, articulação e precisão contextual.

3. Contribuições Principais

• Pipeline UrduSpeech: Uma estrutura robusta capaz de filtrar áudio bruto, realizar diarização de falantes, lidar com restrições RTL e diferenciar entre hindi e urdu em ambientes com alternância de código.
• Conjunto de Benchmark US-Benchmark: Um conjunto de benchmark de 9 horas, verificado manualmente, com metadados paralinguísticos de 12 dimensões, estabelecendo uma nova verdade-terrena para análise de erros.
• Corpus UrduSpeech: Um corpus de código aberto de 156 horas contendo:
  • 59,2 horas de US-Std (Urdu Padrão do Paquistão).
  • 89,4 horas de US-CS (Urdu-Inglês com alternância de código).
  • 7,3 horas de US-EngPk (Inglês com sotaque paquistanês).
  • 71.792 enunciados com rótulos paralinguísticos abrangentes (emoção, textura, sotaque).
• Avaliação SOTA: Uma avaliação aprofundada do Gemini 2.5-Pro, Whisper-large-v3 e OmniASR-LLM-1, estabelecendo linhas de base para transcrição de alta fidelidade em urdu.

4. Resultados

• Desempenho de Transcrição: O Gemini-2.5-Pro superou significativamente outros modelos, alcançando uma WER de 0,023 (sem alternância de código) e 0,028 (com alternância de código), em comparação com ~0,28–0,53 para Whisper e OmniASR.
• Avaliação de Qualidade Humana:
  • Pontuação Média de Opinião (MOS): O corpus alcançou um MOS global de 4,64 ($\sigma = 0,74$).
  • Confiabilidade: 92,78% das classificações foram 4 ou 5. A confiabilidade interavaliador mostrou um $\kappa$ de Cohen de 0,678 para o Conjunto B e 0,545 para o Conjunto C.
  • Confiança: O pipeline de curadoria demonstrou uma pontuação de confiança de 97,6% com base nas saídas do modelo e validação humana.
• Demografia: O corpus mantém um equilíbrio de gênero 60/40 (42.990 enunciados masculinos vs. 28.802 femininos) e inclui diversos grupos etários (Jovem Adulto, Meia-Idade, Criança, Idoso).
• Distribuição: Os dados cobrem 12 categorias incluindo notícias, drama, poesia, vlogs e formas literárias raras como Bait-Bazi.

5. Significado e Alegações

O artigo posiciona o UrduSpeech como um salto significativo em direção à inclusividade linguística na IA global. Seu significado principal reside em:

• Superando o Abismo Digital: Fornecendo representação linguística precisa para uma língua com 230 milhões de falantes que tem sido mal atendida por modelos fundamentais multimodais.
• Metadados Granulares: Ser o primeiro recurso a integrar um framework de metadados paralinguísticos de 12 dimensões, permitindo análise de erros de alta resolução e pesquisa em computação afetiva e perfilagem de falantes.
• Abordando a Alternância de Código: Enfrentando especificamente a lacuna "in-the-wild" ao fornecer um conjunto de dados em grande escala para alternância de código urdu-inglês e inglês com sotaque paquistanês.
• Ciência Aberta: Ao contrário de muitos conjuntos de dados fundamentais que são licenciados ou pagos, o corpus e o pipeline são de código aberto, visando facilitar pesquisas futuras em urdu e outras línguas de escrita Perso-Árabe sub-representadas.

Os autores notam limitações, incluindo uma estimativa conservadora de falantes únicos (1.000+ vs. 3.000 clusters detectados) devido à possível sobre-segmentação em gravações selvagens, e a presença de ruído de fundo residual em alguns segmentos. Trabalhos futuros são direcionados para estabelecer benchmarks de linha de base para ASR/TTS e implementar alinhamento forçado para precisão ao nível de palavra.