BanglaVowelDataset: True AC and Synthetic BC Bangla Vowel Datasets in Speech Information System

No mundo da tecnologia de fala, os computadores estão constantemente aprendendo a ouvir. Eles são treinados em vastas bibliotecas de vozes gravadas para reconhecer palavras, identificar falantes ou compreender comandos. A maioria dessas bibliotecas, no entanto, é construída a partir de sons capturados no ar. Quando falamos, ondas sonoras viajam pelo ar, atingem um microfone e são convertidas em dados digitais. Este método, conhecido como condução aérea, é o padrão para quase todos os assistentes de voz e serviços de transcrição. Mas há outra maneira de o som chegar aos nossos ouvidos e dispositivos de gravação: através dos ossos do nosso crânio. Quando falamos, nossas cordas vocais fazem vibrar os ossos do nosso crânio, e essas vibrações viajam diretamente para o ouvido interno e podem ser detectadas por sensores colocados na pele. Isso é a condução óssea. Embora o som conduzido pelo ar seja facilmente abafado pelo zumbido do tráfego ou pela conversa de uma multidão, o som conduzido pelo osso permanece notavelmente claro porque ignora o ar ruidoso. Por décadas, pesquisadores lutaram para construir computadores que pudessem entender essa fala baseada em ossos, principalmente porque os dados necessários simplesmente não existiam para muitas línguas.

Uma equipe de pesquisadores de universidades de Bangladesh e do Japão preencheu agora uma lacuna significativa neste campo ao criar a primeira coleção dedicada de sons vocálicos na língua Bangla, capturados tanto por ar quanto por osso. O alfabeto Bangla contém doze sons vocálicos distintos, uma complexidade que torna a língua rica, mas difícil de ser processada por máquinas, especialmente quando o ruído de fundo interfere. Até este trabalho, não existia nenhum conjunto de dados que oferecesse as versões tradicionais desses sons gravadas pelo ar e suas contrapartes conduzidas pelo osso para comparação. Os pesquisadores se propuseram a gravar esses sons de dez falantes nativos — cinco homens e cinco mulheres — em uma sala silenciosa e à prova de som. Eles usaram microfones de alta qualidade para capturar as vogais conduzidas pelo ar, garantindo que cada gravação fosse longa o suficiente para ser analisada, variando de 600 a 780 milissegundos. Para garantir que os dados estivessem limpos, eles recortaram cuidadosamente os inícios e fins silenciosos de cada gravação, deixando apenas a parte pura e sonorizada do som.

O desafio passou a ser como obter os dados conduzidos pelo osso sem exigir que cada participante usasse microfones de condução óssea especializados e raros, que são difíceis de encontrar e usar em ambientes de pesquisa padrão. Em vez de gravar as vibrações ósseas diretamente, a equipe usou um modelo computacional sofisticado para simulá-las. Eles pegaram as vogais limpas, gravadas pelo ar, e as passaram por um filtro digital que imita como o crânio humano altera o som. Esse processo efetivamente removeu os detalhes de alta frequência que o ar carrega, mas que os ossos filtram, criando uma versão sintética de como o som teria ficado se tivesse sido gravado através do crânio. O resultado foi um conjunto de dados pareado: 120 vogais reais conduzidas pelo ar e 120 vogais sintéticas conduzidas pelo osso, perfeitamente correspondentes aos mesmos falantes e aos mesmos doze sons vocálicos.

Os pesquisadores então organizaram essa vasta coleção em uma biblioteca estruturada, separando os dados em diferentes estágios de processamento para ajudar outros cientistas a testarem suas próprias teorias. Eles forneceram as gravações brutas, as versões recortadas e os sons ósseos simulados por computador, todos rotulados com detalhes precisos sobre o gênero do falante e a vogal específica sendo dita. Para provar que sua simulação era precisa, eles compararam as propriedades matemáticas dos sons reais de ar contra os sons ósseos sintéticos. Eles descobriram que os sons ósseos sintéticos se comportavam exatamente como o esperado: apresentavam uma gama mais ampla de frequências e uma assinatura matemática específica que os distingue dos sons de ar. Isso confirmou que seu modelo computacional recriou com sucesso o perfil acústico único da fala conduzida pelo osso.

Este conjunto de dados está agora disponível para a comunidade de pesquisa global. Ele oferece uma oportunidade única de testar quão bem os sistemas de reconhecimento de fala podem lidar com o ruído. Como a fala conduzida pelo ar é facilmente corrompida pelo ruído de fundo, enquanto a fala conduzida pelo osso não é, os pesquisadores podem usar esses dados pareados para construir sistemas que alternam entre os dois ou combinam ambos para entender a fala em ambientes caóticos, como ruas movimentadas ou salas lotadas. A equipe também tornou público o código computacional que usou para gerar esses sons, permitindo que outros verifiquem seus métodos ou apliquem as mesmas técnicas a outras línguas. Ao fornecer o primeiro olhar abrangente sobre as vogais de Bangla através de ar e osso, este trabalho abre as portas para uma tecnologia de fala mais robusta e resistente ao ruído, que possa funcionar de forma confiável em qualquer lugar, não apenas em um estúdio silencioso.