BanglaFake: Constructing and Evaluating a Specialized Bengali Deepfake Audio Dataset

Resumo Técnico: BanglaFake – Construção e Avaliação de um Conjunto de Dados Especializado de Áudio Deepfake em Bengali

Declaração do Problema
A geração de áudio deepfake representa uma ameaça significativa aos sistemas de processamento de fala e de verificação biométrica, particularmente à Verificação Automática de Locutor (ASV). Embora os mecanismos de detecção tenham avançado para línguas de altos recursos, como o inglês e o chinês, línguas de baixos recursos, como o bengali, sofrem com a falta crítica de conjuntos de dados de grande escala e alta qualidade. Essa escassez dificulta o desenvolvimento de modelos de detecção robustos capazes de identificar artefatos acústicos sutis na fala sintética. Os benchmarks existentes concentram-se primariamente em línguas de altos recursos, deixando uma lacuna de pesquisa para comunidades linguísticas sub-representadas.

Metodologia
Para abordar essa lacuna, os autores construíram o BanglaFake, um conjunto de dados especializado que compreende áudios reais e sintéticos em bengali. A metodologia envolveu três estágios primários:

1. Obtenção e Composição de Dados:

   • Áudio Real: O conjunto de dados inclui 12.260 enunciados reais extraídos do SUST TTS Corpus (um conjunto de dados de fala bengali foneticamente equilibrado) e do Mozilla Common Voice. Essas amostras apresentam sete locutores distintos (masculinos e femininos).
   • Áudio Deepfake: 13.260 enunciados sintéticos foram gerados utilizando um modelo de conversão de texto para fala (TTS) de ponta, ponta a ponta, baseado na arquitetura VITS (Variational Inference with adversarial learning for end-to-end Text-to-Speech). Este modelo foi treinado do zero especificamente no SUST TTS Corpus.
   • Cenários de Conversão de Voz: Para simular ataques de conversão de voz, os autores utilizaram 2.260 amostras do Mozilla Common Voice (cinco locutores), onde as gravações originais serviram como áudio "bonafide" e os outputs gerados pelo VITS serviram como contrapartes "deepfake".
   • Formato: Todos os dados foram padronizados no formato LJ Speech (WAV, 22.050 Hz, duração de 6 a 7 segundos) para garantir a compatibilidade com as estruturas existentes de TTS e detecção.

2. Treinamento e Geração de Modelos:
   O modelo VITS emprega uma combinação de inferência variacional e aprendizado adversarial. O processo envolve:

   • Converter o texto em fonemas e alinhá-los com variáveis latentes usando Busca de Alinhamento Monotônico (MAS).
   • Utilizar um codificador posterior para extrair variáveis latentes das formas de onda alvo e um codificador anterior para refinar sua distribuição.
   • Empregar um decodificador baseado em HiFi-GAN para fazer o up-sampling das variáveis em formas de onda brutas.
   • Utilizar um preditor de duração estocástica com abordagens generativas baseadas em fluxo para modelar as durações dos fonemas.
   • O modelo treinado foi então utilizado para sintetizar nova fala a partir de texto, criando o corpus deepfake.

3. Avaliação:
   O conjunto de dados foi avaliado através de análises qualitativas e quantitativas:

   • Qualitativa (MOS): Um teste de Pontuação Média de Opinião (MOS) foi realizado com 30 falantes nativos de bengali (idades entre 20 e 25 anos). Os participantes avaliaram 10 sentenças sintetizadas aleatórias (fora do corpus de treinamento) quanto à naturalidade e inteligibilidade. As pontuações foram calculadas usando uma abordagem "Robust-MOS", excluindo a maior e a menor classificação.
   • Quantitativa (Análise de Características): A separabilidade do áudio real e deepfake foi analisada usando visualização t-SNE de Coeficientes Cepstrais de Frequência Mel (MFCCs).

Principais Resultados

• Escala do Conjunto de Dados: O conjunto de dados final BanglaFake contém 12.260 enunciados reais e 13.260 deepfake, totalizando mais de 25.000 amostras.
• Qualidade Perceptiva: Os resultados do Robust-MOS indicaram uma pontuação de naturalidade de 3,40 e uma pontuação de inteligibilidade de 4,01. Essas pontuações sugerem que o áudio sintético atinge uma qualidade aceitável e características humanas, tornando-o um campo de teste desafiador para modelos de detecção.
• Dificuldade de Detecção: A visualização t-SNE das características MFCC revelou uma sobreposição significativa entre os clusters de amostras de áudio real e deepfake. Essa sobreposição confirma que a fala sintética gerada pelo modelo VITS possui alta naturalidade, apresentando, portanto, um desafio genuíno para distinguir entre áudio autêntico e manipulado.

Significância e Contribuições
O artigo reivindica as seguintes contribuições para o campo da forense de áudio e pesquisa de línguas de baixos recursos:

1. Primeiro Conjunto de Dados Público de Deepfake em Bengali: O BanglaFake é introduzido como o primeiro conjunto de dados disponível publicamente dedicado à detecção de áudio deepfake em bengali, abordando a escassez de recursos para esta língua de baixo recurso.
2. Benchmark de Alta Qualidade: Ao utilizar um modelo VITS treinado do zero em um corpus foneticamente equilibrado, os autores criaram um conjunto de dados onde as amostras deepfake possuem alta naturalidade, indo além da simples conversão de voz para a síntese de fala completa.
3. Fundação para Pesquisa de Detecção: O conjunto de dados serve como um benchmark para treinar e avaliar modelos de detecção de deepfake, visando especificamente aumentar as salvaguardas contra o uso indevido de mídia gerada por IA em bengali.
4. Disponibilidade Aberta: O conjunto de dados e todos os artefatos relevantes são liberados publicamente no Hugging Face e GitHub sob uma licença aberta para facilitar pesquisas futuras.

Os autores concluem que, embora o conjunto de dados atual se concentre em um único locutor masculino (para a geração sintética) e fontes específicas, ele estabelece uma fundação necessária para trabalhos futuros. Eles observam que expandir o conjunto de dados para incluir múltiplos locutores (masculinos e femininos) e fonemas complexos continua sendo uma direção para o desenvolvimento futuro para melhorar ainda mais a diversidade e a robustez.