BanglaFake: Constructing and Evaluating a Specialized Bengali Deepfake Audio Dataset

Resumen Técnico: BanglaFake – Construcción y Evaluación de un Conjunto de Datos Especializado en Audio Deepfake en Bengalí

Planteamiento del Problema
La generación de audio deepfake representa una amenaza significativa para los sistemas de procesamiento de voz y de verificación biométrica, particularmente para la Verificación Automática de Locutor (ASV). Mientras que los mecanismos de detección han avanzado para idiomas de altos recursos como el inglés y el chino, los idiomas de bajos recursos, como el bengalí, sufren una falta crítica de conjuntos de datos a gran escala y de alta calidad. Esta escasez obstaculiza el desarrollo de modelos de detección robustos capaces de identificar artefactos acústicos sutiles en el habla sintética. Los benchmarks existentes se centran principalmente en idiomas de altos recursos, dejando un vacío en la investigación para comunidades lingüísticas subrepresentadas.

Metodología
Para abordar esta brecha, los autores construyeron BanglaFake, un conjunto de datos especializado que comprende enunciados tanto reales como sintéticos en bengalí. La metodología consistió en tres etapas principales:

1. Obtención y Composición de Datos:

   • Audio Real: El conjunto de datos incluye 12,260 enunciados reales provenientes del SUST TTS Corpus (un conjunto de datos de habla en bengalí fonéticamente equilibrado) y Mozilla Common Voice. Estas muestras presentan siete hablantes distintos (hombres y mujeres).
   • Audio Deepfake: Se generaron 13,260 enunciados sintéticos utilizando un modelo de Texto a Voz (TTS) de extremo a extremo de última generación basado en la arquitectura VITS (Inferencia Variacional con aprendizaje adversarial para Texto a Voz de extremo a extremo). Este modelo fue entrenado desde cero específicamente con el SUST TTS Corpus.
   • Escenarios de Conversión de Voz: Para simular ataques de conversión de voz, los autores utilizaron 2,260 muestras de Mozilla Common Voice (cinco hablantes) donde las grabaciones originales sirvieron como audio "bonafide" y los resultados generados por VITS sirvieron como sus contrapartes "deepfake".
   • Formato: Todos los datos se estandarizaron al formato LJ Speech (WAV, 22,050 Hz, duración de 6–7 segundos) para asegurar la compatibilidad con los marcos de trabajo de TTS y detección existentes.

2. Entrenamiento y Generación del Modelo:
   El modelo VITS emplea una combinación de inferencia variacional y aprendizaje adversarial. El proceso involucra:

   • Convertir texto a fonemas y alinearlos con variables latentes utilizando la Búsqueda de Alineación Monotónica (MAS).
   • Utilizar un codificador posterior para extraer variables latentes de las formas de onda objetivo y un codificador previo para refinar su distribución.
   • Emplear un decodificador basado en HiFi-GAN para sobremuestrear las variables en formas de onda puras.
   • Utilizar un predictor de duración estocástico con enfoques generativos basados en flujo para modelar las duraciones de los fonemas.
   • El modelo entrenado se utilizó luego para sintetizar habla nueva a partir de texto, creando el corpus deepfake.

3. Evaluación:
   El conjunto de datos fue evaluado mediante análisis tanto cualitativos como cuantitativos:

   • Cualitativo (MOS): Se realizó una prueba de Puntuación de Opinión Media (MOS) con 30 hablantes nativos de bengalí (de 20 a 25 años). Los participantes calificaron 10 oraciones sintetizadas seleccionadas al azar (fuera del corpus de entrenamiento) en naturalidad e inteligibilidad. Las puntuaciones se calcularon utilizando un enfoque de "Robust-MOS", excluyendo la calificación más alta y la más baja.
   • Cuantitativo (Análisis de Características): La separabilidad del audio real y deepfake se analizó mediante la visualización t-SNE de los Coeficientes Cepstrales en las Frecuencias de Mel (MFCC).

Resultos Clave

• Escala del Conjunto de Datos: El conjunto de datos final BanglaFake contiene 12,260 enunciados reales y 13,260 deepfake, sumando más de 25,000 muestras.
• Calidad Perceptual: Los resultados de Robust-MOS indicaron una puntuación de naturalidad de 3.40 y una puntuación de inteligibilidad de 4.01. Estas puntuaciones sugieren que el audio sintético alcanza una calidad aceptable y características humanas, lo que lo convierte en un banco de pruebas desafiante para los modelos de detección.
• Dificultad de Detección: La visualización t-SNE de las características MFCC reveló un solapamiento significativo entre los grupos de las muestras de audio real y deepfake. Este solapamiento confirma que el habla sintética generada por el modelo VITS posee una alta naturalidad, presentando así un desafío genuino para distinguir entre audio auténtico y manipulado.

Significancia y Contribuciones
El artículo reclama las siguientes contribuciones al campo de la forense de audio y la investigación de idiomas de bajos recursos:

1. Primer Conjunto de Datos Público de Deepfake en Bengalí: BanglaFake se presenta como el primer conjunto de datos disponible públicamente dedicado a la detección de audio deepfake en bengalí, abordando la escasez de recursos para este idioma de bajos recursos.
2. Benchmark Sintético de Alta Calidad: Al utilizar un modelo VITS entrenado desde cero en un corpus fonéticamente equilibrado, los autores crearon un conjunto de datos donde las muestras deepfake poseen una alta naturalidad, yendo más allá de la simple conversión de voz hacia la síntesis de habla completa.
3. Base para la Investigación de Detección: El conjunto de datos sirve como un benchmark para entrenar y evaluar modelos de detección de deepfake, con el objetivo específico de mejorar las salvaguardas contra el uso indebido de medios generados por IA en bengalí.
4. Disponibilidad Abierta: El conjunto de datos y todos los artefactos relevantes se publican en Hugupping Face y GitHub bajo una licencia abierta para facilitar la investigación adicional.

Los autores concluyen que, si bien el conjunto de datos actual se centra en un único hablante masculino (para la generación sintética) y fuentes específicas, establece una base necesaria para el trabajo futuro. Señalan que expandir el conjunto de datos para incluir múltiples hablantes (hombres y mujeres) y fonemas complejos sigue siendo una dirección para el desarrollo futuro con el fin de mejorar la diversidad y la robustez.