BanglaFake: Constructing and Evaluating a Specialized Bengali Deepfake Audio Dataset

Technische Samenvatting: BanglaFake – Constructie en Evaluatie van een Gespecialiseerde Bengaalse Deepfake Audio-dataset

Probleemstelling
Deepfake audio-generatie vormt een aanzienlijke bedreiging voor spraakverwerking en biometrische verificatiesystemen, met name voor Automatische Sprekerverificatie (ASV). Terwijl detectiemechanismen geavanceerd zijn voor hoog-resource talen zoals Engels en Chinees, lijden laag-resource talen zoals Bengaals onder een kritiek gebrek aan grootschalige, hoogwaardige datasets. Deze schaarste belemmert de ontwikkeling van robuuste detectiemodellen die in staat zijn om subtiele akoestische artefacten in synthetische spraak te identificeren. Bestaande benchmarks richten zich primair op hoog-resource talen, waardoor er een gat ontstaat in het onderzoek voor ondervertegenwoordigde taalgemeenschappen.

Methodologie
Om dit gat te dichten, hebben de auteurs BanglaFake geconstrueerd, een gespecialiseerde dataset bestaande uit zowel echte als synthetische Bengaalse uitingen. De methodologie bestond uit drie primaire fasen:

1. Datacollectie en Samenstelling:

   • Realistische Audio: De dataset bevat 12.260 realistische uitingen afkomstig van de SUST TTS Corpus (een fonetisch gebalanceerde Bengaalse spraakdataset) en Mozilla Common Voice. Deze monsters bevatten zeven verschillende sprekers (man en vrouw).
   • Deepfake Audio: 13.260 synthetische uitingen werden gegenereerd met behulp van een state-of-the-art, end-to-end Text-to-Speech (TTS) model gebaseerd op de VITS (Variational Inference with adversarial learning for end-to-end Text-to-Speech) architectuur. Dit model werd vanaf nul getraind, specifiek op de SUST TTS Corpus.
   • Voice Conversion Scenario's: Om scenario's van stemconversie-aanvallen te simuleren, gebruikten de auteurs 2.260 monsters van Mozilla Common Voice (vijf sprekers), waarbij de originele opnames dienden als "bonafide" audio en de VITS-gegenereerde outputs dienden als de "deepfake" tegenhangers.
   • Formaat: Alle data werd gestandaardiseerd naar het LJ Speech-formaat (WAV, 22.050 Hz, 6–7 seconden duur) om compatibiliteit met bestaande TTS- en detectieframeworks te garanderen.

2. Modeltraining en Generatie:
   Het VITS-model maakt gebruik van een combinatie van variabele inferentie en adversarial learning. Het proces omvat:

   • Het converteren van tekst naar fonemen en het uitlijnen daarvan met latente variabelen via Monotonic Alignment Search (MAS).
   • Het gebruik van een posterior encoder om latente variabelen te extraheren uit doel-golfvormen en een prior encoder om hun distributie te verfijnen.
   • Het inzetten van een HiFi-GAN-gebaseerde decoder om variabelen op te schalen naar ruwe golfvormen.
   • Het gebruik van een stochastische duurvoorspeller met flow-gebaseerde generatieve benaderingen om de duur van fonemen te modelleren.
   • Het getrainde model werd vervolgens gebruikt om nieuwe spraak uit tekst te synthetiseren, waarmee de deepfake corpus werd gecreëerd.

3. Evaluatie:
   De dataset werd geëvalueerd via zowel kwalitatieve als kwantitatieve analyses:

   • Kwalitatief (MOS): Een Mean Opinion Score (MOS) test werd uitgevoerd met 30 native Bengaalse sprekers (leeftijd 20–25). De deelnemers beoordeelden 10 willekeurig geselecteerde gesynthetiseerde zinnen (buiten de trainingscorpus) op natuurlijkheid en verstaanbaarheid. Scores werden berekend met een "Robust-MOS" benadering, waarbij de hoogste en laagste beoordelingen werden uitgesloten.
   • Kwantitatief (Feature Analyse): De scheidbaarheid van realistische en deepfake audio werd geanalyseerd met behulp van t-SNE visualisatie van Mel-Frequency Cepstral Coefficients (MFCCs).

Belangrijkste Resultaten

• Dataset Schaal: De uiteindelijke BanglaFake dataset bevat 12.260 realistische en 13.260 deepfake uitingen, wat neerkomt op meer dan 25.000 monsters.
• Perceptuele Kwaliteit: De Robust-MOS resultaten gaven een natuurlijkheidsscore van 3,40 en een verstaanbaarheidsscore van 4,01. Deze scores suggereren dat de synthetische audio een acceptabele kwaliteit en menselijke kenmerken bereikt, wat het een uitdagende testomgeving maakt voor detectiemodellen.
• Detectie Moeilijkheidsgraad: De t-SNE visualisatie van MFCC-features toonde een significante overlap tussen de clusters van realistische en deepfake audio-monsters. Deze overlap bevestigt dat de door het VITS-model gegenereerde synthetische spraak een hoge mate van natuurlijkheid bezit, waardoor het een echte uitdaging vormt voor het onderscheiden van authentieke en gemanipuleerde audio.

Betekenis en Bijdragen
Het artikel claimt de volgende bijdragen aan het veld van audioforensica en laag-resource taalonderzoek:

1. Eerste Publieke Bengaalse Deepfake Dataset: BanglaFake wordt geïntroduceerd als de eerste publiekelijk beschikbare dataset gewijd aan Bengaalse deepfake audio-detectie, waarmee het tekort aan middelen voor deze laag-resource taal wordt aangepakt.
2. Hoogwaardige Synthetische Benchmark: Door een VITS-model te gebruiken dat vanaf nul is getraind op een fonetisch gebalanceerde corpus, hebben de auteurs een dataset gecreëerd waarbij de deepfake monsters van een hoge natuurlijkheid zijn, wat verder gaat dan eenvoudige stemconversie naar volledige spraaksynthese.
3. Fundament voor Detectieonderzoek: De dataset dient als benchmark voor het trainen en evalueren van deepfake detectiemodellen, met als specifiek doel het versterken van waarborgen tegen het misbruik van AI-gegenereerde media in het Bengaals.
4. Open Beschikbaarheid: De dataset en alle relevante artefacten worden publiekelijk vrijgegeven op Hugging Face en GitHub onder een open licentie om verder onderzoek te faciliteren.

De auteurs concluderen dat hoewel de huidige dataset zich richt op een enkele mannelijke spreker (voor de synthetische generatie) en specifieke bronnen, zij een noodzakelijk fundament leggen voor toekomstig werk. Zij merken op dat het uitbreiden van de dataset om meerdere sprekers (man en vrouw) en complexe fonemen te bevatten, een richting is voor toekomstige ontwikkeling om de diversiteit en robuustheid verder te verbeteren.