QAMO: Quality-aware Multi-centroid One-class Learning For Speech Deepfake Detection

Technische Samenvatting: QAMO – Quality-aware Multi-centroid One-class Learning voor Speech Deepfake Detectie

Probleemstelling
Traditionele detectie van spraak-deepfakes (Speech Deepfake Detection, SDD) behandelt de taak vaak als een binaire classificatieprobleem, wat kan leiden tot overfitting op bekende spoofing-aanvallen en een slechte generalisatie naar onbekende deepfakes. One-class learning (OCL) is een alternatief geworden, waarbij de bona fide (echte) spraak wordt gemodelleerd als een compacte distributie rondom één enkel centrum (centroid), waarbij afwijkingen worden beschouwd als potentiële fakes. Conventionele OCL versimpelt de bona fide-klasse echter te veel door uit te gaan van een enkele unimodale distributie. Dit slaagt er niet in de inherente intra-klasse variabiliteit van echte spraak te vangen, met name met betrekking tot de spraakkwaliteit (bijv. helderheid, aanwezigheid van ruis, realisme van prosodie). Bestaand onderzoek geeft aan dat er significante verschillen bestaan in de Mean Opinion Score (MOS) tussen echte en synthetische spraak, en dat variaties in kwaliteit de scheiding tussen bona fide en gespoofte monsters kunnen beïnvloeden. Huidige OCL-methoden houden geen rekening met deze kwaliteits-subruimtes.

Methodologie: QAMO-framework
De auteurs stellen QAMO voor, een framework dat OCL uitbreidt door meerdere centra (centroids) te introduceren, die elk geoptimaliseerd zijn om verschillende spraakkwaliteit-subruimtes te vertegenwoordigen.

1. Quality-Aware Multi-Centroid Modellering:

   • In plaats van een enkel centrum leert QAMO $Q$ centra ($w_q$), waarbij elk overeenkomt met een discreet kwaliteitsniveau (bijv. lage vs. hoge MOS).
   • Kwaliteitsniveaus worden toegewezen aan trainingsmonsters met behulp van een vooraf getrainde MOS-predictor (Scoreq). Het continue MOS-bereik wordt getransformeerd naar discrete klassen (bijv. $q \in \{0, 1\}$).
   • Om de centra discriminerend en uitgelijnd met specifieke kwaliteitsniveaus te maken, gebruikt het model een AM-Softmax loss ($L_{quality}$) voor kwaliteitsclassificatie. Dit dwingt embeddings van hetzelfde kwaliteitsniveau om rond hun specifieke centrum te clusteren.

2. One-Class Learning met Meerdere Centra:

   • Het framework breidt de OC-Softmax loss uit naar een multi-centroid setting.
   • Voor bona fide inputs berekent het model de cosinus-gelijkenisafstand tot het centrum dat overeenkomt met het kwaliteitsniveau van het monster.
   • Voor spoof inputs straft het model de maximale cosinus-gelijkenis over alle centra af om scheiding van de gehele bona fide-subruimte te garanderen.
   • De uiteindelijke trainingsdoelstelling combineert de QAMO-loss ($L_{QAMO}$) en de kwaliteitsclassificatie-loss ($L_{quality}$) met een weginghyperparameter $\lambda$.

3. Inference Strategie:

   • Max-Score Inference: Vergelijkbaar met eerdere multi-centroid werken, neemt dit de maximale gelijkenis over alle centra. De auteurs merken echter op dat dit fungeert als een harde toewijzing, wat gevoelig kan zijn voor fouten in de kwaliteitschatting.
   • Ensemble-Score Inference (Voorgesteld): Om de stabiliteit te verbeteren en onzekerheid te beheersen, berekent QAMO een gewogen som van de gelijkenissen tot alle centra. De gewichten ($\alpha_q$) worden afgeleid via een softmax-functie toegepast op de cosinus-gelijkenissen. Deze strategie aggregeert bewijs uit alle kwaliteitsniveaus en produceert gladdere, minder variabele scores zonder dat er tijdens de inference expliciete kwaliteitslabels nodig zijn.

Belangrijkste Bijdragen

• Multi-Centroid Kwaliteitsmodellering: In tegen tegenstelling tot eerdere multi-centroid benaderingen (bijv. SAMO) die centra organiseren op basis van sprekeridentiteit, structureert QAMO deze op basis van spraakkwaliteitsniveaus, waardoor kwaliteitsinformatie expliciet wordt gecodeerd in de bona fide-representatie.
• Quality-Aware Loss Functie: De integratie van een kwaliteitsclassificatie-doelstelling zorgt ervoor dat de geleerde centra onderscheidend blijven en niet samenvallen in één enkel punt, waardoor de intra-klasse variabiliteit effectief behouden blijft.
• Robuuste Inference Mechanisme: Het voorstel van een softmax-gewogen ensemble scoring strategie stelt het systeem in staat om te opereren zonder kwaliteitslabels tijdens de inference, terwijl de risico's van harde toewijzing en overmoedige voorspellingen worden beperkt.
• Data Augmentatie Strategie: De auteurs behandelen geaugmenteerde data (via RawBoost) als "lage kwaliteit" tijdens de training, een rekenefficiënt surrogaat dat consistent is met geobserveerde MOS-verschuivingen, in plaats van kwaliteitsdegradatie te negeren.

Experimentele Resultaten
De auteurs evalueerden QAMO op de ASVspoof2019 LA trainingsset en testten op de ASVspoof2021 LA, ASVspoof2021 DF, In-the-Wild (ITW) en Fake-or-Real (FoR) datasets.

• Prestaties: Wanneer geïntegreerd met de XLSR-Conformer-TCM backbone, bereikte QAMO een Equal Error Rate (EER) van 5,21% op de In-the-Wild dataset, waarmee het de single-centroid OC-Softmax baseline (6,72%) en eerdere kwaliteit-bewuste systemen overtrof.
• Vergelijkingen: Op de 21DF dataset bereikte QAMO een EER van 1,63%, en op FoR een 3,45%, waarbij het consequent de baselines inclusief OC-Softmax en weighted cross-entropy (WCE) modellen overtrof.
• Ablatie-studies:
  • Het verwijderen van de kwaliteitsclassificatie-loss ($L_{quality}$) veroorzaakte prestatievermindering en centroid-instorting, wat de noodzaak van expliciete kwaliteits-supervisie bevestigt.
  • De ensemble-score inference strategie presteerde aanzienlijk beter dan de max-score strategie, met name op de ITW dataset, door beter gekalibreerde scores en een duidelijkere scheiding tussen bona fide en spoof distributies te bieden.

Betekenis en Claims
Het artikel claimt dat QAMO de oversimplificatie van de bona fide-klasse in traditionele one-class learning aanpakt door expliciet spraakkwaliteit-subruimtes te modelleren. Door dit te doen, behoudt het de intra-klasse variabiliteit terwijl het onderscheidend blijft tegenover gespoofte audio. De auteurs stellen dat deze benadering leidt tot een robuustere detectie van onbekende deepfake-aanvallen onder diverse akoestische omstandigheden. De ensemble-scoring strategie wordt benadrukt als een sleutelfactor bij het stabiliseren van beslissingsgrenzen en het verbeteren van de detectierobustheid zonder de computationele overhead van het schatten van kwaliteitslabels tijdens de inference. Het werk onderstreept het belang van het opnemen van spraakkwaliteitsmetrieken om betrouwbaardere tegenmaatregelen te bouwen tegen evoluerende deepfake-dreigingen.