QAMO: Quality-aware Multi-centroid One-class Learning For Speech Deepfake Detection

Sintesi Tecnica: QAMO – Apprendimento a singola classe multi-centro consapevole della qualità per il rilevamento di deepfake vocali

Definizione del problema
Il rilevamento tradizionale dei deepfake vocali (SDD) tratta spesso il compito come un problema di classificazione binaria, il che può portare all'overfitting su attacchi di spoofing noti e a una scarsa generalizzazione verso deepfake non visti. L'apprendimento a singola classe (OCL) è emerso come un'alternativa, modellando una distribuzione compatta del parlato bona fide (reale) attorno a un singolo centroide e trattando le deviazioni come potenziali falsi. Tuttavia, l'OCL convenzionale semplifica eccessivamente la classe bona fide assumendo una distribuzione unimodale singola. Ciò non riesce a catturare l'inerente variabilità intra-classe del parlato genuino, in particolare per quanto riguarda la qualità del parlato (ad es., chiarezza, presenza di rumore, realismo della prosodia). La ricerca esistente indica che esistono gap significativi nel Mean Opinion Score (MOS) tra il parlato reale e quello sintetico, e che le variazioni di qualità possono influenzare la separazione tra i campioni bona fide e quelli spoofed. I metodi OCL attuali non tengono esplicitamente conto di questi sottospazi di qualità.

Metodologia: Framework QAMO
Gli autori propongono QAMO, un framework che estende l'OCL introducendo molteplici centroidi, ciascuno ottimizzato per rappresentare distinti sottospazi di qualità del parlato.

1. Modellazione multi-centro consapevole della qualità:

   • Invece di un singolo centroide, QAMO apprende $Q$ centroidi ($w_q$), dove ciascuno corrisponde a un livello di qualità discreto (ad es., MOS basso vs. alto).
   • I livelli di qualità sono assegnati ai campioni di addestramento utilizzando un predittore di MOS pre-addestrato (Scoreq). L'intervallo continuo del MOS viene suddiviso in classi discrete tramite soglie (ad es., $q \in \{0, 1\}$).
   • Per garantire che i centroidi siano discriminativi e allineati con specifici livelli di qualità, il modello utilizza una perdita AM-Softmax ($L_{quality}$) per la classificazione della qualità. Questo costringe gli embedding dello stesso livello di qualità a raggrupparsi attorno al proprio specifico centroide.

2. Apprendimento a singola classe con molteplici centroidi:

   • Il framework estende la perdita OC-Softmax a un contesto multi-centro.
   • Per gli input bona fide, il modello calcola la distanza di similarità del coseno rispetto al centroide corrispondente al livello di qualità del campione.
   • Per gli input spoof, il modello penalizza la massima similarità del coseno attraverso tutti i centroidi per garantire la separazione dall'intero sottospazio bona fide.
   • L'obiettivo finale di addestramento combina la perdita QAMO ($L_{QAMO}$) e la perdita di classificazione della qualità ($L_{quality}$) con un iperparametro di ponderazione $\lambda$.

3. Strategia di inferenza:

   • Inferenza Max-Score: Simile ai lavori multi-centro precedenti, questa prende la massima similarità tra tutti i centroidi. Tuttavia, gli autori notano che ciò agisce come un'assegnazione rigida, che può essere sensibile agli errori di stima della qualità.
   • Inferenza Ensemble-Score (Proposta): Per migliorare la stabilità e gestire l'incertezza, QAMO calcola una somma pesata delle similarità a tutti i centroidi. I pesi ($\alpha_q$) sono derivati tramite una funzione softmax applicata alle similarità del coseno. Questa strategia aggrega le evidenze attraverso tutti i livelli di qualità, producendo punteggi più fluidi e con varianza inferiore senza richiedere etichette di qualità durante l'inferenza.

Contributi Chiave

• Modellazione della qualità multi-centro: A differenza dei precedenti approcci multi-centro (ad es., SAMO) che organizzano i centroidi per identità del parlatore, QAMO struttura i centroidi in base ai livelli di qualità del parlato, codificando esplicitamente l'informazione sulla qualità nella rappresentazione bona fide.
• Funzione di perdita consapevole della qualità: L'integrazione di un obiettivo di classificazione della qualità assicura che i centroidi appresi rimangano distinti e non collassino in un unico punto, preservando efficacemente la variabilità intra-classe.
• Meccanismo di inferenza robusto: La proposta di una strategia di scoring a ensemble pesata con softmax consente al sistema di operare senza etichette di qualità durante l'inferenza, mitigando al contempo i rischi di assegnazione rigida e predizioni eccessivamente sicure.
• Strategia di Data Augmentation: Gli autori trattano i dati aumentati (tramite RawBoost) come "bassa qualità" durante l'addestramento, un proxy computazionalmente efficiente coerente con gli spostamenti del MOS osservati, invece di ignorare il degrado della qualità.

Risultati Sperimentali
Gli autori hanno valutato QAMO sul set di addestramento ASVspoof2019 LA e lo hanno testato sui dataset ASVspoof2021 LA, ASVspoof2021 DF, In-the-Wild (ITW) e Fake-or-Real (FoR).

• Performance: Quando integrato con l'backbone XLSR-Conformer-TCM, QAMO ha raggiunto un Equal Error Rate (EER) del 5,21% sul dataset In-the-Wild, superando la baseline OC-Softmax a singolo centroide (6,72%) e i precedenti sistemi consapevoli della qualità.
• Confronti: Sul dataset 21DF, QAMO ha ottenuto un EER dell'1,63%, e su FoR, un 3,45%, superando costantemente le baseline inclusi i modelli OC-Softmax e Weighted Cross-Entropy (WCE).
• Studi di Ablazione:
  • Rimuovendo la perdita di classificazione della qualità ($L_{quality}$), si è verificata una degradazione delle prestazioni e un collasso dei centroidi, confermando la necessità di una supervisione esplicita della qualità.
  • La strategia di inferenza dello score ensemble ha superato significativamente la strategia max-score, in particolare sul dataset ITW, fornendo punteggi meglio calibrati e una separazione più netta tra le distribuzioni bona fide e spoof.

Significato e Rivendicazioni
Il paper sostiene che QAMO affronti la semplificazione eccessiva della classe bona fide nei tradizionali apprendimenti a singola classe modellando esplicitamente i sottospazi di qualità del parlato. In questo modo, preserva la variabilità intra-classe mantenendo al contempo la discriminabilità contro il parlato spoofed. Gli autori affermano che questo approccio porta a un rilevamento più robusto di attacchi deepfake non visti attraverso diverse condizioni acustiche. La strategia di scoring ensemble è evidenziata come un fattore chiave per stabilizzare i confini decisionali e migliorare la robustezza del rilevamento senza l'overhead computazionale della stima delle etichette di qualità durante l'inferenza. Il lavoro sottolinea l'importanza di incorporare metriche di qualità del parlato per costruire contromisure più affidabili contro le evoluzioni delle minacce deepfake.