Speaker-Invariant Representation Learning for Spoofing Detection via Gradient Reversal and A Variational Information Bottleneck

Sintesi Tecnica: Apprendimento di Rappresentazioni Invarianti al Parlatore per il Rilevamento di Spoofing tramite Gradient Reversal e un Variational Information Bottleneck

Definizione del Problema
Il documento affronta la questione critica della scarsa generalizzazione dei sistemi di rilevamento dello spoofing durante la transizione da contesti in-domain a contesti out-of-domain. Gli autori identificano il bias del parlatore come una causa primaria di questa fragilità. In dataset come ASVspoof 5, esiste spesso una distribuzione disgiunta delle identità dei parlatori tra le partizioni bona fide e spoofed. Di conseguenza, i modelli possono apprendere "scorciatoie" associando specifiche identità vocali all'etichetta di spoofing anziché apprendere gli artefatti acustici intrinseci della sintesi o della manipolazione. Ciò porta a un overfitting sulle distribuzioni di addestramento e al fallimento su parlatori non visti o nuovi vettori di attacco. Inoltre, i tentativi precedenti di imporre l'invarianza del parlatore tramite l'addestramento avversario si sono basati su etichette dei parlatori all'interno del dataset di spoofing, che spesso non sono disponibili o sono insufficientemente diversificate, e rischiano di scartare indizi utili allo spoofing durante una soppressione avversaria aggressiva.

Metodologia
Gli autori propongono IVSpk-VIB, un framework teacher-student progettato per apprendere rappresentazioni invarianti al parlatore per il rilevamento dello spoofing senza richiedere le etichette dei parlatori per il dataset target. L'architettura è composta da tre componenti principali:

1. Framework Teacher-Student con Gradient Reversal:

   • Teacher: Un modello di riconoscimento del parlatore pre-addestrato (addestrato sul dataset su larga scala VoxCeleb2) funge da teacher congelato. Esso estrae embedding del parlatore che codificano ricche informazioni sull'identità del parlatore.
   • Student: Un modello di rilevamento dello spoofing (basato su XLSR e MHFA) viene addestrato per predire l'etichetta di spoofing.
   • Apprendimento Avversario: Un livello di inversione del gradiente (Gradient Reversal Layer - GRL) è inserito tra l'estrattore di caratteristiche dello student e un testa di classificazione del parlatore. Lo student è guidato a minimizzare la perdita di spoofing massimizzando contemporaneamente l'errore nella predizione degli embedding del parlatore del teacher. Ciò incoraggia lo student a imparare rappresentazioni che siano invarianti all'identità del parlatore.

2. Variational Information Bottleneck (VIB):

   • Per evitare che l'addestramento avversario rimuova elementi essenziali relativi allo spoofing insieme alle informazioni del parlatore, un VIB è integrato nella branca di classificazione del parlatore.
   • Il VIB impone un vincolo informazionale sulla rappresentazione latente. Modella la variabile latente come una distribuzione gaussiana posteriore e impone una regolarizzazione tramite divergenza di Kullback-Leibler rispetto a una prior standard normale.
   • Questo crea un collo di bottiglia controllato, assicurando che la soppressione si concentri sulle informazioni principali relative al parlatore preservando al contempo l'evidenza discriminativa necessaria per il rilevamento dello spoofing.

3. Obiettivo di Addestramento:
   L'ottimizzazione complessiva minimizza una funzione di perdita combinata che comprende la perdita di cross-entropy per il rilevamento dello spoofing, l'errore quadratico medio (MSE) tra gli embedding del parlatore dello student e del teacher (tramite GRL) e il termine di regolarizzazione VIB.

Contributi Chiave

• Analisi del Bias del Parlatore: Gli autori dimostrano empiricamente che il set di addestramento di ASVspoof 5 crea una correlazione spuria tra l'identità del parlatore e l'etichetta di spoofing. L'analisi del clustering latente rivela che gli utterance bona fide e spoofed occupano regioni distinte e non sovrapponibili nello spazio degli embedding del parlatore, confermando che i modelli possono sfruttare scorciatoie basate sull'identità.
• Invarianza al Parlatore Senza Etichette: Introducono un framework teacher-student che sopprime le influenze dell'identità vocale senza fare affidamento sulle etichette dei parlatori nel dataset di spoofing target, superando i limiti dei metodi precedenti che richiedevano annotazioni dei parlatori in-domain.
• Addestramento Avversario Controllato: Incorporando il VIB, il metodo regola il processo di soppressione avversaria, gestendo il compromesso tra la rimozione delle caratteristiche vocali distorte e la preservazione delle informazioni rilevanti per lo spoofing.
• Valutazione Estesa: Il modello è valutato su nove diversi dataset, dimostrando miglioramenti costanti rispetto ai baseline.

Risultati
Il modello proposto MHFA-IVSpk-VIB è stato valutato contro diversi baseline (AASIST, Conformer, MHFA e il precedente metodo SInMT) su nove dataset, inclusi ASVspoof 2019/2021, CodecFake e LibriSeVox.

• Generalizzazione: Il modello ha ottenuto una riduzione relativa del 25,7% dell'Equal Error Rate (EER) rispetto al baseline MHFA sul dataset raggruppato (combinando tutti i set di valutazione).
• Confronto con il Lavoro Precedente: Ha superato il baseline SInMT (che utilizzava etichette dei parlatori in-domain) dell'11,3% in termini di EER relativo raggruppato, evidenziando il vantaggio di utilizzare un teacher pre-addestrato su dati esterni diversificati (VoxCeleb) piuttosto che limitate etichette in-domain.
• Benchmarking: Confrontato con i quattro migliori contributi della sfida ASVspoof 5, il modello proposto ha mostrato una robustezza superiore out-of-domain. Mentre i sistemi di punta della sfida hanno subito cali significativi di prestazioni (ad esempio, passando da un EER del 3,30% su ASVspoof 5 al 17,33% su ASVspoof 2019), il modello proposto ha mantenuto tassi di errore più bassi attraverso questi cambiamenti, ottenendo un miglioramento relativo del 62% nell'EER medio rispetto al miglior sistema della sfida (T23) attraverso tutti i benchmark.

Significatività
Il documento sostiene che l'integrazione di un Variational Information Bottleneck sia essenziale per bilanciare l'invarianza del parlatore e la discriminabilità dello spoofing. Senza VIB, l'addestramento avversario rischia di scartare indizi critici dello spoofing; con il VIB, il sistema raggiunge una forma controllata di apprendimento invariante. I risultati suggeriscono che sfruttare la vasta diversità dei parlatori da fonti esterne tramite un modello teacher è più efficace per la generalizzazione rispetto all'uso della limitata diversità dei parlatori trovata nei tipici dataset di addestramento per il rilevamento dello spoofing. Questo approccio offre una soluzione rigorosa al problema del bias del parlatore, migliorando l'affidabilità dei sistemi biometrici vocali contro attacchi generativi sofisticati in scenari reali out-of-domain.