Dimensionality-Aware Anomaly Detection in Learned Representations of Self-Supervised Speech Models

Riepilogo Tecnico: Rilevamento delle Anomalie Consapevole della Dimensionalità nelle Rappresentazioni Apprese di Modelli di Parlato Auto-supervisionati

1. Enunciato del Problema

I modelli di parlato auto-supervisionati (S3M), come WavLM e wav2vec 2.0, hanno raggiunto prestazioni all'avanguardia in compiti a valle come il Riconoscimento Automatico del Parlato (ASR). Tuttavia, le loro rappresentazioni interne rimangono scarsamente comprese quando sottoposte a perturbazioni naturali (benigne) e avverse. La ricerca precedente si è basata in larga misura su metriche di similarità delle rappresentazioni (ad es. CCA, CKA) o su misure di dimensionalità globale (ad es. rango effettivo) per analizzare questi modelli. Questi approcci offrono una visibilità limitata sui cambiamenti geometrici locali all'interno dello spazio delle rappresentazioni apprese.

Gli autori pongono una domanda critica: come deformano le perturbazioni la geometria locale delle rappresentazioni S3M e queste variazioni geometriche correlano con il degrado dell'ASR a valle? Nello specifico, indagano se la Dimensionalità Intrinseca Locale (LID) possa servire come strumento diagnostico per rilevare anomalie e monitorare la robustezza senza richiedere trascrizioni di verità fondamentale.

2. Metodologia: Il Framework GRIDS

Gli autori propongono GRIDS (Robustezza Geometrica tramite Dimensionalità Intrinseca nel Parlato), un framework che utilizza la LID per analizzare le rappresentazioni livello per livello in S3M basati su transformer.

• Dimensionalità Intrinseca Locale (LID): La LID quantifica le proprietà geometriche delle rappresentazioni apprese misurando il tasso con cui il numero di campioni vicini cresce all'aumentare del raggio attorno a un campione di riferimento. Stima la dimensionalità locale effettiva (gradi di libertà) necessaria per descrivere il vicinato di un campione.
• Configurazione Sperimentale:
  • Modelli: WavLM e wav2vec 2.0 (varianti BASE, 12 livelli).
  • Dati: 918 coppie di enunciati da LibriSpeech test-clean, garantendo che gli stessi enunciati siano utilizzati per tutti i tipi di perturbazione per un confronto equo.
  • Perturbazioni:
    • Benigne: Rumore gaussiano, rumore di sottofondo Noizeus e parlato concorrente (LibriSpeech), tutti ridimensionati per corrispondere a Rapporti Segnale-Rumore (SNR) target di 0, 10, 20, 30 e 40 dB.
    • Avverse: Attacchi di Discesa del Gradiente Proiettata (PGD) sotto un budget limitato da $\ell_2$ calibrato allo stesso SNR target. Sono stati utilizzati due obiettivi: Errore Quadratico Medio (MSE) per distorcere le rappresentazioni dell'ultimo livello e perdita di Classificazione Temporale Connettistica (CTC) per interrompere le trascrizioni.
• Calcolo della LID:
  • Gli embedding a livello di frame sono estratti da ciascuno dei 12 livelli transformer.
  • La LID locale è stimata per frame utilizzando un approccio $k$-nearest neighbor (kNN) (stimatore MLE di Levina–Bickel).
  • Aggregazione: Per l'analisi geometrica e il monitoraggio ASR, le LID a livello di frame sono aggregate tramite una media armonica per produrre riassunti a livello di strato e a livello di condizione. Per il rilevamento delle anomalie, sono costruiti vettori di caratteristiche a 12 dimensioni a livello di enunciato (un valore LID per livello).
  • Selezione degli Iperparametri: La dimensione del vicinato $k$ non è fissata globalmente ma selezionata per condizione per massimizzare la stabilità e la discriminabilità dello spostamento della LID indotto dalla perturbazione ($\Delta$LID).

3. Contributi Chiave

Il paper apporta tre contributi principali:

1. Analisi Geometrica LID–S3M: Una misurazione livello per livello dei cambiamenti geometrici locali nelle rappresentazioni apprese attraverso condizioni pulite, benigne e avverse.
2. Monitoraggio LID–ASR: Evidenza empirica che dimostra come gli aumenti della LID siano positivamente associati al degrado del Tasso di Errore Parola (WER), collegando gli spostamenti geometrici alle prestazioni del compito a valle.
3. LID–AD per il Rilevamento delle Anomalie: Lo sviluppo di un insieme di caratteristiche derivate da LID a 12 dimensioni che consente la classificazione di input avversi rispetto a input benigni, ottenendo punteggi AUROC elevati.

4. Risultati e Analisi

Comportamento Geometrico (LID-S3M):

• Effetti delle Perturbazioni: Tutte le perturbazioni aumentano la LID a basso SNR. Tuttavia, si verifica una divergenza ad alto SNR (30–40 dB): il rumore benigno converge verso il profilo pulito (la LID diminuisce), mentre gli input avversi mantengono una LID elevata, in particolare nei livelli iniziali del transformer.
• Traiettorie Livello per Livello: Le perturbazioni avverse causano l'elevazione della LID più persistente nei livelli iniziali. Mentre l'interferenza benigna alza anch'essa la LID a basso SNR, essa diminuisce rapidamente all'aumentare dell'SNR. Ciò suggerisce che la distorsione geometrica dei livelli iniziali è un marcatore relativo degli spostamenti avversi in condizioni di SNR matched.
• Differenze tra Modelli: La tendenza vale sia per WavLM che per wav2vec 2.0, sebbene WavLM (addestrato con obiettivi di denoising) mostri profili di robustezza leggermente diversi. Gli attacchi PGD-MSE producono generalmente elevazioni della LID più ampie e persistenti rispetto agli attacchi PGD-CTC.

Correlazione con l'ASR (LID-ASR):

• Esiste una co-occorrenza coerente tra gli spostamenti geometrici ($\Delta$LID) e il degrado dell'ASR ($\Delta$WER). Entrambe le metriche diminuiscono all'aumentare dell'SNR.
• A basso SNR (0–10 dB), gli attacchi avversi e le interferenze benigne gravi (sovrapposizione di parlato) causano le maggiori deviazioni sia nella LID che nel WER.
• Significativamente, ad alto SNR, le corruzioni benigne risultano in aumenti del WER vicini allo zero, mentre gli attacchi avversi mantengono una traccia non trascurabile di $\Delta$LID anche quando gli aumenti del WER sono piccoli. Ciò indica che la LID può rilevare lo spostamento geometrico anche quando gli errori di decodifica sono minimi.

Rilevamento delle Anomalie (LID-AD):

• Un classificatore di regressione logistica leggero addestrato sui vettori LID a 12 dimensioni distingue efficacemente gli input avversi da quelli benigni.
• Prestazioni: Il framework ottiene punteggi AUROC compresi tra 0,78 e 1,00 tra diversi modelli e livelli SNR.
  • WavLM con attacchi MSE ha mostrato la massima separabilità (AUROC 0,99 a 0–20 dB).
  • Le prestazioni peggiorano ad alto SNR (40 dB) poiché sia gli input benigni che quelli avversi convergono verso la varietà pulita, riducendo la separabilità.
• Robustezza al Tasso di Successo: Il classificatore mantiene il potere discriminatorio anche quando il Tasso di Successo dell'Attacco (SR) è basso (ad es. WavLM-CTC a 30 dB ha avuto un AUROC di 0,92 nonostante un SR di solo 0,04), suggerendo che la LID cattura anomalie geometriche che non si manifestano sempre come fallimenti immediati nella trascrizione.

5. Significato e Affermazioni

Gli autori affermano che GRIDS fornisce una capacità di monitoraggio senza trascrizione per gli S3M. Sfruttando la LID, il framework offre una diagnosi geometrica interpretabile che:

• Rileva input avversi senza bisogno di etichette di verità fondamentale o trascrizioni.
• Rivela che la distorsione geometrica si propaga attraverso le rappresentazioni iniziali prima di essere parzialmente assorbita dai livelli più profondi.
• Completa le analisi esistenti basate sulla similarità catturando distorsioni locali che le misure globali trascurano.

Il paper conclude con modestia, notando le attuali limitazioni: lo studio è limitato a varianti S3M a 12 livelli e ad attacchi non mirati. Viene proposto un lavoro futuro per scalare ad architetture più grandi, estendersi a compiti critici per la sicurezza (ad es. verifica del parlante) e combinare la LID con misure spettrali globali per una caratterizzazione geometrica multi-scala.