Beyond Waveform Robustness: Robust Feature-Vocoder Adversarial Attacks on Automatic Speech Recognition

Sintesi Tecnica: Attacchi Adversarial su ASR tramite Feature-Vocoder con Riferimento al Segnale Pulito

Definizione del Problema
I sistemi di Riconoscimento Automatico del Parlato (ASR), in particolare i modelli fondativi su larga scala come Whisper, sono sempre più impiegati in applicazioni del mondo reale ma rimangono vulnerabili ad attacchi adversarial. Gli attacchi adversarial esistenti operano tipicamente aggiungendo piccole perturbazioni impercettibili direttamente alla forma d'onda grezza dell'input. Gli autori identificano due limitazioni critiche in questo approccio centrato sulla forma d'onda:

1. Trasferibilità Black-Box Limitata: Le perturbazioni della forma d'onda spesso vanno in overfitting sui gradienti specifici di un modello surrogato, fallendo nel generalizzare verso sistemi ASR target non visti.
2. Vulnerabilità alle Difese: Poiché il segnale adversarial è esplicitamente rappresentato come rumore additivo sulla forma d'onda, esso può essere facilmente mitigato da difese progettate per perturbazioni nello spazio di input, come l'addestramento adversarial e il pre-processing dell'input (ad esempio, filtraggio passa-basso, WaveGuard).

Metodologia: Attacco Feature-Vocoder con Riferimento al Segnale Pulito
Il documento propone un attacco black-box basato su un modello surrogato che sposta lo spazio di ricerca adversarial dalla forma d'onda grezza alle rappresentazioni delle caratteristiche (feature) di Apprendimento Auto-Supervisionato (SSL). Il pipeline principale prevede tre fasi:

1. Estrazione delle Caratteristiche: Un encoder SSL congelato (ad esempio, WavLM-Large) estrae le rappresentazioni acustico-fonetiche a livello di frame ($q$) dall'audio pulito in input.
2. Perturbazione nello Spazio delle Caratteristiche: Invece di modificare la forma d'onda, il metodo ottimizza una perturbazione apprendibile ($\delta$) direttamente all'interno dello spazio delle caratteristiche SSL. La traiettoria delle caratteristiche perturbate è definita come $z(\delta) = q + \delta$. Questa perturbazione è vincolata da un raggio normalizzato nello spazio delle caratteristiche per controllare il budget dell'attacco.
3. Ricostruzione tramite Vocoder: Le caratteristiche perturbate vengono ricostruite in una forma d'onda adversarial utilizzando un vocoder neurale congelato (ad esempio, HiFi-GAN). L'audio adversarial finale è generato come $x_{adv} = V(E(x) + \delta)$.

Obiettivo di Ottimizzazione
L'attacco ottimizza una funzione di perdita composita per massimizzare gli errori di trascrizione su un modello surrogato pur mantenendo la qualità percettiva:

• Perdita di Attacco (Attack Loss): Massimizza la log-likelihood negativa della trascrizione corretta sul modello ASR surrogato, spingendo il modello a riconoscere erroneamente l'audio.
• Perdita Percettiva con Riferimento al Segnale Pulito (Clean-Referenced Perceptual Loss): Per prevenire l'instabilità temporale e gli artefatti ad alta frequenza introdotti dal vocoder, il metodo impiega un regolarizzatore che fa riferimento all'audio pulito. Questo include:
  • Penalità di Jitter Temporale: Minimizza la varianza tra i frame successivi delle caratteristiche.
  • Penalità di Energia ad Alta Frequenza: Vincola l'energia ad alta frequenza dell'audio generato rispetto al riferimento pulito, garantendo che la perturbazione non introduca componenti spettrali innaturali.

Contributi Chiave

1. Nuovo Spazio di Attacco: Introduzione di uno spazio di attacco feature-vocoder con riferimento al segolo pulito, dove gli esempi adversarial vengono generati perturbando le caratteristiche del parlato SSL piuttosto che aggiungendo rumore alla forma d'onda.
2. Design del Framework: Un framework che incorpora variazioni adversarial nelle rappresentazioni SSL e le ricostruisce in audio naturale tramite un vocoder congelato, bypassando l'assunzione esplicita di rumore additivo delle difese attuali.
3. Validazione Empirica: Esperimenti estesi che dimostrano come questo approccio riveli un "punto cieco" nelle attuali valutazioni della robustezza degli ASR, specificamente riguardo alle difese progettate per perturbazioni limitate alla forma d'onda.

Risultati Sperimentali
Il metodo è stato valutato su dataset in inglese (LibriSpeech) e cinese (AISHELL-1) contro modelli della famiglia Whisper e architetture basate su CTC (HuBERT, Wav2Vec2).

• Trasferibilità: Ottimizzato esclusivamente su un surrogato Whisper-small, l'attacco ha ottenuto un miglioramento del WER del +26,6% rispetto al baseline SOTA quando trasferito a modelli target black-box. È rimasto efficace attraverso diverse capacità dei modelli (da Tiny a Large) e architetture (Whisper vs. CTC).
• Robustezza alle Difese: Il metodo ha superato significativamente i baseline sia contro le difese di addestramento adversarial (es. CE-AT, DT-AT) sia contro le difese di pre-processing dell'input (es. LPF, WaveGuard). Sui modelli difesi, ha most true un miglioramento del WER del +36,2% in inglese e un miglioramento del CER del +31,3% in cinese rispetto ai baseline SOTA.
• Impercettibilità: Studi umani e metriche oggettive (DNS-MOS, NISQA, UTMOS) hanno confermato che l'audio adversarial è in gran parte indistinguibile dal parlato pulito. Nelle valutazioni umane, l'86% dei campioni accoppiati è stato giudicato indistinguibile e l'audio adversarial è rimasto intelligibile per gli esseri umani (WER di trascrizione umana del 5,47%).
• Fattibilità Fisica: Esperimenti preliminari over-the-air (OTA) hanno dimostrato che l'attacco mantiene una sostanziale efficacia (78,23% WER) anche dopo la riproduzione e la registrazione tramite smartphone.

Significatività e Rivendicazioni
Il documento sostiene di rivelare un significativo punto cieco nelle attuali valutazioni della robustezza degli ASR. Argomenta che la robustezza contro il rumore additivo della forma d'onda o i prefissi adversarial possa sovrastimare la sicurezza reale dei sistemi ASR. Spostando il vettore di attacco nello spazio delle caratteristiche e utilizzando un vocoder per la ricostruzione, gli autori dimostrano che gli esempi adversarial possono bypassare le difese che assumono che le perturbazioni siano confinate nella forma d'onda di input. Il lavoro suggerisce che le future valutazioni della robustezza debbano tenere conto delle perturbazioni nello spazio delle caratteristiche e che le difese attuali siano insufficienti contro attacchi che sfruttano il manifold della generazione del parlato piuttosto che solo il rumore della forma d'onda.