Riepilogo Tecnico: SOUNDBREAK

Definizione del Problema

I modelli di fondazione multimodali che integrano audio, visione e linguaggio hanno dimostrato forti capacità di ragionamento, tuttavia la loro robustezza contro le manipolazioni avversarie rimane scarsamente compresa. Mentre la ricerca precedente ha esplorato ampiamente gli attacchi linguistico-visivi, gli attacchi audio unimodali e gli attacchi coordinati multi-modali, esiste una lacuna significativa nella comprensione degli attacchi avversari non mirati e puramente audio su modelli trimodali (audio-video-linguaggio).

Il modello di minaccia specifico investigato in questo lavoro assume un attaccante che controlla solo il canale audio all'interno di una pipeline di input multimodale. L'attaccante mira a degradare le prestazioni di ragionamento del modello senza modificare gli input visivi o testuali. Questo scenario è considerato realistico poiché la manipolazione audio può essere implementata tramite microfoni compromessi, altoparlanti ambientali o canali di trasmissione, ed è spesso più difficile da rilevare rispetto alle perturbazioni visive.

Metodologia

Gli autori propongono SOUNDBREAK, un framework sistematico per generare perturbazioni audio condivise (apprese sui dati di addestramento piuttosto che per singolo campione) per indurre fallimenti multimodali. L'attacco è formulato come un problema di ottimizzazione white-box in cui una perturbazione additiva $\delta$ viene iniettata nella forma d'onda audio pulita $x_a$ per produrre $\tilde{x}_a = x_a + \delta$, soggetta a un vincolo di norma $\ell_\infty$ ($\|\delta\|_\infty \leq \epsilon$).

Il contributo principale è la progettazione di sei obiettivi avversari complementari che prendono di mira diverse fasi della pipeline di elaborazione multimodale:

1. Perdita di Modellazione del Linguaggio Negativa ($L_{negLM}$): Riduce direttamente la fiducia del modello nella risposta corretta minimizzando la log-probabilità della sequenza di output corretta.
2. Perdita di Similarità del Coseno basata sull'Encoder ($L_{(cos)}$): Prende di mira lo spazio di rappresentazione dell'encoder audio, minimizzando la similarità del coseno tra gli embedding dell'audio pulito e di quello perturbato per corrompere le caratteristiche audio fondamentali.
3. Perdita di Soppressione dell'Attenzione Visiva ($L_{(visionatt)}$): Aggrega la massa di attenzione assegnata ai token visivi e la minimizza, rendendo di fatto il modello "cieco" rispetto alle evidenze visive.
4. Perdita di Amplificazione dell'Attenzione Audio ($L_{(audioatt)}$): Aggrega la massa di attenzione assegnata ai token audio e la massimizza (minimizzando il negativo), costringendo il modello a fare un eccessivo affidamento sullo stream audio perturbato.
5. Perdita di Randomizzazione dell'Attenzione ($L_{(randatt)}$): Disturba l'integrità strutturale dei meccanismi di attenzione minimizzando la divergenza KL tra le distribuzioni di attenzione reali e i target randomizzati.
6. Perdita di Similarità degli Stati Nascosti ($L_{(hidden-cos)}$): Prende di mira gli stati nascosti interni del transformer attraverso i vari livelli, spingendo le rappresentazioni avversarie lontano dalle loro controparti pulite.

Viene valutata anche una Formulazione di Perdita Combinata ($L_{combined}$), che ottimizza congiuntamente tutti i sei obiettivi. L'ottimizzazione utilizza la Discesa del Gradiente Proiettata (PGD) con Adam, iterando sul dataset di addestramento per apprendere una perturbazione condivisa.

Contributi Chiave

1. Nuovo Modello di Minaccia: Lo studio è il primo ad analizzare sistematicamente attacchi non mirati e puramente audio su modelli trimodali audio-video-linguaggio, andando oltre gli ambiti unimodali o bimodali.
2. Obiettivi di Attacco Multi-stadio: La proposta di sei diverse funzioni di perdita che sondano le vulnerabilità a livello di encoder, attenzione, stato nascosto e output, consentendo di isolare quali componenti computazionali siano più suscettibili.
3. Valutazione Sistematica: Esperimenti estesi condotti su tre modelli allo stato dell'arte (VideoLLAMA2, Qwen 2.5 Omni, Qwen 3 Omni) e tre benchmark (AVQA, AVSD, Music-AVQA), insieme a valutazioni su sistemi di riconoscimento del parlato (Whisper).

Risultati Sperimentali

Lo studio rivela diverse scoperte critiche riguardanti la robustezza dei modelli trimodali:

• Alti Tassi di Successo dell'Attacco (ASR): Le perturbazioni puramente audio possono indurre gravi fallimenti multimodali. L'attacco combinato ha raggiunto un ASR del 96,03% sul benchmark AVQA utilizzando VideoLLAMA2. La sola perdita di similarità del coseno basata sull'encoder ($L_{(cos)}$) ha raggiunto un ASR dell'89,12%, superando gli obiettivi a livello di output e di attenzione in molti casi.
• Bassa Distorsione Percepibile: È possibile ottenere attacchi altamente efficaci con una minima distorsione percepibile. Gli attacchi di successo hanno mantenuto bassi punteggi LPIPS (ad esempio, $0,08$ per $L_{(cos)}$) e valori SI-SNR vicini allo zero o positivi, indicando che le perturbazioni sono sottili e strutturate piuttosto che rumorose.
• Ottimizzazione vs. Scala dei Dati: L'efficacia dell'attacco è guidata più da estese iterazioni di ottimizzazione che dalla dimensione del dataset. Modelli addestrati su dataset più piccoli (ad esempio, 1.000 campioni) ma ottimizzati per molte iterazioni (ad esempio, 372k) hanno raggiunto un ASR significativamente più alto rispetto a quelli addestrati su dataset più grandi con meno iterazioni.
• Limitata Trasferibilità:
  • Cross-Modello: Gli attacchi addestrati su un'architettura (ad esempio, VideoLLAMA2) hanno mostrato una scarsa trasferibilità ad altre (ad esempio, Qwen 2.5/3 Omni), con l'ASR che scendeva da circa il 10% a circa il 3-4%. Ciò suggerisce che gli attacchi sfruttino caratteristiche rappresentazionali specifiche del modello.
  • Cross-Dominio: Gli attacchi addestrati su dati audio-visivi generali (AVQA) si sono trasferiti scarsamente ai domini musicali (Music-AVQA), raggiungendo solo il 13,80% di ASR rispetto all'89,07% nel dominio di origine.
  • Cross-Architettura: Le perturbazioni nello spazio dell'encoder non si sono trasferite tra diverse architetture di encoder audio (ad esempio, BEATs rispetto agli encoder in stile Whisper).
• Vulnerabilità del Riconoscimento del Parlato: Diversamente dai modelli trimodali, i sistemi di riconoscimento del parlato (Whisper) hanno risposto principalmente all'entità della distorsione acustica piuttosto che a specifici obiettivi di attacco. Gli attacchi che inducono un'alta distorsione (come $L_{negLM}$) hanno ottenuto un Averso del >97% su Whisper, mentre gli attacchi a bassa distorsione sono falliti.
• Vulnerabilità Specifiche per Livello: I livelli inferiori del transformer (1–10) sono stati identificati come i più critici per gli attacchi guidati dall'audio, mentre i livelli superiori hanno mostrato una vulnerabilità costantemente bassa.
• Stabilità della Confidenza: Nonostante l'alto ASR, il modello ha mantenuto un'alta confidenza nei suoi output avversari (errati), con livelli di confidenza simili a quelli degli input puliti. Ciò suggerisce che i fallimenti avversari derivino da un disallineamento interno piuttosto che dall'incertezza del modello, rendendoli difficili da rilevare tramite il monitoraggio della confidenza.

Significato e Rivendicazioni

Il documento sostiene di aver esposto una superficie di attacco a singola modalità precedentemente trascurata nei sistemi multimodali. I risultati dimostrano che un attaccante che controlla solo il flusso audio può degradare sistematicamente il ragionamento multimodale senza alterare gli input visivi o testuali.

Gli autori sottolineano che queste scoperte motivano la necessità di difese che impongano la coerenza cross-modale, poiché i modelli attuali sono vulnerabili a perturbazioni audio sottili e strutturate che si propagano attraverso il sistema per causare fallimenti catastrofici nel ragionamento. Lo studio evidenzia che la robustezza non può essere assunta semplicemente perché un modello integra più modalità; le vulnerabilità specifiche nell'encoding audio e nei meccanismi di attenzione cross-modale devono essere affrontate.

Il lavoro è presentato come un passo fondamentale verso la comprensione di queste vulnerabilità, con gli autori che segnalano limitazioni come l'attenzione al contesto white-box, alle perturbazioni esclusivamente digitali e alla mancanza di difese valutate, suggerendo queste come direzioni per la ricerca futura.