Technische Samenvatting: SOUNDBREAK

Probleemdefinitie

Multimodale fundatiemodellen die audio, visie en taal integreren, hebben sterke redeneercapaciteiten getoond, maar hun robuustheid tegen adversariële manipulatie blijft slecht begrepen. Terwijl eerder onderzoek uitgebreid visuele-taal aanvallen, unimodale audio-aanvallen en multi-modale gecoördineerde aanvallen heeft onderzocht, is er een aanzienlijke kloof in het begrip van ongerichte, audio-alleen adversariële aanvallen op trimodale (audio-video-taal) modellen.

Het specifieke dreigingsmodel dat in dit werk wordt onderzocht, gaat uit van een aanvaller die alleen het audiokanaal controleert binnen een multimodale inputpijplijn. De aanvaller streeft ernaar de redeneerprestaties van het model te degraderen zonder de visuele of tekstuele inputs aan te passen. Dit scenario wordt als realistisch beschouwd omdat audio-manipulatie kan worden ingezet via gecompromitteerde microfoons, omgevingsluidsprekers of transmissiekanalen, en vaak moeilijker te detecteren is dan visuele perturbaties.

Methodologie

De auteurs stellen SOUNDBREAK voor, een systematisch framework voor het genereren van gedeelde audio-perturbaties (geleerd over trainingsdata in plaats van per sample) om multimodale fouten te induceren. De aanval wordt geformuleerd als een white-box optimalisatieprobleem waarbij een additieve perturbatie $\delta$ wordt geïnjecteerd in de schone audio-golfvorm $x_a$ om $\tilde{x}_a = x_a + \delta$ te produceren, onderworpen aan een $\ell_\infty$ norm-restrictie ($\|\delta\|_\infty \leq \epsilon$).

De kernbijdrage is het ontwerp van zes complementaire adversariële doelstellingen die verschillende stadia van de multimodale verwerkingspijplijn targeten:

1. Negative Language Modeling Loss ($L_{negLM}$): Vermindert direct het vertrouwen van het model in het grondwaarheidsantwoord door de log-waarschijnlijkheid van de correcte outputsequentie te minimaliseren.
2. Encoder-Based Cosine Similarity Loss ($L_{(cos)}$): Richt zich op de representatieruimte van de audio-encoder door de cosinusgelijkenheid tussen embeddings van schone en geperturbeerde audio te minimaliseren om de fundamentele audio-features te corrumperen.
3. Vision Attention Suppression Loss ($L_{(visionatt)}$): Aggregeert de aandachtsmassa toegewezen aan visuele tokens en minimaliseert deze, wat het model effectief "blind" maakt voor visueel bewijs.
4. Audio Attention Amplification Loss ($L_{(audioatt)}$): Aggregeert de aandachtsmassa toegewezen aan audio-tokens en maximaliseert deze (door het negatieve te minimaliseren), waardoor het model wordt gedwongen om overmatig te vertrouwen op de geperturbeerde audiostroom.
5. Attention Randomization Loss ($L_{(randatt)}$): Verstoort de structurele integriteit van aandachtmechanismen door de KL-divergentie tussen werkelijke aandachtverdelingen en gerandomiseerde targets te minimaliseren.
6. Hidden-State Similarity Loss ($L_{(hidden-cos)}$): Target interne transformer hidden states over verschillende lagen, waarbij adversariële representaties weg van hun schone tegenhangers worden geduwd.

Een Gecombineerde Loss formulering ($L_{combined}$) wordt ook geëvalueerd, die alle zes de doelstellingen gezamenlijk optimaliseert. De optimalisatie maakt gebruik van Projected Gradient Descent (PGD) met Adam, waarbij over de trainingsdataset wordt geïtegreerd om een gedeelde perturbatie te leren.

Belangrijkste Bijdragen

1. Nieuw Dreigingsmodel: Deze studie is de eerste die ongerichte, audio-alleen aanvallen op trimodale audio-video-taal modellen systematisch analyseert, waarbij verder wordt gekeken dan unimodale of bimodale settings.
2. Multi-Stage Aanvalsdoelstellingen: Het voorstel van zes verschillende loss-functies die kwetsbaarheden onderzoeken op het niveau van de encoder, aandacht, hidden-state en output, wat de ontleding mogelijk maakt van welke computationele componenten het meest vatbaar zijn.
3. Systematische Evaluatie: Uitgebreide experimenten uitgevoerd op drie state-of-the-art modellen (VideoLLAMA2, Qwen 2.5 Omni, Qwen 3 Omni) en drie benchmarks (AVQA, AVSD, Music-AVQA), naast evaluaties op spraakherkenningssystemen (Whisper).

Experimentele Resultaten

De studie onthult verschillende cruciale bevindingen met betrekking tot de robuustheid van trimodale modellen:

• Hoge Attack Success Rates (ASR): Audio-alleen perturbaties kunnen ernstige multimodale fouten induceren. De gecombineerde aanval bereikte een ASR van 96,03% op de AVQA benchmark met behulp van VideoLLAMA2. De encoder-gebaseerde cosinusgelijkenheid loss ($L_{(cos)}$) alleen al bereikte een ASR van 89,12%, wat in veel gevallen beter presteert dan output-niveau en aandacht-gebaseerde doelstellingen.
• Lage Perceptuele Distorsie: Zeer effectieve aanvallen kunnen worden bereikt met minimale perceptuele distorsie. Succesvolle aanvallen behielden lage LPIPS-scores (bijv. $0,08$ voor $L_{(cos)}$) en bijna nul of positieve SI-SNR waarden, wat aangeeft dat de perturbaties subtiel en gestructureerd zijn in plaats van ruisachtig.
• Optimalisatie vs. Datagrootte: De effectiviteit van de aanval wordt meer gedreven door uitgebreide optimalisatie-iteraties dan door de omvang van de dataset. Modellen getraind op kleinere datasets (bijv. 1.000 samples) maar geoptimaliseerd voor veel iteraties (bijv. 372k) behaalden een significant hogere ASR dan die getraind op grotere datasets met minder iteraties.
• Beperkte Transfereerbaarheid:
  • Cross-Model: Aanvallen getraind op één architectuur (bijv. VideoLLAMA2) vertoonden een slechte transfereerbaarheid naar andere (bijv. Qwen 2.5/3 Omni), waarbij de ASR daalde van ~10% naar ~3-4%. Dit suggereert dat aanvallen model-specifieke representatieve kenmerken exploiteren.
  • Cross-Domein: Aanvallen getraind op algemene audio-visuele data (AVQA) transfereerden slecht naar muzikale domeinen (Music-AVQA), met slechts 13,80% ASR vergeleken met 89,07% op het bron-domein.
  • Cross-Architectuur: Encoder-ruimte perturbaties werden niet overgedragen tussen verschillende audio-encoder architecturen (bijv. BEATs versus Whisper-stijl encoders).
• Kwetsbaarheid van Spraakherkenning: In tegen tegenstelling tot trimodale modellen, reageerden spraakherkenningssystemen (Whisper) primair op de magnitude van de akoestische distorsie in plaats van op specifieke aanvalsdoelstellingen. Aanvallen die hoge distorsie induceerden (zoals $L_{negLM}$) bereikten >97% ASR op Whisper, terwijl lage-distorsie aanvallen faalden.
• Laagspecifieke Kwetsbaarheden: Lagere transformer lagen (1–10) werden geïdentificeerd als de meest kritieke voor audio-gestuurde aanvallen, terwijl hogere lagen consistent een lage kwetsbaarheid vertoonden.
• Stabiliteit van Vertrouwen: Ondanks de hoge ASR behield het model een hoog vertrouwen in zijn (onjuiste) adversariële outputs, met vertrouwensniveaus die vergelijkbaar zijn met schone inputs. Dit suggereert dat adversariële fouten voortkomen uit interne misalignement in plaats van model-onzekerheid, wat ze moeilijk detecteerbaar maakt via monitoring van vertrouwen.

Betekenis en Claims

Het artikel beweert een voorheen over het hoofd geziene single-modality aanvalsoppervlak bloot te leggen in multimodale systemen. De resultaten laten zien dat een aanvaller die alleen de audiostroom controleert, systematisch de multimodale redenering kan degraderen zonder visuele of tekstuele inputs te wijzigen.

De auteurs benadrukken dat deze bevindingen motiveren voor de noodzaak van defensies die cross-modale consistentie afdwingen, aangezien huidige modellen kwetsbaar zijn voor subtiele, gestructureerde audio-perturbaties die door het systeem propageren om catastrofale redeneerfouten te veroorzaken. De studie benadrukt dat robuustheid niet simpelweg kan worden aangenomen omdat een model meerdere modaliteiten integreert; specifieke kwetsbaarheden in de audio-encoding en cross-modale aandachtmechanismen moeten worden geadresseerd.

Het werk wordt gepresenteerd als een fundamentele stap naar het begrijpen van deze kwetsbaarheden, waarbij de auteurs beperkingen noemen zoals de focus op white-box settings, digitale-only perturbaties, en het gebrek aan geëvalueerde defensies, wat zij aanwijzen als richtingen voor toekomstig onderzoek.