Résumé Technique : SOUNDBREAK

Définition du Problème

Les modèles de fondation multimodaux intégrant l'audio, la vision et le langage ont démontré de fortes capacités de raisonnement, pourtant leur robustesse face aux manipulations adverses reste mal comprise. Alors que les recherches antérieures ont largement exploré les attaques visuo-linguistiques, les attaques audio unimodales et les attaques coordonnées multimodales, il existe une lacune significative dans la compréhension des attaques adverses non ciblées et uniquement audio sur les modèles trimodaux (audio-vidéo-langage).

Le modèle de menace spécifique étudié dans ce travail suppose un attaquant qui contrôle uniquement le canal audio au sein d'un pipeline d'entrée multimodal. L'attaquant cherche à dégrader les performances de raisonnement du modèle sans modifier les entrées visuelles ou textuelles. Ce scénario est considéré comme réaliste car la manipulation audio peut être déployée via des microphones compromis, des haut-parleurs environnementaux ou des canaux de transmission, et est souvent plus difficile à détecter que les perturbations visuelles.

Méthodologie

Les auteurs proposent SOUNDBREAK, un cadre systématique pour générer des perturbations audio partagées (apprises sur les données d'entraînement plutôt que par échantillon) afin d'induire des défaillances multimodales. L'attaque est formulée comme un problème d'optimisation en boîte blanche où une perturbation additive $\delta$ est injectée dans l'onde sonore propre $x_a$ pour produire $\tilde{x}_a = x_a + \delta$, sous une contrainte de norme $\ell_\infty$ ($\|\delta\|_\infty \leq \epsilon$).

La contribution centrale est la conception de six objectifs adverses complémentaires ciblant différentes étapes du pipeline de traitement multimodal :

1. Perte de modélisation de langage négative ($L_{negLM}$) : Réduit directement la confiance du modèle dans la réponse de vérité terrain en minimisant la log-probabilité de la séquence de sortie correcte.
2. Perte de similitude cosinus basée sur l'encodeur ($L_{(cos)}$) : Cible l'espace de représentation de l'encodeur audio, minimisant la similitude cosinus entre les plongements (embeddings) de l'audio propre et de l'audio perturbé pour corrompre les caractéristiques audio fondamentales.
3. Perte de suppression de l'attention visuelle ($L_{(visionatt)}$) : Agrège la masse d'attention assignée aux jetons visuels et la minimise, "aveuglant" efficacement le modèle face aux preuves visuelles.
4. Perte d'amplification de l'attention audio ($L_{(audioatt)}$) : Agrège la masse d'attention assignée aux jetons audio et la maximise (en minimant le négatif), forçant le modèle à trop se fier au flux audio perturbé.
5. Perte de randomisation de l'attention ($L_{(randatt)}$) : Perturbe l'intégrité structurelle des mécanismes d'attention en minimisant la divergence KL entre les distributions d'attention réelles et les cibles randomisées.
6. Perte de similitude des états cachés ($L_{(hidden-cos)}$) : Cible les états cachés internes des transformeurs à travers les couches, poussant les représentations adverses loin de leurs homologues propres.

Une Formulation de Perte Combinée ($L_{combined}$) est également évaluée, laquelle optimise conjointement les six objectifs. L'optimisation utilise la descente de gradient projetée (PGD) avec Adam, itérant sur le jeu de données d'entraînement pour apprendre une perturbation partagée.

Contributions Clés

1. Nouveau Modèle de Menace : Cette étude est la première à analyser systématiquement les attaques non ciblées et uniquement audio sur les modèles trimodaux audio-vidéo-langage, allant au-delà des contextes unimodaux ou bimodaux.
2. Objectifs d'Attaque Multi-étapes : La proposition de six fonctions de perte distinctes qui sondent les vulnérabilités au niveau de l'encodeur, de l'attention, des états cachés et de la sortie, permettant de démêler quels composants computationnels sont les plus sensibles.
3. Évaluation Systématique : Expérimentations approfondies menées sur trois modèles de pointe (VideoLLAMA2, Qwen 2.5 Omni, Qwen 3 Omni) et trois benchmarks (AVQA, AVSD, Music-AVQA), ainsi que des évaluations sur des systèmes de reconnaissance vocale (Whisper).

Résultats Expérimentaux

L'étude révèle plusieurs découvertes critiques concernant la robustesse des modèles trimodaux :

• Taux de Succès d'Attaque (ASR) Élevés : Les perturbations uniquement audio peuvent induire de graves défaillances multimodales. L'attaque combinée a atteint un ASR de 96,03 % sur le benchmark AVQA en utilisant VideoLLAMA2. La perte de similitude cosinus basée sur l'encodeur ($L_{(cos)}$) seule a atteint un ASR de 89,12 %, surpassant les objectifs de niveau de sortie et d'attention dans de nombreux cas.
• Faible Distorsion Perceptive : Des attaques hautement efficaces peuvent être obtenues avec une distorsion perceptive minimale. Les attaques réussies ont maintenu des scores LPIPS faibles (ex: $0,08$ pour $L_{(cos)}$) et des valeurs SI-SNR proches de zéro ou positives, indiquant que les perturbations sont subtiles et structurées plutôt que bruitées.
• Optimisation vs Échelle des Données : L'efficacité de l'attaque est davantage pilotée par l'extension des itérations d'optimisation que par la taille du jeu de données. Les modèles entraînés sur de plus petits jeux de données (ex: 1 000 échantillons) mais optimisés pour de nombreuses itérations (ex: 372k) ont obtenu des ASR significativement plus élevés que ceux entraînés sur de plus grands jeux de données avec moins d'itérations.
• Transferabilité Limitée :
  • Inter-Modèles : Les attaques entraînées sur une architecture (ex: VideoLLAMA2) ont montré une faible transférabilité vers d'autres (ex: Qwen 2.5/3 Omni), l'ASR chutant de ~10 % à ~3-4 %. Cela suggère que les attaques exploitent des caractéristiques représentationnelles spécifiques au modèle.
  • Inter-Domaines : Les attaques entraînées sur des données audio-visuelles générales (AVQA) ont mal transféré vers les domaines musicaux (Music-AVQA), n'atteignant que 13,80 % d'ASR contre 89,07 % sur le domaine source.
  • Inter-Architectures : Les perturbations de l'espace encodeur ne se sont pas transférées entre différentes architectures d'encodeurs audio (ex: BEATs vs encodeurs de type Whisper).
• Vulnérabilité de la Reconnaissance Vocale : Contrairement aux modèles trimodaux, les systèmes de reconnaissance vocale (Whisper) ont principalement répondu à l'amplitude de la distorsion acoustique plutôt qu'à des objectifs d'attaque spécifiques. Les attaques induisant une distorsion élevée (comme $L_{negLM}$) ont atteint plus de 97 % d'ASR sur Whisper, tandis que les attaques à faible distorsion ont échoué.
• Vulnérabilités Spécifiques aux Couches : Les couches inférieures du transformeur (1–10) ont été identifiées comme étant les plus critiques pour les attaques pilotées par l'audio, tandis que les couches supérieures ont montré une vulnérabilité systématiquement faible.
• Stabilité de la Confiance : Malgré un ASR élevé, le modèle a maintenu une confiance élevée dans ses sorties (incorrectes) adverses, avec des niveaux de confiance similaires aux entrées propres. Cela suggère que les défaillances adverses proviennent d'un désalignement interne plutôt que d'une incertitude du modèle, ce qui les rend difficiles à détecter via la surveillance de la confiance.

Signification et Revendications

L'article affirme exposer une surface d'attaque à modalité unique auparavant négligée dans les systèmes multimodaux. Les résultats démontrent qu'un attaquant contrôlant uniquement le flux audio peut dégrader systématiquement le raisonnement multimodal sans altérer les entrées visuelles ou textuelles.

Les auteurs soulignent que ces conclusions motivent la nécessité de défenses qui imposent une cohérence inter-modale, car les modèles actuels sont vulnérables à des perturbations audio subtiles et structurées qui se propagent à travers le système pour causer des échecs de raisonnement catastrophiques. L'étude met en évidence que la robustesse ne peut être supposée simplement parce qu'un modèle intègre plusieurs modalités ; des vulnérabilités spécifiques dans l'encodage audio et les mécanismes d'attention croisée doivent être traitées.

Le travail est présenté comme une étape fondamentale vers la compréhension de ces vulnérabilités, les auteurs notant des limites telles que l'accent mis sur les contextes en boîte blanche, les perturbations uniquement numériques et l'absence de défenses évaluées, suggérant ces points comme des directions pour la recherche future.