⚡ electrical engineering

SoundBreak: A Systematic Study of Audio-Only Adversarial Attacks on Trimodal Models

Diese Arbeit zeigt auf, dass trimodale Audio-Video-Sprachmodelle äußerst anfällig für ungerichtete, rein auditive Adversarial Attacks sind, die durch das Ausnutzen von Schwachstellen in verschiedenen Stadien der multimodalen Verarbeitung Erfolgsraten von bis zu 96 % bei minimaler perzeptueller Verzerrung erreichen können.

Ursprüngliche Autoren: Aafiya Hussain, Gaurav Srivastava, Alvi Ishmam, Zaber Hakim, Chris Thomas

Veröffentlicht 2026-01-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aafiya Hussain, Gaurav Srivastava, Alvi Ishmam, Zaber Hakim, Chris Thomas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr intelligenten, dreiäugigen Roboter namens „Trimodal“. Dieser Roboter kann Videos sehen, Geräusche hören und Text lesen – und das alles gleichzeitig. Er nutzt alle drei Sinne gemeinsam, um Fragen zu beantworten, wie zum Beispiel: „Was macht die Person im Video?“ oder „Welches Lied spielt im Hintergrund?“

Das Paper SOUNDBREAK stellt eine beängstigende Frage: Was wäre, wenn wir diesen Roboter austricksen könnten, indem wir ihm nur ins Ohr flüstern, ohne das Video oder den Text auch nur zu verändern?

Hier ist die Aufschlüsselung ihrer Ergebnisse, unter Verwendung einfacher Analogien:

1. Der Angriff: Das „Flüsternde Gespenst“

Die meisten Menschen denken, dass man einen Roboter austricksen muss, indem man seine Augen (das Video) oder sein Gehirn (den Text) manipuliert. Aber die Forscher fanden einen neuen Weg: Sie haben nur das Audio manipuliert.

Die Analogie: Stellen Sie sich vor, der Roboter versucht, ein Puzzle zu lösen, während er ein Noise-Cancelling-Headset trägt. Die Forscher haben das Headset nicht kaputt gemacht; sie haben lediglich ein ganz spezielles, fast lautloses „Gespensterflüstern“ zur Tonspur hinzugefügt.
Das Ergebnis: Obwohl das Video perfekt aussah und der Text normal war, wurde der Roboter verwirrt. Er begann, falsche Antworten mit vollkommener Zuversicht zu geben. In einigen Tests gelang es ihnen, den Roboter 96 % der Zeit zu manipulieren.

2. Die sechs Wege, wie sie den Roboter austricksten

Die Forscher probierten sechs verschiedene „Flüstermethoden“ (Angriffsmethoden) aus, um zu sehen, welcher Teil des Robotergehirns am empfindlichsten reagiert:

Der „Selbstvertrauens-Killer“ (Negative Language Loss): Sie flüsterten Anweisungen, die den Roboter dazu brachten, an seiner eigenen korrekten Antwort zu zweifeln.
Die „Ohrenschützer“ (Encoder Similarity): Sie manipulierten die Rohdatenverarbeitung des Roboters (den Teil, der Schallwellen in Daten umwandelt), sodass der Klang für die internen Sensoren des Roboters völlig anders aussah, obwohl er für einen Menschen gleich klang. Dies war die effektivste Methode.
Die „Augenbinde“ (Vision Attention Suppression): Sie flüsterten auf eine Weise, die den Roboter dazu brachte, das Video komplett zu ignorieren und sich stattdessen nur auf das (nun korrumpierte) Audio zu konzentrieren.
Der „Über-Zuhörer“ (Audio Attention Amplification): Sie zwangen den Roboter, zu viel Aufmerksamkeit auf das Audio zu richten, wodurch er die visuellen Hinweise ignorierte.
Der „Chaos-Agent“ (Attention Randomization): Sie verwirrten den internen Fokus des Roboters und ließen ihn Dinge in einer zufälligen, unsinnigen Reihenfolge betrachten.
Der „Gehirnnebel“ (Hidden-State Similarity): Sie manipulierten die internen Gedächtnisschichten des Roboters, sodass seine Gedanken von der Wahrheit abdrifteten.

Der Gewinner: Der „Ohrenschützer“-Ansatz (die Manipulation des Audio-Encoders) war der stärkste. Es ist, als würde man die Sprache des Roboters ändern, noch bevor er überhaupt anfängt zu denken, anstatt nur seine endgültige Antwort zu verwirren.

3. Die „Magie“ des Angriffs

Die Forscher fanden einige überraschende Dinge darüber heraus, wie diese Angriffe funktionieren:

Es geht nicht um die Lautstärke: Man muss den Roboter nicht anschreien. Die „Flüsterstimmen“ waren so leise, dass ein menschlicher Zuhörer keinen Unterschied feststellen konnte. Die Verzerrung war so gering, dass sie für unsere Ohren fast unsichtbar war, doch sie brachte den Roboter dennoch völlig aus dem Gleichgewicht.
Übung macht den Meister: Es spielte keine Rolle, ob sie eine riesige Bibliothek von Videos nutzten, um den Angriff zu trainieren. Entscheidend war, wie lange sie an einem kleinen Datensatz geübt hatten. Es ist wie ein Taschendieb, der stundenlang an einer ganz bestimmten Person übt und so zum Meister wird, anstatt einmalig tausend verschiedene Taschen zu leeren.
Der Roboter bleibt selbstbewusst: Selbst wenn der Roboter eine falsche Antwort gab, war er sich zu 100 % sicher, dass er recht hatte. Er sagte nicht: „Ich bin mir nicht sicher.“ Er hat einfach selbstbewusst gelogen. Das macht es sehr schwierig, den Fehler des Roboters zu entdecken.

4. Die Grenzen: Es ist kein Generalschlüssel

Die Forscher fanden auch heraus, dass dieser Trick kein „Meisterschlüssel“ ist, der bei jedem Roboter funktioniert.

Modellspezifisch: Wenn man das Flüstern trainiert, um Roboter A zu täuschen, schlägt es bei Roboter B meistens fehl. Es ist, als würde man lernen, ein ganz bestimmtes Schloss zu knacken; auf ein anderes Modell funktioniert es nicht.
Spracherkennung ist anders: Als sie dies bei einem einfachen Spracherkennungssystem (wie Siri oder Whisper) testeten, war dem System egal, welche Art von Flüstern verwendet wurde. Es kümmerte sich nur darum, wie laut das Geräusch war. Wenn das Geräusch laut genug war, um den Klang zu verzerren, versagte das Sprachsytem. Aber für die komplexen „Video+Audio+Text“-Roboter war die Struktur des Flüsterns wichtiger als die Lautstärke.

5. Das große Fazit

Das Paper kommt zu dem Schluss, dass wir die Sicherheit dieser intelligenten Roboter durch die falsche Brille betrachtet haben. Wir dachten, wir müssten das Video und den Text schützen. Aber diese Studie zeigt, dass Audio eine versteckte Hintertür ist.

Durch das Hinzufügen eines winzigen, strukturierten „Geisterflüsterns“ zum Audio kann ein Angreifer einen hochintelligenten, multisensorischen Roboter völlig versagen lassen, ohne jemals das Video oder den Text zu berühren. Die Forscher schlagen vor, dass wir Roboter bauen müssen, die prüfen, ob ihre Ohren, Augen und Gehirne dieselbe Geschichte erzählen, anstatt einfach nur einem davon zu vertrauen.

Technisches Resümee: SOUNDBREAK

Problemdefinition

Multimodale Fundamentmodelle, die Audio, Vision und Sprache integrieren, haben starke Fähigkeiten zur Argumentation demonstriert, doch ihre Robustheit gegenüber adversarieller Manipulation ist noch unzureichend verstanden. Während die bisherige Forschung intensiv visuelle Sprachangriffe, unimodale Audioangriffe und multimodale koordinierte Angriffe untersucht hat, besteht eine signifikante Lücke im Verständnis von ungetargeteten, rein audiobasierten adversariellen Angriffen auf trimodale (Audio-Video-Sprache) Modelle.

Das in dieser Arbeit untersuchte spezifische Bedrohungsszenario geht von einem Angreifer aus, der lediglich den Audiokanal innerhalb einer multimodalen Input-Pipeline kontrolliert. Der Angreifer versucht, die Argumentationsleistung des Modells zu beeinträchtigen, ohne die visuellen oder textuellen Inputs zu verändern. Dieses Szenario gilt als realistisch, da Audio-Manipulationen über kompromittierte Mikrofone, Umgebungslautsprecher oder Übertragungskanäle erfolgen können und oft schwerer zu detektieren sind als visuelle Störungen.

Methodik

Die Autoren schlagen SOUNDBREAK vor, ein systematisches Framework zur Generierung geteilter Audio-Perturbationen (die über die Trainingsdaten gelernt werden, statt pro Sample), um multimodale Ausfälle zu induzieren. Der Angriff wird als White-Box-Optimierungsproblem formuliert, bei dem eine additive Perturbation $\delta$ in die saubere Audio-Wellenform $x_a$ injiziert wird, um $\tilde{x}_a = x_a + \delta$ zu erzeugen, unter der Bedingung einer $\ell_\infty$ -Norm-Beschränkung ( $\|\delta\|_\infty \leq \epsilon$ ).

Der Kernbeitrag ist das Design von sechs komplementären adversariellen Zielsetzungen (Objectives), die verschiedene Stadien der multimodalen Verarbeitungspipeline adressieren:

Negative Language Modeling Loss ( $L_{negLM}$ ): Reduziert direkt das Vertrauen des Modells in die Ground-Truth-Antwort, indem die Log-Wahrscheinlichkeit der korrekten Ausgabesequenz minimiert wird.
Encoder-Based Cosine Similarity Loss ( $L_{(cos)}$ ): Zielt auf den Repräsentationsraum des Audio-Encoders ab, indem die Kosinus-Ähnlichkeit zwischen den Embeddings der sauberen und der perturbierten Audios minimiert wird, um die grundlegenden Audio-Features zu korrumpieren.
Vision Attention Suppression Loss ( $L_{(visionatt)}$ ): Aggregiert die der Vision-Tokens zugewiesene Attention-Masse und minimiert diese, was das Modell effektiv gegenüber visuellen Beweisen „blind“ macht.
Audio Attention Amplification Loss ( $L_{(audioatt)}$ ): Aggregiert die der Audio-Tokens zugewiesene Attention-Masse und maximiert diese (durch Minimierung des Negativen), um das Modell dazu zu zwingen, sich übermäßig auf den perturbierten Audiostream zu verlassen.
Attention Randomization Loss ( $L_{(randatt)}$ ): Stört die strukturelle Integrität der Attention-Mechanismen, indem die KL-Divergenz zwischen den tatsächlichen Attention-Verteilungen und randomisierten Zielen minimiert wird.
Hidden-State Similarity Loss ( $L_{(hidden-cos)}$ ): Zielt auf interne Transformer-Hidden-States über verschiedene Layer hinweg ab, um die adversariellen Repräsentationen von ihren sauberen Gegenstücken wegzudrängen.

Eine Kombinierte Loss-Formulierung ( $L_{combined}$ ) wird ebenfalls evaluiert, welche alle sechs Zielsetzungen gemeinsam optimiert. Die Optimierung nutzt Projected Gradient Descent (PGD) mit Adam und iteriert über den Trainingsdatensatz, um eine geteilte Perturbation zu lernen.

Wichtige Beiträge

Neuartiges Bedrohungsszenario: Die Studie ist die erste, die ungetargetete, rein audiobasierte Angriffe auf trimodale Audio-Video-Sprache-Modelle systematisch analysiert und damit über unimodale oder bimodale Settings hinausgeht.
Mehrstufige Angriffsziele: Der Vorschlag von sechs distinkten Loss-Funktionen, die Schwachstellen auf Encoder-, Attention-, Hidden-State- und Output-Ebene untersuchen, ermöglicht die Disentanglement (Entflechtung) dessen, welche Rechenkomponenten am anfälligsten sind.
Systematische Evaluierung: Umfangreiche Experimente wurden über drei State-of-the-Art-Modelle (VideoLLAMA2, Qwen 2.5 Omni, Qwen 3 Omni) und drei Benchmarks (AVQA, AVSD, Music-AVQA) sowie Evaluierungen auf Spracherkennungssystemen (Whisper) durchgeführt.

Experimentelle Ergebnisse

Die Studie zeigt mehrere kritische Erkenntnisse bezüglich der Robustheit von Trimodal-Modellen auf:

Hohe Erfolgsraten der Angriffe (ASR): Rein audiobasierte Perturbationen können schwere multimodale Ausfälle induzieren. Der kombinierte Angriff erreichte eine ASR von 96,03 % auf dem AVQA-Benchmark mit VideoLLAMA2. Der Encoder-basierte Cosine Similarity Loss ( $L_{(cos)}$ ) allein erreichte eine ASR von 89,12 % und übertraf in vielen Fällen Output-Level- und Attention-basierte Zielsetzungen.
Geringe perzeptuelle Distorsion: Hocheffektive Angriffe können mit minimaler perzeptueller Verzerrung erreicht werden. Erfolgreiche Angriffe behielten niedrige LPIPS-Scores bei (z. B. $0,08 $für$ L_{(cos)}$) und SI-SNR-Werte nahe Null oder im positiven Bereich, was darauf hindeutet, dass die Perturbationen subtil und strukturiert statt verrauscht sind.
Optimierung vs. Datengröße: Die Effektivität des Angriffs wird eher durch ausgedehnte Optimierungsiterationen als durch die Datensatzgröße getrieben. Modelle, die auf kleineren Datensätzen (z. B. 1.000 Samples) trainiert, aber über viele Iterationen (z. B. 372k) optimiert wurden, erreichten eine signifikant höhere ASR als solche, die auf größeren Datensätzen mit weniger Iterationen trainiert wurden.
Begrenzte Transferierbarkeit:
- Cross-Modell: Auf einer Architektur trainierte Angriffe (z. B. VideoLLAMA2) zeigten eine schlechte Transferierbarkeit auf andere (z. B. Qwen 2.5/3 Omni), wobei die ASR von ~10 % auf ~3-4 % sank. Dies deutet darauf hin, dass Angriffe modellspezifische Repräsentationseigenschaften ausnutzen.
- Cross-Domain: Auf allgemeinen Audio-Visuellen Daten (AVQA) trainierte Angriffe transferierten schlecht auf musikalische Domänen (Music-AVQA) und erreichten dort nur 13,80 % ASR im Vergleich zu 89,07 % im Quell-Domain.
- Cross-Architecture: Perturbationen im Encoder-Raum transferierten nicht über unterschiedliche Audio-Encoder-Architekturen hinweg (z. B. BEATs vs. Whisper-Stil Encoder).
Vulnerabilität der Spracherkennung: Im Gegensatz zu Trimodal-Modellen reagierten Spracherkennungssysteme (Whisper) primär auf die Magnitude der akustischen Distorsion statt auf spezifische Angriffsziele. Angriffe, die eine hohe Distorsion induzierten (wie $L_{negLM}$ ), erreichten >97 % ASR auf Whisper, während Low-Distortion-Angriffe scheiterten.
Layerspezifische Vulnerabilitäten: Die unteren Transformer-Layer (1–10) wurden als die kritischsten für audiogetriebene Angriffe identifiziert, während höhere Layer eine konsistent niedrige Vulnerabilität zeigten.
Stabilität der Konfidenz: Trotz hoher ASR behielt das Modell eine hohe Konfidenz in seinen (falschen) adversariellen Ausgaben bei, mit Konfidenzniveaus, die denen der sauberen Inputs ähnelten. Dies deutet darauf hin, dass adversarielle Ausfälle aus interner Fehlbelegung (Misalignment) resultieren und nicht aus Modellunsicherheit, was sie schwer über die Konfidenz-Überwachung detektierbar macht.

Bedeutung und Ansprüche

Das Paper behauptet, eine zuvor übersehene, eindimensionale Angriffsfläche (Single-Modality Attack Surface) in multimodalen Systemen offengelegt zu haben. Die Ergebnisse zeigen, dass ein Angreifer, der nur den Audiostream kontrolliert, die multimodale Argumentation systematisch degradieren kann, ohne visuelle oder textuelle Inputs zu verändern.

Die Autoren betonen, dass diese Erkenntnisse die Notwendigkeit von Defenses motivieren, die eine Cross-Modal Consistency erzwingen, da aktuelle Modelle anfällig für subtile, strukturierte Audio-Perturbationen sind, die durch das System propagieren und katastrophale Argumentationsfehler verursachen. Die Studie hebt hervor, dass Robustheit nicht einfach vorausgesetzt werden kann, nur weil ein Modell mehrere Modalitäten integriert; spezifische Schwachstellen in den Audio-Encoding- und Cross-Modal-Attention-Mechanismen müssen adressiert werden.

Die Arbeit wird als ein grundlegender Schritt zum Verständnis dieser Vulnerabilitäten präsentiert, wobei die Autoren Einschränkungen wie den Fokus auf White-Box-Settings, rein digitale Perturbationen und das Fehlen evaluierter Defenses anmerken, was diese als Richtungen für zukünftige Forschung vorschlägt.