Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition

Die Arbeit stellt Dr. SHAP-AV vor, ein Framework zur Analyse der Beitragsverteilung von Audio- und Visualmodalitäten in der audiovisuellen Spracherkennung mittels Shapley-Werten, das aufzeigt, wie Modelle unter Rauschen zwar visuell dominieren, aber eine starke Audio-Bias beibehalten, und dabei SNR als treibenden Faktor für die Modalitätsbewertung identifiziert.

Das Wesentliche

Hier ist eine einfache und kreative Erklärung der Forschung von Dr. SHAP-AV, als würde man sie einem Freund beim Kaffee erzählen:

🎤👁️ Die Detektivarbeit im Kopf einer KI: Wer macht eigentlich die Arbeit?

Stell dir vor, du hast einen sehr klugen, aber manchmal etwas verwirrten Übersetzer. Dieser Übersetzer kann nicht nur hören, was gesagt wird, sondern auch die Lippenbewegungen des Sprechers sehen. Das nennt man Audio-Visuelle Spracherkennung (AVSR).

Das Problem ist: Wenn es laut ist (wie in einer vollen Kneipe), hören wir oft nichts mehr, aber wir können die Lippenbewegungen noch gut sehen. Wenn es leise ist, hören wir alles perfekt. Die Forscher wollten herausfinden: Wie viel vertraut die KI eigentlich auf das Gehör und wie viel auf das Sehen? Und ändert sich das, wenn es lauter wird?

Bisher war das ein Rätsel. Die Forscher haben jetzt eine neue Methode namens Dr. SHAP-AV entwickelt, um dieses Rätsel zu lösen.

---

🕵️‍♂️ Die Detektive: Dr. SHAP-AV

Stell dir vor, die KI ist ein Team von zwei Mitarbeitern: Herr Audio (das Mikrofon) und Frau Video (die Kamera). Sie arbeiten zusammen, um einen Text zu schreiben.

Früher wusste niemand, wer wie viel zur Lösung des Rätsels beigetragen hat. Hatte Herr Audio die meiste Arbeit gemacht? Oder hat Frau Video gerettet, als es laut wurde?

Dr. SHAP-AV ist wie ein super-kluger Detektiv, der die Arbeit genau aufteilt. Er nutzt eine mathematische Methode (Shapley-Werte), die wie eine faire Rechnung funktioniert:

• Er schaut sich an, was passiert, wenn man Herrn Audio für einen Moment "stumm schaltet".
• Dann schaltet er Frau Video stumm und schaut, was passiert.
• Am Ende kann er genau sagen: "Oh, in diesem Satz hat Herr Audio 70% der Arbeit gemacht, aber in diesem anderen Satz, wo es laut war, hat Frau Video 60% übernommen."

---

🔍 Was haben die Detektive herausgefunden?

Die Forscher haben sechs verschiedene moderne KI-Modelle untersucht. Hier sind die wichtigsten Entdeckungen, übersetzt in Alltagssprache:

1. Der "Audio-Bias": Die KI ist ein Audiophile 🎧

Selbst wenn es extrem laut ist und man fast nichts mehr hört, vertrauen die KIs immer noch stark auf das Mikrofon.

• Die Analogie: Stell dir vor, du bist in einer lauten Fabrikhalle. Du siehst deinen Freund die Lippen bewegen, aber du hörst ihn kaum. Ein normaler Mensch würde sofort nur noch auf die Lippen schauen. Die KI hingegen sagt: "Ich sehe die Lippen, aber ich versuche trotzdem noch verzweifelt, durch das Lärm-Gewitter zu hören!"
• Ergebnis: Die KIs wechseln zwar zur Kamera, wenn es laut wird, aber sie lassen das Mikrofon nie ganz los. Sie verlassen sich immer noch zu 40–50% auf das Audio, selbst wenn es sehr schlecht ist.

2. Die Reise während des Schreibens 📝

Die KIs ändern ihre Strategie, während sie einen Satz "schreiben" (generieren).

• Die Analogie: Bei manchen Modellen (wie Whisper-Flamingo) ist es so, als würden sie am Anfang eines Satzes erst mal vorsichtig auf die Lippen schauen ("Was sagt er wohl?"). Aber je mehr sie geschrieben haben, desto mehr trauen sie sich wieder, auf das Mikrofon zu hören, weil der Kontext hilft, das Rauschen zu verstehen.
• Andere Modelle (wie AV-HuBERT) bleiben die ganze Zeit ruhig und ausgewogen. Sie schauen immer gleich viel auf Audio und Video, egal ob es laut ist oder nicht.

3. Die Zeit ist heilig ⏱️

Die KI behält die Reihenfolge bei.

• Die Analogie: Wenn du im Video zuerst "Hallo" siehst und dann "Welt" hörst, schreibt die KI auch erst "Hallo" und dann "Welt". Sie vermischt die Zeit nicht durcheinander. Selbst wenn das Audio total verrauscht ist, bleibt diese zeitliche Ordnung erhalten. Die KI ist sehr gut darin, zu wissen, wann was passiert.

4. Die Art des Lärms macht einen Unterschied 🎵🗣️

Nicht jeder Lärm ist gleich.

• Die Analogie: Wenn jemand anderes im Raum redet (Babble-Lärm), wird die KI panischer und schaut mehr auf die Lippen. Wenn es nur Musik im Hintergrund gibt, bleibt sie ruhiger und vertraut mehr auf das Mikrofon. Es hängt also davon ab, was genau das Störgeräusch ist.

5. Die Länge des Satzes ist entscheidend 📏

Bei manchen Modellen spielt es eine Rolle, wie lange der Satz ist.

• Die Analogie: Bei sehr langen Sätzen nutzen manche KIs die Kamera mehr, weil das Mikrofon über die Zeit immer mehr "müde" wird (das Rauschen summiert sich). Bei anderen Modellen hilft ein langer Satz dem Mikrofon sogar, sich zu verbessern, weil es mehr Kontext hat. Es gibt keine feste Regel; jedes Modell macht das anders.

6. Der wichtigste Faktor: Die Lautstärke 📢

Am Ende ist es egal, wie schwer der Satz ist oder wie viele Fehler die KI macht. Der wichtigste Faktor ist einfach: Wie laut ist es?

• Wenn es leise ist, hören die KIs zu.
• Wenn es laut ist, schauen sie hin.
• Ob der Satz schwierig ist, spielt für die Entscheidung "Hören oder Sehen?" fast keine Rolle.

---

💡 Warum ist das wichtig?

Bisher haben Forscher nur geschaut, wie viele Fehler die KI macht (die "Word Error Rate"). Aber mit Dr. SHAP-AV verstehen wir jetzt, warum die KI Fehler macht oder warum sie funktioniert.

Die große Lehre:
Die KIs sind noch nicht perfekt darin, sich anzupassen. Sie schauen immer noch zu sehr auf das Mikrofon, selbst wenn es sinnlos ist. Die Forscher hoffen, dass man in Zukunft KI-Modelle baut, die lernen, das Mikrofon wirklich auszuschalten, wenn es zu laut ist, und sich voll auf die Lippen zu verlassen.

Zusammengefasst: Dr. SHAP-AV ist wie ein Spiegel, der der KI zeigt, wem sie gerade vertraut. Und das Ergebnis ist: Sie vertraut immer noch zu sehr auf das Gehör, auch wenn es in der lauten Welt eigentlich Zeit wäre, die Augen zu öffnen! 👀🎤

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition" auf Deutsch.

1. Problemstellung

Audio-visuelle Spracherkennung (AVSR) nutzt sowohl akustische als auch visuelle Informationen (z. B. Lippenbewegungen), um die Erkennungsgenauigkeit unter verrauschten Bedingungen zu verbessern. Trotz des offensichtlichen Vorteils in lauten Umgebungen bleibt unklar, wie moderne AVSR-Modelle die Beiträge dieser beiden Modalitäten tatsächlich gewichten und ausbalancieren.

Bisherige Studien konzentrierten sich primär auf die Minimierung der Wortfehlerrate (WER) und nicht auf die Interpretierbarkeit der Modalitätsnutzung. Es gibt Hinweise auf eine starke Audio-Bias (Audio-Verzerrung): Modelle neigen dazu, sich in sauberen Bedingungen fast ausschließlich auf das Audio zu verlassen, während der visuelle Encoder oft nur schwache Gradienten erhält. Es ist jedoch unklar, wie sich dieses Gleichgewicht dynamisch verändert, wenn die Audioqualität sinkt, während des Dekodierungsprozesses oder in Abhängigkeit von Eingabecharakteristika wie Rauschtyp oder Äußerungslänge.

2. Methodik: Dr. SHAP-AV Framework

Die Autoren stellen Dr. SHAP-AV vor, ein Framework, das auf Shapley-Werten aus der kooperativen Spieltheorie basiert, um die Beiträge der Modalitäten quantitativ und theoretisch fundiert zu analysieren.

• Grundlage (Shapley-Werte): Im Gegensatz zu heuristischen Methoden bieten Shapley-Werte eine faire Zuweisung von Vorhersagen zu Eingabefeatures. Sie messen den marginalen Beitrag eines Features (Audio- oder Video-Token) zur Modellvorhersage, unabhängig davon, ob die Vorhersage korrekt ist (leistungsagnostisch).
• Anpassung an AVSR: Das Framework wurde von reinen Encoder-LLM-Architekturen auf zwei Hauptklassen von AVSR-Modellen erweitert:
  1. LLM-basierte Architekturen (z. B. Llama-AVSR, Omni-AVSR), bei denen Audio/Video-Token in den LLM-Raum projiziert werden.
  2. Cross-Attention-basierte Encoder-Decoder-Modelle (z. B. AV-HuBERT, Whisper-Flamingo), bei denen der Decoder Audio und Video über Cross-Attention verarbeitet.
• Berechnung: Da die exakte Berechnung für hochdimensionale Eingaben unmöglich ist, wird eine Approximation mittels Permutation SHAP (und Sampling SHAP) verwendet. Dabei werden zufällige Permutationen der Eingabefeatures generiert, um den Beitrag jedes Features zur Log-Wahrscheinlichkeit der generierten Tokens zu schätzen.

3. Drei Analyse-Ebenen (Key Contributions)

Das Framework führt drei komplementäre Analysen durch, um die Modalitätsbeiträge auf verschiedenen Granularitäten zu untersuchen:

1. Global SHAP: Aggregiert die Beiträge über alle Features und Tokens hinweg, um das Gesamtbalanceverhältnis zwischen Audio und Video zu quantifizieren (A-SHAP vs. V-SHAP).
2. Generative SHAP: Untersucht die Dynamik der Modalitätsnutzung während des autoregressiven Dekodierens. Die generierte Sequenz wird in Zeitfenster unterteilt, um zu sehen, ob sich die Abhängigkeit von Audio oder Video im Laufe der Token-Generierung verschiebt.
3. Temporal Alignment SHAP: Analysiert die zeitliche Korrespondenz zwischen Eingabe-Features und Ausgabe-Tokens. Es wird geprüft, ob frühe Eingabe-Features primär zu frühen Ausgabe-Tokens beitragen (diagonale Struktur im Heatmap), was für die Spracherkennung essenziell ist.

4. Experimentelles Setup

• Modelle: 6 State-of-the-Art AVSR-Modelle wurden analysiert (3 LLM-basiert: Llama-AVSR, Llama-SMoP, Omni-AVSR; 3 Cross-Attention-basiert: AV-HuBERT, Auto-AVSR, Whisper-Flamingo).
• Datensätze: LRS2 und LRS3 (TED-Talks und BBC-Footage).
• Bedingungen: Tests unter verschiedenen Signal-zu-Rausch-Verhältnissen (SNR) von sauber (∞ dB) bis stark verrauscht (-10 dB) sowie verschiedene Rauschtypen (Babble, Musik, Umgebungsgeräusche, Sprache).

5. Wichtige Ergebnisse (Findings)

1. Dynamische Anpassung mit persistenter Audio-Bias:
   Modelle verschieben sich bei schlechter Audioqualität tatsächlich zugunsten des visuellen Inputs. Dennoch bleibt der Audio-Beitrag selbst bei extremem Rauschen (-10 dB) überraschend hoch (38–46 %). Man würde erwarten, dass Modelle bei solch schlechtem Audio fast vollständig auf Video umschalten, tun dies aber nicht. Dies deutet auf eine inhärente Audio-Bias hin, die durch den Decoder-Mechanismus aufrechterhalten wird.

2. Dynamik während der Generierung:
   Die Modalitätsbalance ändert sich während des Dekodierens.

   • Whisper-Flamingo und Omni-AVSR zeigen ein U-förmiges Muster unter Rauschen: Sie starten mit moderater Audio-Nutzung, sinken in der Mitte und erhöhen den Audio-Beitrag gegen Ende, da der linguistische Kontext hilft, das verrauschte Signal zu interpretieren.
   • AV-HuBERT behält hingegen eine sehr stabile Balance über den gesamten Prozess bei.

3. Robuste Zeitliche Ausrichtung:
   Beide Modalitäten (Audio und Video) behalten ihre zeitliche Struktur bei. Frühe Eingabe-Features tragen zu frühen Tokens bei und späte zu späten. Diese diagonale Ausrichtung bleibt auch unter starkem Rauschen (-10 dB) erhalten, obwohl sie etwas „verschmiert".

4. Einfluss des Rauschtyps:
   Der Grad der Verschiebung hin zum visuellen Modus hängt vom Rauschtyp ab. Schwierigere Bedingungen (z. B. Babble-Rauschen) führen zu einer stärkeren visuellen Abhängigkeit als andere Rauschtypen.

5. Einfluss der Äußerungsdauer:
   Es gibt keinen universellen Trend. Die Beziehung zwischen Äußerungslänge und Modalitätsbalance ist architekturabhängig. Bei Whisper-Flamingo nimmt der Audio-Beitrag mit der Länge ab, bei AV-HuBERT kann er unter Rauschen sogar leicht zunehmen.

6. SNR als dominanter Faktor:
   Der Signal-zu-Rausch-Verhältnis (SNR) ist der Haupttreiber für die Modalitätsbalance. Die eigentliche Erkennungsschwierigkeit (gemessen an der WER) hat innerhalb eines festen SNR-Niveaus nur einen minimalen Einfluss auf die Gewichtung.

6. Bedeutung und Fazit

Die Arbeit liefert tiefe Einblicke in das „Black-Box"-Verhalten von AVSR-Modellen. Die Ergebnisse zeigen, dass aktuelle Modelle zwar adaptiv sind, aber eine persistente Audio-Bias aufweisen, die selbst bei starkem Rauschen zu suboptimalen Gewichten führt.

• Implikationen: Es besteht Bedarf an expliziten Mechanismen zur dynamischen Gewichtung der Modalitäten basierend auf der Eingabequalität, um die Robustheit zu verbessern.
• Standardisierung: Die Autoren schlagen vor, Shapley-basierte Attributionen als Standard-Diagnosewerkzeug für zukünftige AVSR-Forschung zu etablieren, um nicht nur die Genauigkeit (WER), sondern auch die Art und Weise der multimodalen Integration zu verstehen.

Zusammenfassend bietet Dr. SHAP-AV das erste umfassende Werkzeug, um zu quantifizieren, wie und wann AVSR-Modelle Audio und Video nutzen, und deckt dabei fundamentale Verzerrungen und dynamische Verhaltensmuster auf.