Investigating Modality Contribution in Audio LLMs for Music

Technische Zusammenfassung: Untersuchung des Beitrags der Modalitäten in Audio-LLMs für Musik

Problemstellung
Audio-Large-Language-Modelle (Audio LLMs) sind darauf ausgelegt, menschähnliche Gespräche über Musik zu ermöglichen, indem sie Audioinformationen in die Reasoning-Prozesse integrieren. Neuere Benchmarks wie MuChoMusic offenbaren jedoch ein Paradoxon: Während diese Modelle bei Multiple-Choice-Fragen eine hohe Genauigkeit erreichen, deuten indirekte Experimente (z. B. Ersetzen von Audio durch Stille oder Rauschen) darauf hin, dass sie möglicherweise nicht wirklich „hören". Stattdessen verlassen sie sich vorwiegend auf textbasiertes Reasoning oder Vorwissen, ein Phänomen, das als Modalitätsungleichgewicht oder unimodaler Kollaps bekannt ist. Aktuelle Evaluierungsmethoden, die auf Genauigkeitsmetriken basieren, sind unzureichend, da sie nicht zwischen Modellen unterscheiden können, die Audio korrekt nutzen, und solchen, die allein über Text zu korrekten Antworten gelangen. Es besteht ein dringender Bedarf an einer leistungsagnostischen Methode, um den spezifischen Beitrag jeder Modalität (Audio vs. Text) zur Vorhersage eines Modells zu quantifizieren.

Methodik
Um dies zu adressieren, passen die Autoren das MultiModal-SHAP (MM-SHAP)-Framework, das ursprünglich für Vision-Language-Modelle vorgeschlagen wurde, auf den Bereich der Audio-LLMs an. Die Kernmethodik stützt sich auf Shapley-Werte aus der kooperativen Spieltheorie, um den marginalen Beitrag von Eingangsmerkmalen zum Output eines Modells zu messen.

1. Merkmalsperturbation durch Maskierung: Die Studie verwendet eine Maskierungsstrategie, um Shapley-Werte zu approximieren.
   • Audio: Rohwellenform-Segmente werden auf Null gesetzt. Die Größe des Maskierungsfensters wird dynamisch basierend auf der Anzahl der Text-Token angepasst, um eine ausgeglichene Merkmalsanzahl zwischen den Modalitäten sicherzustellen ($n_A \approx n_T$).
   • Text: Bestimmte Token werden durch das [MASK]-Token ersetzt. Spezielle Token (z. B. Audio-Indikatoren, Frage-Marker) werden beibehalten, um die strukturelle Integrität zu gewährleisten.
2. Berechnung der Scores: Im Gegensatz zu Klassifikationsaufgaben, bei denen Wahrscheinlichkeiten gemessen werden, befasst sich diese Studie mit Generierungsaufgaben. Die Autoren identifizieren die Token, die der vom Modell generierten Antwort entsprechen (z. B. „Türklingel"), in einem unmaskierten Baseline-Lauf. Anschließend berechnen sie die Änderung der Logits für diese spezifischen Token, wenn Teilmengen von Audio- und Textmerkmalen maskiert werden.
3. Metriken zum Modalitätsbeitrag: Die Studie aggregiert die absoluten Shapley-Werte für alle Audio-Merkmale ($\Phi_A$) und Text-Merkmale ($\Phi_T$). Um einen direkten Vergleich zu ermöglichen, definieren sie normalisierte Verhältnisse:
   • A-SHAP: $\frac{\Phi_A}{\Phi_T + \Phi_A}$
   • T-SHAP: $1 - \text{A-SHAP}$
     Ein perfekt ausgewogenes Modell würde einen A-SHAP von 0,5 ergeben.

Experimentelles Setup
Die Autoren evaluierten zwei state-of-the-art Audio-LLMs auf dem MuChoMusic-Benchmark:

• MU-LLaMA: Verwendet MERT-v1-330M als Audio-Encoder und LLaMA 2 7B als Sprachmodell.
• Qwen-Audio: Verwendet Whisper-large-v2 als Audio-Encoder und Qwen-7B als LLM.

Die Experimente wurden unter zwei Bedingungen durchgeführt: Multiple-Choice mit vorherigen Anweisungen (MC-PI) und Multiple-Choice ohne vorherige Anweisungen (MC-NPI). Die Studie umfasste zudem eine qualitative Analyse spezifischer Fragen, die die Lokalisierung einzelner Schallereignisse versus ein langfristiges Audio-Verständnis erfordern.

Hauptergebnisse

• Inverse Beziehung zwischen Genauigkeit und Audio-Nutzung: Das Modell mit höherer Genauigkeit (Qwen-Audio) verließ sich signifikant weniger auf die Audio-Modalität (A-SHAP $\approx$ 0,21–0,23) im Vergleich zum weniger genauen Modell (MU-LLaMA, A-SHAP $\approx$ 0,47–0,50). Dies zeigt, dass eine höhere Leistung auf MuChoMusic nicht mit einer ausgewogenen Modalitätsnutzung korreliert.
• Text-Dominanz bei Multiple-Choice: Beide Modelle zeigten eine starke Verzerrung zugunsten von Text, insbesondere im MC-PI-Setup, was darauf hindeutet, dass das Multiple-Choice-Format es Modellen ermöglicht, Probleme mittels textbasiertem Reasoning oder Eliminierung von Ablenkungen zu lösen, anstatt eine wahrnehmende Audio-Analyse durchzuführen.
• Audio wird nicht ignoriert: Trotz niedriger overaller A-SHAP-Scores ergab die qualitative Inspektion, dass Audio-Merkmale dennoch sinnvoll beitragen. Für Token, die Ground-Truth-Schallereignissen entsprechen (z. B. „Glocke"), stimmten positive Shapley-Werte mit den spezifischen Zeitsegmenten überein, die diese Sounds enthielten. Allerdings war die Magnitude der Audio-Beiträge oft geringer als die des Textes, und in einigen Fällen traten starke Aktivierungen in Bereichen auf, die nichts mit der korrekten Antwort zu tun hatten (z. B. Klaviernoten, wenn die Antwort eine Glocke war).
• Aufgabenabhängigkeit: Als die Aufgabe von Multiple-Choice zu einer offenen Audio-Beschreibung verschoben wurde, stieg der A-SHAP für Qwen-Audio signifikant an (auf 0,73), was zeigt, dass die Modalitätsnutzung stark von der Aufgabenformulierung abhängt.

Bedeutung und Behauptungen
Die Arbeit beansprucht die erste Anwendung von MM-SHAP auf Audio-LLMs zu sein. Ihr Hauptbeitrag besteht darin, ein quantitatives, leistungsagnostisches Framework bereitzustellen, um zu untersuchen, wie diese Modelle Audio versus Text nutzen. Die Autoren argumentieren, dass ihre Ergebnisse die Annahme herausfordern, dass optimale multimodale Modelle alle Modalitäten gleich nutzen müssen; ein Modell kann eine hohe Genauigkeit erreichen, während es sich stark auf eine einzelne Modalität verlässt.

Die Studie hebt eine Lücke zwischen „Hören" (wahrnehmende Verarbeitung) und „Reasoning" (textbasierte Inferenz) hervor. Zwar ignorieren die Modelle Audio nicht vollständig, aber die niedrigen Beitragswerte bei Multiple-Choice-Aufgaben deuten darauf hin, dass aktuelle Benchmarks möglicherweise die Fähigkeit eines LLM testen, Ablenkungen zu eliminieren, anstatt seine Fähigkeit, Schall zu wahrzunehmen. Die Autoren schließen, dass MM-SHAP als grundlegender Schritt für Explainable AI (XAI) im Audio-Bereich dient, obwohl sie Einschränkungen bezüglich des Fehlens von Ground Truth für komplexe musikalische Konzepte (Melodie, Struktur) und der Empfindlichkeit der Ergebnisse gegenüber Maskierungsstrategien und Fenstergrößen anerkennen. Für die Zukunft wird vorgeschlagen, systematisch zu untersuchen, wie Audioinformationen über verschiedene Aufgabenformulierungen hinweg die multimodale Integration überstehen.