Investigating Modality Contribution in Audio LLMs for Music

Technische Samenvatting: Onderzoek naar de Bijdrage van Modaliteiten in Audio LLM's voor Muziek

Probleemstelling
Audio Large Language Models (Audio LLM's) zijn ontworpen om mensachtige conversaties over muziek te faciliteren door audio-informatie te integreren in redeneerprocessen. Echter, recente benchmarks, zoals MuChoMusic, onthullen een paradox: terwijl deze modellen hoge nauwkeurigheid bereiken bij meerkeuzevragen, suggereren indirecte experimenten (bijvoorbeeld het vervangen van audio door stilte of ruis) dat ze niet echt "luisteren". In plaats daarvan vertrouwen ze mogelijk voornamelijk op tekstuele redenering of voorkennis, een fenomeen bekend als modaliteitsonevenwicht of unimodaal instorten. Huidige evaluatiemethoden die vertrouwen op nauwkeurigheidsmetrieken zijn ontoereikend omdat ze geen onderscheid maken tussen modellen die audio correct gebruiken en die welke het juiste antwoord uitsluitend via tekst bereiken. Er is een kritieke behoefte aan een prestatie-agnostische methode om de specifieke bijdrage van elke modaliteit (audio versus tekst) aan de voorspelling van een model te kwantificeren.

Methodologie
Om dit aan te pakken, passen de auteurs het MultiModal-SHAP (MM-SHAP)-kader, oorspronkelijk voorgesteld voor visueel-taalmmodellen, toe op het domein van Audio LLM's. De kernmethodologie vertrouwt op Shapley-waarden uit de coöperatieve speltheorie om de marginale bijdrage van invoerfeatures aan de output van een model te meten.

1. Featureperturbatie via Maskering: De studie hanteert een maskeringstrategie om Shapley-waarden te benaderen.
   • Audio: Ruwe golfvormsegmenten worden op nul gezet. De grootte van het maskeringvenster wordt dynamisch aangepast op basis van het aantal teksttokens om een gebalanceerd featureaantal tussen modaliteiten te garanderen ($n_A \approx n_T$).
   • Tekst: Specifieke tokens worden vervangen door het [MASK]-token. Speciale tokens (bijvoorbeeld audio-indicatoren, vraagmarkeringen) worden behouden om de structurele integriteit te handhaven.
2. Scoreberekening: In tegenstelling tot classificatietaken waarbij kansen worden gemeten, behandelt deze studie generatietaken. De auteurs identificeren de tokens die corresponderen met het gegenereerde antwoord van het model (bijvoorbeeld "Deurbel") in een ongemaskerde baseline-run. Vervolgens berekenen ze de verandering in logits voor deze specifieke tokens wanneer subsets van audio- en tekstfeatures worden gemaskeerd.
3. Modaliteitsbijdragemetrieken: De studie aggregeert de absolute Shapley-waarden voor alle audiofeatures ($\Phi_A$) en tekstfeatures ($\Phi_T$). Om directe vergelijking mogelijk te maken, definiëren ze genormaliseerde ratios:
   • A-SHAP: $\frac{\Phi_A}{\Phi_T + \Phi_A}$
   • T-SHAP: $1 - \text{A-SHAP}$
     Een perfect gebalanceerd model zou een A-SHAP van 0,5 opleveren.

Experimentele Opstelling
De auteurs evalueerden twee state-of-the-art Audio LLM's op de MuChoMusic-benchmark:

• MU-LLaMA: Gebruikt MERT-v1-330M als audio-encoder en LLaMA 2 7B als taalmodel.
• Qwen-Audio: Gebruikt Whisper-large-v2 als audio-encoder en Qwen-7B als LLM.

Experimenten werden uitgevoerd onder twee voorwaarden: Meerkeuze met eerdere instructies (MC-PI) en Meerkeuze zonder eerdere instructies (MC-NPI). De studie omvatte ook een kwalitatieve analyse van specifieke vragen die de lokalisatie van enkele geluidsevenementen vereisten versus langdurig audio-begrip.

Belangrijkste Resultaten

• Omgekeerde relatie tussen nauwkeurigheid en audio-gebruik: Het model met de hogere nauwkeurigheid (Qwen-Audio) vertrouwde aanzienlijk minder op de audiomodaliteit (A-SHAP $\approx$ 0,21–0,23) in vergelijking met het minder nauwkeurige model (MU-LLaMA, A-SHAP $\approx$ 0,47–0,50). Dit geeft aan dat hogere prestaties op MuChoMusic niet correleren met een gebalanceerd modaliteitsgebruik.
• Tekst-dominantie in meerkeuze: Beide modellen vertoonden een sterke bias naar tekst, vooral in de MC-PI-opstelling, wat suggereert dat het meerkeuzeformaat modellen in staat stelt problemen op te lossen met behulp van tekstuele redenering of eliminatie van afleiders in plaats van perceptuele audio-analyse.
• Audio wordt niet genegeerd: Ondanks lage algehele A-SHAP-scores, onthulde kwalitatieve inspectie dat audiofeatures nog steeds betekenisvol bijdragen. Voor tokens die corresponderen met ground-truth geluidsevenementen (bijvoorbeeld "bel"), stemden positieve Shapley-waarden overeen met de specifieke tijdssegmenten die deze geluiden bevatten. De grootte van de audio-bijdragen was echter vaak lager dan die van tekst, en in sommige gevallen traden sterke activeringen op in gebieden die niet gerelateerd waren aan het juiste antwoord (bijvoorbeeld piano-noten wanneer het antwoord een bel was).
• Taakafhankelijkheid: Toen de taak werd verschoven van meerkeuze naar open-ended audio-beschrijving, nam de A-SHAP voor Qwen-Audio aanzienlijk toe (tot 0,73), wat aantoont dat modaliteitsgebruik sterk afhankelijk is van de taakformulering.

Betekenis en Claims
Het artikel claimt de eerste toepassing van MM-SHAP op Audio LLM's te zijn. De primaire bijdrage is het bieden van een kwantitatief, prestatie-agnostisch kader om te inspecteren hoe deze modellen audio versus tekst gebruiken. De auteurs betogen dat hun bevindingen de aanname uitdagen dat optimale multimodale modellen alle modaliteiten gelijk moeten gebruiken; een model kan hoge nauwkeurigheid bereiken terwijl het zwaar vertrouwt op een enkele modaliteit.

De studie benadrukt een kloof tussen "luisteren" (perceptuele verwerking) en "redeneren" (tekstuele inferentie). Hoewel de modellen audio niet volledig negeren, suggereren de lage bijdragescores in meerkeuzetaken dat huidige benchmarks mogelijk het vermogen van een LLM om afleiders te elimineren testen in plaats van het vermogen om geluid te waarnemen. De auteurs concluderen dat MM-SHAP dient als een fundamentele stap voor Explainable AI (XAI) in audio, hoewel ze beperkingen erkennen met betrekking tot het ontbreken van ground truth voor complexe muzikale concepten (melodie, structuur) en de gevoeligheid van resultaten voor maskeringstrategieën en venstergroottes. Er wordt voorgesteld om in toekomstig werk systematisch te onderzoeken hoe audio-informatie multimodale integratie overleeft bij verschillende taakformuleringen.