Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition

Dit paper introduceert Dr. SHAP-AV, een framework dat Shapley-waarden gebruikt om de bijdragen van audio- en visuele modaliteiten in AVSR-modellen te ontcijferen, waarbij wordt vastgesteld dat hoewel modellen bij ruis verschuiven naar visuele afhankelijkheid, er een aanhoudende audio-bias blijft bestaan die wordt gedreven door het signaal-ruisverhouding (SNR).

De kern

Dr. SHAP-AV: De Geheimen van de Tweesprong tussen Oor en Oog

Stel je voor dat je in een drukke café zit. Je probeert een gesprek te volgen, maar de muziek is hard en er wordt overal tegelijkertijd gepraat. Wat doe je? Je leunt naar voren, kijkt de spreker recht in de ogen en probeert zijn lippen te lezen. Je hersenen gebruiken dan niet alleen je oren (geluid), maar ook je ogen (beeld) om te begrijpen wat er gezegd wordt.

Dit is precies wat Audio-Visual Speech Recognition (AVSR) doet: computersystemen die spreken proberen te verstaan door zowel naar geluid als naar lipbewegingen te kijken.

Maar hier zit de twist: hoe weten deze computers eigenlijk hoeveel ze op hun oren moeten vertrouwen en hoeveel op hun ogen? En wat gebeurt er als het geluid heel erg ruisig wordt?

De onderzoekers van deze paper (Dr. SHAP-AV) hebben een nieuwe manier bedacht om dit te achterhalen. Ze noemen hun methode Dr. SHAP-AV. Laten we het uitleggen met een paar simpele metaforen.

1. De "Rekenmeester" (Shapley Waarden)

Stel je voor dat een team van twee personen (een oren-expert en een ogen-expert) samen een raadsel oplost. Ze krijgen een prijs als ze het goed doen. De vraag is: wie heeft er meer bijgedragen aan het succes?

Soms denken we: "Oh, het was duidelijk de ogen-expert, want het was zo donker dat je niets kon horen." Maar misschien was de oren-expert toch heel hard aan het werk om de rest te compenseren.

In de wereld van AI is het lastig om dit te meten. De onderzoekers gebruiken een wiskundig gereedschap uit de speltheorie, genaamd Shapley-waarden. Denk hierbij aan een eerlijke "rekenmeester" die voor elk woord dat de computer produceert, precies uitrekent:

• Hoeveel heeft het geluid bijgedragen?
• Hoeveel heeft het beeld bijgedragen?
• Zelfs als het antwoord fout is, meet deze rekenmeester hoe hard de computer probeerde te luisteren of te kijken.

2. De Grote Ontdekkingen

De onderzoekers hebben zes verschillende moderne AI-modellen getest in verschillende situaties (van stilte tot heel luidruchtig). Hier zijn de belangrijkste bevindingen, vertaald naar alledaags taal:

A. De "Oor-voorkeur" is hardnekkig (Zelfs als het luidruchtig is)
Je zou denken: als het geluid volledig ruisig is (zoals in een storm), dan moet de computer zich 100% op de lippen richten.

• De realiteit: Zelfs als het geluid verschrikkelijk slecht is, blijft de computer nog steeds voor ongeveer 40% tot 50% op het geluid vertrouwen!
• De metafoor: Het is alsof je in een storm zit, maar je blijft toch naar de stem van je vriend luisteren, zelfs als je bijna niets hoort. De computer is zo gewend aan geluid dat hij het niet makkelijk loslaat. Hij zou eigenlijk veel meer op de lippen moeten vertrouwen, maar dat doet hij niet automatisch.

B. De balans verandert tijdens het praten
Hoe denkt de computer na terwijl hij een zin uitspreekt?

• Sommige modellen (zoals Whisper-Flamingo) beginnen met veel kijken, maar naarmate ze meer woorden hebben gezegd, gaan ze weer meer naar het geluid luisteren. Het is alsof ze eerst de lippen checken, maar zodra ze een beetje context hebben, zeggen ze: "Ah, ik weet wat er komt, ik luister maar weer."
• Andere modellen (zoals AV-HuBERT) houden de balans de hele tijd stabiel. Ze kijken en luisteren evenveel, van begin tot eind.

C. Tijd is tijd (Tijdsynchronisatie)
Een van de vragen was: "Kijkt de computer naar de lippen op het juiste moment?"

• Het antwoord: Ja! Als de computer een woord uitspreekt, kijkt hij naar de lippen die op dat moment bewegen. Zelfs als het geluid slecht is, blijft deze tijdsynchronisatie perfect. De computer weet precies welk beeld bij welk geluid hoort. Het is alsof een danser die, zelfs als de muziek stopt, nog steeds in de juiste ritme beweegt.

D. Het type lawaai maakt uit
Niet alle lawaai is hetzelfde.

• Als er veel mensen tegelijk praten (babbelgeluid), kijken de modellen meer naar de lippen.
• Als er muziek of andere geluiden zijn, vertrouwen ze nog steeds meer op het geluid.
• Conclusie: Hoe moeilijker het geluid is, hoe meer de computer naar de lippen kijkt, maar het type lawaai bepaalt hoeveel hij dat doet.

E. De lengte van de zin maakt het verschil
Bij sommige modellen maakt het uit of de zin kort of lang is.

• Bij Whisper-Flamingo wordt de computer bij langere zinnen en veel lawaai steeds meer afhankelijk van de lippen.
• Bij andere modellen blijft het gedrag juist andersom of verandert het nauwelijks. Elke AI heeft zijn eigen "persoonlijkheid".

Waarom is dit belangrijk?

Vroeger dachten onderzoekers vooral: "Hoe kunnen we de fouten (WER) zo klein mogelijk maken?" Ze keken niet echt naar hoe de computer dat deed.

Met Dr. SHAP-AV zien we nu dat de computers een beetje "vooroordeels" zijn. Ze houden te veel van geluid, zelfs als het geluid slecht is. Dit is een probleem, want in een heel luidruchtige wereld zouden we willen dat ze veel meer op de lippen vertrouwen.

De boodschap voor de toekomst:
Ontwikkelaars moeten AI-modellen leren om hun "oren en ogen" dynamisch te schakelen. Als het geluid slecht is, moet de computer de "oog-knop" harder indrukken. En Dr. SHAP-AV is het gereedschap om te controleren of ze dit goed doen.

Kort samengevat:
Deze paper is als een diagnose bij een arts. De arts (Dr. SHAP-AV) kijkt niet alleen of de patiënt (de AI) gezond is, maar onderzoekt ook hoe hij werkt. De diagnose luidt: "De patiënt is slim en houdt zijn ritme, maar hij vertrouwt te veel op zijn oren, zelfs als die doof zijn. We moeten hem leren om vaker naar zijn ogen te kijken."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition" in het Nederlands.

Titel

Dr. SHAP-AV: Het decoderen van relatieve modale bijdragen via Shapley-attribution in Audio-Visual Spraakherkenning (AVSR)

1. Het Probleem

Audio-Visual Speech Recognition (AVSR) systemen combineren akoestische (audio) en visuele (lipbewegingen) informatie om spraakherkenning robuuster te maken, vooral in omstandigheden met achtergrondruis. Hoewel de voordelen in ruise omgevingen duidelijk zijn, blijft het onduidelijk hoe bestaande modellen de balans tussen deze twee modaliteiten beheren.

• Aanwezige Bias: Bestaande modellen vertonen een sterke bias naar audio, vooral in schone omstandigheden. Audio bevat de volledige spraaksignaal met hoge temporele resolutie, terwijl visuele informatie ambigu is (verschillende fonemen kunnen er visueel hetzelfde uitzien). Hierdoor leren modellen vaak om te vertrouwen op audio en negeren ze visuele cues, zelfs als de audio degradeert.
• Gebrek aan Inzicht: Er is weinig onderzoek gedaan naar het kwantificeren van de bijdrage van elke modality tijdens het inferentieproces. Bestaande studies focussen op het minimaliseren van de Woordfoutratio (WER) zonder inzicht te geven in hoe het model de modaliteiten combineert.
• Vraag: Hoe balanceren AVSR-modellen audio en visuele bijdragen onder verschillende akoestische omstandigheden, tijdens het decodeerproces en in relatie tot invoerkarakteristieken?

2. Methodologie: Dr. SHAP-AV

De auteurs stellen Dr. SHAP-AV voor, een raamwerk dat Shapley-waarden (uit de coöperatieve speltheorie) toepast om de bijdrage van input-functies (audio vs. video) aan de modelvoorspelling te kwantificeren.

• Shapley-waarden: In tegenstelling tot heuristische methoden, bieden Shapley-waarden een wiskundig onderbouwde, eerlijke toewijzing van credit aan input-functies. Ze zijn "performance-agnostisch": ze meten hoe het model inputs gebruikt op basis van predictie-gedrag, ongeacht of de output correct is.
• Berekening: De auteurs gebruiken Permutation SHAP en Sampling SHAP om de Shapley-waarden te benaderen voor autoregressieve modellen. Ze maskeren audio- of visuele tokens (zetten ze op 0) om de marginale bijdrage te meten.
• Drie Analyse-niveaus: Het raamwerk introduceert drie complementaire metrieken om bijdragen op verschillende granulariteiten te analyseren:
  1. Global SHAP: Aggregeert bijdragen over alle tokens en features om de algehele balans tussen audio en video te meten.
  2. Generative SHAP: Analyseert hoe de afhankelijkheid van modaliteiten evolueert tijdens het genereren van tokens (van begin tot einde van de zin).
  3. Temporal Alignment SHAP: Onderzoekt of er een temporele correspondentie is tussen de positie van invoerfeatures en de gegenereerde output-tokens (bijv. dragen vroege audio-features bij aan vroege woorden?).

3. Experimenteel Opzet

• Modellen: De studie analyseert zes state-of-the-art AVSR-modellen, verdeeld in twee architectuurfamilies:
  • LLM-gebaseerd: Llama-AVSR, Llama-SMoP, Omni-AVSR.
  • Cross-Attention (Encoder-Decoder): AV-HuBERT, Auto-AVSR, Whisper-Flamingo.
• Datasets: LRS2 en LRS3 (BBC en TED-talks).
• Voorwaarden: Tests uitgevoerd bij verschillende Signal-to-Noise Ratio's (SNR), variërend van schoon (∞ dB) tot zwaar verstoord (-10 dB), met verschillende soorten ruis (babble, muziek, geluid, spraak).

4. Belangrijkste Resultaten

De analyse leidt tot zes kernbevindingen:

1. Adaptieve verschuiving met persistente audio-bias:
   Modellen schuiven inderdaad naar visuele afhankelijkheid naarmate de audio-kwaliteit verslechtert. Echter, zelfs bij extreme ruis (-10 dB) behouden ze een opmerkelijk hoge audio-bijdrage (38-46%). Men zou verwachten dat modellen bij deze SNR bijna volledig op video vertrouwen, maar de decoder blijft sterk naar audio features "luisteren".

2. Dynamiek tijdens generatie:
   De modale balans verandert tijdens het decoderen.

   • Whisper-Flamingo en Omni-AVSR: De audio-afhankelijkheid neemt toe naarmate het generatieproces vordert (een U-vormig patroon in ruis: eerst visueel, dan herstel van audio door linguïstische context).
   • AV-HuBERT: Behoudt een stabiele balans gedurende het hele proces, waarschijnlijk door zijn self-supervised pre-training.

3. Robuuste temporele uitlijning:
   Zowel audio als video behouden een sterke temporele uitlijning met de output-tokens (vroege input -> vroege output). Deze structuur blijft intact, zelfs onder zware ruisomstandigheden. Geen enkele modality domineert de uitlijning volledig; ze werken parallel.

4. Invloed van ruis-type:
   De mate van verschuiving naar visuele modaliteit hangt af van het type ruis. Moeilijkere omstandigheden (zoals babble-ruis) leiden tot een grotere verschuiving naar visuele informatie dan andere ruissoorten (zoals muziek).

5. Invloed van uitspraakduur:
   Er is geen universeel patroon; het effect van de duur van de uitspraak op de modale balans is modelafhankelijk. Sommige modellen (zoals Whisper-Flamingo) vertrouwen bij langere zinnen meer op video, terwijl anderen (zoals AV-HuBERT) in ruis juist meer naar audio verschuiven bij langere zinnen.

6. SNR is de dominante factor:
   De akoestische omstandigheden (SNR) zijn de belangrijkste drijvende kracht achter de modale balans. De moeilijkheidsgraad van herkenning (WER) heeft een verwaarloosbaar effect op de balans binnen een bepaalde SNR-niveau.

5. Betekenis en Conclusie

• Inzicht in "Black Box" Modellen: Dr. SHAP-AV biedt een gestructureerde manier om te begrijpen hoe multimodale systemen informatie integreren, verder dan alleen het meten van foutpercentages.
• Identificatie van Bias: De studie blootlegt een persistente audio-bias in moderne AVSR-systemen. Zelfs in zeer ruise omgevingen vertrouwen modellen te veel op audio, wat suboptimaal kan zijn.
• Aanbevelingen:
  • Er is behoefte aan ad-hoc mechanismen voor modale weging die de afhankelijkheid dynamisch kunnen aanpassen aan de invoerkwaliteit, in plaats van te vertrouwen op de inherente bias van het model.
  • Shapley-based attribution zou een standaard diagnostisch hulpmiddel moeten worden voor toekomstig AVSR-onderzoek om multimodale integratie te valideren.

Kortom, Dr. SHAP-AV bewijst dat hoewel AVSR-modellen adaptief zijn, ze niet optimaal schakelen tussen modaliteiten en dat een dieper inzicht in hun interne werking essentieel is voor verdere verbetering van robuustheid.