🤖 AI

Which Modality Decides? Counterfactual Modality Attribution for Multimodal LLMs

Dit artikel introduceert Counterfactual Modality Attribution (CMA), een nieuw framework dat gekoppelde diffusie-priors en Shapley-waarden gebruikt om te kwantificeren welke modaliteit (beeld of tekst) de voorspelling van een multimodale groot taalmodel aanstuurt, waardoor onveilige redeneerpatronen worden onthuld die traditionele methoden voor uitlegbaarheid op feature-niveau missen.

Oorspronkelijke auteurs: Vahidin Hasic, Chao Wang, Luis C. Garcia-Peraza-Herrera, David Watson, Senka Krivic

Gepubliceerd 2026-08-04

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vahidin Hasic, Chao Wang, Luis C. Garcia-Peraza-Herrera, David Watson, Senka Krivic

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar je hebt twee heel verschillende partners: de een is een fotograaf die je alleen foto's laat zien, en de ander is een verhalenverteller die alleen in woorden spreekt. In de wereld van Kunstmatige Intelligentie zijn er superintelligente computers genaamd Multimodale Large Language Models (MLLM's) die als dit detective-team fungeren. Ze bekijken afbeeldingen en lezen tegelijkertijd tekst om grote beslissingen te nemen, zoals het diagnosticeren van een patiënt of het identificeren van een probleem. Maar hier komt het lastige deel: alleen omdat de computer het juiste antwoord geeft, betekent dit niet dat hij het op de juiste manier heeft uitgevogeld. Soms kan het zijn dat de computer "gebruikmaakt van shortcuts" door de foto's te negeren en alleen de tekst te lezen, of andersom. Dit is een enorm probleem, want als we niet weten welke partner het werk heeft gedaan, kunnen we de detective niet vertrouwen wanneer het er serieus om spant. We moeten een manier hebben om te vragen: "Hé, was het de foto die de oplossing bood, of was het het verhaal?"

Dit is precies waar een nieuwe studie van onderzoekers van de Universiteit van Sarajevo en King's College London zich mee bezighoudt. Ze maken zich zorgen dat deze AI-detectives "shortcuts" nemen—ze vertrouwen op één type aanwijzing terwijl ze het andere type negeren, zelfs als het uiteindelijke antwoord correct lijkt. Om dit op te lossen, hebben ze een slim nieuw hulpmiddel uitgevonden genaamd Counterfactual Modality Attribution (CMA). Denk aan CMA als een "Wat als?"-machine. Het vraagt de AI: "Wat als we je alleen de foto lieten zien?" en "Wat als we je alleen de tekst gaven?" Door deze denkbeeldige "wat als"-scenario's te creëren, kan het hulpmiddel precies meten hoeveel de foto bijdroeg en hoeveel de tekst bijdroeg aan de uiteindelijke beslissing. Ze hebben dit getest op nep-puzzels en echte medische rapporten, en ze ontdekten dat CMA ongelooflijk goed is in het opsporen van AI die cruciale informatie negeert. Sterker nog, in hun gecontroleerde tests identificeerde het de werkelijke bron van de beslissing 98% van de tijd, waardoor verborgen fouten aan het licht kwamen die andere methoden misten.

Het Dilemma van de Detective

Stel je voor dat je een arts bent die probeert uit te zoeken of een patiënt longontsteking heeft. Je hebt twee stukken bewijs: een röntgenfoto van de borstkas (de foto) en een medisch rapport geschreven door een verpleegkundige (de tekst). Het rapport van de verpleegkundige zegt: "De patiënt is allergisch voor penicilline." De röntgenfoto laat duidelijk longontsteking zien. Een slimme AI zou naar beide moeten kijken, zeggen: "Ja, het is longontsteking," en vervolgens een veilig antibioticum moeten aanbevelen dat geen penicilline is.

Maar wat als de AI "gebruikmaakt van shortcuts"? Wat als de AI naar de röntgenfoto kijkt, de longontsteking ziet, en direct een antibioticum kiest zonder zelfs het briefje van de verpleegkundige te lezen? Als dat antibioticum toevallig penicilline is, kan de patiënt een levensbedreigende reactie krijgen. De AI kreeg de juiste diagnose, maar faaldede op de veiligheidscontrole omdat hij de tekst negeerde. Dit wordt "shortcut learning" genoemd, en het is gevaarlijk omdat de AI op papier perfect lijkt (hij krijgt de diagnose goed), maar in de echte wereld onveilig is.

Het probleem is dat de meeste huidige tools voor het controleren van AI alleen kijken naar waar de AI naar kijkt. Ze kunnen een rood kader rond de longontsteking op de röntgenfoto tekenen of het woord "penicillin" in de tekst markeren. Maar ze kunnen niet de grote vraag beantwoorden: Welke van de twee heeft de AI de beslissing laten nemen? Werd de beslissing gedreven door de foto, of door de tekst? Of werkten ze samen?

De "Wat als?"-machine

De onderzoekers hebben een nieuwe methode ontwikkeld genaamd Counterfactual Modality Attribution (CMA) om dit op te lossen. Het woord "counterfactual" is een chique manier om "wat als" te zeggen. CMA speelt een spel van "Wat als?" met de AI.

Zo werkt het, met een eenvoudige analogie:
Stel je voor dat je een cake bakt met twee ingrediënten: bloem en suiker. Je wilt weten welk ingrediënt de cake zoet maakt.

De Originele Cake: Je bakt een cake met zowel bloem als suiker. De cake smaakt zoet.
De "Wat als?"-scenario's:
- Scenario A (Alleen de afbeelding): Je bakt een cake met alleen bloem (geen suiker).
- Scenario B (Alleen de tekst): Je bakt een cake met alleen suiker (geen bloem).
- Scenario C (Beide verwijderd): Je bakt een cake met helemaal niets.

Door deze verschillende cakes te proeven, kun je precies uitzoeken hoeveel de suiker heeft bijgedragen aan de zoetheid. Als de cake met alleen suiker nog steeds zoet is, maar de cake met alleen bloem flauw is, dan weet je dat de suiker de ster is.

CMA doet dit voor AI, maar in plaats van cakes gebruikt het afbeeldingen en tekst. Het gebruikt speciale "magische generatoren" (genaamd diffusiemodellen) om realistische versies van de input te maken waarbij de tekst is verwijderd maar de afbeelding behouden blijft, of waarbij de afbeelding is verwijderd maar de tekst behouden blijft. Vervolgens vraat het de AI om een voorspelling te doen op deze nieuwe, aangepaste versies.

Het Scorebord: Wie heeft het werk gedaan?

Zodra de AI voorspellingen heeft gedaan op al deze "Wat als?"-versies, gebruikt CMA een wiskundig scoresysteem genaamd Shapley-waarden. Je kunt dit zien als een scorebord in een videogame waarbij twee spelers (de Afbeelding en de Tekst) in één team zitten. Het scorebord berekent hoeveel elke speler heeft bijgedragen aan de overwinning van het team.

Als de AI van gedachten verandert wanneer je de tekst verwijdert, krijgt de Tekst een hoge score.
Als de AI van gedachten verandert wanneer je de afbeelding verwijdert, krijgt de Afbeelding een hoge score.
Als de AI beide nodig heeft om het juiste antwoord te krijgen, delen ze de score.

Het resultaat is een duidelijk percentage: "90% Afbeelding, 10% Tekst." Dit vertelt ons exact welke modaliteit de beslissing aanstuurt.

Wat ze hebben gevonden

De onderzoekers hebben CMA op twee manieren getest:

Nep-puzzels: Ze creëerden een spel waarbij ze zeker wisten dat de AI alleen op de foto of alleen op de tekst moest vertrouwen. In deze tests was CMA een superster. Het identificeerde de "shortcut-afhankelijke" AI 98% van de tijd correct. Andere methoden, die alleen naar individuele pixels of woorden keken, raakten in de war en slaagden er niet in de bias te ontdekken.
Echte Medische Rapporten: Ze testten het op een echte dataset van borstkasröntgenfoto's en doktersnotities. Ze vonden gevallen waarin de AI vertrouwde op vreemde shortcuts. Bijvoorbeeld, in één geval diagnosticeerde de AI een "nodule" (een knobbeltje) omdat hij ECG-leads (draden) op de röntgenfoto zag, en niet omdat hij het eigenlijke knobbeltje zag. Wanneer CMA de draden verwijderde (de afbeelding-shortcut), veranderde de AI van gedachten. Dit bewees dat CMA in staat is om gevaarlijke shortcuts te vinden die andere tools misten.

Waarom dit belangrijk is

Het belangrijkste wat dit onderzoek aantoont, is dat het juist hebben niet genoeg is. Een AI kan het juiste antwoord geven om de verkeerde redenen. Als we alleen controleren of het antwoord klopt, missen we misschien het feit dat de AI cruciale veiligheidsinformatie (zoals een allergie) negeert.

CMA geeft ons een manier om het denkproces van de AI te auditeren. Het vertelt ons niet alleen wat de AI besloot; het vertelt ons waarom de AI dat besloot. Dit is cruciaal in situaties met hoge inzet, zoals de gezondheidszorg, zelfrijdende auto's of juridische beslissingen, waarbij we er zeker van moeten zijn dat de AI alle beschikbare bewijzen gebruikt, en niet alleen de makkelijke dingen.

De onderzoekers geven toe dat hun tool wat rekenkracht vereist en nog niet perfect is, maar het is een grote stap voorwaarts. Het transformeert de "black box" van AI-besluitvorming in iets dat we daadwerkelijk kunnen begrijpen en vertrouwen, zodat we zeker weten dat wanneer een AI zegt "Ik ben er zeker van", hij dat ook echt is om de juiste redenen.

Technische Samenvatting: Counterfactual Modality Attribution voor Multimodale LLM's

Probleemstelling

Multimodale Large Language Models (MLLM's) worden steeds vaker ingezet in domeinen met een hoog risico, zoals klinische besluitvormingsondersteuning, waar ze complementaire informatie uit afbeeldingen en tekst integreren. Hoewel bestaande uitlegbaarheidsmethoden (bijv. saliency maps, attention weights) succesvol invloedrijke kenmerken binnen individuele modaliteiten identificeren (bijv. specifieke regio's in een afbeelding of teksttokens), beantwoorden zij niet de fundamentele vraag: welke modaliteit drijft daadwerkelijk een voorspelling?

Huidige methoden opereren lokaal binnen enkele kanalen en kunnen de relatieve bijdrage van volledige modaliteiten of hun interacties niet kwantificeren. Bijgevolg kan een model een correcte output produceren door te vertrouwen op een "shortcut" vanuit één enkele modaliteit terwijl het kritiek bewijs in een andere negeert (bijv. correct het diagnosticeren van pneumonie aan de hand van een röntgenfoto, maar de tekstuele vermelding van een penicillineallergie negeren). Deze verborgen modaliteitsafhankelijkheid maskeert onveilige redeneerpatronen die onzichtbaar blijven voor standaard voorspellende nauwkeurigheidsmetrieken. Het artikel betoogt dat modality attribution (modaliteitsattributie) een afzonderlijk en complementair uitlegbaarheidsdoel is ten opzichte van feature attribution (kenmerkattributie), noodzakelijk voor het auditen van multimodale foundation models.

Methodologie: Counterfactual Modality Attribution (CMA)

De auteurs stellen Counterfactual Modality Attribution (CMA) voor, een model-agnostisch framework dat de bijdragen op modaliteitsniveau kwantificeert met behulp van een combinatie van gekoppelde diffusie-priors en coöperatieve speltheorie. Het framework werkt in drie stadia:

1. Gekoppelde Diffusie & Geleide Counterfactual Generatie

In tegenstelling tot eerdere counterfactual methoden die interveniëren op een enkele modaliteit, genereert CMA gesynchroniseerde alleen-afbeelding, alleen-tekst en gezamenlijke multimodale counterfactuals binnen een verenigd optimalisatiekader.

Priors: De methode maakt gebruik van onafhankelijk voorgetrainde diffusiemodellen: een Denoising Diffusion Probabilistic Model (DDPM) voor afbeeldingen en een Riemannian Diffusion Language Model (RDLM) voor tekst.
Synchronisatie: Tijdens het reverse diffusieproces worden de beeld- en tekstmodellen gesynchroniseerd op hetzelfde tijdstap. Ze worden gezamenlijk gestuurd door gradiënten van een voorgetrainde MLLM-classifier om een Carlini–Wagner margin loss ( $L_{CW}$ ) te minimaliseren. Dit zorgt ervoor dat de counterfactuals realistisch zijn (liggen op de datamanifold) en minimale interventies vertegenwoordigen die de voorspelling veranderen.
Modi:
- Image-only CF: Tekst is vast; de afbeelding wordt geoptimaliseerd om de voorspelling om te draaien.
- Text-only CF: Afbeelding is vast; de tekst wordt geoptimalized om de voorspelling om te draaien.
- Joint CF: Beide modaliteiten worden gelijktijdig geoptimaliseerd om cross-modale afhankelijkheden te vangen.

2. Definitie van Coalitie-waarde

De gegenereerde counterfactuals definiëren een twee-speler coöperatief spel waarbij de Afbeelding ( $I$ ) en de Tekst ( $T$ ) modaliteiten fungeren als spelers. De waardefunctie $v(S)$ voor een coalitie $S \subseteq \{I, T\}$ wordt gedefinieerd als de logit-score toegewezen aan de oorspronkelijke voorspelde klasse $\hat{y}$ wanneer de modaliteiten in $S$ ongewijzigd blijven en de modaliteiten niet in $S$ worden vervangen door hun counterfactual tegenhangers.
De vier vereiste coalitie-waarden zijn:

$v(\{I, T\})$ : Originele sample $(x_I, x_T)$ .
$v(\{I\})$ : Originele afbeelding, counterfactual tekst $(x_I, x'_T)$ .
$v(\{T\})$ : Counterfactual afbeelding, originele tekst $(x'_I, x_T)$ .
$v(\emptyset)$ : Beide counterfactuals $(x'_I, x'_T)$ .

3. Shapley-waarde Attributie

Het framework berekent Shapley-waarden ( $\theta_I, \theta_T$ ) om de marginale bijdrage van elke modaliteit te kwantificeren. Voor een twee-speler spel hebben deze een gesloten vormoplossing:
$\theta_I = \frac{1}{2} [v(\{I\}) - v(\emptyset) + v(\{I, T\}) - v(\{T\})]$
$\theta_T = \frac{1}{2} [v(\{T\}) - v(\emptyset) + v(\{I, T\}) - v(\{I\})]$
De uiteindelijke attributiescores worden genormaliseerd naar percentages (Afbeelding% en Tekst%) om aan te geven welke modaliteit de beslissing primair drijft.

Belangrijkste Bijdragen

Complementair Uitlegbaarheidsdoel: Het artikel formuleert modality attribution als een noodzakelijke aanvulling op feature attribution, waarmee het gat wordt gedicht in het begrip van welke modaliteit een beslissing drijft.
Nieuw Counterfactual Framework: CMA is het eerste framework dat gesynchroniseerde, realistische alleen-afbeelding, alleen-tekst en gezamenlijke counterfactuals genereert voor voorgetrainde MLLM's met behulp van gekoppelde diffusie-priors.
Geprincipeerde Attributie Formule: Het introduceert een speltheoretische aanpak met behulp van Shapley-waarden om multimodale counterfactuals om te zetten in interpreteerbare scores die individuele bijdragen en niet-lineaire cross-modale interacties kwantificeren.
Uitgebreide Validatie: De methode wordt gevalideerd op gecontroleerde synthetische benchmarks en een real-world klinische dataset, waarbij superieure prestaties worden getoond ten opzichte van bestaande baselines in het identificeren van beslissings-drijvende modaliteiten.

Experimentele Resultaten

De auteurs evalueerden CMA op twee benchmarks:

Synthetische Multimodale MNIST: Een gecontroleerde benchmark met bekende grondwaarheid modaliteitsafhankelijkheid (Image-Biased, Text-Biased en Balanced varianten).
Multiclass OpenI: Een real-world dataset van borst-röntgenfoto's gekoppeld aan radiologieverslagen.

Prestaties:

Nauwkeurigheid: Op de synthetische MNIST-benchmarks identificeerde CMA de grondwaarheid beslissings-drijvende modaliteit correct in 98% van de gecontroleerde gevallen.
Vergelijking met Baselines: CMA presteerde significant beter dan baselines inclusief Input $\times$ Gradient, Perturbation SHAP, EAGLE, MM-SHAP en MultiViz. Opvallend genoeg behaalden MM-SHAP en MultiViz respectievelijk 0% en 3% nauwkeurigheid op image-biased samples, waardoor ze er niet in slaagden de bekende modelbiases te herstellen.
Kwalitatieve Bevindingen: In de OpenI-dataset onthulde CMA dat een model dat "Nodule" (nodule) voorspelt, vertrouwde op spurieuze correlaties met ECG-leads (zichtbaar in de afbeelding) in plaats van klinische bewijslast. Alleen-tekst counterfactuals slaagden er niet in de voorspelling om te draaien omdat de afbeelding-shortcut aanwezig bleef, wat de noodzaak van gezamenlijke counterfactual analyse aantoont.
Ablatie-studie: Progressieve corruptie-experimenten toonden aan dat CMA attributiescores continu adapteren aan het beschikbare bewijs. Naarmate één modaliteit wordt gecorrumpeerd, daalt de attributie naar 0%, waardoor de beslissing volledig verschuift naar de intacte modaliteit, wat de unimodale instorting onthult die nauwkeurigheidsmetrieken missen.

Betekenis en Claims

Het artikel claimt dat modality attribution een kritieke, voorheen onbehandelde dimensie is van uitlegbaarheid voor multimodale AI. Door verder te gaan dan kenmerk-niveau verklaringen, biedt CMA een geprincipeerd framework voor het auditen of een model vertrouwt op complementaire bewijslast of onveilige shortcuts.

De auteurs stellen dat CMA in staat is tot:

Detectie van Verborgen Fouten: Het identificeren van gevallen waarin correcte voorspellingen steunen op de verkeerde modaliteit (bijv. het negeren van allergie-waarschuwingen in tekst).
Auditing van Cross-Modaal Redeneren: Het kwantificeren van niet-additieve interacties tussen modaliteiten die onafhankelijke unimodale interventies niet kunnen vangen.
Betrouwbare Inzet: Het bieden van een mechanisme om te verifiëren dat beslissingen met een hoog risico (bijv. in de gezondheidszorg) worden gedreven door de juiste combinatie van bewijsmiddelen.

Het werk concludeert dat hoewel CMA momenteel op modaliteitsniveau opereert en computationele kosten met zich meebrengt door diffusie-generatie, het een fundamentele aanpak vestigt voor het systematisch auditen van multimodale foundation models in veiligheidskritische toepassingen.