🤖 machine learning

Non-identifiability of Explanations from Model Behavior in Deep Networks of Image Authenticity Judgments

Hoewel diepe neurale netwerken menselijke oordelen over de authenticiteit van afbeeldingen nauwkeurig kunnen voorspellen, blijken de daaruit afgeleide verklaringen niet eenduidig te zijn en bieden ze daarom slechts zwak bewijs voor de onderliggende cognitieve mechanismen.

Oorspronkelijke auteurs: Icaro Re Depaolini, Uri Hasson

Gepubliceerd 2026-04-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Icaro Re Depaolini, Uri Hasson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernvraag: Kunnen we AI vertrouwen om ons te vertellen waarom iets echt lijkt?

Stel je voor dat je een groep slimme studenten (de AI-modellen) hebt die getraind zijn om te zeggen of een foto echt is of nep (bijvoorbeeld een AI-gegenereerde afbeelding). Ze doen het zo goed dat ze bijna net zo goed scoren als mensen.

De onderzoekers vroegen zich af: "Als deze studenten het juiste antwoord geven, gebruiken ze dan ook dezelfde 'denktrucs' als wij mensen? En kunnen we hun uitleg vertrouwen?"

Om dit te testen, lieten ze de studenten hun 'denkproces' zichtbaar maken. Ze gebruikten speciale hulpmiddelen (zoals warmtekaarten) die aangeven welke delen van een foto de student belangrijk vond om tot zijn conclusie te komen.

De Grote Ontdekking: De "Rashomon"-effect

Het resultaat was verrassend en een beetje zorgwekkend. Het onderzoek toont aan dat voorspellen en uitleggen twee totaal verschillende dingen zijn.

Hier zijn de belangrijkste lessen, vertaald naar alledaagse metaforen:

1. De "Kwaliteit-Valstrik" (De VGG-modellen)

Sommige studenten (de VGG-modellen) waren heel goed in het raden of een foto echt leek. Maar als je keek naar hun warmtekaart, bleek dat ze eigenlijk niet keken naar of de foto echt was.

De Analogie: Stel je voor dat je vraagt aan een kok of een gerecht "vers" smaakt. De kok zegt: "Ja, dit is vers!" Maar als je kijkt wat hij doet, zie je dat hij alleen naar de glans van het bord kijkt. Een glanzend bord betekent voor hem "vers", maar dat zegt niets over de kwaliteit van het eten.
In het kort: Deze modellen gaven het juiste antwoord, maar deden dat door te kijken naar de kwaliteit van de afbeelding (scherp, helder), niet naar de echtheid zelf. Hun uitleg was dus misleidend.

2. De "Gokkers" (De andere modellen)

Andere studenten (zoals EfficientNet en Barlow Twins) keken wel naar de juiste dingen. Maar hier kwam het volgende probleem:

De Analogie: Stel je hebt tien detectives die allemaal dezelfde moord oplossen. Ze komen allemaal tot het juiste verdachte. Maar als je vraagt waarom ze die verdachte verdenken, geven ze allemaal een heel ander verhaal.
- Detective A zegt: "Hij had een rode hoed."
- Detective B zegt: "Hij liep te snel weg."
- Detective C zegt: "Hij had een vlek op zijn schoen."
In het kort: Zelfs als de modellen het juiste antwoord gaven, waren hun "warmtekaarten" (hun redenering) totaal verschillend van elkaar. Soms keken ze naar dezelfde plek, maar vaak niet.

3. Het "Rashomon"-effect

De auteurs noemen dit het Rashomon-effect (naar een beroemde film waarin iedereen hetzelfde verhaal vertelt, maar vanuit een heel ander perspectief).

Als verschillende slimme modellen hetzelfde resultaat geven, maar totaal verschillende redenen aandragen, kunnen we niet zeggen dat één van hen de "waarheid" over hoe mensen denken, heeft gevonden. Het is alsof je probeert te begrijpen hoe een mens een foto bekijkt, maar je krijgt tien verschillende, tegenstrijdige verhalen.

Wat is de oplossing? Het "Korps" (Ensembles)

Omdat geen enkele student of detective perfect was, besloten de onderzoekers om een team te vormen.

De Analogie: In plaats van te vertrouwen op één detective, nemen ze een heel korps. Ze laten alle detectives hun mening geven en nemen het gemiddelde.
Het Resultaat: Dit team (een ensemble-model) deed het nog beter dan welke enkele detective ook. Bovendien konden ze nu een gezamenlijke "warmtekaart" maken die beter liet zien welke delen van de foto echt belangrijk waren voor het oordeel.

De Conclusie in Eenvoudige Woorden

Goed scoren is niet genoeg: Dat een AI goed kan voorspellen of een foto nep is, betekent niet dat we begrijpen waarom hij dat denkt.
Uitleggen is lastig: De "uitleg" die AI geeft (de warmtekaarten) is vaak niet stabiel. Als je de AI een beetje anders instelt, verandert zijn uitleg volledig, zelfs als het antwoord hetzelfde blijft.
Wees voorzichtig: We kunnen deze AI-modellen niet zomaar gebruiken om te zeggen hoe mensen denken. Ze gebruiken misschien andere trucs dan wij.
Teamwork werkt: Als we veel verschillende modellen samenvoegen, krijgen we betere voorspellingen en een duidelijker beeld van wat er belangrijk is.

Kortom: AI kan ons vertellen wat er aan de hand is, maar we moeten heel voorzichtig zijn met het vertrouwen op waarom hij dat denkt. Het is alsof je een waarzegger hebt die altijd het juiste lot voorspelt, maar als je vraagt hoe hij dat deed, geeft hij elke keer een ander, onlogisch verhaal.

Probleemstelling

Diepe neurale netwerken (DNN's) kunnen worden getraind om menselijke oordelen over de authenticiteit van afbeeldingen (bijv. is dit een AI-generatie of echt?) nauwkeurig te voorspellen. Echter, een succesvolle voorspelling impliceert niet dat het model dezelfde informatie gebruikt als mensen, noch onthult het automatisch welke cues het model gebruikt.
De kernproblematiek van dit onderzoek is de niet-identificeerbaarheid van verklaringen. Bestaande werk gebruikt attributie-heatmaps (zoals Grad-CAM) om te begrijpen waarom een model een bepaalde voorspelling doet. De auteurs stellen de fundamentele vraag: zijn deze verklaringen robuust en consistent genoeg om als bewijs te dienen voor de onderliggende cognitieve mechanismen van menselijke waarneming? Als verschillende modellen met vergelijkbare prestaties totaal verschillende "redenen" (verklaringen) geven voor dezelfde voorspelling, dan is de psychologische validiteit van deze modellen twijfelachtig.

Methodologie

Het onderzoek gebruikt het AIGCIQA2023-dataset, bestaande uit 2.400 AI-generaties afbeeldingen met menselijke ratings voor Kwaliteit, Authenticiteit en Correspondentie. Na filtering op niet-natuurlijke categorieën bleven 1.367 afbeeldingen over.

Experimenteel Opzet:

Architecturen: Er werden zes verschillende pre-getrainde visuele architecturen gebruikt (VGG-16, VGG-19, ResNet152, DenseNet161, EfficientNetB3 en Barlow Twins). De backbones werden bevroren (frozen) en er werden lichte regressie-heads (twee verborgen lagen) aan gekoppeld om menselijke authenticiteitsratings te voorspellen.
Variabiliteit: Voor elke architectuur werden 10 varianten getraind met verschillende random seeds (Monte-Carlo cross-validatie) om de stabiliteit van de verklaringen te testen.
Verklaringstechnieken: Drie methoden werden toegepast om attributie-kaarten te genereren:
- Grad-CAM: Gebaseerd op gradiënten.
- MPM (Multi-scale Pixel Masking): Een perturbatie-methode waarbij pixels worden gemaskeerd.
- LIME: Een surrogate-model methode die het beeld segmenteert in superpixels.
Analyse van Consistentie:
- Intra-architectuur: Consistentie van heatmaps binnen dezelfde architectuur over de 10 verschillende seeds.
- Inter-architectuur: Consistentie van heatmaps tussen verschillende architecturen.
Variance Decompositie: Er werd een partiële correlatie-analyse uitgevoerd om te onderscheiden of modellen authenticiteit voorspellen op basis van authenticiteit-specifieke variatie of slechts een correlatie met beeldkwaliteit.
Ensemble Modellen: Om de "Rashomon-effect" (verschillende modellen, verschillende verklaringen) op te lossen, werden Bagging en Stacking ensemble-methoden toegepast om informatie te combineren.

Belangrijkste Resultaten

Voorspellende Prestaties:
- Meerdere architecturen bereikten een correlatie met menselijke ratings van ongeveer 0,60–0,63 (ongeveer 80% van het ruisplafond).
- Barlow Twins presteerde het beste, gevolgd door DenseNet161.
- ResNet152 was consistent onnauwkeurig (hoge betrouwbaarheid in fout, maar lage correlatie met mensen).
Authenticiteit vs. Kwaliteit:
- Menselijke ratings voor authenticiteit en kwaliteit waren sterk gecorreleerd ( $r \approx 0,84$ ).
- VGG-modellen (VGG16/19) voorspelden authenticiteit bijna uitsluitend door beeldkwaliteit te volgen. Wanneer kwaliteit werd gecontroleerd (partiële correlatie), verdween hun vermogen om authenticiteit te voorspellen.
- Andere modellen (zoals Barlow Twins en EfficientNetB3) behielden een klein, maar significant, residu van authenticiteit-specifieke voorspelling na controle voor kwaliteit.
Consistentie van Verklaringen:
- Intra-architectuur: Binnen één architectuur waren de heatmaps over het algemeen consistent over verschillende seeds, vooral voor EfficientNetB3 en Barlow Twins. Interessant genoeg correleerde hogere consistentie met afbeeldingen die door mensen als meer authentiek werden beoordeeld.
- Inter-architectuur: De overeenstemming tussen verschillende architecturen was zwak, zelfs als ze vergelijkbare voorspellende prestaties leverden. VGG-modellen produceerden fundamenteel andere heatmaps dan de andere architecturen.
- Dit bevestigt het Rashomon-effect: modellen met gelijke prestaties gebruiken verschillende cues voor hun beslissingen.
Ensemble Resultaten:
- Ensemble-modellen (Bagging en Stacking) verbeterden de voorspellende nauwkeurigheid aanzienlijk (PLCC $\approx$ 0,73) ten opzichte van individuele modellen.
- Hoewel ensemble-modellen betere voorspellingen deden, bleek het moeilijk om een enkele, betrouwbare "consensus-verklaring" te genereren die direct overdraagbaar was op menselijke cognitie zonder aggregatie van meerdere modellen.

Belangrijkste Bijdragen

Kritische Evaluatie van XAI: Het paper toont aan dat succesvolle voorspelling van menselijk gedrag door AI niet voldoende is om te concluderen dat het model de menselijke cognitieve mechanismen nabootst. De "verklaringen" (heatmaps) zijn vaak niet uniek identificeerbaar.
Onderscheid tussen Kwaliteit en Authenticiteit: Het onderzoek demonstreert dat veel bestaande modellen (zoals VGG) in feite slechts beeldkwaliteit meten in plaats van de complexere concepten van authenticiteit.
Methodologische Standaard: Het introduceert een rigoureuze test voor de psychologische validiteit van DNN-modellen: een model moet niet alleen goed voorspellen, maar ook consistente en over modellen heen stabiele verklaringen bieden om als model voor menselijke cognitie te dienen.
Ensemble als Oplossing: Het stelt voor dat ensemble-methoden nodig zijn om de voorspellende kracht te maximaliseren wanneer er geen consensus is tussen individuele architecturen.

Significantie en Conclusie

De studie concludeert dat post-hoc verklaringen gegenereerd door succesvolle gedragsmodellen op dit moment slechts zwak bewijs vormen voor de onderliggende cognitieve mechanismen van menselijke authenticiteitsbeoordeling.

De diversiteit in attributie-kaarten tussen verschillende architecturen suggereert dat er geen enkele "waarheid" is die door één model wordt gevangen. Voor psychologisch onderzoek en toepassingen (zoals het detecteren van deepfakes) betekent dit dat:

Men voorzichtig moet zijn bij het interpreteren van heatmaps van één enkel model.
Het noodzakelijk is om meerdere modellen te evalueren en te vergelijken.
Toekomstig onderzoek moet zich richten op het vinden van een consensus over modellen (via ensembles) om betrouwbare inzichten te krijgen in welke visuele cues mensen daadwerkelijk gebruiken bij het beoordelen van authenticiteit.

Kortom: Deep networks kunnen menselijk gedrag voorspellen, maar zonder identificeerbare en consistente verklaringen voor de onderliggende cues, bieden ze beperkt inzicht in de menselijke psychologie.