🤖 machine learning

Reliability, Faithfulness, and the Limits of Post-hoc Explanations of Opaque Scientific Models

Het artikel betoogt dat hoewel betrouwbaarheid en getrouwheid noodzakelijke voorwaarden zijn voor het interpreteren van wetenschappelijke machine learning-modellen, zij op zichzelf onvoldoende zijn om claims over de werkelijke structurele mechanismen van de onderliggende fenomenen te valideren zonder externe corroboratie.

Oorspronkelijke auteurs: Nick Oh, Helen Jin

Gepubliceerd 2026-06-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nick Oh, Helen Jin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Black Box" Detective

Stel je voor dat wetenschappers proberen een complex natuurlijk fenomeen te begrijpen (zoals hoe een ziekte werkt of hoe een ster brandt). Ze bouwen een superintelligent computermodel (een AI) om te voorspellen wat er gebeurt. Het model is ongelooflijk nauwkeurig — het geeft bijna elke keer het juiste antwoord. Dit is Betrouwbaarheid (Reliability).

Maar het model is een "black box". We weten niet hoe het die antwoorden heeft gekregen. Daarom gebruiken wetenschappers speciale tools (zoals SHAP of LIME) om naar binnen te gluren en te vragen: "Welke aanwijzingen heb je gebruikt om die beslissing te nemen?" De tool geeft een antwoord, zoals: "Het model keek naar de leeftijd van de patiënt en de kleur van hun huid." Dit is Getrouwheid (Faithfulness).

De Hoofdargumentatie van het Papier:
De auteurs stellen dat zelfs als een model perfect betrouwbaar is (altijd juist) en de uitleg perfect getrouw is (vertelt de waarheid over wat het model deed), je nog steeds niet kunt concluderen dat het model daadwerkelijk begrijpt hoe de echte wereld werkt.

Je kunt wel weten wat de machine deed, maar je weet niet of hij het deed om de juiste redenen.

De Drie-Stappenketen

Het papier beschrijft een logische keten die wetenschappers vaak proberen te gebruiken, en die er als volgt uitziet:

De Werkelijke Wereld (Het Fenomeen): Het werkelijke ding dat we bestuderen (bijv. een echte ziekte).
Het Model: De AI die de ziekte voorspelt.
De Uitleg: De tool die ons vertelt wat de AI dacht.

De Fout: Wetenschappers gaan vaak uit van:

"Het Model komt overeen met de Werkelijke Wereld (Betrouwbaarheid)."
"De Uitleg komt overeen met het Model (Getrouwheid)."
Daarom: "De Uitleg komt overeen met de Werkelijke Wereld."

Het Papier zegt: Deze logica is gebroken. Er ontbreekt een cruciale schakel in de keten.

Analogie 1: De Spelende Leerling versus de Genie

Stel je een leerling voor die een wiskundetoets maakt.

Betrouwbaarheid: De leerling krijgt elk antwoord correct. Hij is een perfecte voorspeller van de juiste antwoorden.
Getrouwheid: Een surveillant observeert de leerling en rapporteert exact wat de leerling deed. Het rapport zegt: "De leerling loste de problemen op door te kijken naar het laatste cijfer van het vraagnummer en het antwoord te raden op basis van een patroon in het toetsboekje."

De Valstrik:
Als je alleen naar de Betrouwbaarheid (perfect score) en de Getrouwheid (het eerlijke rapport van de surveillant) kijkt, zou je kunnen denken: "Wauw, deze leerling heeft een briljante nieuwe methode om problemen op te lossen!"

Maar in werkelijkheid is de leerling gewoon aan het spieken met een trucje dat alleen op deze specifieke toets werkt. Hij heeft de wiskunde niet geleerd (de structuur van het fenomeen); hij heeft gewoon een afkorting gevonden die toevallig werkt.

Het papier stelt dat AI-modellen dit vaak doen. Ze vinden "shortcuts" (zoals kijken naar de achtergrond van een foto in plaats van naar de ziekte) die hen accuraat maken, maar die shortcuts zijn niet hoe de echte wereld werkt.

Analogie 2: De Twee Klokken

Stel je voor dat je twee klokken hebt.

Klok A is een echte, hoogwaardige klok met tandwielen die overeenkomen met de beweging van de zon.
Klok B is een kapotte klok die toevallig precies de tijd aangeeft die de zon op dat moment heeft, maar alleen omdat iemand hem zo heeft ingesteld.

Beide klokken geven de juiste tijd aan (Betrouwbaarheid).
Als je een foto maakt van de binnenkant van beide klokken, krijg je een getrouwe beschrijving van hun binnenwerk (Getrouwheid).

De binnenkant van Klok A laat draaiende tandwielen zien.
De binnenkant van Klok B laat een stilstaande wijzer zien.

Als je alleen weet dat beide klokken de juiste tijd aangeven, en je hebt een getrouwe beschrijving van hun binnenwerk, dan kun je nog steeds niet weten welke van de twee daadwerkelijk de zon correct volgt. Een van de twee is gewoon geluk gehad.

Het papier zegt dat Betrouwbaarheid en Getrouwheid vergelijkbaar zijn met controleren of de klokken de juiste tijd aangeven en het beschrijven van hun binnenwerk. Geen van beide controles vertelt je of de klok daadwerkelijk verbonden is met de zon (het echte mechanisme).

Het "Perfecte" Scenario Helpt Niet

Je zou kunnen denken: "Wat als het model perfect is? Wat als het nooit een fout maakt?"

Het papier zegt: Zelfs dan maakt het niet uit.

Stel je een model voor dat een ziekte 100% van de tijd perfect voorspelt.

Scenario 1: Het model heeft de echte biologische oorzaak geleerd (de "juiste" structuur).
Scenario 2: Het model heeft een vreemd, onzichtbaar patroon in de data geleerd (zoals het ziekenhuis waar de patiënt werd behandeld) dat toevallig correleert met de ziekte, maar niet de oorzaak is.

Beide modellen zijn 100% Betrouwbaar.
Beide modellen hebben 100% Getrouwe uitleg (ze vertellen je exact waar ze naar keken).

Maar in Scenario 2 liegt de uitleg tegen je over de oorzaak van de ziekte, ook al vertelt het de waarheid over het model. Het model heeft gelijk over het resultaat, maar het zit ernaast over de reden.

De Conclusie: Wat Kunnen We Eigenlijk Doen?

Het papier concludeert dat we deze uitleg niet kunnen gebruiken om sterke beweringen te doen over hoe de wereld daadwerkelijk werkt (mechanismen) door enkel naar het model en de uitleg te kijken.

Wat de keten WEL kan doen: Het kan ons ideeën of hypothesen geven. Het kan zeggen: "Hé, het model denkt dat dit kenmerk belangrijk is. Misschien moeten we dat kenmerk in de echte wereld gaan onderzoeken."
Wat de keten NIET kan doen: Het kan niet bewijzen dat het kenmerk daadwerkelijk de oorzaak is.

Om de waarheid te kennen, hebben wetenschappers externe hulp nodig. Ze moeten andere kennis meebrengen, echte experimenten uitvoeren of bestaande theorieën gebruiken om te verifiëren of de "shortcut" van het model daadwerkelijk een echt mechanisme is. Het model en de uitleg alleen zijn niet genoeg om de kloof te overbruggen tussen "de computer heeft gelijk" en "wij begrijpen het universum".

Technische Samenvatting: Betrouwbaarheid, Getrouwheid en de Limieten van Post-hoc Verklaringen van Opake Wetenschappelijke Modellen

Probleemstelling
Het artikel behandelt een kritieke epistemische kloof in de wetenschappelijke toepassing van Explainable AI (XAI). In wetenschappelijke domeinen (bijv. neurowetenschappen, fysica, biochemie) worden opake machine learning-modellen steeds vaker gebruikt, niet louter als voorspellers, maar als bronnen van inzicht in de onderliggende fenomenen die zij modelleren. De heersende aanname is dat als een model voldoende betrouwbaar is (de voorspellingen komen overeen met de uitkomsten van het fenomeen) en zijn post-hoc verklaring voldoende getrouw is (de verklaring weerspiegelt accuraat de interne berekeningen van het model), dan de verklaring een gerechtvaardigde claim biedt over de structuur van het fenomeen zelf.

De auteurs betogen dat deze inferentie structureel ongeldig is. Hoewel betrouwbaarheid en getrouwheid noodzakelijke voorwaarden zijn, zijn ze onvoldoenend om de kloof tussen "het begrijpen van het model" en "het begrijpen van de wereld" te overbruggen. Specifiek verifieert geen van beide metrieken of de interne structuur van het model overeenkomt met de causale, mechanistische of contrafactuele structuur van het fenomeen.

Methodologie en Formalisme
Het artikel maakt gebruik van een formele epistemische analyse in plaats van empirisch experiment. Het construeert een keten van benadering om de inferentiële relatie tussen het fenomeen, het model en de verklaring te analyseren:

Het Fenomeen ( $f$ ): De ware functie die het natuurlijke fenomeen representeert.
Het Model ( $h^*$ ): Een hypothese geselecteerd uit een ruimte $H$ (bijv. een diep neuraal netwerk) die $f$ benadert.
De Verklaring ( $g^*$ ): Een representatie gegenereerd door een post-hoc methode $E$ (bijv. SHAP, LIME, attention maps) die $h^*$ benadert.

De keten wordt aangeduid als $f \xleftarrow{\phi} h^* \xleftarrow{E} g^*$ , waarbij:

$\phi$ (de model-wereld link) de betrouwbaarheid representeert van $h^*$ in het volgen van $f$ .
$E$ (de model-van-het-model link) de getrouwheid representeert van $g^*$ in het beschrijven van $h^*$ .

De auteurs maken onderscheid tussen twee soorten epistemische oordelen:

Descriptieve Oordelen: Beoordelingen van wat het model berekent (getrouwheid).
Justificatorische Oordelen: Beoordelingen van het vermogen van het model om het fenomeen te volgen (betrouwbaarheid).

Het kernargument van de methodologie is dat een wetenschapper naar een derde type oordeel zoekt: een justificatorische claim over de structuur van het fenomeen. Het artikel demonstreert dat het componeren van een descriptief oordeel (over $g^*$ ) en een justificatorisch oordeel (over $h^*$ ) logischerwijs niet kan leiden tot een justificatorisch oordeel over de structuur van $f$ .

Kernbijdragen en Argumenten

Het Structurele Falen van Compositie:
Het artikel betoogt dat de kloof tussen model en wereld niet sluit, zelfs niet in het limiet van perfecte betrouwbaarheid en perfecte getrouwheid.
- Betrouwbaarheid controleert of outputs overeenkomen met uitkomsten, maar vereist geen gedeelde interne structuur. Een model kan een fenomeen perfect volgen via spurieuze correlaties of niet-mechanistische shortcuts (bijv. vertrouwen op beeldranden in plaats van pathologie).
- Getrouwheid controleert of de verklaring overeenkomt met de berekening van het model, maar is volledig intern aan het model. Het kan niet bepalen of de berekening van het model overeenkomt met het mechanisme van het fenomeen.
- Consequentelijk laat een "perfecte" keten ( $f \approx h^* \approx g^*$ ) de vraag naar structurele uitlijning onbeantwoord. De keten mist de premisse van "gedeelde structuur" die vereist is om van model-feiten naar wereld-feiten te bewegen.
Drie Casussen van Misleidende Ketens (Appendix A):
De auteurs illustreren het voortbestaan van deze kloof via drie scenario's:
- Casus 1 (Distributieverschuiving): Een model vertrouwt op een spurieuze feature (bijv. lateraliteitsmarkers in röntgenfoto's) die werkt in de training, maar faalt in nieuwe populaties. Getrouwheid rapporteert correct de afhankelijkheid, maar betrouwbaarheid faalt pas wanneer de distributie verschuift. De verklaring blijft getrouw aan het verkeerde mechanisme.
- Casus 2 (Invariante Confounds): Een model vertrouwt op een spurieuze feature die gecorreleerd is met het doelwit over alle testbare populaties heen (bijv. patiëntpositionering). Hier is de betrouwbaarheid overal perfect, en de getrouwheid is perfect, maar het model faalt nog steeds om het ware mechanisme te vatten. Geen enkele hoeveelheid validatiedata kan het spurieuze model onderscheiden van een mechanistisch model als zij identieke voorspellingen produceren.
- Casus 3 (Perfecte Tracking, Divergerende Structuur): Een model volgt het fenomeen perfect op alle inputs, maar gebruikt een interne structuur die totaal anders is dan die van het fenomeen. Een getrouwe verklaring van dit model beschrijft een structuur die niet de structuur van het fenomeen is. Betrouwbaarheid en getrouwheid zijn identiek voor zowel het "ware structuur" model als het "divergerende structuur" model, waardoor de metrieken niet in staat zijn om waarheid van geluk te onderscheiden.
Onderscheid tussen "Sterke" en "Zwakke" Interpretaties:
- Sterke Interpretatie (Hoe-daadwerkelijk): Beweert dat de structuur van het model is de structuur van het fenomeen. Het artikel betoogt dat de keten op zichzelf deze claim niet kan ondersteunen.
- Zwakke Interpretatie (Hoe-mogelijkwijs/Objectueel Begrip): Beweert dat het model een kandidaat-hypothese of een begrip van verbindingen binnen het domein biedt. Het artikel geeft toe dat de keten dit wel kan ondersteunen, mits de output wordt geplaatst tegen externe corroboratie (prior theorie, onafhankelijke bewijslast of experimentele interventie).

Resultaten en Claims
Het artikel presenteert geen experimentele resultaten, maar biedt een filosofisch en logisch bewijs van beperking:

Geen Zelfstandige Rechtvaardiging: Een betrouwbaar model gekoppen aan een getrouwe verklaring rechtvaardigt door compositie alleen niet een claim over de causale of mechanistische structuur van het fenomeen.
Externe Corroboratie is Vereist: Om van een beschrijving van het model naar een claim over de wereld te bewegen, moeten externe premissen (onafhankelijke theorie, bekende mechanismen of interventies) worden geïntroduceerd. Deze premissen worden niet gegenereerd door de XAI-keten zelf.
De Rol van Idealisering: Het artikel sluit aan bij de literatuur over wetenschappelijke idealisering (bijv. Sullivan, Elgin), suggerend dat opake modellen fungeren als geïdealiseerde instrumenten. Ze kunnen "objectueel begrip" bieden (het vatten van verbindingen en mogelijkheden), maar niet "verklarend begrip" (het identificeren van het werkelijke mechanisme) zonder externe validatie.

Significantie
De significantie van het artikel ligt in het verhelderen van de epistemische grenzen van post-hoc XAI in de wetenschap. Het daagt de routinematige praktijk uit om getrouwe verklaringen van betrouwbare modellen te behandelen als directe vensters naar de wetenschappelijke realiteit.

Het betoogt dat het falen om onderscheid te maken tussen "hoe het model werkt" en "hoe de wereld werkt" geen technisch defect is dat opgelost kan worden met betere algoritmen of hogere fideliteit, maar een structurele beperking van de inferentiële keten.
Het heroriënteert het wetenschappelijk gebruik van XAI: in plaats van verklaringen te zien als definitieve bewijzen van mechanisme, moeten ze worden beschouwd als generatoren van kandidaat-hypothesen die rigoureuze externe tests en theoretische integratie vereisen.
Het artikel concludeert dat hoewel de keten ondersteuning biedt voor het genereren van "hoe-mogelijkwijs" claims, het niet in staat is om "hoe-daadwerkelijk" claims te legitimeren zonder externe corroboratie, een onderscheid dat cruciaal is voor de integriteit van wetenschappelijke ontdekkingen met behulp van opake modellen.