🤖 AI

CoAX: Cognitive-Oriented Attribution eXplanation User Model of Human Understanding of AI Explanations

Dit artikel introduceert het CoAX-gebruikersmodel, dat cognitieve modellering hanteert om menselijke redeneerstrategieën bij het interpreteren van AI-verklaringen voor tabulaire data te analyseren en te simuleren, en zo een schaalbare methode biedt om te diagnosticeren waarom huidige XAI-methoden vaak falen in het verbeteren van het gebruikersbegrip en om de ontwikkeling van effectievere verklaringen te sturen.

Oorspronkelijke auteurs: Louth Bin Rawshan, Zhuoyu Wang, Brian Y. Lim

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Louth Bin Rawshan, Zhuoyu Wang, Brian Y. Lim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar mysterieuze, robotvriend hebt die beslissingen voor je neemt – zoals het vertellen of een wijn "goed" of "slecht" is, of of een leningaanvraag moet worden goedgekeurd. Je wilt deze robot vertrouwen, dus geeft hij je een klein briefje dat uitlegt waarom hij die keuze heeft gemaakt. Dit heet Uitlegbare AI (XAI).

Maar hier is het probleem: zelfs met het briefje raken mensen vaak nog steeds in de war of maken ze de verkeerde voorspellingen over wat de robot als volgende zal doen. Het is alsof de robot een taal spreekt die je niet helemaal begrijpt, zelfs al staan de woorden er wel.

Dit artikel, getiteld CoAX, fungeert als een "vertaler" en een "debugger" voor hoe mensen denken wanneer ze proberen deze robotnotities te begrijpen. De onderzoekers bouwden een virtueel mens (een computerprogramma dat zich als een persoon gedraagt) om precies te achterhalen hoe onze hersenen deze uitleg verwerken en waarom we het soms fout hebben.

Hier is het verhaal van hun ontdekking, eenvoudig uiteengezet:

1. Het Probleem: De "Black Box" en de Verwarde Gebruiker

De onderzoekers merkten op dat, hoewel wetenschappers veel manieren hebben bedacht om AI-beslissingen uit te leggen, echte mensen er nog steeds moeite mee hebben om ze te gebruiken. Sommige uitleg maakt mensen slechter in het voorspellen wat de AI zal doen. De auteurs vroegen zich af: "Waarom? Wat gebeurt er in het menselijk brein wanneer ze naar deze grafieken en cijfers kijken?"

2. De Oplossing: Het Bouwen van een "Virtueel Mens" (CoAX)

In plaats van alleen maar te gokken, bouwden de onderzoekers CoAX (Cognitive-Oriented Attribution eXplanation). Denk aan CoAX als een videospelletjesfiguurtje dat zo is geprogrammeerd dat het precies denkt zoals een echt mens.

Hoe het werkt: De onderzoekers keken eerst naar echte mensen (in een "formatieve studie") en vroegen hen om hardop na te denken terwijl ze naar AI-uitleg keken. Ze merkten op dat mensen specifieke mentale trucs, of "strategieën", gebruikten om de data te doorgronden.
De Strategieën:
- De "Negeer de Rest"-strategie: Sommige mensen kiezen gewoon één of twee kenmerken die ze belangrijk vinden (zoals "Alcoholgehalte") en negeren alles anders.
- De "Markeerstift"-strategie: Wanneer ze een grafiek krijgen die laat zien welke kenmerken "belangrijk" zijn, focussen mensen alleen op de langste balken en proberen ze vergelijkbare eerdere gevallen te onthouden.
- De "Reken Som"-strategie: Wanneer ze een gedetailleerde uitsplitsing krijgen (positieve en negatieve scores), proberen mensen de getallen in hun hoofd op te tellen om te zien welke kant wint.
Het Model: CoAX zet deze strategieën om in wiskunde. Het simuleert een mens met een beperkt geheugen (ze vergeten oude voorbeelden) en beperkte aandacht (ze kunnen maar naar een paar dingen tegelijk kijken).

3. Het Experiment: Het Testen van het Virtuele Mens

Vervolgens voerden de onderzoekers een enorm experiment uit met meer dan 300 echte mensen. Ze vroegen deze mensen te raden wat een AI zou voorspellen voor verschillende scenario's (zoals wijnkwaliteit of inkomensniveaus) onder drie voorwaarden:

Geen Hulp: Alleen de data.
Eenvoudige Hulp: Een lijst met "Belangrijke" kenmerken.
Gedetailleerde Hulp: Een lijst met kenmerken met positieve en negatieve scores (Attributie).

Ze vergeleken de antwoorden van de echte mensen met de antwoorden van het Virtuele Mens.

De Grote Ontdekking:
Het Virtuele Mens (CoAX) was veel beter in het voorspellen wat echte mensen zouden doen dan standaard computerprogramma's (zoals typische Machine Learning-modellen).

Standaard computermodellen zoeken alleen naar patronen in de data.
CoAX zoekt naar redeneerpatronen. Het besefte dat mensen niet alleen maar rekenen; ze gebruiken mentale kortsluitingen, raken in de war door te veel informatie, of interpreteren de "belangrijkheid" van een kenmerk verkeerd.

4. Wat Ze Vonden over Menselijk Denken

Met behulp van hun Virtuele Mens ontdekten ze enkele interessante dingen over hoe we erin falen om AI te begrijpen:

De "Reken Som" is het Best: Wanneer mensen gedetailleerde "Attributie"-uitleg kregen (die precies liet zien hoeveel elke factor de beslissing omhoog of omlaag duwde), neigden ze naar een "optel"-strategie. Dit werkte het beste. Het is alsof je de voor- en nadelen op een stuk papier optelt.
De "Eenvoudige Lijst" is Lastig: Wanneer mensen een eenvoudige lijst kregen met "Belangrijke" kenmerken (zonder aan te geven of ze goed of slecht waren), raakten ze in de war. Sommigen probeerden de richting van de invloed te raden, en anderen negeerden de lijst volledig en gingen terug naar hun oude gewoonten.
Verwarring Leidt tot Negeer: Als een uitleg te verwarrend was, gooien mensen het er gewoon bij neer en gokten ze op basis van wat ze zich uit het verleden herinnerden, waardoor ze effectief de hulp van de AI negeerden.

5. Waarom Dit Belangrijk Is (Het "Virtuele Lab")

Het coolste deel van dit artikel is dat ze, zodra ze dit Virtuele Mens hadden gebouwd, het konden gebruiken als een simulatielab.

In plaats van 300 mensen in te huren, ze te betalen en weken aan experimenten te draaien om een nieuw idee te testen, kunnen onderzoekers nu gewoon het Virtuele Mens "vragen".

Voorbeeld: "Wat gebeurt er als we 9 kenmerken tonen in plaats van 5?" Het Virtuele Mens kan dit direct simuleren en je vertellen: "Oh, mensen zullen overweldigd raken en hun nauwkeurigheid zal dalen."
Dit stelt ontwerpers in staat om AI-uitleg te debuggen voordat ze deze ooit aan een echt mens tonen. Ze kunnen de verwarrende delen eerst in het computermodel oplossen.

De Conclusie

Het artikel stelt dat we, om AI-uitleg te verbeteren, moeten stoppen met mensen te behandelen als simpele data-verwerkers. We moeten begrijpen dat mensen beperkt geheugen, selectieve aandacht en specifieke mentale gewoonten hebben.

Door een Virtueel Mens te bouwen dat deze gewoonten nabootst, kunnen we achterhalen waarom huidige AI-uitleg faalt en betere ontwerpen maken die mensen echt helpen het brein van de robot te begrijpen, in plaats van ze alleen maar verder in de war te brengen. Het is alsof je een radio afstemt op het juiste frequentie zodat het menselijk brein het signaal eindelijk duidelijk kan horen.

1. Probleemstelling

Ondanks aanzienlijke vooruitgang in Explainable AI (XAI), blijft er een kritieke kloof bestaan: veel XAI-technieken falen in het verbeteren van het daadwerkelijke gebruikersbegrip of de besluitvorming. Eerdere studies hebben aangetoond dat verklaringen gebruikers soms kunnen verwarren, leiden tot overbetrouwbaarheid, of gebruikers niet helpen bij het detecteren van modelfouten.

De Kernkwestie: Bestaand onderzoek vertrouwt vaak op oppervlakkige gedragsmaten (bijv. nauwkeurigheid) of conjectuur om te verklaren waarom gebruikers moeite hebben. Er is een gebrek aan rigoureuze, mechanistische modellen die de cognitieve processen en redeneerstrategieën verklaren die gebruikers hanteren bij het interpreteren van XAI.
Het Gevolg: Zonder inzicht in de onderliggende cognitieve mechanismen (bijv. hoe gebruikers feature importance versus feature attribution verwerken), is het moeilijk om effectieve verklaringen te ontwerpen of te debuggen waarom specifieke XAI-methoden falen.

2. Methodologie

De auteurs stellen CoAX voor, een cognitief model dat Instance-Based Learning (IBL)-theorie integreert met cognitieve beperkingen (geheugenverval, aandachtslimieten) om menselijk redeneren over XAI te simuleren. Het onderzoek volgt een vijfstaps, gebruikersgericht ontwerpproces:

A. Formatief Gebruikersonderzoek (Strategie-elicitering)

Doel: Identificeren hoe mensen daadwerkelijk redeneren bij het gebruik van XAI.
Deelnemers: 20 bachelorstudenten.
Taak: "Forward Simulation" (het voorspellen van de AI-uitvoer gegeven een input-instance en een verklaring).
Condities: Geen XAI, Feature Importance (niet-negatieve scores) en Feature Attribution (getekende scores, bijv. SHAP/LIME).
Methode: Think-aloud-protocollen geanalyseerd via grounded theory.
Resultaat: Identificatie van vier distincte redeneerstrategieën:
1. Sensitive-features categorization: Focus op een vaste subset van attributen die als belangrijk worden beschouwd, andere negerend.
2. Salient-features categorization: Dynamisch selecteren van de top- $k$ features met de hoogste importance scores en het oproepen van vergelijkbare eerdere instances.
3. Attribution sum: Optellen van getekende attribution scores (of deze schatten) om bewijs voor/tegen een label te wegen.
4. Importance categorization: Het verkeerd interpreteren van importance scores als directe attribuutwaarden voor patroonherkenning (een gebrekkige strategie).

B. CoAX Cognitief Model Implementatie

Het model simuleert menselijke besluitvorming met behulp van IBL:

Geheugen: Bewaart eerdere exemplaren (instances) met activatieniveaus gebaseerd op recentie en frequentie.
Retrieval: Haalt vergelijkbare eerdere instances op op basis van Euclidische afstand, gewogen door activatie.
Strategie-extensies: Het basis-IBL-model wordt uitgebreid om de vier geïdentificeerde strategieën te implementeren:
- Sensitive/Salient: Wijzigt de afstandsmetriek om zich alleen te richten op specifieke subsets van features.
- Attribution Sum: Berekent een log-odds score door gewogen feature-bijdragen op te tellen.
- Importance Categorization: Treatt importance scores als feature-waarden in plaats van gewichten.
Parameters: Omvat afstandssensitiviteit ( $\alpha$ ), retrieval-drempel ( $\rho$ ), aantal geattendeerde features ( $k$ ), en feature-klasse-sensitiviteit ( $\zeta$ ).

C. Summatief Gebruikersonderzoek (Validatie)

Deelnemers: 335 deelnemers (Prolific).
Ontwerp: Tussen-proefpersonen voor XAI-type (Geen, Importance, Attribution) en binnen-proefpersonen voor testconditie (Met/Zonder XAI).
Datasets: Wine Quality, Forest Cover Type, Adult Income (binair classificatie, 5 attributen).
Doel: CoAX valideren door het model te fitten op menselijke besluitdata en de voorspellende kracht te vergelijken met standaard Machine Learning (ML) proxies (Decision Trees, KNN, MLP).

D. Virtueel Hypothesetoetsen

Doel: Het gebruik van het gevalideerde CoAX-model om "virtuele experimenten" uit te voeren die te kostbaar of traag zouden zijn om met echte mensen uit te voeren.
Variabelen: Aantal trainingsinstances, aantal attributen en verschillende XAI-algoritmen (SHAP, LIME, Integrated Gradients, Input Gradients).

3. Belangrijkste Bijdragen

Taxonomie van Redeneerstrategieën: Empirisch geëliciteerd en gecategoriseerd vier distincte cognitieve strategieën die gebruikers hanteren bij het interpreteren van attributie-gebaseerde XAI, inclusief specifieke faalmodi (bijv. het verkeerd interpreteren van importance scores).
CoAX Cognitief Model: Ontwikkeling van een formeel cognitief model dat deze strategieën simuleert met behulp van Instance-Based Learning, waarbij de procedurale logica van menselijk redeneren wordt vastgelegd in plaats van alleen statistische correlaties.
Superioriteit ten opzichte van ML Proxies: Aangetoond dat CoAX menselijke besluitdata significant beter fit dan standaard ML-proxies (DT, KNN, MLP), wat bewijst dat menselijk redeneren in XAI-contexten wordt gedreven door specifieke cognitieve heuristieken en niet alleen door datapatronen.
Framework voor Virtuele Experimentatie: Een pijplijn opgezet om CoAX te gebruiken voor hypothesegeneratie en het debuggen van XAI-gebruiksvriendelijkheid, waardoor de afhankelijkheid van dure studies met menselijke proefpersonen voor vroege prototyping wordt verminderd.

4. Belangrijkste Resultaten

Model Fit: CoAX behaalde een veel lagere Negative Log-Likelihood (NLL) en Bayesian Information Criterion (BIC) vergeleken met ML-baselines, wat aangeeft dat het het onderliggende menselijke besluitproces nauwkeuriger vastlegt.
Effectiviteit van Strategieën:
- Attribution Sum (het gebruik van getekende scores) was de meest effectieve strategie, wat leidde tot de hoogste voorspellingsnauwkeurigheid.
- Importance XAI (niet-negatieve scores) leidde tot diverse en vaak suboptimale strategieën, waaronder de gebrekkige "Importance categorization".
- Lerend Transfer: Deelnemers getraind met Attribution XAI behielden de "Attribution sum"-strategie zelfs wanneer XAI werd verwijderd, terwijl diegenen getraind met Importance XAI vaak terugvielen naar "Sensitive-features"-strategieën.
Impact van XAI-Type:
- Attribution XAI presteerde consequent beter dan Importance XAI en Geen XAI.
- Aantal Features: Het verhogen van het aantal attributen verslechterde de prestaties voor "Geen XAI" en "Importance XAI" (informatie-overload), maar dit werd gemitigeerd door "Attribution XAI".
Virtuele Experimenten: Het model simuleerde succesvol hoe het verhogen van trainingsinstances het begrip verbetert (plateau-effect) en hoe verschillende XAI-algoritmen (bijv. LIME vs. SHAP) de gebruikersprestaties beïnvloeden, wat de bruikbaarheid van het model voor schaalbaar testen valideert.

5. Betekenis en Implicaties

Debuggen van XAI: CoAX biedt een diagnostisch hulpmiddel om te identificeren waarom een verklaring faalt (bijv. triggert het een gebrekkige "Importance categorization"-strategie?).
Ontwerpaanbevelingen:
- UI-ontwerp: Ontwerpers moeten "Attribution sum"-strategieën aanmoedigen (bijv. door getekende waarden te tonen) en "Importance categorization" ontmoedigen (bijv. door het presenteren van importance scores als ruwe waarden te vermijden).
- Training: Tutorials moeten gebruikers expliciet leren hoe ze getekende attributies moeten aggregeren in plaats van alleen te kijken naar de "belangrijkste" features.
Kostenreductie: Door hypothesen te valideren met virtuele mensen (CoAX) voordat grootschalige gebruikersstudies worden uitgevoerd, kunnen onderzoekers XAI-ontwerpen sneller en kosteneffectiever itereren.
Toekomstige Richtingen: Het framework kan worden uitgebreid naar andere modaliteiten (afbeeldingen, tekst), verschillende besluitopgaven (vertrouwen, afhankelijkheid) en diverse gebruikerspopulaties om voorbij "one-size-fits-all" XAI te gaan.

Kortom, CoAX overbrugt de kloof tussen cognitiewetenschap en XAI, en biedt een mechanistisch begrip van mens-AI-interactie dat voorbijgaat aan "werkt het?" naar "hoe denkt de gebruiker?"