Evaluating Cross-Method Explanation Consistency in XGBoost-Based Heart-Disease Classification

In het moderne landschap van de gezondheidszorg is kunstmatige intelligentie een krachtig hulpmiddel geworden voor het opsporen van patronen in medische gegevens die het menselijk oog zou kunnen missen. Deze computersystemen kunnen leren voorspellen of een patiënt een specifieke aandoening heeft door een lijst met metingen te analyseren, zoals leeftijd, bloeddruk en hartslag. Er blijft echter een aanzienlijke uitdaging bestaan: hoewel deze modellen nauwkeurige voorspellingen kunnen doen, werken ze vaak als "black boxes". Ze geven een antwoord zonder de redenatie erachter uit te leggen. In hoogwaardige velden zoals de geneeskunde is weten wat de diagnose is niet genoeg; artsen en patiënten moeten begrijpen welke factoren tot die conclusie hebben geleid. Hier komt het vakgebied van uitlegbare kunstmatige intelligentie in beeld, dat methoden biedt om in de logica van de machine te kijken. Toch is er een nieuwe complicatie ontstaan: verschillende methoden om in de machine te kijken, kunnen soms verschillende verhalen vertellen. De ene techniek kan de leeftijd van een patiënt als de meest kritieke factor benadrukken, terwijl een andere wijst naar hun cholesterolgehalte. Deze inconsistentie roept een vitale vraag op: als de instrumenten die de beslissingen van het model verklaren het met elkaar oneens zijn, kunnen we de uitleg dan überhaupt vertrouwen?

Een recente studie door Aritrik Ghosh aan de Swami Vivekananda University pakt dit probleem aan door te onderzoeken hoe goed verschillende uitlegmethoden overeenstemmen wanneer ze worden toegepast op een model dat ontworpen is om hartziekten te detecteren. De onderzoeker richtte zich op een specifiek type machine learning-model dat bekend staat als XGBoost, dat veel wordt gebruikt vanwege zijn vermogen om complexe gegevens te verwerken. De studie maakte gebruik van een bekende collectie medische dossiers met 297 patiëntengevallen, elk beschreven door dertien verschillende gezondheidsindicatoren en een uiteindelijke diagnose van wel of geen hartziekte. Het doel was niet om een nieuwe manier uit te vinden om hartziekten te voorspellen, maar om rigoureus te testen of de diverse manieren om de beslissingen van het model uit te leggen consistent waren. De onderzoeker trainde het model op een deel van de gegevens en paste vervolgens drie verschillende uitlegtechnieken toe om te zien of ze dezelfde belangrijkste gezondheidsfactoren identificeerden.

De eerste techniek die werd gebruikt, was de eigen interne maatstaf voor belangrijkheid van het model, die simpelweg telt hoe vaak een specifieke gezondheidsindicator werd gebruikt om een beslissing te nemen. De tweede methode, bekend als permutatie-importantie, werkt door de waarden van één gezondheidsindicator te door elkaar te husselen om te zien hoeveel de nauwkeurigheid van het model daalt; als het model aanzienlijk struikelt wanneer een specifiek getal wordt gehusseld, wordt dat getal als belangrijk beschouwd. De derde benadering, genaamd SHAP, berekent de specifieke bijdrage van elke factor aan een voorspelling op basis van een wiskundig kader dat ervoor zorgt dat de bijdragen correct optellen. Wanneer de onderzoeker de resultaten van deze drie methoden vergeleek op een vaste set testgevallen, stelde hij een sterke, maar niet perfecte, overeenstemming vast. Alle drie de methoden identificeerden consequent dezelfde topfactoren als de meest invloedrijke: het aantal bloedvaten met blokkades, de uitslag van een thallium-stress test en het type pijn op de borst dat een patiënt rapporteerde.

De studie onthulde echter dat consistentie niet gegarandeerd is, vooral wanneer de gegevens klein zijn of het model wordt getest op verschillende groepen patiënten. Wanneer de onderzoeker de gegevens in vijf verschillende groepen splitste en het model herhaaldelijk testte, begon de rangschikking van de belangrijkste factoren te verschuiven. Hoewel de top drie factoren stabiel bleven over deze verschillende tests, veranderden andere factoren die in de ene groep belangrijk leken, in positie binnen de ranglijsten van de andere groepen. Deze bevinding suggereert dat een enkele uitleg gegenereerd uit één specifieke subset van gegevens niet betrouwbaar genoeg is om het hele plaatje te vertegenwoordigen. De studie vergeleek de voorspellingen van het model ook met andere standaard machine learning-methoden. Op de specifieke testset die werd gebruikt om de oorspronkelijke opstelling na te bootsen, behaalden een logistische regressiemodel en een random forest-model zelfs een hogere nauwkeurigheid dan het XGBoost-model, waarbij ze 90 procent correcte voorspellingen bereikten tegenover 86,67 procent van XGBoost. Dit benadrukt dat het meest complexe model niet altijd het meest nauwkeurige is, en dat eenvoudigere modellen soms net zo goed kunnen presteren.

Misschien wel het meest intrigerende deel van het onderzoek betrof het kijken naar hoe deze uitlegmethoden omgaan met individuele patiëntengevallen. De onderzoeker nam drie specifieke patiëntendossiers die eerder waren geanalyseerd met een andere uitlegtool genaamd LIME en vergeleek die oude resultaten met nieuwe berekeningen met de SHAP-methode. Hoewel beide methoden het eens waren over de richting van de invloed — wat betekent dat ze beiden zeiden of een factor het risico op ziekte verhoogde of verlaagde — waren ze het niet altijd eens over welke specifieke factoren de top vijf belangrijkste waren voor die individuele patiënt. In sommige gevallen was de overlap tussen de twee lijsten slechts gedeeltelijk. Dit demonstreert dat zelfs wanneer twee tools naar dezelfde patiënt lijken te kijken, ze verschillende details prioriteit kunnen geven. Het is vergelijkbaar met twee experts die naar een complexe machine kijken; de een focust misschien op de tandwielen terwijl de ander op de brandstofleiding focust, en beiden kunnen correct zijn over de werking van de machine, maar zij zouden verschillende onderdelen als het meest kritiek beschouwen.

De studie concludeert dat hoewel kunstmatige intelligentie een waardevolle partner kan zijn in de geneeskunde, de instrumenten die zijn beslissingen verklaren met voorzichtigheid moeten worden behandeld. Het onderzoek laat zien dat voorspellende prestaties en de consistentie van de uitleg gerelateerde maar onderscheidende dimensies zijn. Een model kan accuraat zijn zonder dat de uitleg ervan perfect stabiel is, en verschillende uitlegmethoden kunnen verschillende lijsten van belangrijke factoren opleveren. De bevindingen benadrukken dat in de gezondheidszorg, waar beslissingen menselijke levens beïnvloeden, het vertrouwen op een enkele uitleg van een enkele modeluitvoering riskant is. In plaats daarvan vereist een robuust begrip het controleren van meerdere methoden en het erkennen dat sommige factoren, zoals het aantal geblokkeerde vaten, consistent belangrijk zijn, terwijl andere kunnen variëren afhankelijk van de specifieke gegevens die worden geanalyseerd. Het werk dient als een herinnering dat voordat deze systemen volledig vertrouwd kunnen worden in klinische omgevingen, we niet alleen moeten begrijpen wat ze voorspellen, maar ook hoe stabiel en consistent hun redenering werkelijk is.