Beyond Predictive Fairness: Quantifying Attribution Consistency Across Demographic Groups in Diabetic Retinopathy Screening
Dit artikel introduceert de Explanation Consistency Score (ECS) om de gelijkenis van attributiekaarten tussen demografische groepen bij de screening op diabetische retinopathie te kwantificeren, waarbij wordt onthuld dat hoewel de voorspellende prestaties variëren per etniciteit, het visuele bewijs dat door modellen wordt gebruikt consistent blijft, waarmee wordt aangetoond dat voorspellende eerlijkheid en verklarende consistentie complementaire dimensies zijn van modelgedrag.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van medische beeldvorming zijn computers bijzonder vaardig geworden in het opsporen van ziekten op foto's van het menselijk lichaam. Ze kunnen beelden scannen van het netvlies, de lichtgevoelige laag aan de achterkant van het oog, en tekenen van diabetische retinopathie identificeren, een aandoening die tot blindheid kan leiden als deze onbehandeld blijft. Om deze systemen in een ziekenhuis te kunnen vertrouwen, moeten ze eerlijk zijn. Dit betekent dat ze net zo goed moeten werken voor een patiënt uit de ene achtergrond als voor een patiënt uit een andere. Traditioneel hebben artsen en onderzoekers deze eerlijkheid gecontroleerd door naar de uiteindelijke score te kijken: had de computer de diagnose juist gesteld? Als de computer de ziekte bij één groep mensen miste maar bij een andere wel oppikte, dan is dat een probleem. Echter, het juiste antwoord geven is slechts de helft van het verhaal. Een computer zou tot de juiste diagnose kunnen zijn gekomen om de verkeerde redenen, bijvoorbeeld door een subtiel artefact in de afbeelding op te merken dat toevallig vaker voorkomt bij een specifieke groep, in plaats van daadwerkelijk de ziekte zelf te zien. Om deze instrumenten echt te kunnen vertrouwen, moeten we niet alleen weten wat ze besluiten, maar ook hoe ze de wereld zien.
Een team van onderzoekers aan de Universiteit van Tübingen in Duitsland zette zich scharpe schijnwerpers op een diepere laag van dit begrip. Ze stelden een eenvoudige maar diepzinnige vraag: wanneer een computer naar een oogafbeelding kijkt om diabetische retinopathie te vinden, focust hij dan op dezelfde delen van het oog voor iedereen, ongeacht hun etniciteit? Om het antwoord te vinden, maakten ze gebruik van een enorme collectie retinale beelden uit de EyePACS-dataset, die foto's bevatte van patiënten met vijf belangrijke etnische achtergronden: Latijns-Amerikaans, Afrikaanse afkomst, Indiase herkomst, Kaukasisch en Aziatisch. Ze trainden een standaard computervisiesysteem om onderscheid te maken tussen gezonde ogen en ogen die vroege tekenen van de ziekte vertonen. Zodra het systeem klaar was, controleerden de onderzoekers niet alleen of het juist was of niet; ze vroegen het systeem om zijn werk te laten zien. Met behulp van een techniek die de specifieke gebieden in een afbeelding benadelt die de beslissing hebben beïnvloed, creëerden ze visuele kaarten die precies lieten zien waar de computer naar keek.
De onderzoekers ontwikkelden vervolgens een nieuwe manier om te meten hoe vergelijkbaar deze visuele kaarten waren over verschillende groepen heen. Ze vergeleken de gemiddelde aandachtspatronen van de computer voor elke etniciteit om te zien of de focus verschoof afhankelijk van wie de patiënt was. Ze ontdekten een opvallende discrepantie tussen prestaties en aandacht. Het vermogen van de computer om de ziekte correct te identificeren varieerde aanzienlijk tussen de groepen. Zo was de computer veel beter in het opsporen van de ziekte bij patiënten van Indiase herkomst, met een AUC van 0,83, vergeleken met een AUC van 0,54 voor Kaukasische patiënten. Dit is een substantiële kloof in voorspellende eerlijkheid. Toch, toen de onderzoekers naar de visuele kaarten keken, veranderde het verhaal volledig. De computer keek voor elke groep naar dezelfde plekken op het netvlies. Of de patiënt nu van Indiase, Afrikaanse of Kaukasische afkomst was, het systeem focuste consistent op dezelfde retinale kenmerken om zijn beslissing te nemen. De gelijkenis in deze visuele patronen was extreem hoog, met consistentiescores variërend van 0,85 tot 0,92 op een schaal waarbij één volledige overeenstemming vertegenwoordigt.
Om er zeker van te zijn dat deze resultaten niet simpelweg voortkwamen uit het feit dat sommige groepen meer ernstige gevallen van de ziekte hadden, herhaalden de onderzoekers de analyse door patiënten strikt te groeperen op basis van de ernst van hun aandoening. Zelfs toen ze patiënten met exact dezelfde fase van de ziekte vergeleken, bleef de computer voor iedereen naar dezelfde regio's kijken. De consistentie bleef hoog, wat suggereert dat het verschil in prestaties niet werd veroorzaakt door de computer die een andere logica of andere aanwijzingen gebruikte voor verschillende mensen. In plaats daarvan leek de computer dezelfde visuele redenering toe te passen op alle patiënten, ook al was hij minder succesvol in het toepassen van die redenering op bepaalde groepen.
Deze ontdekking suggereert dat de twee belangrijkste manieren waarop we eerlijkheid in kunstmatige intelligentie gewoonlijk beoordelen, eigenlijk verschillende dingen meten. Een systeem kan eerlijk zijn in hoe het denkt, door voor iedereen op dezelfde medische bewijzen te focussen, terwijl het tegelijkertijd oneerlijk kan zijn in zijn resultaten, door bepaalde groepen minder vaak te diagnosticeren als andere. De onderzoekers vonden geen sterke link tussen hoe goed de computer presteerde en hoe consistent hij naar de afbeeldingen keek. Dit betekent dat het simpelweg nauwkeuriger maken van een model voor één groep niet automatisch de manier waarop het de wereld ziet, zal repareren, en omgekeerd, een model dat naar de juiste dingen kijkt, nog steeds moeite kan hebben om voor iedereen de juiste antwoorden te geven. De studie concludeert dat we om echt betrouwbare medische AI te bouwen, verder moeten kijken dan alleen de uiteindelijke score. We moeten de redenering achter de beslissing begrijpen, om ervoor te zorgen dat de computer de ziekte niet alleen correct raadt, maar de ziekte op dezelfde manier ziet voor elke individuele patiënt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.