Post-hoc reliability assessment and visual explanation for deep learning-based oral mucosal lesion detection
Dit artikel presenteert een post-hoc framework dat de betrouwbaarheid en interpreteerbaarheid van een bevroren YOLOv11-detector voor orale mucosa-laesies verbetert door de dichtheid van feature embeddings te analyseren om onbetrouwbare voorspellingen te identificeren en nearest-neighbor retrieval te gebruiken om visuele verklaringen te bieden, alles zonder dat hertraining van het model vereist is.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van medische beeldvorming is kunstmatige intelligentie een krachtig hulpmiddel geworden voor het opsporen van ziekten die het menselijk oog zou kunnen missen. Deze systemen worden getraind op duizenden foto's en leren patronen te herkennen die op ziekte wijzen. Er blijft echter een aanzienlijk probleem bestaan: wanneer deze computerprogramma's een voorspelling doen, geven ze vaak een betrouwbaarheidsscore die misleidend kan zijn. Een systeem kan een diagnose stellen met 99 procent zekerheid, terwijl het naar een afbeelding kijkt die totaal anders is dan alles wat het ooit eerder heeft gezien. In veiligheidskritische velden zoals de geneeskunde, waar een foute gok levensreddende behandeling kan vertragen, is weten wanneer men de machine moet vertrouwen even belangrijk als het vermogen van de machine om te zien. De uitdaging is om een manier te vinden om de betrouwbaarheid van een voorspelling te controleren zonder het hele systeem vanaf de grond af aan opnieuw te hoeven bouwen.
Onderzoekers van verschillende Duitse en internationale instellingen hebben dit probleem aangepakt door een nieuwe methode te ontwikkelen om de beslissingen te auditeren van een kunstmatige intelligentie die ontworpen is voor het detecteren van orale mucosale laesies. Dit zijn aandoeningen die de zachte weefsels in de mond aantasten, variërend van onschuldige witte vlekken tot potentieel kwaadaardige gezwellen. Het team richtte zich op een specifiek type AI-detector genaamd YOLO, die uitstekend is in het vinden van objecten in afbeeldingen en het tekenen van kaders eromheen. Hoewel de detector al getraind was om drie soorten laesies en gezond weefsel te identificeren, wilden de onderzoekers het "waarom" achter elke beslissing begrijpen en bepalen of de AI werkelijk zelfverzekerd was of gewoon aan het gokken was. Ze hebben het model niet opnieuw getraind of de interne code ervan gewijzigd. In plaats daarvan keken ze naar de wiskundige vingerafdrukken, ook wel embeddings genoemd, die de AI creëerde voor elke geanalyseerde afbeelding. Deze vingerafdrukken vertegenwoordigen de visuele kenmerken die de AI gebruikte om zijn oordeel te vellen.
De onderzoekers namen deze hoogdimensionale vingerafdrukken en brachten deze in kaart op een eenvoudig tweedimensionaal landschap. Op deze kaart clusteren afbeeldingen die erg op elkaar lijken samen, terwijl verschillende soorten laesies hun eigen duidelijke groepen vormen. Door te analyseren hoe druk of ijl een specifiek gebied op deze kaart was, konden zij een betrouwbaarheidsscore berekenen. Als de voorspelling van een AI in een dicht cluster van vergelijkbare, correct geïdentificeerde trainingsafbeeldingen landde, beschouwde het systeem de voorspelling als betrouwbaar. Als de voorspelling in een ijl, leeg gebied landde dat ver verwijderd was van bekende voorbeelden, markeerde het systeem dit als onzeker. Deze aanpak stelde hen in staat om de betrouwbaarheid van elke afzonderlijke detectie te beoordelen zonder de oorspronkelijke detector aan te passen. Ze ontdekten dat deze op dichtheid gebaseerde score veel beter was in het identificeren van onzekere voorspellingen dan de standaard betrouwbaarheidscijfers die de AI gewoonlijk verstrekt. In tests met meer dan 3.500 afbeeldingen onderscheidde deze methode succesvol betrouwbare van onbetrouwbare voorspellingen met een AUC variërend van 0,92 tot 0,95 over de verschillende ziektecategorieën heen.
Om deze abstracte scores bruikbaar te maken voor artsen, voegde het team een visuele uitlegtool toe. Wanneer het systeem een voorspelling als onzeker markeerde, kon het direct de vier meest vergelijkbare afbeeldingen uit de trainingsdatabase ophalen en weergeven. Dit creëerde een mozaïek die de arts precies liet zien waarmee de AI de huidige patiënt vergeleek. Als de AI bijvoorbeeld een specifieke soort witte vlek verkeerd identificeerde, toonde de visuele uitleg dat de AI de patiënt vergeleek met afbeeldingen van een andere, maar visueel vergelijkbare aandoening. Dit stelde clinici in staat om het redeneerproces van de AI in actie te zien. De studie toonde aan dat de AI vaak moeite heeft met laesies die op elkaar lijken, zoals bepaalde vormen van leukoplakie en lichen planus, die overlappende visuele kenmerken delen. In deze grensgevallen identificeerde de nieuwe methode correct dat de AI opereerde in een zone van ambiguïteit, terwijl de standaard betrouwbaarheidsscore onverwacht hoog zou blijven.
De onderzoekers testten het systeem ook op afbeeldingen van laesies die geen deel uitmaakten van de oorspronkelijke trainingsset, zoals blaasziekten of wrijvingskeratose. Ze ontdekten dat de AI deze onbekende aandoeningen soms toewees aan de dichtstbijzijnde bekende categorie, en dat de dichtheidsscore ze niet altijd als volledig onbekend markeerde. Dit benadrukt een cruciale beperking: het systeem meet hoe goed een voorspelling past bij de trainingsdata, niet of de afbeelding een volledig nieuwe ziekte vertegenwoordigt. Echter, de visuele retrieval-tool bleek hier ook waardevol. Zelfs wanneer de AI een fout maakte, hielp de getoonde "training neighbors" een menselijke expert inzien dat de visuele gelijkenis misleidend was en dat de diagnose meer vereiste dan alleen een foto. De studie concludeert dat door een betrouwbaarheidscheck op basis van dichtheid te combineren met visuele voorbeelden, medische professionals beter kunnen begrijpen wanneer ze een AI-diagnose moeten vertrouwen en wanneer ze een tweede mening moeten zoeken, allemaal zonder de complexe modellen die al in gebruik zijn opnieuw te hoeven trainen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.