Detecting Potential False-Normal Predictions in AI Analysis of Celiac-Related Duodenal Endoscopy Images

In de moderne kliniek vertrouwen artsen vaak op een camera om in het menselijk lichaam te kijken, waarbij ze stilstaande beelden vastleggen van de wand van de dunne darm om tekenen van ziekte op te sporen. Eén dergelijke aandoening, coeliakie, zorgt ervoor dat de kleine vingerachtige uitsteeksels in de darm afvlakken en krimpen, een verandering die soms in deze foto's te zien is. Hoewel een arts een diagnose meestal kan bevestigen door een weefselmonster te nemen voor laboratoriumonderzoek, zijn de visuele aanwijzingen in een afbeelding waardevol voor het sturen van die beslissing. Onlangs zijn computerprogramma's getraind om naar precies dezelfde beelden te kijken en te beslissen of ze een gezonde darm laten zien of een darm die aangetast is door coeliakie. De hoop is dat deze programma's kunnen fungeren als een tweede paar ogen, die subtiele signalen opmerken die een mens zou kunnen missen of afbeeldingen markeren die een nadere blik vereisen. Een computer is echter niet perfect. Soms verklaart een computer met veel zelfvertrouwen dat een afbeelding normaal is, terwijl het label aangeeft dat deze daadwerkelijk ziekte vertoont. De kritische vraag voor iedereen die deze technologie gebruikt, is niet alleen hoe vaak de computer het goed heeft, maar hoe men de specifieke afbeeldingen vindt waar het fout gaat voordat ze door de mazen van het net glippen.

Een onderzoeker zette zich scharpe om een praktische oplossing voor dit probleem te testen met een collectie van 188 digitale foto's van het duodenum, het eerste deel van de dunne darm. Deze beelden kwamen uit een openbaar archief en waren al door experts gelabeld als respectievelijk een normale darm of een darm met coeliakie. Voordat er enige tests werden uitgevoerd, heeft de onderzoeker de gegevens zorgvuldig schoongemaakt door vijf afbeeldingen te verwijderen die exacte digitale kopieën van anderen waren, en 24 afbeeldingen opzij te leggen die als "twijfelachtig" waren gemarkeerd omdat de conditie onduidelijk was. Dit liet een definitieve groep van 159 unieke afbeeldingen over om mee te werken. Het doel was om te zien of een computerprogramma zichzelf zijn eigen fouten kon laten ontdekken. Specifiek wilde de onderzoeker weten of het toevoegen van eenvoudige controles voor beeldkwaliteit en stabiliteit kon helpen een menselijke beoordelaar te helpen bij het prioriteren van welke "valse normale" afbeeldingen eerst geïnspecteerd moeten worden, vergeleken met simpelweg te kijken naar hoe zeker de computer was in zijn eigen antwoord.

Om dit te doen, trainde de onderzoeker een standaard computer vision-model, een type software bekend als een ResNet-18, om onderscheid te maken tussen de twee soorten afbeeldingen. De training werd op een manier uitgevoerd die ervoor zorgde dat het model de specifieke afbeeldingen waarop het later getest zou worden nooit had gezien, om te voorkomen dat het simpelweg de antwoorden uit het hoofd leerde. Zodra het model klaar was, kreeg het de opdracht om elke afbeelding in de testset te classificeren. Het model identificeerde de meeste afbeeldingen correct, maar maakte een specifiek soort fout: het labelde 13 afbeeldingen als "normaal", terwijl de oorspronkelijke expertlabels ze als "coeliakie" aangaven. Deze 13 afbeeldingen werden het doelwit van het experiment. De onderzoeker maakte vervolgens twee verschillende lijsten om te zien welke methode meer van deze 13 verborgen fouten zou vangen als een mens slechts een klein deel van de totale afbeeldingen zou kunnen beoordelen.

De eerste methode was de eenvoudigst mogelijke aanpak: de onderzoeker keek simpelweg naar hoe zelfverzekerd de computer was wanneer hij een afbeelding als "normaal" bestempelde. Als de computer slechts enigszelfvertrouwen had, werd die afbeelding gemarkeerd voor beoordeling. De tweede methode probeerde slimmer te zijn door extra signalen toe te voegen. Er werd gekeken naar of het antwoord van de computer licht veranderde als de afbeelding iets lichter of donkerder werd gemaakt, of als het bestand met een iets lagere kwaliteit werd opgeslagen. Het mat ook de afbeelding zelf op technische gebreken zoals wazigheid, extreme helderheid of reflectie in het midden van de foto. Deze drie factoren—zwakke zelfverzekerdheid, onstabiele antwoorden en slechte beeldkwaling—werden gecombineerd in één enkele score om de afbeeldingen voor beoordeling te rangschikken. De onderzoeker simuleerde vervolgens een scenario waarin een mens slechts een vast aantal afbeeldingen kon beoordelen, zoals 20% van het totaal, om te zien welke methode meer van de 13 gemiste gevallen zou vinden.

De resultaten waren duidelijk en verrassend eenvoudig. Wanneer de onderzoeker de top 15 afbeeldingen die door de "alleen zelfverzekerdheid"-methode waren gemarkeerd, beoordeelde, vond hij drie van de 13 gemiste gevallen. Wanneer de onderzoeker de top 15 afbeeldingen die door de complexere "gecombineerde score"-methode waren gemarkeerd, beoordeelde, werden er ook precies drie van de 13 gemiste gevallen gevonden. De extra controles voor beeldkwaliteit en stabiliteit hielpen het systeem niet om meer fouten te vinden dan enkel te kijken naar het zelfvertrouwen van de computer. Sterker nog, bij een lager beoordelingspercentage waarbij slechts een paar afbeeldingen gecontroleerd konden worden, vond de eenvoudige methode van zelfverzekerdheid zelfs meer fouten dan de complexe methode. De onderzoeker probeerde ook een variatie waarbij de afbeeldingen werden bijgesneden om de randen en kaders te verwijderen voordat ze werden geanalyseerd, in de hoop te zien of de computer vertrouwde op visuele sluiproutes zoals tekst of apparaatoverlays, maar deze verandering verbeterde de prestaties van het complexe scoresysteem ook niet.

De studie concludeert dat voor deze specifieke set afbeeldingen het toevoegen van technische kwaliteitscontroles en stabiliteitstests de mogelijkheid om de fouten van de computer te vangen niet heeft verbeterend. De extra complexiteit heeft haar nut niet bewezen. Dit betekent niet dat beeldkwaliteit of stabiliteit in het algemeen onbelangrijk zijn, noch betekent het dat de computer perfect is. Het betekent simpelweg dat in deze specifieke test de zelfverzekerdheid van de computer zelf net zo goed was in het aanwijzen van de risicovolle afbeeldingen als een complexer systeem dat probeerde de technische gebreken van de afbeelding te meten. De onderzoeker merkt op dat de dataset klein was, bestaande uit slechts 159 afbeeldingen, en dat de labels gebaseerd waren op beeldcategorieën in plaats van bevestigde patiëntbiopten, waardoor de bevindingen beperkt zijn tot dit specifieke archief. Het werk dient als een zorgvuldige, transparante test die laat zien dat men er niet vanuit mag gaan dat een complexere veiligheidsscore beter is dan een eenvoudige controle op zelfverzekerdheid zonder direct bewijs. Uiteindelijk was de meest effectieve manier om de fouten van de computer in dit geval te vinden, door te vertrouwen op de onzekerheid van de computer zelf, in plaats van de afbeelding zelf te proberen te meten.