Label Cleaning in Multimodal Public Retinal Image Datasets
Deze studie heeft systematisch labelruis in negen publieke multimodale retinale beelddatasets geïdentificeerd en gecorrigeerd door automatische screening te combineren met expertverificatie, waarbij werd onthuld dat ongeveer 5,39% van de afbeeldingen fouten bevatte—inclusief aanzienlijke proporties out-of-distribution en multi-label gevallen die conventionele single-label frameworks uitdagen—terwijl werd aangetoond dat tools zoals Cleanlab de handmatige beoordelingslast effectief verminderen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het menselijk oog is een venster naar de gezondheid van het lichaam, en het netvlies aan de achterkant van het oog is een kaart waarop ziekten zoals diabetes en maculadegeneratie hun eerste sporen achterlaten. Om deze aandoeningen te begrijpen, maken artsen foto's van het netvlies met behulp van gespecialiseerde camera's. In de afgelopen jaren hebben wetenschappers computers geleerd om deze foto's te lezen, in de hoop kunstmatige intelligentie te bouwen die ziekten sneller en nauwkeuriger kan opsporen dan een vermoeid menselijk oog. Maar om te kunnen leren, heeft een computer een enorme bibliotheek aan voorbeelden nodig, en elk voorbeeld moet voorzien zijn van een correct label, zoals een etiket met "gezond" of "ziek". Als de labels fout zijn, leert de computer de verkeerde lessen. Dit probleem van onjuiste labels, bekend als labelruis, is een verborgen gebrek in veel openbare collecties oogbeelden. Zelfs een klein aantal slechte labels kan een computer misleiden, waardoor deze echte ziekten mist of problemen verzint die niet bestaan. Voordat deze digitale artsen vertrouwd kunnen worden, moeten de kaarten die zij bestuderen gecontroleerd en gecorrigeerd worden.
Een team van onderzoekers zette zich scharpe om negen grote openbare collecties van retinale beelden op te schonen, die verschillende soorten foto's bevatten: standaard kleurenfoto's, dwarsdoorsneden en ultra-brede beelden die de gehele achterkant van het oog vastleggen. Ze verzamelden bijna 35.000 beelden uit deze bronnen en onderwierpen deze aan een rigoureus screeningsproces. Eerst gebruikten ze een computerprogramma dat ontworpen is om patronen en inconsistenties op te sporen. Deze software fungeerde als een zeer efficiënt filter, waarbij de beelden werden gescand om duplicaten, vreemde uitschieters en foto's te vinden waarbij het label leek tegen te spreken wat het beeld daadwerkelijk liet zien. Het programma markeerde meer dan 4.400 beelden als verdacht, een taak die menselijke experts weken handmatig zouden hebben gekost.
Zodra de computer zijn eerste ronde had voltooid, begon het echte werk. De gemarkeerde beelden werden doorgegeven aan een team van oogartsen, of oogdokters, die ze één voor één onderzochten. Dit was geen vluchtige blik; het was een gestructureerd, vierfasen reviewproces waarbij meerdere artsen elk beeld onafhankelijk beoordeelden, waarbij ze vaak hun bevindingen vergeleken met senior collega's om tot een definitieve, overeengekomen diagnose te komen. Deze menselijke verificatiestap was cruciaal omdat het de gissingen van de computer veranderde in bevestigde feiten. De artsen stelden vast dat de computer terecht wantrouwig was geweest. Van de bijna 35.000 beelden bevestigden zij dat 1.884 van hen onjuiste labels hadden. Dit betekent dat ongeveer één op de 20 beelden in deze openbare datasets was getagd met de verkeerde ziekte of aandoening.
De aard van deze fouten onthulde iets belangrijks over de beperkingen van de huidige medische data. Veel van de fouten waren eenvoudige verwisselingen, waarbij een foto van de ene ziekte werd gelabeld als een andere. Echter, een aanzienlijk deel van de fouten was complexer. Sommige beelden toonden patiënten met meerdere ziekten tegelijk, wat het oorspronkelijke systeem met één label niet kon vastleggen. Andere beelden toonden zeldzame aandoeningen die helemaal niet in de standaardcategorieën pasten, of beelden die zo wazig of van slechte kwaliteit waren dat er geen betrouwbare diagnose kon worden gesteld. In feite viel bijna een kwart van de bevestigde fouten in deze "out-of-distribution" categorieën, wat betekent dat het gevallen waren waar de oorspronkelijke dataset niet op was ontworpen. De onderzoekers vonden ook honderden duplicaten, waarbij dezelfde foto meerdere keren voorkwam onder verschillende namen, wat een computer kan misleiden door hem te laten denken dat hij meer bewijs heeft gezien dan in werkelijkheid het geval is.
De studie toonde aan dat een combinatie van automatische screening en deskundige menselijke oordeelsvorming een krachtige manier is om deze datasets te corrigeren. Het computerprogramma identificeerde succesvol de overgrote meerderheid van de fouten, waardoor de werklast voor de menselijke artsen werd verminderd door de duidelijke gevallen te filteren en hun aandacht te richten op de moeilijke gevallen. Wanneer de computer een nieuw label suggereerde voor een foutief gelabeld beeld, was het in meer dan de helft van de gevallen correct, en in sommige datasets was het bijna altijd juist. Dit suggereert dat dergelijke hulpmiddelen als een betrouwbare eerste verdedigingslinie kunnen dienen, die experts naar de beelden leiden die de meeste aandacht nodig hebben. De onderzoekers concludeerden dat hoewel kunstmatige intelligentie grote beloften inhoudt voor de oogzorg, de data waaruit het leert aan een hoge standaard moet voldoen. Door deze openbare beeldbibliotheken systematisch op te schonen, heeft het team een heldere basis gelegd voor toekomstig onderzoek, wat ervoor zorgt dat de volgende generatie medische AI wordt getraind op waarheid in plaats van op fouten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.