An automated method of identifying incorrectly labelled images based on the sequences of loss functions of deep learning networks

Technische Samenvatting: Geautomatiseerde Identificatie van Incorrect Gelabelde Medische Beelden via Verliesfunctie-sequenties

Probleemstelling
Deep learning-modellen voor medische beeldanalyse zijn sterk afhankelijk van de kwaliteit van handmatig gelabelde datasets. Handmatige labeling door artsen is echter foutgevoelig door factoren zoals vermoeidheid bij artsen, de kleine omvang van laesies (bijv. microaneurysma's), ambigue grenzen tussen ziektecategorieën (bijv. hoge myopie versus pathologische myopie) en subjectieve interpretaties van de gradatie van een afbeelding. Het wordt geschat dat tot 10% van de handmatig gelabelde medische beelden incorrect kan zijn. Deze fouten, indien aanwezig in trainingssets, leiden de modeloptimalisatie een verkeerde richting op, terwijl fouten in validatie- of testsets een authentieke prestatie-evaluatie verhinderen. Traditionele oplossingen behelzen het laten controleren van alle initiële labels door senior artsen, een proces dat tijd- en energie-intensief is.

Methodologie
De auteurs stellen een geautomatiseerde methode voor om incorrect gelabelde medische beelden te identificeren door de temporele sequenties van verliesfuncties te analyseren die worden gegenereerd tijdens het trainen van deep learning-netwerken. De kernhypothese is dat, terwijl correct gelabelde monsters een consistente, geleidelijk afnemende verlies-trend vertonen over de trainingsepochs heen, incorrect gelabelde monsters (waarbij de grondwaarheid fout is) ervoor zorgen dat het model verward blijft, wat resulteert in verliessequenties die hoge niveaus behouden of significant fluctueren.

De voorgestelde pijplijn bestaat uit drie stadia:

1. Multi-Epoch Model Training: Een deep learning-netwerk (voorgetraind op ImageNet) wordt getraind op de gelabelde dataset voor $N$ epochs ($N > 2$). Voor elk monster wordt de verlieswaarde (cross-entropy) bij elke epoch geregistreerd, wat een sequentie vormt van lengte $N$.
2. Feature Extractie: Zes specifieke kenmerken worden uit elke verliessequentie geëxtraheerd om de trend te karakteriseren:
   • F1: Het gemiddelde van de gehele sequentie (globaal verliesniveau).
   • F2: Het gemiddelde van de eerste $P$ termen (verlies op lokaal niveau in de vroege fase).
   • F3: De positie $Q$ waar de grootste daling in verlies optreedt tussen de $Q$-de en de $(Q+1)$-de term.
   • F4: Het gemiddelde van de eerste $Q$ termen (verlies vóór de significante daling).
   • F5: Het gemiddelde van de laatste $N-Q$ termen (verlies na de significante daling).
   • F6: Het verschil tussen F4 en F5 (omvang van de significante daling).
3. Clustering: Met behulp van de zes geëxtraheerde kenmerken wordt het k-means clustering algoritme ($k=2$) toegepast om de dataset te partitioneren in twee categorieën: één die correct gelabelde monsters vertegenwoordigt en één die incorrect gelabelde monsters vertegenwoordigt.

Experimentele Validatie en Resultaten
De methode werd gevalideerd met behulp van een fundusbeeld-dataset voor referentiele diabetische retinopathie (DR) screening, bestaande uit 10.788 monsters met gouden standaard labels.

• Dataset Simulatie: Om realistische ruis te simuleren, werd een synthetische dataset (A') gecreëerd door doelbewust de labels van 6% (648 monsters) van de gouden standaard-dataset om te draaien.
• Identificatie Prestaties: In het eerste experiment identificeerde de methode succesvol 75,31% (488 van de 648) van de opzettelijk foutief gelabelde monsters. De specificiteit was 95,15%, wat betekent dat slechts 4,85% van de correct gelabelde monsters onterecht als incorrect werd geïdentificeerd. De auteurs merken op dat de monsters die niet werden geïdentificeerd, vaak een slechte beeldkwaliteit of ambigue kenmerken bezaten waardoor ze visueel sterk leken op de tegenovergestelde klasse, zelfs voor menselijke experts.
• Verbetering van Modelprestaties: In het tweede experiment werden de 980 monsters die als potentieel incorrect werden geïdentificeerd, beoordeeld en gecorrigeerd door artsen, waardoor een verfijnde dataset (A'') ontstond met slechts 1,5% resterende fouten. Een deep learning-model dat opnieuw werd getraind op deze verfijnde dataset, bereikte een beste nauwkeurigheid van 96,50% op een onafhankelijke testset. Dit vormt een verbetering ten opzichte van het model dat getraind is op de ruisgevoelige dataset (95,93%) en benadert de ideale prestatie van 96,57% behaald door een model getraind op de oorspronkelijke, perfect schone dataset.

Belangrijkste Bijdragen en Betekenis
Het artikel stelt dat deze geautomatiseerde aanpak een praktische oplossing biedt voor het arbeidsintensieve probleem van datacleaning in medische AI. Door gebruik te maken van het intrinsieke gedrag van verliesfuncties tijdens de training, stelt de methode senior artsen in staat om hun beoordeling te concentreren op een kleine, hoog-waarschijnlijke subset van beelden (ongeveer 9,1% van de dataset in deze studie) in plaats van op de gehele collectie. Dit proces verbetert effectief de consistentie en betrouwbaarheid van gelabelde medische beelddatasets, wat een robuustere basis legt voor het trainen van deep learning-modellen en uiteindelijk hun diagnostische prestaties verbetert. De auteurs concluderen dat hoewel de methode effectief is voor binaire classificatietaken zoals DR-screening, verder onderzoek vereist is om de bruikbaarheid ervan in multi-class classificatie- en segmentatietaken te valideren.