When AI and Experts Agree on Error: Intrinsic Ambiguity in Dermatoscopic Images

Probleemstelling

De integratie van kunstmatige intelligentie (AI), en specifiek Convolutional Neural Networks (CNN's), in de dermatologische diagnose heeft veel potentieel. Echter, de huidige literatuur focust voornamelijk op het vergelijken van algoritmen met menselijke experts om te zien wie beter presteert. Dit onderzoek stelt een nieuwe vraag: wat gebeurt er wanneer zowel AI als menselijke experts dezelfde fouten maken?

De auteurs identificeren een kritiek punt: er bestaat een subset van dermatoscopische afbeeldingen die systematisch door alle geteste AI-modellen worden verkeerd geclassificeerd. Het is onduidelijk of dit komt door algorithmische bias of door de intrinsieke complexiteit en ambiguïteit van de afbeeldingen zelf. Daarnaast wordt de kwaliteit van data in bestaande datasets vaak verwaarloosd, wat de prestaties van AI en de diagnosekwaliteit kan beïnvloeden.

Methodologie

Het onderzoek volgt een rigoureuze, datagedreven aanpak bestaande uit de volgende fasen:

1. Modeltraining en -validatie:

   • Vijf verschillende CNN-architecturen werden getraind: ResNeXt-50, ResNet-152, EfficientNet-B4, B5 en B6.
   • De modellen werden voorgeprogrammeerd op ImageNet en vervolgens fijngefineerd (fine-tuned) op de ISIC 2019 dataset.
   • Er werd gebruik gemaakt van 5-voudige cross-validatie, wat resulteerde in 25 getrainde modellen.

2. Identificatie van "Moeilijke" Afbeeldingen:

   • De auteurs isoleerden een subset van afbeeldingen die door alle 25 modellen systematisch verkeerd werden geclassificeerd.
   • Om te bepalen of dit toeval was, werd een gestratificeerde permutatietest (stratified permutation test) uitgevoerd met 100.000 iteraties. De nulhypothese was dat misclassificaties willekeurig over de afbeeldingen verdeeld zijn.

3. Menselijke Evaluatie:

   • Zes expert-dermatologen (met elk >20 jaar ervaring) beoordeelden onafhankelijk twee groepen afbeeldingen via een webplatform:
     • De moeilijke groep: Afbeeldingen die door alle AI-modellen fout waren.
     • De controle-groep: Afbeeldingen die door alle AI-modellen correct waren geclassificeerd.
   • De grondwaarheid (histopathologische labels) werd aan de experts verborgen om bias te voorkomen.

4. Kwaliteitsanalyse en Blur-detectie:

   • Om de oorzaak van de fouten te onderzoeken, werden drie signaalverwerkingstechnieken toegepast om onscherpe (blurry) afbeeldingen automatisch te detecteren:
     • Laplace-filter (voor intensiteitsveranderingen/edges).
     • Fourier-transformatie (voor frequentiedomein-analyse).
     • Wavelet-transformatie (voor schaal-afhankelijke analyse).
   • Een gecombineerde "blur-score" werd ontwikkeld om de kwaliteit van de afbeeldingen te kwantificeren.

Belangrijkste Bijdragen

• Gedeelde Foutpatronen: Het onderzoek toont aan dat er een significante overlap is tussen de gevallen waarin AI faalt en de gevallen waarin menselijke experts moeite hebben. Dit suggereert dat de moeilijkheid inherent is aan de afbeelding, niet alleen aan het model.
• Statistische Validatie: Voor het eerst wordt statistisch bewezen dat de hoeveelheid gezamenlijke misclassificaties door meerdere CNN's significant hoger is dan wat door toeval zou worden verwacht.
• Kwaliteitsfiltering: De auteurs ontwikkelen en valideren een geautomatiseerde methode om lage-kwaliteit (onscherpe) afbeeldingen in dermatologische datasets te identificeren, wat een cruciale stap is voor het verbeteren van toekomstige datasets.
• Open Science: Alle data, code en getrainde modellen zijn openbaar beschikbaar gesteld via GitHub om reproduceerbaarheid te waarborgen.

Resultaten

De resultaten tonen een opvallende correlatie tussen de prestaties van AI en menselijke experts:

1. Statistische Significantie: De permutatietest leverde een p-waarde van effectief 0 op. Dit betekent dat de 823 afbeeldingen die door alle modellen fout werden geclassificeerd, niet het gevolg zijn van toeval, maar van systematische patronen.
2. Daling in Menselijke Prestaties:
   • Op de controle-groep (gemakkelijke afbeeldingen) presteerden experts goed: Cohen's kappa was 0,61 (matige tot sterke overeenstemming met de grondwaarheid).
   • Op de moeilijke groep (AI-fouten) stortte de prestatie in: Cohen's kappa daalde naar slechts 0,08 (verwaarloosbare overeenstemming).
   • De inter-rater betrouwbaarheid (Fleiss' kappa) daalde van 0,456 (moderate) op de controle-groep naar 0,275 (slechts bescheiden overeenstemming) op de moeilijke groep.
3. Specifieke Classificatieproblemen:
   • Experts faalden volledig bij het identificeren van Basal Cell Carcinoma (BCC) in de moeilijke groep (0% sensitiviteit).
   • Er was verwarring tussen visueel vergelijkbare klassen (bijv. melanoom vs. nevi), maar ook tussen visueel zeer verschillende klassen (bijv. melanoom vs. actinische keratose) op de moeilijke afbeeldingen.
4. Invloed van Beeldkwaliteit:
   • Een aanzienlijk deel van de moeilijke afbeeldingen bleek onscherp of van lage kwaliteit te zijn.
   • De Laplace- en wavelet-methoden bleken effectief in het onderscheiden van onscherpe afbeeldingen, terwijl de Fourier-methode vooral nuttig bleek voor het detecteren van haar-occlusie en dubbele afbeeldingen.
   • De auteurs stelden een drempelwaarde vast waarbij ongeveer 61-83% van de onscherpe afbeeldingen kon worden verwijderd zonder te veel hoogwaardige afbeeldingen te verliezen.

Significantie en Conclusie

Dit onderzoek verschuift de focus van "mens vs. machine" naar het begrijpen van de intrinsieke complexiteit van medische beeldvorming.

• Klinische Implicatie: Het feit dat experts evenveel moeite hebben met de afbeeldingen die AI faalt, betekent dat deze gevallen fundamenteel moeilijk zijn. Dit onderstreept dat AI niet als een "wondermiddel" kan worden gezien voor alle diagnostische uitdagingen, maar dat het een hulpmiddel is dat zijn grenzen bereikt bij intrinsiek ambigu materiaal.
• Datakwaliteit: De studie benadrukt dat de kwaliteit van datasets (scherpte, belichting, afwezigheid van artefacten) een kritieke factor is. Zonder standaardisatie en automatische kwaliteitscontrole zullen AI-modellen blijven worstelen met deze "moeilijke" gevallen.
• Toekomstig Onderzoek: De auteurs pleiten voor het betrekken van dermatologen in de ontwikkeling van AI-systemen en het testen van algoritmen in echte klinische scenario's (met patiëntcontext en fysiek onderzoek), in plaats van alleen op geïsoleerde afbeeldingen.

Samenvattend toont dit werk aan dat wanneer AI en experts het oneens zijn, het vaak een teken is van een gebrek aan informatie of ambiguïteit in de data zelf, en niet noodzakelijk een tekortkoming van het algoritme.