Probabilistic Robustness in Medical Image Classification

Technische Samenvatting: Probabilistische Robuustheid in Medische Beeldclassificatie

Probleemstelling
Hoewel Deep Learning (DL) sterke prestaties heeft getoond bij taken voor medische beeldclassificatie—variërend van MRI- en CT-analyse tot huidkanker- en longziekte-diagnostiek—wordt de implementatie ervan in veiligheidskritische klinische omgevingen gehinderd door zorgen over betrouwbaarheid. Bestaand onderzoek naar robuustheid richt zich voornelijk op Adversariële Robuustheid (AR), wat een worst-case perspectief aanneemt door te zoeken naar de enkelvoudige deterministische perturbatie binnen een norm-bal die de voorspellingsverlies maximaliseert. De auteurs stellen dat deze worst-case formulering minder representatief is voor realistische medische toepassingen, waarbij perturbaties vaak stochastisch zijn (bijv. degradatie van apparatuur, camera-defocus) in plaats van deterministische aanvallen. Bijgevolg is er behoefte aan een praktischerere maatstaf voor modelbetrouwbaarheid die rekening houdt met de waarschijnlijkheid van fouten onder realistische, willekeurige perturbaties.

Methodologie
Om dit gat te dichten, onderzoekt de studie Probabilistische Robuustheid (PR), een statistische benadering die de algehele waarschijnlijkheid evalueert waarmee een model correcte voorspellingen behoudt onder willekeurige perturbaties. De methodologie omvat drie kerncomponenten:

1. Definitie van Probabilistische Robuustheid: In tegenstelling tot AR, dat oplost voor $\delta^* = \arg \max_{\|\delta\| \leq \gamma} L(x+\delta, y; \theta)$, definieert PR robuustheid als de verwachte waarschijnlijkheid dat de voorspelling van het model ongewijzigd blijft onder een willekeurige perturbatie $\delta$ getrokken uit een lokale inputdistributie $Pr(\cdot|x)$. Formeel: $R(x, \gamma) = \mathbb{E}_{\delta \sim Pr(\cdot|x), \|\delta\| \leq \gamma} [I\{f_\theta(x+\delta) = y\}]$.
2. Natuurlijke Corruptie-instellingen: De auteurs construeren een set standaard natuurlijke corruptie-instellingen voor medische beeldclassificatie door perturbatietypen die breed worden bestudeerd in algemene computer vision aan te passen aan het domein van medische beeldvorming.
3. Experimentele Opzet: De studie maakt gebruik van de MedMNIST v2 dataset, specifiek de PathMNIST subset (9-klasse colorectale pathologiebeelden met ~107k monsters). Twee veelgebruikte CNN-backbones, ResNet-18 en ResNet-50, worden geëvalueerd. Prestaties worden gemeten met standaardmetrieken (Accuratesse en AUC) op schone beelden, naast een PR-beoordeling onder zes specifieke natuurlijke corrupties: Defocus, Motion blur, Stain, Saturation, Pixelation en Brightness variaties. De PR-evaluatie volgt het benchmarkingprotocol gedefinieerd in PRBench.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

1. Onderzoek naar PR in een Medische Context: Het werk benadrukt de praktische relevantie van probabilistische robuustheid voor veiligheidskritische medische diagnostische systemen, en voert aan dat het geschikter is dan worst-case AR voor realistische perturbatiescenario's.
2. Gestandaardiseerd Corruptie-framework: De auteurs construeren en standaardiseren een set natuurlijke corruptie-instellingen specifiek voor medische beeldtaken door algemene computer vision-perturbaties aan te passen, wat een realistischer robuustheidsevaluatieprotocol mogelijk maakt.
3. Systematische Evaluatie: Er wordt een uitgebreide evaluatie van ResNet-18 en ResNet-50 op MedMNIST v2 uitgevoerd, waarbij de PR onder medische beeldcorrupties wordt geanalyseerd naast conventionele voorspellende accuratesse.

Resultaten
De experimentele resultaten op PathMNIST onthullen verschillende cruciale inzichten:

• Substantiële Prestatiedaling: Hoewel de modellen een hoge accuratesse op schone beelden bereiken (bijv. ResNet-18: 90,68% ACC, 98,46% AUC), daalt hun probabilistische robuustheid aanzienlijk onder natuurlijke corrupties. Zo daalt de PR onder brightness variaties naar 62,84% voor ResNet-18 en 67,91% voor ResNet-50.
• Corruptie-afhankelijkheid: Robuustheid is sterk afhankelijk van het type corruptie. Beide modellen blijven relatief robuust tegen Pixelation, Stain en Saturation, maar zijn aanzienlijk kwetsbaarder voor Motion blur en Defocus. Brightness variaties veroorzaken ook substantiële degradatie.
• Schone Prestaties vs. Robuustheid: Hogere accuratesse op schone beelden garandeert geen betere probabilistische robuustheid. Hoewel ResNet-50 een hogere ACC en AUC bereikt dan ResNet-18, vertoont het niet consistent een superieure PR over alle corruptietypes.

Betekenis en Claims
Het artikel claimt dat Probabilistische Robuustheid een praktischer perspectief biedt dan worst-case robuustheid voor het beoordelen van de betrouwbaarheid van DL-modellen onder realistische perturbaties. Door een statistisch gefundeerde referentie te bieden, beoogt dit werk de veiligere inzet van deep learning-systemen in de medische beeldvorming te ondersteunen. De studie benadrukt dat problemen met de beeldkwaliteit die in de praktijk voorkomen (bijv. degradatie van apparatuur) kunnen leiden tot minder betrouwbare voorspellingen, zelfs voor modellen met een hoge standaard accuratesse, wat evaluatieframeworks noodzakelijk maakt die verder gaan dan deterministische adversariële voorbeelden.