Quantification of Uncertainty with Adversarial Models in Medical Image Segmentation

Technische Samenvatting: QUAM-SM voor Medische Beeldsegmentatie

Probleemstelling
De implementatie van deep learning-modellen in klinische workflows, met name voor medische beeldsegmentatie, vereist niet alleen een hoge nauwkeurigheid, maar ook een betrouwbare kwantificering van onzekerheid op pixelniveau. Standaard deep learning-modellen lijden vaak aan miskalibratie, waarbij ze overmoedige voorspellingen produceren die onderliggende foutmodi maskeren, vooral bij objectgrenzen en in subtiele pathologische regio's. Deze overmoed kan leiden tot onjuiste klinische beslissingen, zoals het verkeerd interpreteren van werkelijke ziekteprogressie als pseudo-progressie. Bestaande methoden voor onzekerheidsinschatting, waaronder Deep Ensembles, Bayesiaanse benaderingen (bijv. Monte Carlo Dropout) en evidentiële benaderingen, vertrouwen vaak op stochastische sampling binnen beperkte regio's van de posterieure verdeling. Bijgevolg kunnen zij er niet in slagen het volledige spectrum van potentiële voorspellingsfouten te vatten of verschillende bronnen van onzekerheid adequaat te onderscheiden.

Methodologie: QUAM-SM
De auteurs stellen QUAM-SM voor (Quantification of Uncertainty with Adversarial Models in Medical Image Segmentation), een post-hoc framework ontworereikt om "adversarieel kwetsbare" pixels te identificeren—regio's waar de beslissing van een model gemakkelijk kan omslaan naar een onjuiste klasse. Het framework werkt via de volgende stadia:

1. Referentie-segmentatie: Een vast, vooraf getraind model genereert een referentie-segmentatie ($y_{ref}$) voor een testbeeld, uitgaande van toegang tot de trainingsdatadistributie om consistentie met de geleerde datamanifold te behouden.
2. Zoektocht naar Adversariële Modellen: De kern van de methode omvat een gerichte adversariële zoektocht om alternatieve segmentatiehypothesen te genereren. Het algoritme optimaliseert een model ($\tilde{w}$) met behulp van twee complementaire verliestermen:
   • Penalty Loss ($L_{pen}$): Dwingt consistentie af met de trainingsdistributie om te garanderen dat de adversariële modellen plausibel blijven (posterieure plausibiliteit).
   • Adversarial Loss ($L_{adv}$): Stuurt de voorspelling richting een specifieke doelklasse ($y_{mask}$) om alternatieve hypothesen te verkennen.
     De paper onderzoekt drie strategieën voor het genereren van $y_{mask}$:
   • Global Extreme Masks (GEM): Constante kaarten van volledig achtergrond of volledig voorgrond.
   • Training-based Masks (TBM): Realistische anatomische configuraties gesampled uit de trainingsset.
   • Morphology-augmented Masks (MAM): Lokale structurele variaties nabij grenzen gecreëerd via morfologische operaties (dilatatie/erosie) op de referentie-predictie.
3. Onzekerheidskwantificering via Mixture Importance Sampling (MIS): De adversariële zoektocht produceert een set plausibele modelgewichten. Om een statistisch consistente schatting van de predictieve verdeling af te leiden, gebruiken de auteurs Mixture Importance Sampling. Modellen worden gewogen op basis van hun penalty loss op de trainingsdata, waardoor modellen die de trainingsdistributie volgen een grotere bijdrage leveren.
4. Decompositie van Onzekerheid: Met behruik van de gewogen voorspellingen deelt het framework de totale onzekerheid op in twee afzonderlijke componenten op basis van het Expected Entropy (EE) framework:
   • Aleatorische Onzekerheid: Vertegenwoordigt dataruis en annotatievariabiliteit (gemodelleerd als de verwachte entropie van individuele voorspellingen).
   • Epistemische Onzekerheid: Vertegenwoordigt modelonzekerheid (gemodelleerd als de Mutual Information of de discrepantie tussen de gewogen ensemble-voorspellingen).

Belangrijkste Bijdragen

1. Nieuw Framework: De auteurs introduceren een post-hoc onzekerheidskwantificatie framework voor medische beeldsegmentatie dat gebruikmaakt van gerichte adversariële zoektochten om kwetsbare, pixelwijze voorspellingen te identificeren.
2. Ontkoppeling van Onzekerheid: De methode onderscheidt expliciet tussen aleatorische en epistemische onzekerheid, en demonstreert verbeterde consistentie met inter-rater variabiliteit op meerdere publieke datasets.
3. Verbeterde Posterieure Dekking: Door het concept van adversariële modellen uit te breiden naar het domein van segmentatie, bereikt de methode een verbeterde dekking van de posterieure verdeling door pixels te highlighten die het meest gevoelig zijn voor "zeker onjuist" te zijn, wat een gevoeliger foutenkaart biedt dan traditionele dichtheidsgebaseerde methoden.

Experimentele Resultaten
Het QUAM-SM framework werd geëvalueerd op twee publieke datasets met meerdere expert-annotaties:

• REFUGE (DR): Fundusfotografie-beelden met zeven onafhankelijke annotaties voor optische discus- en cup-segmentatie.
• QUBIQ2021 (DQ): Prostaat tumor MRI-volumes geannoteerd door zes experts.

De methode werd vergeleken met Monte Carlo Dropout, Deep Ensembles, Probabilistic U-Net en het SURE evidentiële framework. Prestaties werden gemeten met de Pearson Correlatie Coëfficiënt (PCC) en de coëfficiënt van determinatie ($R^2$) tegen referentie-entropiekaarten afgeleid van meerdere annotatoren, evenals Soft Dice (SDice) scores voor segmentatienauwkeurigheid.

• Kwantitatieve Prestaties: QUAM-SM behaalde de hoogste PCC- en $R^2$-waarden over de categorieën epistemische, aleatorische en totale onzekerheid voor beide datasets, wat wijst op een superieure afstemming met de referentie-onzekerheid. Het presteerde ook consequent beter dan concurrerende benaderingen in segmentatienauwkeurigheid (SDice).
• Ablatie-studies: Experimenten bevestigden dat Morphology-augmented Masks (MAM) de beste prestaties leverden onder de aanvalstrategieën. Bovendien verbeterde het verhogen van het aantal adversariële iteraties ($M$) de prestaties consistent, waarbij optimale resultaten werden waargenomen bij hogere iteratie-aantallen.
• Kwalitatieve Resultaten: Visualisaties toonden aan dat QUAM-SM nauw aansluit bij de ground-truth entropiekaarten, waarbij regio's met een hoge inter-annotator onzekerheid accuraat worden gevangen, met name bij de grenzen.

Betekenis en Claims
Het artikel claimt dat QUAM-SM het cruciale probleem van overmoedige voorspellingen in medische AI aanpakt door een mechanisme te bieden om actief op zoek te gaan naar predictieve instabiliteiten. Door aleatorische en epistemische onzekerheid te ontkoppelen, biedt het framework een genuanceerder beeld van modelbetrouwbaarheid. De auteurs merken op dat de geschatte aleatorische onzekerheid sterker correleert met inter-rater variabiliteit dan de totale onzekerheid, wat de specifieke relevantie ervan voor het vastleggen van annotatie-ambiguïteit benadrukt. Deze capaciteit ondersteunt veiligere klinische besluitvorming door onderscheid te maken tussen echte pathologische veranderingen en artefacten, en door regio's te identificeren waar modelbeslissingen het meest kwetsbaar zijn. Hoewel de aanpak toegang vereist tot de trainingsdistributie, stellen de auteurs dat het interpreteerbare onzekerheidskaarten biedt die de modelbeoordeling in realistische klinische benchmarks verbeteren.