Trustworthy Medical Segmentation: Uncertainty-Aware U-Net Evaluation Under Clinical Image Degradation

Technische Samenvatting: Betrouwbare Medische Segmentatie onder Klinische Beelddegradatie

Probleemstelling
Deep learning-modellen voor medische beeldsegmentatie, met name U-Net-varianten, behalen vaak een hoge nauwkeurigheid op gecureerde benchmark-datasets, maar falen stilzwijgend wanneer ze geconfronteerd worden met klinische beelddegradatie. Real-world MRI-scans lijden frequent aan sensorkruis, patiëntbeweging, lage resolutie bij acquisitie en contrastvariabiliteit. Wanneer deze out-of-distribution (OOD) condities optreden, kunnen modellen gedegradeerde segmentatiemaskers produceren zonder een signaal te geven van verminderd vertrouwen. Dit gebrek aan gekalibreerd vertrouwen belemmert de veilige integratie van AI in workflows waarbij de arts in de loop zit (physician-in-the-loop), waarbij clinici onderscheid moeten kunnen maken tussen zuivere acquisities en gecorrumpeerde data om fouten bij radiotherapieplanning of het schatten van de tumorlast te voorkomen.

Methodologie
De auteurs stellen een reproduceerbaar framework voor het evalueren van onzekerheidsbewuste segmentatie onder gecontroleerde klinische degradatie voor.

• Datageneratie: In plaats van te vertrouwen op echte patiëntgegevens met gebruiksrestricties, maakt de studie gebruik van een synthetische multimodale hersentumor MRI-cohort van 60 volumes. Deze zijn gegenereerd met behulp van een biofysische fantoomsimulator volgens BraTS-protocollen, waarbij geneste tumorcompartimenten (necrotische kern, oedeem, versterkende tumor) en vier MRI-modaliteiten (T1, T1Gd, T2, T2-FLAIR) zijn gecreëerd.
• Architecturen: Er zijn twee baseline-modellen getraind: een standaard U-Net en een Attention U-Net (die attention gates toevoegt aan skip-verbindingen om achtergrondruis te onderdrukken). Beide zijn versterkt met Monte Carlo (MC) dropout tijdens de inferentie om Bayesiaanse inferentie te benaderen. Dropout wordt specifiek toegepast op diepe semantische blokken (derde/vierde encoder-stadia, bottleneck, en de eerste twee decoder-stadia), terwijl de laag-niveau feature extractie deterministisch blijft.
• Degradatieprotocol: De evaluatie introduceert acht klinisch gemotiveerde corruptietypes bij vijf ernstgraden: Gaussische ruis, bewegingsonscherpte, defocus-onscherpte, lage resolutie, contrastverschuiving, helderheidsverschuiving, occlusie en JPEG-compressie.
• Onzekerheidsschatting: Het systeem voert $T=30$ stochastische forward passes uit om de predictieve gemiddelde en de predictieve entropie (onzekerheid) te berekenen. Deze entropie dient als een scalaire score om onbetrouwbare voorspellingen te identificeren.
• Evaluatiemetrieken: Prestaties worden gemeten via de Dice Similarity Coefficient (DSC), Intersection over Union (IoU) en de 95ste-percentiel Hausdorff Distance (HD95). De kwaliteit van de onzekerheid wordt beoordeeld via de Uncertainty Calibration Error (UCE), Failure Detection AUROC (het onderscheiden van slices met Dice < 0,65) en de correlatie tussen onzekerheid en segmentatiefout.

Belangrijkste Bijdragen

1. Robuustheid-benchmark: Een reproduceerbare benchmark die het ImageNet-C concept uitbreidt naar multimodale hersen-MRI, met acht corruptietypes op vijf ernstgraden.
2. Synthetisch Cohort: Een gecontroleerde, restrictievrije dataset van 60 volumes gegenereerd via biofysische simulatie, wat rigoureuze stresstests mogelijk maakt zonder beperkingen in het gebruik van data.
3. Architecturale Vergelijking: Een kwantitatieve analyse van hoe attention gating zich gedraagt onder schone en gedegradeerde condities vergeleken met de standaard U-Net.
4. Onzekerheidsintegratie: De toepassing van MC-dropout om segmentatiefouten te detecteren wanneer corrupties ernstig worden, waarmee verder wordt gegaan dan eenvoudige nauwkeurigheidsmetrieken.
5. Selectieve Predictie: Een analyse van de coverage-accuracy tradeoff, die een instelbare route biedt voor human-in-the-loop workflows waarbij onzekere voorspellingen worden doorgestuurd voor deskundige beoordeling.
6. Reproduceerbaarheidspipeline: Een one-command pipeline die fantoomsimulatie, training, corruptie, onzekerheidsschatting en figuurgeneratie omvat.

Resultaten

• Prestaties bij Schone Data: Op schone testdata bereikte de Attention U-Net een whole-tumor Dice van 0,990, waarmee de standaard U-Net (0,988) versloeg, met de grootste winst in de regio van de versterkende tumor.
• Impact van Degradatie: De prestatiedegradatie varieerde significant per corruptietype. Contrastverschuiving en Gaussische ruis veroorzaakten de meest ernstige dalingen. Onder ernstige Gaussische ruis (ernst 5) stortte de prestatie van de Attention U-Net in tot een Dice van 0,089.
• Onzekerheidscorrelatie: De predictieve onzekerheid steeg met de ernst van de degradatie. Onder Gaussische ruis van ernst-3 correleerde de onzekerheid met de segmentatiefout (Pearson $r = 0,53$).
• Faledetectie: Het systeem markeerde fouten succesvol. Onder Gaussische ruis van ernst-3 onderscheidde de slice-level gemiddelde predictieve entropie succesvolle van gefaalide segmentaties met een AUROC van 0,843. Fouten door contrastverschuiving werden nog effectiever gedetecteerd (AUROC = 0,992).
• Selectieve Predictie: Door de top 25% van de onzekere voorspellingen door te sturen naar menselijke beoordeling (75% coverage), verbeterde de Dice-score op de overgebleven geautomatiseerde voorspellingen van 0,990 naar 0,994.
• Ruimtelijke Lokalisatie: MC-dropout onzekerheidskaarten benadrukden tumormarges en ambigue weefselgebieden in plaats van uniforme ruis te produceren, wat overeenkomt met klinische verwachtingen waar de grenzen tussen oedeem en gezond weefsel vaak geleidelijk zijn.

Significantie en Claims
Het artikel betoogt dat onzekerheidsbewuste inferentie dient als een praktische veiligheidslaag voor physician-in-the-loop radiologie-workflows. De auteurs beweren dat hoewel aandachtsmecanismen de nauwkeurigheid verbeteren, ze geen garantie bieden voor robuustheid tegen ernstige ruis of contrastverschuivingen; daarom is expliciete onzekerheidsschatting noodzakelijk om stille fouten te detecteren.

De studie positioneert haar bevindingen als een stap naar "betrouwbare" AI, waarbij het systeem niet de klinische verantwoordelijkheid vervangt, maar de onzekerheid zichtbaar maakt. Door de tradeoff tussen automatisering en menselijke beoordeling te kwantificeren, ondersteunt het framework een workflow waarbij routinematige gevallen automatisch worden verwerkt, terwijl ambigue of gedegradeerde gevallen worden gemarkeerd voor beoordeling door een neuroradioloog. De auteurs benadrukken dat hun resultaten afkomstig zijn van een synthetisch cohort en dat de primaire bijdrage de demonstratie van het patroon van degradatie en onzekerheidstracking is, in plaats van absolute prestatiecijfers op echte klinische data. Zij concluderen dat betrouwbare AI in medische beeldvorming de menselijke verantwoordelijkheid centraal moet houden, waarbij onzekerheidssignalen dienen om het klinische oordeel te begeleiden in plaats van te vervangen.