Probabilistic Modeling of Multi-rater Medical Image Segmentation for Diversity and Personalization

Technische Samenvatting: Ontkoppelen van Voorkeur en Ambiguïteit voor Controleerbare Segmentatie van Medische Laesies

Probleemstelling
Medische laesiesegmentatie wordt inherent belemmerd door beeldvormingsonzekerheid, voortkomend uit slecht gedefinieerde grenzen, artefacten en onregelmatige vormen van medische doelen. Een kritieke manifestatie van deze onzekerheid is variatie tussen waarnemers, waarbij verschillende experts uiteenlopende annotaties leveren voor hetzelfde beeld. Bestaande benaderingen voor segmentatie van medische beelden met meerdere waarnemers vallen over het algemeen in twee beperkte categorieën:

1. Generatiemethoden: Deze produceren diverse segmentatieresultaten, maar slagen er niet in expertspecifieke personalisatie te vangen, en genereren vaak variaties die niet lijken op realistisch expertgedrag.
2. Personalisatiemethoden: Deze repliceren de output van individuele annotatoren, maar missen het vermogen om diverse segmentatie te genereren, waardoor expertspecificaties effectief hardgecodeerd worden en de inherente beeldambiguïteit wordt genegeerd.
3. Crowdsourcingmethodes: Deze aggregeren meerdere annotaties tot één meta-segmentatie, uitgaande van één waarheid en falend in het modelleren van de verdeling van expertvariabiliteit.

Het artikel identificeert een gat in de literatuur: er is geen effectieve aanpak die gelijktijdig segmentatieresultaten kan genereren die zowel divers zijn (het bereik van expertmeningsverschillen vattend) als gepersonaliseerd (in lijn met specifieke expertannotaties) binnen een unificerend raamwerk.

Methodologie: ProSeg
De auteurs stellen ProSeg (Probabilistische modellering van segmentatie met meerdere waarnemers) voor, een probabilistisch grafisch model (PGM) ontworpen om diversiteit en personalisatie te verenigen. De kerninnovatie ligt in de introductie van twee continue latente variabelen om de bronnen van onzekerheid te ontkoppelen:

• $\tau$ (Tau): Modelleert de subjectieve variaties tussen expertannotatoren (variatie tussen waarnemers). Het wordt afgeleid uit de specifieke expertannotator $R$.
• $Z$: Modelleert de ambiguïteit in medische scans (onzekerheid binnen het beeld). Het wordt afgeleid uit de waargenomen beeldgegevens $X$.

Probabilistische Formulering
ProSeg modelleert de gezamenlijke verdeling $p(Y, x, R)$ van annotaties ($Y$), beelden ($x$) en experts ($R$). Het model gaat ervan uit dat annotaties conditioneel worden gegenereerd op basis van de latente variabelen $\tau$ en $Z$.

• Generatief Proces: Het model definieert conditionele verdelingen $p(y_{ri} | \tau_i, z_i)$, $p(x | z_i)$ en $p(r_i | \tau_i)$.
• Variatie-inferentie: Aangezien de posteriorverdelingen van de latente variabelen onberekenbaar zijn, maakt het model gebruik van variatie-inferentie om ze te benaderen met $q(z_i | x)$ en $q(\tau | R)$.
• Trainingsdoel: Het model wordt getraind door de Evidence Lower Bound (ELBO) te maximaliseren, wat de negatieve log-waarschijnlijkheid van de waargenomen data minimaliseert (reconstructie van beelden, classificatie van experts en segmentatie-accuraatheid), terwijl de posteriorverdelingen van $\tau$ en $Z$ worden geregulariseerd om te overeenkomen met hun priors (Dirichlet voor $\tau$ en Gaussisch voor $Z$).

Modelarchitectuur
De architectuur bestaat uit vijf neurale netwerkmodules:

1. Beeldencoder: Leidt de ambiguïteits-late variabele $z$ af uit het beeld $x$.
2. Beelddecoder: Reconstructeert het beeld vanuit $z$.
3. Class-embedding: Leidt de expertvoorkeurs-late variabele $\tau$ af uit de expertannotator $R$.
4. Classificator: Voorspelt de expertannotator vanuit $\tau$.
5. Segmentatievoorspeller: Genereert de segmentatie $y_{ri}$ geconditioneerd op zowel $\tau_i$ als $z_i$.

Controlemechanismen

• Personalisatie: Door het specificeren van een bepaalde expert $r$, samplet het model $\tau$ vanuit $q(\tau | r)$, waardoor segmentatie wordt gegenereerd die in lijn is met de stijl van die specifieke expert, terwijl diversiteit wordt behouden via het samplen van $z$.
• Diversiteit: Door $\tau$ te samplen vanuit de priorverdeling $p(\tau)$ (Dirichlet) in plaats van de posterior van een specifieke expert, genereert het model diverse segmentatieresultaten die het volledige spectrum van expertvariabiliteit vertegenwoordigen.

Experimentele Resultaten
De auteurs evalueerden ProSeg op twee benchmarkdatasets:

1. LIDC-IDRI: Een longknobbeldataset met vier expertannotaties per beeld.
2. NPC: Een dataset van nasofaryngeale carcinomen met vier echte radiologen, die een hogere variabiliteit in voorkeuren vertoont.

Belangrijkste Metingen:

• Diversiteit: Gemeten door Generalized Energy Distance (GED) en Soft Dice ($D_{soft}$).
• Personalisatie: Gemeten door Match Dice ($D_{match}$), Maximum Dice ($D_{max}$) en gemiddelde Dice-scores tegenover specifieke experts ($D_{mean}$).

Vondsten:

• ProSeg behaalde State-of-the-Art (SOTA) prestaties op beide datasets.
• Op LIDC-IDRI behaalde ProSeg de laagste GED (0,1152) en de hoogste $D_{soft}$ (91,53%), en overtrof generatiemethoden (bijv. Probabilistic U-Net) en personalisatiemethoden (bijv. TAB, Pionono).
• Op de uitdagendere NPC-dataset verbeterde ProSeg de diversiteitsprestaties met 20,71% ten opzichte van eerdere SOTA-personalisatiemethoden in termen van GED, terwijl het een hoge personalisatie-accuraatheid behield ($D_{mean} = 82,07\%$).
• Ablatiestudies bevestigden dat beide latente variabelen cruciaal zijn; het verwijderen van $\tau$ of $Z$ resulteerde in significante prestatiedegradatie.
• Visuele analyse toonde aan dat ProSeg segmentaties genereert die zowel divers zijn als nauw in lijn liggen met de "Gold Standard"-verdeling van expertannotaties, terwijl andere methoden óf diversiteit missen óf falen in het overeenkomen met specifieke expertvoorkeuren.

Betekenis en Claims
Het artikel claimt dat ProSeg het eerste probabilistische modelleringkader is dat diversiteits- en personalisatiemodellering voor segmentatie van laesies met meerdere waarnemers verenigt. Door deze aspecten gezamenlijk te leren binnen één enkel probabilistisch kader, adresseert ProSeg de beperkingen van bestaande methoden die diversiteit en personalisatie als wederzijds uitsluitend behandelen of multi-stadia training vereisen. De auteurs stellen dat ProSeg een generaliseerbaar kader biedt dat kan worden uitgebreid naar andere medische beeldsegmentatietaken met meerdere waarnemers, en een robuuste oplossing biedt voor het hanteren van de inherente onzekerheid en variabiliteit in klinische diagnose. Het werk benadrukt dat het vastleggen van zowel de ambiguïteit van het beeld als de subjectiviteit van de annotator essentieel is voor het genereren van betrouwbare en klinisch relevante segmentatie-outputs.