Patch2Loc: Learning to Localize Patches for Unsupervised Brain Lesion Detection

Probleemstelling

Het detecteren en lokaliseren van abnormaal hersenweefsel (zoals tumoren, sclerose of beroertes) in MRI-beelden is cruciaal voor diagnose en behandeling. Hoewel toezicht opgeleide (supervised) deep learning-modellen goed presteren, zijn ze afhankelijk van grote hoeveelheden gelabelde data, wat vaak ontbreekt voor zeldzame of structureel diverse aandoeningen.

Bestaande onzichtbare (unsupervised) methoden, zoals auto-encoders (AE), variational auto-encoders (VAE) en denoising diffusion probabilistic models (DDPM), werken vaak op basis van globale reconstructie. Ze proberen een heel hersenbeeld te reconstrueren; afwijkingen worden gedetecteerd waar de reconstructie faalt. Dit heeft echter twee grote nadelen:

1. Contextafhankelijkheid: Het model kan soms abnormale gebieden "reconstrueren" door gebruik te maken van de globale context, waardoor fouten worden gemaskeerd.
2. De "Noise Paradox": Vooral bij DDPM's is er een delicate afweging nodig tussen het toevoegen van ruis (voor detectie) en het behoud van normaal weefsel. Te veel ruis leidt tot valse positieven, te weinig leidt tot het missen van afwijkingen.

Methodologie: Patch2Loc

De auteurs stellen Patch2Loc voor, een nieuw raamwerk dat de paradigma verschuift van globale reconstructie naar lokale structurele beoordeling. In plaats van een heel beeld te reconstrueren, leert het model om de ruimtelijke locatie van een geïsoleerd patch (een klein stukje van het beeld) te voorspellen.

Kernconcept:
Er bestaat een sterke relatie tussen de inhoud van een patch en zijn anatomische locatie in een normaal hersenbeeld. Een model getraind op normale data leert de specifieke anatomische patronen per locatie. Als een patch een afwijking bevat, wijkt de structuur af van de norm, wat leidt tot een hoge voorspelfout en hoge onzekerheid in de locatievoorspelling.

Technische Implementatie:

1. Probleemformulering: Gegeven een patch $X$ en een slice-index $A$, wordt de voorwaardelijke verdeling van de 2D-locatie $Y$ gemodelleerd als een Gaussische verdeling:
   $$P_\theta(Y | X, A) = \mathcal{N}(\mu_\theta(X, A), \Sigma_\theta(X, A))$$
   Waarbij $\mu_\theta$ de voorspelde gemiddelde locatie is en $\Sigma_\theta$ de covariantiematrix (onzekerheid).
2. Architectuur:
   • Een ResNet-18 backbone (aangepast met een 3x3 convolutie in plaats van 7x7 vanwege de kleine patchgrootte van 24x24) encodeert de patch $X$.
   • De slice-index $A$ wordt gecodeerd via sinusoidale positieschaling en aan de feature vector toegevoegd.
   • Twee aparte "heads" voorspellen de mean ($\mu$) en de log-variatie ($\log \Sigma$).
3. Verliesfunctie: Er wordt gebruik gemaakt van een aangepaste $\beta$-NLL loss (Negative Log-Likelihood) om het probleem van heteroscedastische onzekerheid aan te pakken. Dit voorkomt dat de schatting van de variantie de gradiënten voor de gemiddelde voorspelling te sterk beïnvloedt, wat convergentieproblemen veroorzaakt bij standaard NLL.
4. Abnormaliteitscore: Tijdens inferentie wordt een score berekend voor elke patch op basis van de som van de log-fout en de log-variantie:
   $$Score = \log(\|Y - \mu_\theta\|^2 + \epsilon) + \frac{1}{2}\sum \log(\Sigma_{ii})$$
   Een hoge score betekent dat het model zowel een grote voorspelfout maakt als een hoge onzekerheid heeft (het model "weet dat het fout zit").
5. Convolutionele Inferentie: Om pixel-precisie te bereiken, wordt het model convolutioneel toegepast op overlappende patches over het hele beeld, wat resulteert in een pixel-voor-pixel warmtekaart (heatmap) van anomalieën.

Belangrijkste Bijdragen

1. Lokale Feature Learning: In tegenstelling tot methoden die relaties tussen meerdere patches gebruiken (zoals Jigsaw-puzzels), leert Patch2Loc direct de relatie tussen één patch en zijn absolute locatie. Dit maakt het zeer effectief voor het lokaliseren van lokale afwijkingen.
2. Onzekerheidsgeleid Detectie: Door zowel de voorspelfout als de voorspelde variantie te combineren, ontstaat een robuuste anomalie-score die beter correleert met de werkelijke afwijkingen dan fouten alleen.
3. Minimale Hyperparameter-Afhankelijkheid: In tegenstelling tot DDPM-methoden die gevoelig zijn voor het niveau van toegevoegde ruis tijdens inferentie, werkt Patch2Loc met een stabiele configuratie zonder complexe aanpassingen tijdens het testen.
4. State-of-the-Art Prestaties: Het model presteert beter dan bestaande methoden (zoals DDPM, VAE, GAN) op meerdere datasets zonder gebruik te maken van gelabelde trainingsdata.

Resultaten

Het model is getest op vier verschillende datasets met verschillende pathologieën en MRI-modi (T1 en T2):

• BraTS2021: Hersentumoren (T2).
• MSLUB: Multiple Sclerose laesies (T2).
• ATLAS: Beroertes (T1).
• WMH: Witte stof hyperintensiteiten (T1).

Kernbevindingen:

• Kwantitatief: Patch2Loc overtreft of komt overeen met de beste bestaande methoden (zoals cDDPM en pDDPM) op alle datasets. Op de WMH-dataset is de verbetering in de Dice-score (⌈Dice⌉) aanzienlijk (15,70% vs. 11,59% voor de tweede beste).
• Kwalitatief: De gegenereerde warmtekaarten correleren sterk met de ground truth. Het model slaagt erin tumoren en verspreide laesies nauwkeurig te lokaliseren.
• Analyse: Abnormale patches tonen een duidelijke verschuiving in de verdeling van voorspelde locaties (hoge fout) en een grotere variantie (hoge onzekerheid) vergeleken met normale patches. De combinatie van fout en variantie (de score) correleert sterker met de hoeveelheid abnormaal weefsel dan individuele componenten.

Betekenis en Conclusie

Patch2Loc introduceert een nieuwe, intuïtieve en interpreteerbare aanpak voor onzichtbare anomaliedetectie in de neurobeeldvorming. Door te focussen op lokale anatomische patronen in plaats van globale reconstructie, omzeilt het de beperkingen van reconstructie-gebaseerde methoden (zoals het "noise paradox" en het gebruik van globale context om fouten te maskeren).

De methode biedt een robuust alternatief dat geen complexe hyperparameter-tuning vereist tijdens de inferentie, wat het zeer geschikt maakt voor klinische toepassing. Het werk legt de basis voor toekomstig onderzoek in onzichtbare segmentatie en toont aan dat het voorspellen van de locatie van een beeldfragment een krachtige taak is voor het leren van gezonde anatomische representaties.