Particle Diffusion Matching: Random Walk Correspondence Search for the Alignment of Standard and Ultra-Widefield Fundus Images

Probleemstelling

Het paper adresseert de uitdaging om Standaard Fundus Afbeeldingen (SFIs) en Ultra-Widefield Fundus Afbeeldingen (UWFIs) nauwkeurig op elkaar af te stemmen (registratie).

• SFIs bieden een centraal zicht van slechts 30° tot 60° (minder dan 20% van het netvlies) met hoge resolutie.
• UWFIs vangen tot 200° (82% van het netvlies) in één beeld, maar hebben vaak lagere resolutie en minder duidelijkheid.
• De Uitdaging: Het aligneren van deze twee modaliteiten is extreem moeilijk vanwege grote verschillen in:
  • Veld van zicht (FOV) en schaal: UWFIs zijn veel breder dan SFIs.
  • Uiterlijk: Verschillen in kleur en textuur.
  • Kenmerkarmte: Het ontbreken van unieke, onderscheidende retinale kenmerken, vooral in perifere gebieden.
• Bestaande methoden (zoals globale transformatie-estimaties of lokale vervormingsschattingen) falen vaak omdat ze ofwel te star zijn voor grote perspectiefverschillen, ofwel niet goed kunnen omgaan met schaarse kenmerken zonder veel uitbijters (outliers).

Methodologie: Particle Diffusion Matching (PDM)

De auteurs stellen Particle Diffusion Matching (PDM) voor, een robuuste techniek die een iteratieve Random Walk Correspondence Search (RWCS) combineert met een diffusiemodel.

Kernprincipes:

1. Deel-Definitie: Een "deeltje" (particle) wordt gedefinieerd als een koppel van punten: een sleutelpunt in de bronafbeelding (SFI) en een potentieel overeenkomstig punt in de doelafbeelding (UWFI).
2. Iteratieve Random Walk:
   • In plaats van directe matching, worden de punten in de doelafbeelding (de deeltjes) initieel als willekeurige Gaussische ruis geïnitieerd.
   • Een getraind diffusiemodel (een neurale netwerkmotor $S_\theta$) leidt deze deeltjes via een reverse diffusion proces (de "random walk") naar hun juiste positie.
   • In elke iteratie schat het model verplaatsingsvectoren voor de deeltjes door rekening te houden met:
     • Lokale verschijning (textuur).
     • De structurele verdeling van de deeltjes.
     • Een geschatte globale transformatie.
3. Gecombineerde Optimalisatie:
   • PDM behandelt bron- en doel-puntenparen als gekoppelde entiteiten. Ze worden gezamenlijk geoptimaliseerd, wat zorgt voor een betere geometrische coherentie dan methoden die punten onafhankelijk behandelen.
   • Dit vermijdt de noodzaak van voorlopige matching en RANSAC-filtering, wat vaak faalt bij schaarse kenmerken.
4. Architectuur:
   • Encoder: Haalt multi-schaal features (ruw en fijn) uit beide afbeeldingen.
   • Query Generator: Detecteert sleutelpunten in de SFI (bron) met behulp van algoritmen zoals SIFT of Blob-detectie.
   • RWCS Netwerk: Bestaat uit twee "Random Walker Transformer" (RWTr) lagen (Coarse-to-Fine). Het gebruikt coarse features voor globale oriëntatie en fine features voor lokale verfijning.
   • Training: Gebruikt een verliesfunctie die bestaat uit DDPM-verlies (voor het denoisen), pixel-matching verlies (NCC) en regularisatieverlies (om de homografie consistent te houden).

Belangrijkste Bijdragen

1. Nieuwe Framework: Introductie van PDM, een uniek raamwerk dat globale en lokale alignatie verenigt via een stochastisch, iteratief zoekproces geleid door diffusie.
2. State-of-the-Art Prestaties: Het bereiken van de beste prestaties op meerdere benchmarks voor retinale beeldregistratie, met name op de moeilijke kruis-modaliteit (SFI-UWFI) taken.
3. Generaliseerbaarheid: Demonstration van robuustheid op diverse datasets (KBSMC, FIRE, FLORI21) en bewijs van generalisatie naar niet-medische scene-datasets (HPatches, MegaDepth, ScanNet).

Resultaten

De methode werd geëvalueerd op drie datasets:

• KBSMC (SFI-UWFI): Een dataset van 3.744 paren.
  • Acceptable Rate: PDM bereikte 58,56%, een absolute verbetering van 17,65% ten opzichte van de huidige state-of-the-art (MINIMA, 40,91%).
  • mAUC (Mean Area Under Curve): PDM scoorde 34,8, significant hoger dan concurrenten.
• FIRE (SFI-SFI) en FLORI21 (UWFI-UWFI): PDM behaalde ook hier de hoogste scores (100% Acceptable rate op FLORI21).
• Efficiëntie: Ondanks de iteratieve aard is de inferentietijd laag (0,45 seconden) omdat de verfijning alleen gebeurt op een schaarse set punten en niet op een dicht rooster.
• Ablatie Studies:
  • Aantal deeltjes: 100 deeltjes bleek het optimale evenwicht tussen nauwkeurigheid en rekentijd.
  • Initialisatie: Een normalisatiebereik van [-1, 1] werkte het beste; te smalle of te brede bereiken leidden tot instabiliteit.
  • Query Generator: Het model is robuust ten opzichte van de keuze van de sleutelpuntdetector, zolang de punten goed over het beeld verdeeld zijn.

Betekenis en Toekomstperspectief

• Klinische Impact: PDM maakt het mogelijk om SFIs en UWFIs automatisch en nauwkeurig te combineren. Dit is cruciaal voor het trainen van AI-modellen voor beeldverbetering en super-resolutie, waardoor UWFIs kunnen worden gebruikt voor diagnose van aandoeningen zoals maculadegeneratie (waarvoor SFIs nodig zijn) zonder dat handmatige alignatie nodig is.
• Technologische Vooruitgang: De paper toont aan dat diffusiemodellen effectief kunnen worden ingezet voor correspondentieproblemen, niet alleen voor beeldgeneratie. De "Random Walk" strategie biedt een nieuwe richting voor het verbeteren van toezicht op leren (supervised learning) en ziektediagnose in de oogheelkunde.
• Beperkingen: De methode is nog steeds afhankelijk van de detectie van sleutelpunten in de bronafbeelding. Bij ernstig vervormde of zeer donkere afbeeldingen waar geen punten gedetecteerd kunnen worden, kan de prestatie dalen. Toekomstig werk richt zich op het verbeteren van de robuustheid tegen beelddegradatie en het aanpassen van het aantal iteraties aan de complexiteit van het beeld.

Kortom, PDM biedt een krachtige, schaalbare oplossing voor een langdurig probleem in de retinale beeldanalyse, waarbij het de kloof overbrugt tussen verschillende beeldmodaliteiten door gebruik te maken van geavanceerde diffusietechnieken voor geometrische consistentie.