GLIDE-Reg: Global-to-Local Deformable Registration Using Co-Optimized Foundation and Handcrafted Features

Probleemstelling

Deformabele beeldregistratie (DIR) is een fundamentele maar uitdagende taak in de medische beeldvorming, essentieel voor toepassingen zoals het volgen van laesies, het genereren van probabilistische atlassen en het evalueren van de respons op behandelingen. Bestaande methoden kampen echter met twee belangrijke beperkingen:

1. Gebrek aan robuustheid en generaliseerbaarheid: Veel methoden presteren slecht bij het overschakelen tussen verschillende patiëntcohorten of bij variaties in anatomische dekking.
2. Balans tussen globale en lokale registratie: Bestaande deep-learning-methoden zijn vaak goed in het aligneren van grote anatomische structuren (zoals longen of het hart), maar falen bij het nauwkeurig registreren van fijnere structuren zoals kleine longknobbels en bloedvaten. Omgekeerd zijn handgemaakte (handcrafted) kenmerk-methoden vaak stabiel voor lokale details, maar missen ze de semantische context voor grote vervormingen.
3. Berekeningskosten: Het gebruik van Vision Foundation Models (VFM) voor registratie stuit op een geheugen- en rekenkundige bottleneck door de hoge dimensie van de embeddings, wat vaak leidt tot informatieverlies bij compressie (bijv. via PCA).

Methodologie: GLIDE-Reg

GLIDE-Reg is een registratieframework dat een global-to-local strategie hanteert binnen een instance-geoptimaliseerd raamwerk. Het combineert semantische globale kenmerken met lokale structurele beschrijvingen.

1. Kenmerkextractie (Feature Extraction):

• Globale Semantische Kenmerken: In plaats van volledige 3D-volumes direct te verwerken, extraheren de auteurs 2D-kenmerkkaarten uit de encoder van Segment Anything Model 2 (SAM2) voor elke axiale slice. Deze 2D-kaarten worden samengevoegd tot een 3D-kenmerkvolume. Dit benut de efficiëntie van SAM2 voor lange sequenties.
• Lokale Structurele Kenmerken: Er wordt gebruikgemaakt van MIND (Modality-Independent Neighborhood Descriptor), een handgemaakte feature die lokale voxel-variaties vastlegt via 12 voxel-tot-voxel afstanden. Dit is cruciaal voor het vastleggen van fijne details zoals knobbels en vaten.

2. Dynamische Dimensiereductie (Dynamic Dimensionality Reduction):
Om de hoge dimensie van VFM-embeddings (bijv. 256 dimensies) te verwerken zonder zware rekenlast of informatieverlies, introduceren de auteurs een Variational Autoencoder (VAE).

• In tegenstelling tot lineaire methoden zoals PCA, leert de VAE een niet-lineaire mapping naar een lagere dimensie (12 dimensies).
• Co-Optimalisatie: De VAE wordt niet vooraf getraind en vastgehouden; de parameters van de VAE worden gezamenlijk geoptimaliseerd met de registratie-taak. Dit zorgt ervoor dat de gecomprimeerde embeddings specifiek relevant blijven voor de registratie en niet drift naar andere doelen.

3. Global-to-Local Registratie Pijplijn:
Het proces verloopt in twee fasen binnen een enkel optimalisatiekader:

• Gekoppelde Convex Optimalisatie: Eerst worden de globale (SAM2) en lokale (MIND) kenmerken onafhankelijk verwerkt via convex discrete optimalisatie om een initiële verplaatsingsveld ($u_{init}$) te genereren.
• Adam Instance-Optimalisatie: Dit initiële veld wordt vervolgens verfijnd via iteratieve Adam-optimatie. De kostenfunctie combineert een gelijkaardigheidsmaat voor zowel globale als lokale kenmerken:
  $$D = \alpha L_{global} + \beta L_{local} + \lambda r(u)$$
  Waarbij $L_{global}$ en $L_{local}$ de som van de kwadratische afstanden zijn, en $r(u)$ een buigingsenergie-regularisatie is om fysiek plausibele vervormingen te garanderen.

Belangrijkste Bijdragen

1. Co-geoptimaliseerd Global-Local Formulier: Een uniek raamwerk dat foundation-model-gebaseerde globale semantiek en handgemaakte lokale structurele beschrijvingen koppelt binnen één instance-specifieke optimalisatie.
2. Dynamische, Registratie-bewuste Dimensiereductie: Een VAE-gebaseerde methode die de rijke semantiek van VFM-embeddings behoudt en tegelijkertijd de rekenkosten verlaagt, waarbij de reductie dynamisch wordt aangepast aan de registratiedoelstellingen.
3. Hergebruik van 2D VFM-embeddings voor 3D: Het aantonen dat sequentieel geëxtraheerde 2D-embeddings effectief kunnen worden omgezet voor 3D-deformabele registratie.
4. Uitgebreide Evaluatie: Een grondige evaluatie op heterogene long-CT-datasets, inclusief uitdagende taken zoals het volgen van longknobbels.

Resultaten

De prestaties van GLIDE-Reg werden getest op drie datasets: NLST (longknobbels), Lung250M (COPD met 300 handmatig geannoteerde landmarks per paar) en UCLA5DCT (vrije ademhaling).

• Dice Similarity Coefficient (DSC): GLIDE-Reg behaalde gemiddelde DSC-scores van 0.859 (Lung250M), 0.862 (NLST) en 0.901 (UCLA5DCT). Dit is een verbetering ten opzichte van de state-of-the-art methode DEEDS (respectievelijk 0.834, 0.858, 0.900). De verbetering was het meest opvallend bij fijnere structuren zoals luchtwegen en longvaten.
• Target Registration Error (TRE):
  • Op Lung250M landmarks: 1.58 mm (vergeleken met 1.25 mm voor corrField en 1.91 mm voor DEEDS).
  • Op NLST knobbels: 1.11 mm (gelijk aan DEEDS, maar beter dan veel deep-learning-methoden).
• Topologiebehoud: Het percentage van niet-positieve Jacobiaanse determinant (%|J|<0) was laag, wat aangeeft dat de vervormingen topologisch geldig blijven.
• Efficiëntie: GLIDE-Reg is aanzienlijk sneller dan DEEDS (ongeveer de helft van de runtime) en biedt een betere balans tussen snelheid en nauwkeurigheid dan andere instance-geoptimaliseerde methoden.
• Ablatie-studies: De studie bevestigde dat de combinatie van globale en lokale modules essentieel is (Global-only of Local-only presteerde significant slechter) en dat de dynamische VAE-reductie beter presteerde dan statische PCA-reductie.

Betekenis en Conclusie

GLIDE-Reg vertegenwoordigt een significante doorbraak in de medische beeldregistratie door de kloof te overbruggen tussen de semantische kracht van moderne Vision Foundation Models en de precisie van handgemaakte lokale kenmerken.

De belangrijkste implicaties zijn:

• Robuustheid: Het framework is zeer generaliseerbaar over verschillende cohorten en scanprotocollen zonder uitgebreid her-trainen.
• Klinische Relevantie: De hoge nauwkeurigheid bij het registreren van kleine structuren (zoals longknobbels) maakt het ideaal voor kritische toepassingen zoals het volgen van tumoren voor vroege longkanker-diagnose.
• Efficiëntie: Door het gebruik van co-geoptimaliseerde dimensiereductie en een hybride global-to-local aanpak, biedt het een praktische oplossing die zowel snel als nauwkeurig is, wat essentieel is voor klinische workflows.

Kortom, GLIDE-Reg bewijst dat het combineren van foundation models met traditionele, handgemaakte descriptors via een dynamisch optimalisatiekader de huidige staat van de kunst voor deformabele registratie aanzienlijk kan verbeteren.