DINO-3DRA: Leveraging 2D Foundation Model Semantics for 3D Cerebral Aneurysm Segmentation

Technische Samenvatting: DINO-3DRA

Probleemstelling
Nauwkeurige segmentatie van intracraniële aneurysma's in 3D Rotational Angiography (3DRA) wordt gehinderd door drie primaire uitdagingen: extreme klassenonbalans (aneurysma's beslaan <1% van de voxels), morfologische gelijkenis tussen aneurysma's en moedervaten, en significante variabiliteit tussen scanners. Bov�and wordt de segmentatie bemoeilijkt door het feit dat, hoewel 2D vision foundation models (VFMs) zoals DINOv3 dichte structurele priors hebben geleerd van ~1,7 miljard natuurlijke afbeeldingen, volumetrische 3D-modellen een vergelijkbare grootschalige pretraining missen door dataschaarste. Naïeve benaderingen die 2D foundation models naar 3D-taken overdragen via slice-gewijze verwerking fragmenteren vaak de anatomische continuïteit en destabiliseren de optimalisatie, waardoor ze niet kunnen concurreren met geoptimaliseerde 3D-architecturen.

Methodologie
De auteurs stellen DINO-3DRA voor, een dual-path framework ontworpen om effectieve cross-dimensionale semantische transfer te bereiken zonder het foundation model te finetunen. De architectuur bestaat uit:

1. Dual-Path Encoder:

   • Trainbare 3D-tak: Een standaard 3D U-Net backbone verwerkt volumetrische inputs en breidt kanalen uit van 32 naar 256 over vier encoder-stadia.
   • Bevroren 2D Semantische tak: Een bevroren DINOv3-Small (ViT-S/16) model verwerkt axiale slices onafhankelijk. Elke slice wordt gerepliceerd naar RGB, geschaald naar 224×224, en verwerkt om 384-dimensionale semantische embeddings te genereren. Deze embeddings leggen vasculaire context op slice-niveau vast en worden gebroadcast naar ruimtelijke supports die overeenkomen met de resoluties van de U-Net skip-verbindingen.

2. Integratiemechanismen:

   • Room-Lite Spatial Mixers: Om het gebrek aan inter-slice continuïteit aan te pakken dat inherent is aan onafhankelijke slice-verwerking, introduceren de auteurs een parameter-efficiënt module. Deze module herstelt de volumetrische coherentie met behulp van leerbare depth-positional biases en depthwise-separable 3D-convoluties, waardoor slice-wise tokens effectief worden gemengd tot een isotrope 3D-volume.
   • Gecalibreerde Heterogene Fusie: Om de statistisch verschillende feature-distributies van de bevroren DINO-tak en de trainbare U-Net uit te lijnen, wordt een residuele fusiestrategie toegepast bij elke skip-verbinding. Dit omvat een 1×1×1 projectie en een leerbaar schaalmechanisme, wat ervoor zorgt dat de U-Net features behouden blijven als de foundation features niet nuttig zijn.

3. Trainingsdoelstelling:
   Vanwege de ernstige klassenonbalans wordt een samengestelde loss-functie gebruikt: $L = 0.3 L_{vessel} + 0.5 L_{aneurysm} + 0.2 L_{CE}$. De vessel Dice loss werkt op de unie van de vessel- en aneurysm-klassen om vasculaire continuïteit te behouden, terwijl de aneurysm Dice de laesie-segmentatie isoleert. Class-weighted cross-entropy stabiliseert de per-voxel classificatie.

Belangrijkste Bijdragen

• Lichtgewicht Cross-Dimensionale Integratie: Het framework combineert een bevroren DINOv3-Small met een 3D U-Net, waarbij slechts ~120K parameters aan de backbone worden toegevoegd. Het bereikt state-of-the-art prestaties met een totaal van 5,72M trainbare parameters.
• Room-Lite Spatial Mixer: Een nieuwe module die de volumetrische coherentie van slice-wise features herstelt met behulp van depth-aware positionele codering en depthwise-separable convoluties.
• Gecalibreerde Heterogene Fusie: Een residuele injectiemethode met leerbare schaling die de uitlijning tussen bevroren foundation features en trainbare domeinspecifieke features stabiliseert.
• Systematische Validatie: De studie toont aan dat de prestatiewinsten voortkomen uit gestructureerde cross-dimensionale transfer in plaats van enkel het loss-ontwerp, waarbij wordt aangetoond dat de gebrugde foundation features de anatomische continuïteit tussen aneurysma's en moedervaten verbeteren.

Resultaten
Geëvalueerd op de multi-centre @neurIST dataset (233 patiënten), bereikte DINO-3DRA:

• Aneurysma Segmentatie: Een Dice score van 0,758 en een HD95 van 2,75 mm, wat een +13% verbetering betekent ten opzichte van de nnU-Net baseline.
• Vessel Segmentatie: Een Dice score van 0,897.
• Stabiliteit: De methode vertoonde een opvallend lagere variantie ($\sigma = 0,033$) vergeleken met baselines ($\sigma = 0,097–0,138$).
• Cross-Dataset Generalisatie: Zonder fine-tuning werd het model getest op de CADA en SHINY-ICARUS datasets. Het elimineerde alle catastrofale fouten (Dice < 0,5) die werden waargenomen in baseline architecturen, waardoor de coëfficiënt van variatie met 52–70% werd verminderd. Op SHINY-ICARUS verbeterde het de Dice score met 10,4% en verminderde het de HD95 met 75,8%.

Significantie en Claims
Het artikel claimt dat DINO-3DRA erin slaagt om de dichte structurele priors van 2D foundation models te benutten om de beperkingen van dataschaarste in 3D medische beeldvorming te overwinnen. De auteurs stellen dat de sleutel tot dit succes niet louter de transfer van features is, maar de specifieke architecturale mechanismen (Room-Lite mixers en gekalibreerde fusie) die de dimensionale kloof overbruggen.

De methode produceert anatomisch coherente voorspellingen waarbij aneurysma's worden herkend als pathologische vaatdilataties in plaats van geïsoleerde anomalieën. Deze consistentie biedt een superieur geometrisch startpunt voor downstream taken zoals oppervlaktemeshing en hemodynamische modellering. De auteurs concluderen dat het framework een verbeterde robuustheid biedt over heterogene protocollen, waarbij de nadruk ligt op betrouwbare lokalisatie en het reduceren van foutpercentages boven perfecte volumetrische grensbepaling in ambigue gevallen.