Are Vision Foundation Models Foundational for Electron Microscopy Image Segmentation?

Technische Samenvatting: Zijn Vision Foundation Models Fundamenteel voor Segmentatie van Elektronenmicroscopiebeelden?

Probleemstelling
Hoewel Vision Foundation Models (VFMs) die zijn voorgetraind op grootschalige datasets van natuurlijke afbeeldingen steeds vaker worden toegepast bij biomedische beeldanalyse, blijft het onduidelijk of hun latente representaties voldoende algemeen zijn om effectieve transfer over heterogene microscopie-datasets te ondersteunen. Specifiek onderzoeken de auteurs of huidige VFMs de substantiële distributieverschuivingen kunnen overwinnen die zelfs binnen dezelfde beeldmodaliteit (elektronenmicroscopie, of EM) voorkomen. De studie richt zich op de taak van mitochondriale segmentatie, een cruciale taak in EM-analyse, om te bepalen of VFMs kunnen dienen als een "fundamentele" basis voor het trainen van een enkel robuust model over verschillende EM-datasets, of dat ze sterk domeinspecifiek blijven.

Methodologie
De auteurs voerden een gecontroleerde benchmark uit met behulp van twee breed geaccepteerde publieke EM-datasets: Lucchi++ en VNC. Deze datasets zijn gekozen vanwege hun gevestigde gebruik in de literatuur, wat een directe vergelijking met bestaande methoden mogelijk maakt. De studie evalueerde drie representatieve VFMs: DINOv2, DINOv3 en OpenCLIP.

Het experimentele ontwerp richtte zich op twee praktische regime voor modeladaptatie die de meeste voorgetrainde gewichten behouden, waarbij volledige end-to-end fine-tuning wordt vermeden:

1. Frozen-Backbone Adaptation: De gewichten van de VFM-backbone worden vastgehouden (inclusief normalisatielagen), en alleen een lichtgewicht convolutionele segmentatiekop wordt getraind.
2. Parameter-Efficient Fine-Tuning (PEFT) via LoRA: De segmentatiekop wordt zoals hierboven beschreven getraind, maar Low-Rank Adaptation (LoRA) adapters worden in de backbone geïnjecteerd om gerichte, lichtgewicht updates van de voorgetrainde gewichten mogelijk te maken.

De auteurs evalueerden de prestaties onder twee trainingsregimes:

• Single-Dataset Training: Modellen die afzonderlijk op Lucchi++ of VNC zijn getraind en getest.
• Paired-Dataset Training: Modellen die getraind zijn op de unie van beide datasets om het vermogen te beoordelen om een verenigde representatie te leren voor heterogene EM-bronnen.

Om de onderliggende oorzaken van prestatieverschillen te diagnosticeren, gebruikten de auteurs diagnostiek in de representatieruimte, inclus_ief Principal Component Analysis (PCA) van gepoolde embeddings, de berekening van de Fréchet DINOv2 Afstand (FD-DINOv2) om de distributionele mismatch te kwantificeren, en lineaire probes (logistische regressie) om de lineaire scheidbaarheid van de datasetlabels te testen.

Belangrijkste Resultaten

• Single-Dataset Prestaties: Alle drie de VFMs behaalden sterke segmentatieprestaties (gemeten door foreground Intersection-over-Union, IoUfg) wanneer ze op een enkele dataset werden getraind en getest. LoRA-PEFT verbeterde de in-domain prestaties consistent met ongeveer 10 procentpunten ten opzien van de frozen-backbone baseline over alle backbones heen.
• Paired-Dataset Falen: Wanneer getraind op de unie van Lucchi++ en VNC, stortte de prestatie in voor alle modellen, met een daling naar bijna willekeurige niveaus (IoUfg < 0,06). LoRA leverde slechts marginale verbeteringen in deze setting en slaagde er niet in om robuuste prestaties te herstellen.
• Domeinmismatch Analyse: Diagnostiek in de representatieruimte onthulde een uitgesproken en hardnekkige domeinmismatch tussen Lucchi++ en VNC. Zelfs na LoRA-adaptatie bezetten de twee datasets disjuncte regio's in de feature-ruimte (de FD-DINOv2 afstand daalde van 79,32 naar 45,02 maar bleef hoog), en lineaire probes konden de datasetherkomst nog steeds met bijna perfecte nauwkeurigheid (1,0) onderscheiden. Dit geeft aan dat het falen van paired training wordt gedreven door intrinsieke domeinverschuivingen binnen de EM-modaliteit die lichtgewicht adaptatie niet kan overbruggen.
• Vergelijking met de State-of-the-Art: Hoewel volledig gesuperviseerde end-to-end baselines (bijv. U-Net varianten) de sterkste presterende modellen bleven, waren VFM-gebaseerde modellen met LoRA competitief in single-dataset scenario's. Ze konden echter de prestaties van gespecialiseerde modellen in de paired setting niet evenaren.

Belangrijkste Bijdragen

1. Benchmarking: Bood een gecontroleerde benchmark van drie belangrijke VFMs (DINOv2, DINOv3, OpenCLIP) op een EM-segmentatietaak onder frozen-backbone en LoRA-PEFT adaptatie.
2. Empirisch Bewijs van Falen: Toonde aan dat paired training over heterogene datasets van dezelfde microscopie-modaliteit (EM) ernstig faalt, ondanks de visuele gelijkenis van de beelden.
3. Domeinmismatch Analyse: Koppelde dit falen aan de hardnekkige representatiescheiding tussen datasets, waarbij werd aangetoond dat PEFT de domeinkloof verkleint maar niet elimineert.
4. Prestatiecontext: Rapporteerde prestatievergelijkingen met representatieve niet-VFM baselines uit de EM-segmentatieliteratuur.

Betekenis en Claims
De paper concludeert dat hoewel VFMs competitieve resultaten kunnen leveren voor EM-segmentatie binnen een enkel domein met behulp van lichtgewicht adaptatie, ze nog niet fundamenteel genoeg zijn om een enkel robuust model over heterogene EM-datasets te ondersteunen zonder aanvullende domein-alignment mechanismen. De auteurs stellen dat de substantiële intra-modaliteit verschuiving binnen EM-beeldvorming een dominante factor is die generalisatie belemmert, en dat huidige PEFT-strategieën onvoldoende zijn om deze verschillende distributies uit te lijnen.

De studie suggereert dat de bottleneck voor de adoptie van VFMs in de microscopie niet alleen de verschuiving van natuurlijke naar biomedische beelden is, maar de variabiliteit die inherent is aan de microscopie-datasets zelf. Bijgevolg kunnen bestaande domein-alignment mechanismen, die grotendeels zijn ontwikkeld voor natuurlijke beelden, inadequaat zijn voor de meer variabele beeldgebieden die in de microscopie worden aangetroffen. De auteurs pleiten voor verdere methodologische ontwikkelingen om VFMs effectief te laten generaliseren over en binnen deze beeldmodaliteiten.