💻 computer science

$μ$ Match: Foundation Models for Semi-supervised Learning and Domain Adaptation in EM

Het artikel stelt $\mu$ Match voor, een framework voor semi-supervised learning en domain adaptation dat vision foundation models benut om de handmatige annotatie-inspanningen aanzienlijk te verminderen en de prestaties over diverse elektronmicroscopie-segmentatietaken te verbeteren.

Oorspronkelijke auteurs: Marei Freitag, Olesia Korchevaia, Luca Freckmann, Anwai Archit, Constantin Pape

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Marei Freitag, Olesia Korchevaia, Luca Freckmann, Anwai Archit, Constantin Pape

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om minuscule structuren binnen een cel te identificeren, zoals de celkern (het brein van de cel) of mitochondriën (de energiecentrales van de cel), met behulp van afbeeldingen uit een elektronenmicroscoop. Deze afbeeldingen zijn ongelooflijk gedetailleerd, maar ook ontzettend moeilijk te lezen.

Het Probleem: De "Labeling" Bottleneck
Om een computer te leren om deze structuren te herkennen, moet je hem meestal duizenden voorbeelden laten zien waarbij een menselijke expert een lijn heeft getrokken rondom elk afzonderlijk object. Dit is als proberen een kind te leren hoe een appel eruitziet door het keer op keer een foto van een appel te laten zien en te zeggen: "Dit is een appel." Maar bij elektronenmicroscopie kost het tekenen van deze lijnen experts uren of dagen per afbeelding. Het is zo traag en duur dat we niet genoeg gelabelde data kunnen verzamelen om de beste AI te trainen.

De Oplossing: µMatch (Het "Student-Teacher" Systeem)
De auteurs van dit artikel, µMatch, stellen een slimme workaround voor. In plaats van alleen te vertrouwen op de weinige afbeeldingen die we wel kunnen labelen, gebruiken ze een "Student-Teacher" systeem om te leren van de duizenden afbeeldingen die we niet kunnen labelen.

De Teacher (De Leraar): Denk aan dit als een wijze, ervaren mentor. De leraar kijkt naar een ongelabelde afbeelding en doet een gok over wat hij ziet.
De Student (De Leerling): Dit is de enthousiaste leerling. De leerling kijkt naar een licht "verstoorde" versie van dezelfde afbeelding (miss misschien gespiegeld of met andere kleuren) en probeert de gok van de leraar te matchen.
De Foundation Models (De Fundamentele Modellen): Het paper gebruikt vooraf getrainde "Foundation Models" (zoals SAM of DINOv2) als het startpunt voor zowel de Teacher als de Student. Denk aan deze modellen als modellen die al hebben geleerd om algemene vormen en objecten te herkennen van miljoenen alledaagse foto's. De onderzoekers zeggen eigenlijk: "Laten we beginnen met een model dat al weet wat een 'vlek' of een 'lijn' is, en dit model vervolgens leren om specifieke celonderdelen te herkennen."

Hoe ze het hebben getest
De onderzoekers hebben dit systeem getest op drie verschillende "uitdagingen":

Nuclei: Het vinden van het controlecentrum van de cel.
Mitochondria: Het vinden van de energiecentralen.
Neurites: Het vinden van de lange, kronkelende takken van zenuwcellen (die erg lastig zijn omdat ze draaien en tuimelen als spaghetti).

Ze vergeleken deze nieuwe "Student-Teacher" methode met de oude manier (alleen de weinige gelabelde afbeeldingen gebruiken) en met de vooraf getrainde modellen alleen.

De Resultaten

Sterk starten: Ze ontdekten dat het starten met deze "Foundation Models" een enorme winst was. Zelfs zonder speciale trucjes was een model dat begon met vooraf getrainde kennis veel beter in het vinden van celonderdelen dan een model dat vanaf nul werd getraind.
De kracht van ongelabelde data: Wanneer ze de "Student-Teacher" training toevoegden (door gebruik te maken van de ongelabelde afbeeldingen), werden de resultaten nog beter. De AI leerde structuren te herkennen die hij nooit expliciet getoond heeft gekregen via handmatig tekenwerk, simpelweg door te oefenen op de ongelabelde afbeeldingen en zijn eigen fouten te corrigeren.
De beste methode: Ze probeerden drie verschillende manieren om het "Student-Teacher" systeem te draaien.
- FixMatch (een populaire methode) maakte de resultaten in hun tests zelfs slechter.
- Mean Teacher was een solide, betrouwbare keuze die een balans vond tussen snelheid en nauwkeurigheid.
- UniMatch v2 was de "kampioen", die de beste resultaten behaalde, hoewel het meer computerkracht vereiste om te draaien.

Domain Adaptation: De "Reizende Student"
Het paper testte ook een scenario genaamd "Domain Adaptation". Stel je voor dat je een AI traint op afbeeldingen van fruitvliegen, en je wilt dat het vervolgens werkt op afbeeldingen van muizen. De belichting en textuur zijn anders.

Ze probeerden de kennis van de fruitvlieg-afbeeldingen over te dragen naar de muis-afbeeldingen.
De adder onder het gras: De "kloof" tussen deze twee soorten afbeeldingen was soms te groot. De AI had moeite om zich aan te passen door enkel naar de ongelabelde muis-afbeeldingen te kijken.
Het eindoordeel: Hoewel de methode in sommige gevallen hielp, loste het het probleem van de enorme verschillen tussen datasets niet magisch op. Echter, de "Student-Teacher" aanpak met gebruik van ongelabelde data op de doelset (de muis-afbeeldingen) was nog steeds de meest effectieve manier om goede resultaten te krijgen, wat beter was dan de vooraf getrainde modellen die probeerden "zero-shot" te werken (zonder extra training).

In een notendop
Het paper laat zien dat we niet elke afbeelding hoeven te labelen om geweldige resultaten te behalen. Door een vooraf getraind "Foundation Model" als basis te gebruiken en een "Student" te laten leren van een "Teacher" met behulp van ongelabelde afbeeldingen, kunnen we de hoeveelheid handmatig tekenwerk door experts aanzienlijk verminderen. Dit is een stap richting het sneller en toegankelijker maken van ultra-precieze celanalyse, hoewel de methode nog moet worden verfijnd om zeer verschillende soorten microscoopbeelden aan te kunnen.

Technische Samenvatting van µMatch: Foundation Models voor Semi-supervised Learning en Domain Adaptation in EM

Probleemstelling
Elektronenmicroscopie (EM) is een cruciale modaliteit voor het analyseren van cellulaire ultrastructuur op nanometerschaal. De toepassing van vision foundation models (VFMs) op EM is echter beperkt in vergelijking met andere beeldvormingsmodaliteiten zoals lichtmicroscopie of computertomografie. Deze beperking komt voort uit de hoge diversiteit van segmentatietaken (bijv. kernen, mitochondriën, neurieten) en het gebrek aan uitgebreid geannoteerde data. Gevolgelijk blijft EM-segmentatie voornamelijk afhankelijk van supervised learning, wat intensieve handmatige annotatie vereist en schaalbare ultrastructurele analyse belemmert. Hoewel er initiële foundation models bestaan voor specifieke organellen (bijv. mitochondriën), is een uitgebreid foundation model voor diverse EM-organellen niet beschikbaar, en hebben bestaande methoden VFMs niet systematisch geïntegreerd in semi-supervised learning (SSL) en domain adaptation (DA) frameworks voor dit domein.

Methodologie
De auteurs stellen µMatch voor, een verenigd framework dat VFMs inzet om semi-supervised learning en domain adaptation in EM mogelijk te maken. De methodologie bestaat uit drie kerncomponenten:

Foundation Model Initialisatie: Het framework initialiseert de encoders van segmentatienetwerken (specifiek UNETR-architecturen) met gewichten van diverse VFMs, waaronder SAM, SAM2, µSAM (domeinspecifieke varianten voor lichtmicroscopie en EM), en DINOv2/v3. Deze worden vergeleken met standaard UNets die vanaf nul (from scratch) zijn getraind.
Student-Teacher Learning: µMatch implementeert drie state-of-the-art student-teacher methoden aangepast voor EM:
- Mean Teacher: Gebruikt zwakke augmentaties voor zowel de student als de teacher, waarbij de teacher wordt bijgewerkt via een exponential moving average (EMA) van de studentgewichten.
- FixMatch: Voedt zwak geaugmenteerde views aan de teacher en sterk geaugmenteerde views aan de student, waarbij gewichten worden gedeeld en een betrouwbaarheidsdrempel wordt gebruikt voor pseudo-labeling.
- UniMatch v2: Maakt gebruik van één zwakke view voor de teacher en twee sterke views voor de student, waarbij complementaire dropout op feature maps wordt toegepast om robuustheid te vergroten.
- Trainingsstrategie: Het framework hanteert een supervised warm-up fase (1.000 iteraties) om betekenisvolle teacher-voorspellingen te garanderen voordat unsupervised losses (Dice loss) worden toegepast op pseudo-gelabelde pixels die een betrouwbaarheidsdrempel ( $t_c$ ) overschrijden.
Leersettings: Het framework wordt geëvalueerd in drie settings:
- Supervised Learning: Trainen op gelabelde data alleen.
- Semi-Supervised Learning (SSL): Trainen op een kleine set gelabelde data en een grotere set ongelabelde data binnen hetzelfde domein.
- Domain Adaptation (DA): Pre-trainen op een volledig gelabelde bron-domein, gevolgd door training op het doel-domein met behulp van ofwel Unsupervised DA (UDA, geen doel-labels) of Semi-Supervised DA (SSDA, enkele doel-labels).

Belangrijkste Bijdragen

Systematische Evaluatie van VFMs: Het paper biedt een uitgebreide evaluatie van meerdere foundation models (SAM, SAM2, µSAM, DINOv2/v3) over supervised, SSL, en DA settings voor kern-, mitochondriën- en neurietsegmentatie.
Implementatie van SSL/DA Methoden: De auteurs passen Mean Teacher, FixMatch en UniMatch v2 specifiek aan en evalueren deze voor EM-taken, waarbij rekening wordt gehouden met de unieke uitdagingen van EM-data (bijv. specifieke augmentatiestrategieën voor boundary en affinity outputs).
Ablatie-studies: De studie onderzoekt de impact van confidence thresholding strategieën (fixed vs. dynamic scheduling) en het effect van variërende hoeveelheden gelabelde data.
Diverse Dataset Benchmarking: Experimenten worden uitgevoerd op een breed scala aan datasets, waaronder Seymour (nuclei), MitoEM (mitochondria), CREMI (neurites), en diverse MitoEM v2 condities, die verschillende organismen (Drosophila, muis, mens) en beeldvormingscondities beslaan.

Resultaten

Supervised Learning: Initialisatie met VFMs presteert significant beter dan training vanaf scratch. Specifiek presteerden UNETR-modellen geïnitialiseerd met SAM-gebaseerde gewichten (SAM, SAM2, µSAM) het best. Voor kernsegmentatie bereikte de beste UNETR (DINOv3) een mSA van 0,456 vergeleken met 0,097 voor een vanaf scratch getrainde UNet. Voor mitochondriën verbeterde de µSAM-lm initialisatie de resultaten met 11% ten opzichte van de UNet baseline. DINOv2/v3 backbones presteerden over het algemeen minder goed dan de SAM-gebaseerde modellen.
Semi-Supervised Learning: SSL verbeterde de prestaties consistent over alle taken en datasets.
- Nuclei: UniMatch v2 met een µSAM-em backbone behaalde de hoogste mSA (0,574), een substantiële verbetering ten opzichte van de supervised baseline (0,375).
- Mitochondria: Mean Teacher met SAM-initialisatie leverde de beste resultaten op (mSA 0,503), wat een verbetering is van ~7,6% over het supervised model en ~16% over de UNet baseline.
- Neurites: UniMatch v2 met SAM-initialisatie behaalde de beste CREMI Score (0,435).
- Observatie: FixMatch resulteerde consistent in prestatiedeterioratie vergeleken met de supervised baselines in deze EM-taken.
Domain Adaptation: Pure SSL getraind direct op het doel-domein presteerde over het algemeen beter dan DA-benaderingen (UDA en SSDA) bij het overdragen tussen significant verschillende datasets (bijv. Seymour naar FAFB/MICRONS). Dit suggereert dat grote domeinverschuivingen in EM de effectiviteit van standaard DA-strategieën momenteel beperken. Echter, in gevallen met kleinere distributieverschuivingen (bijv. specifieke MitoEM v2 condities), toonde SSDA verbeteringen aan. De zero-shot prestaties van gepre-trainde modellen (MitoNet, µSAM) waren over het algemeen slecht, wat de noodzaak van fine-tuning benadrukt.

Significantie en Claims
Het paper claimt dat µMatch een pad opent naar een substantiële vermindering van de annotatie-inspanning in EM door effectief gebruik te maken van foundation models binnen semi-supervised en domain adaptation frameworks. De auteurs benadrukken dat hoewel VFMs een enorme boost bieden in supervised settings, hun integratie in student-teacher SSL frameworks consistente en significante verbeteringen oplevert ten opzichte van sterke baselines.

De studie concludeert dat:

SAM-gebaseerde modellen de meest effectieve initialisatie zijn voor EM-segmentatietaken, terwijl DINO-varianten in deze context geen voordeel bieden.
Student-teacher SSL zeer voordelig is voor EM, waarbij Mean Teacher een robuuste afweging biedt tussen prestaties en computationele kosten, en UniMatch v2 de beste resultaten levert wanneer computationele middelen dit toelaten.
Domain Adaptation in EM momenteel wordt beperkt door grote domeinverschuivingen; SSL op het doel-domein presteert vaak beter dan DA vanuit een bron-domein. De methodologie blijft echter veelbelovend voor scenario's met kleinere domeinverschuivingen.
Het framework is ontworpen om te worden geïntegreerd in bestaande microscopie-tools (zoals µSAM) om fine-tuning op door gebruikers geannoteerde data te faciliteren, waarmee de bottleneck van handmatige annotatie in ultrastructurele analyse wordt aangepakt.

Meer zoals dit