Data Synthesis Improves 3D Myotube Instance Segmentation

Probleemstelling

Myotuben (multinucleaire spiervezels) zijn cruciale modelsystemen voor het bestuderen van spierfysiologie, ziektemechanismen en medicijnrespons. Voor mechanistische studies en drug screening zijn kwantitatieve morfologische metingen nodig (zoals diameter, lengte en vertakkingsgraad), wat precieze 3D instance-segmentatie vereist.

De huidige uitdagingen zijn:

• Gebrek aan data: Er bestaan geen grote, handmatig geannoteerde 3D-datasets voor myotuben.
• Scheefheid van bestaande modellen: Gevestigde biomedische segmentatiemodellen (zoals CellposeSAM, PlantSeg en StarDist) zijn getraind op compacte, bolvormige cellen. Ze falen in het generaliseren naar myotuben vanwege deren extreme lengte, vertakkingsstructuren en onderlinge overlapping.
• Moeilijke annotatie: Handmatig labelen is uiterst arbeidsintensief omdat myotuben honderden voxels lang kunnen zijn, elkaar kruisen, variabele diktes hebben en ellipsoïde nucleaire uitstulpingen vertonen.

Methodologie

De auteurs introduceren een geometrie-gedreven synthese-pijplijn om een model te trainen dat uitsluitend gebruikmaakt van synthetische data.

1. Synthese van Data:
De pipeline genereert synthetische annotatievolumes in drie fasen, gebaseerd op geometrische kenmerken afgeleid van echte microscopie-data:

• Geometrie: Centraal lijnen worden gesampleerd met behulp van gedempte Chebyshev-basisfuncties. De lokale dikte wordt gemoduleerd door polynomen en sinusvormige termen. Vertakkingssegmenten worden toegevoegd met behoud van hellingcontinuïteit.
• Structuur: Langs de centraal lijn worden ellipsoïde structuren geplaatst (holle ellipsoïden voor de schacht en solide kappen voor de uiteinden).
• Visualisatie: Realistische fluorescentie-afbeeldingen worden gegenereerd door ruis (Poisson en Gaussisch), zout-en-peper texturen, puin-artefacten, anisotrope halo's en Gaussische PSF-verschuiving toe te voegen.
• Domeinadaptatie (DA): Een CycleGAN wordt getraind op ongepaarde echte en synthetische afbeeldingen om de synthetische data verder aan te passen aan de realiteit.

2. Modelarchitectuur:
Er worden twee compacte 3D U-Net-modellen getraind (elk met vier encoder-stadia):

• Basis U-Net: Getraind op synthetische data.
• Zelftoezichtend (SSL) Pretrained U-Net: De encoder van dit model is vooraf getraind op echte (maar schaars geannoteerde) myotubedata via Fully Convolutional Masked Autoencoding (FCMAE). De decoder wordt vervolgens getraind op synthetische data.
• Varianten: Er worden vier varianten vergeleken: UNet, UNet + DA, SSL-UNet, en SSL-UNet + DA.
• Segmentatie: Het model voorspelt twee kanalen (foreground en centraal lijn). Een drempelwaarde op het foreground-kanaal geeft een binaire masker, en een Watershed-algoritme gescheiden door de gethresholded centraal lijn-scheiding de individuele instances.

3. Validatie:
De dataset voor validatie bestaat uit 17 echte 3D-volumes met spaarzame handmatige annotatie (40 instances). Geen enkel geannoteerd data wordt gebruikt tijdens het trainingstadium.

Kernbijdragen

1. Eerste synthese-pijplijn: Dit is de eerste data-synthesepijplijn specifiek voor 3D myotubedata, die het mogelijk maakt om modellen te trainen zonder grote geannoteerde datasets.
2. Geometrie-gedreven aanpak: In plaats van puur op pixel-ruis te vertrouwen, worden de synthetische objecten gebaseerd op fysieke eigenschappen van myotuben (polynoom-centraal lijnen, variabele stralen, vertakkingen).
3. Combinatie van SSL en DA: Het paper demonstreert dat de combinatie van zelftoezichtend pretraining op echte data en domeinadaptatie van synthetische data essentieel is voor succes.
4. Open source: De synthese-pijplijn is openbaar beschikbaar gemaakt.

Resultaten

De prestaties werden gemeten met Injective Panoptic Quality (IPQ), een metric die zowel segmentatie-accuraatheid als instance-detectie combineert.

• Vergelijking met State-of-the-Art: De modellen getraind op synthetische data presteerden significant beter dan drie gevestigde "zero-shot" modellen (CellposeSAM, PlantSeg, StarDist).
  • De beste variant (SSL + DA) bereikte een gemiddelde IPQ van 0,22.
  • De gevestigde zero-shot modellen scoorden aanzienlijk lager (niet significant boven de 0,05 in de grafiek).
• Visuele inspectie:
  • Bestaande modellen (CSAM, PlantSeg, StarDist) faalden: ze mergeerden instances, detecteerden alleen de kernen, of splitsten myotuben in onvolledige fragmenten.
  • De SSL + DA-modellen slaagden erin de lange, uitgestrekte structuren en nucleaire uitstulpingen correct te segmenteren, met schone randen.
• Ablatiestudie:
  • Alleen SSL pretraining zonder domeinadaptatie leverde slechts een marginale verbetering op.
  • Alleen domeinadaptatie (DA) zonder SSL pretraining presteerde slechter dan het basis-UNet (waarschijnlijk door overfitting op GAN-artefacten).
  • Conclusie: De grote prestatiesprong (van ~0,04 naar 0,22) komt voort uit de synergie tussen SSL (die robuuste features van de echte domein leert) en DA (die de kloof tussen synthetische en echte data verkleint).

Betekenis en Toekomstperspectief

• Validatie van synthese: Het paper bewijst dat gecontroleerde, geometrie-gedreven synthese een kostbare handmatige annotatie kan vervangen in domeinen waar data schaars is.
• Generalisatie: De aanpak is toepasbaar op andere complexe, langwerpige structuren zoals 3D zenuwvezels of myceliumnetwerken.
• Toekomst: Verdere verbetering richt zich op het sluiten van de resterende domeinkloof, het incorporeren van ziektespecifieke morfologische variaties en het schalen naar grotere modellen.

Samenvattend toont dit onderzoek aan dat door het combineren van realistische 3D-synthese, zelftoezichtend leren en domeinadaptatie, effectieve instance-segmentatie mogelijk is in biomedische domeinen zonder bestaande trainingsdata.