NucleoNet and DropNet: Generalist deep learning models for instance segmentation of nuclei and lipid droplets from electron microscopy images

De auteurs presenteren NucleoNet en DropNet, twee algemeen toepasbare deep learning-modellen die zijn getraind op crowdsourced en publieke datasets voor de nauwkeurige instance-segmentatie van kernen en lipidedruppels in elektronenmicroscopie-afbeeldingen, en die nu beschikbaar zijn via de Empanada napari-plugin voor kwantitatieve analyse van tumormodellen.

De kern

Stel je voor dat je een gigantische, ingewikkelde stad bekijkt, maar dan niet vanuit een helikopter, maar door een microscoop die tot op het niveau van de stenen in de muren kan kijken. Dit is wat elektronenmicroscopie (EM) doet voor cellen: het maakt superduidelijke foto's van de binnenkant van levende wezens.

Het probleem? Deze foto's zijn zo groot en complex dat het voor mensen onmogelijk is om alles wat ze zien te tellen en te meten. Het zou zijn alsof je duizenden steden moet in kaart brengen, steen voor steen, met de hand. Dat kost jaren.

De auteurs van dit papier hebben een oplossing bedacht: NucleoNet en DropNet. Dit zijn twee slimme computerprogramma's (kunstmatige intelligentie) die leren om twee specifieke dingen in deze cellen te herkennen en te tekenen:

1. De kern (NucleoNet): Het "hoofd" van de cel, waar het DNA zit.
2. Vetdruppels (DropNet): Kleine bolletjes vet die als brandstof dienen.

Hier is hoe ze dit hebben gedaan, vertaald in alledaagse termen:

1. Het probleem: De "Naamloze" Cellen

Vroeger konden computers alleen goed de mitochondriën (de energiefabriekjes van de cel) herkennen. Voor de kernen en vetdruppels was er geen goede handleiding. De computer zag ze als een rommelige brij.

2. De oplossing: Een "Volksopdracht" (Crowdsourcing)

Om de computer slim te maken, had je duizenden voorbeelden nodig waar mensen al hadden getekend welke kernen en vetdruppels waar zaten. Maar dat is veel werk voor één persoon.

• De Analogie: Stel je voor dat je een enorme puzzel hebt met 50.000 stukjes. In plaats van dat jij dat alleen doet, heb je 20.000 scholieren gevraagd om mee te helpen.
• De onderzoekers hebben een online platform (Zooniverse) gebruikt waar middelbare scholieren foto's kregen en moesten omcirkelen wat een kern was.
• De computer leerde van deze duizenden tekeningen. Het was alsof je een kind duizenden keren laat zien hoe een hond eruitziet, zodat het kind later elke hond herkent, zelfs als het regent of de hond in het donker staat.

3. De Resultaten: Twee Superhelden

Na het trainen hadden ze twee speciale "brillen" voor de computer:

• NucleoNet: Kijkt naar de kernen. Hij is zo goed dat hij zelfs kernen herkent die gekruld zijn of diep in de cel zitten, alsof hij een detective is die zelfs de verste hoekjes van een huis inspecteert.
• DropNet: Kijkt naar de vetdruppels. Deze zijn vaak klein en lijken op elkaar, maar deze bril kan ze toch uit elkaar houden, alsof hij honderd identieke parels kan tellen zonder er één te verliezen.

4. Waarom is dit belangrijk? (De "Kanker-Detective")

De onderzoekers gebruikten deze slimme brillen om een heel praktisch probleem op te lossen: Kankeronderzoek.
Ze keken naar kankercellen die in een petrischaal groeiden (in het lab) en vergeleken ze met echte tumoren uit een patiënt.

• De Vraag: Groeien deze lab-cellen echt als een echte tumor, of zijn het maar neppe kopieën?
• De Antwoord: Dankzij NucleoNet en DropNet konden ze in een paar seconden duizenden kernen en vetdruppels meten. Ze ontdekten dat een bepaalde manier van kweken (de "emboli"-methode) de cellen het meest liet lijken op een echte tumor.
• De Metaphor: Het was alsof ze eerder urenlang met een loepje moesten zoeken om te zien of twee huizen op elkaar leken. Nu kunnen ze met één druk op de knop de plattegronden van 10.000 huizen vergelijken en direct zeggen: "Deze twee zijn bijna identiek!"

5. Voor iedereen toegankelijk

Het mooiste is dat ze deze slimme brillen niet voor zichzelf hebben gehouden. Ze hebben ze ingebouwd in een gratis programma (een plugin voor Napari) dat wetenschappers over de hele wereld kunnen gebruiken.

• De Analogie: Het is alsof ze niet alleen een nieuwe auto hebben gebouwd, maar ook de blauwdrukken gratis hebben gedeeld, zodat iedereen zelf een auto kan bouwen en ermee kan rijden.

Kortom:
Deze paper laat zien hoe je door duizenden mensen samen te laten werken (scholieren) en slimme computers te trainen, een tijdrovende taak (het tellen van cellen) kunt veranderen in een snelle, automatische klus. Hierdoor kunnen artsen en wetenschappers sneller ontdekken hoe kanker werkt en betere behandelingen vinden.

Technische samenvatting

Probleemstelling

Elektronenmicroscopie (EM) en volumetrische EM (vEM) zijn onmisbaar voor het visualiseren van celultrastructuur op nanometerschaal. Een van de grootste knelpunten in deze workflows is de segmentatie van organellen. Hoewel diep leren (Deep Learning - DL) de automatische segmentatie van mitochondria aanzienlijk heeft versneld (bijv. via modellen zoals MitoNet), ontbreekt het aan robuuste, kant-en-klare tools voor andere cruciale structuren, specifiek kernen (nuclei) en lipidedruppels (lipid droplets - LDs).

De bestaande uitdagingen zijn:

1. Gebrek aan datasets: Er is een schaarste aan grote, geannoteerde datasets voor kernen en LDs in vergelijking met mitochondria.
2. Generalisatie: Bestaande modellen zijn vaak getraind op homogene datasets (één celtype, één preparatie), wat leidt tot slechte prestaties op diverse biologische monsters.
3. Gebruiksgemak: Veel geavanceerde modellen vereisen complexe technische expertise om te installeren en uit te voeren, wat ze ontoegankelijk maakt voor niet-experts in de biologie.
4. Manuele arbeid: Handmatige segmentatie blijft de "gouden standaard", maar is extreem tijdrovend en arbeidsintensief.

Methodologie

De auteurs hebben een holistische aanpak ontwikkeld die bestaat uit dataverzameling, crowdsourcing, modeltraining en integratie in een gebruiksvriendelijke interface.

1. Dataverzameling en Crowdsourcing:

• Om de tekortkoming aan geannoteerde data op te lossen, hebben de auteurs een crowdsourcing-pijplijn opgezet via het platform Zooniverse.
• NucleoNet (Kernen): Er werden ongeveer 4,8 miljoen externe en 2,5 miljoen interne EM-afbeeldingen verzameld. Na filtering en deduplicatie werden ~70.000 uitdagende patches geselecteerd. Deze werden geannoteerd door high-school studenten (ongeveer 20-25 per week), die elk 500 afbeeldingen per week moesten labelen. Elke afbeelding werd door vijf studenten geannoteerd en vervolgens gevalideerd door experts om een "ground truth" te creëren.
• DropNet (Lipidedruppels): Omdat LDs minder voorkomend en heterogeen zijn, werden ze in vier visuele klassen ingedeeld (bijv. met of zonder donkere rand, met gaten door artefacten). Er werden 1.792 positieve patches en 250 negatieve patches (voor controle, zoals pancreasgranules) samengesteld uit diverse weefsels (lever, nier, pancreas, tumoren).

2. Modelarchitectuur:

• Beide modellen zijn gebaseerd op de Panoptic DeepLab (PDL) architectuur. Deze combineert semantische segmentatie (wat is het object?) en instantie-segmentatie (waar begint en eindigt elk specifiek object?).
• NucleoNet: Getraind op een heterogene dataset van ~31.000 gelabelde afbeeldingen, inclusief data van het MICrONS-project en het Platynereis-project. Het model is vooraf getraind op CEM1.5M (een grote mitochondriale dataset) voor betere generalisatie.
• DropNet: Getraind door een bestaand variant van het MitoNet-model te fine-tunen op de beperkte LD-dataset.
• Beide modellen zijn 2D-modellen. Voor 3D-data (vEM) wordt inferentie uitgevoerd in orthogonale vlakken (xy, xz, yz) en worden de resultaten samengevoegd.

3. Software-integratie:

• De modellen zijn geïntegreerd in de empanada plugin voor napari (versie 1.2). Dit biedt een "point-and-click" interface voor inferentie, proofreading (splitsen/mergen van labels), en fine-tuning, waardoor de tools toegankelijk zijn voor niet-technische gebruikers.

Belangrijkste Resultaten

1. Prestaties NucleoNet:

• Het model presteerde robuust op diverse benchmarks (o.a. Platynereis dumerilii, ratten-isletten, menselijke borstkankersferoïden).
• Vergelijking: NucleoNet presteerde aanzienlijk beter dan CellSAM (een recent foundation model) en was vergelijkbaar met nnU-Net (een toonaangevende biomedische segmentatie-architectuur), maar met het voordeel van gebruiksgemak.
• Foutcorrectie: Hoewel het basismodel soms fouten maakte (zoals "holey" voorspellingen in het kerncentrum of splitsingsfouten), konden deze fouten aanzienlijk worden gereduceerd door eenvoudige post-processing stappen binnen de napari-plugin (filteren op grootte, erosie/dilatatie). Na correctie steeg de precisie van ~0,58 naar ~0,94.

2. Prestaties DropNet:

• DropNet slaagde erin lipidedruppels nauwkeurig te segmenteren in complexe omgevingen, inclusief dicht opeengepakte clusters.
• Het model onderscheidde correct tussen lipidedruppels en andere granules (zoals insulinegranules in pancreascellen), hoewel het acinaire granules (die lijken op LDs) wel als positief classificeerde (wat biologisch relevant is voor bepaalde weefsels).
• F1-scores op benchmarks varieerden van 0,77 tot 0,91.

3. Biologische Toepassing:

• De modellen werden gebruikt om in vitro kankermodellen (adherent, suspensie, sferoïden, emboli) te vergelijken met in vivo tumoren.
• Door duizenden segmentaties automatisch te genereren, konden statistisch significante morfometrische metingen (oppervlakte, soliditeit, excentriciteit) worden uitgevoerd.
• Resultaat: Het "emboli"-model bleek de beste ultrastructurele overeenkomst te vertonen met de echte tumor, met name wat betreft de vorm van kernen en lipidedruppels. Er werd ook een onverwachte radiale gradiënt in kernvorm binnen sferoïden ontdekt.

Bijdragen en Significantie

1. Eerste algemene modellen: Dit zijn naar weten de eerste vrij beschikbare, algemene deep learning-modellen specifiek gericht op de instantie-segmentatie van kernen en lipidedruppels in EM-afbeeldingen.
2. Crowdsourcing succes: Het artikel demonstreert dat crowdsourcing (via high-school studenten) een effectieve en schaalbare methode is om grote, diverse en hoogwaardige trainingsdatasets te creëren voor complexe EM-data.
3. Toegankelijkheid: Door de integratie in de empanada/napari-plugin wordt geavanceerde AI toegankelijk gemaakt voor biologen zonder diepe kennis van machine learning.
4. Quantitatieve Biologie: De tools maken robuuste, statistische vergelijkingen mogelijk tussen verschillende celmodellen en in vivo weefsels, wat essentieel is voor het valideren van kankermodellen.
5. Toekomstperspectief: Het werk legt de basis voor verdere ontwikkeling van "foundational models" voor EM en multi-class segmentatie van alle organellen tegelijkertijd.

Kortom, NucleoNet en DropNet vullen een kritieke leemte in de EM-analyse, versnellen de data-verwerkingstijd aanzienlijk en bieden een reproduceerbare, open-source oplossing voor de kwantificatie van celkernen en lipidedruppels.