A high-performance end-to-end 3D CLEM processing workflow for facilities

Dit artikel introduceert een modulaire, open-source end-to-end workflow voor hoogwaardige 3D CLEM-analyse die bestaande en nieuwe tools integreert om de technische drempels voor faciliteiten te verlagen en de verwerking van multimodale datasets te stroomlijnen.

De kern

Stel je voor dat je een heel complexe stad wilt bestuderen, maar je hebt twee verschillende soorten kaarten. De ene kaart (de lichtmicroscoop) laat zien waar de verlichte gebouwen zijn en welke kleur ze hebben – het vertelt je wat er gebeurt en waar bepaalde dingen zich bevinden. De andere kaart (de elektronenmicroscoop) is een hyperdetailrijke luchtfoto die elke steen, elke muur en elke kieren van de straten toont – het vertelt je hoe de stad er echt uitziet, tot in de kleinste details.

Het probleem is: deze twee kaarten passen niet perfect op elkaar. Ze zijn gemaakt met verschillende methoden, hebben verschillende schalen en soms zijn ze zelfs een beetje scheef getrokken.

Dit artikel beschrijft een nieuwe, slimme en gratis "bouwset" die wetenschappers helpt om deze twee kaarten perfect op elkaar te laten passen, zodat ze één compleet plaatje krijgen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De "Scheve Stapel"

Wanneer wetenschappers een 3D-afbeelding maken van een cel (zoals een bouwtekening van een stad), gebeurt er vaak iets vervelends: de afbeelding wordt een beetje scheef of "drukt" tijdens het maken. Het is alsof je een stapel papieren hebt, maar de bovenste bladen zijn een beetje verschoven ten opzichte van de onderste. Als je dit niet repareert, ziet de stad eruit als een wazige, vervormde droom.

De oplossing: De auteurs hebben een nieuwe manier bedacht om deze stapel te "rechten".

• Met markeringen: Als er op de foto's speciale streepjes zijn getekend (zoals een kompas of een landkaart), gebruiken ze een slimme software (genaamd Taturtle en AMST) die deze streepjes als ankers gebruikt om de stapel perfect recht te zetten.
• Zonder markeringen: Zelfs als er geen streepjes zijn, heeft de software een trucje (genaamd AMST2) om de afbeeldingen toch op elkaar te laten lijken, alsof je een puzzel oplost zonder de randstukken.

2. Het opschonen: De "Ruisfilter"

Soms zijn de foto's korrelig of ruisig, net als een radio die slecht ontvangst heeft. Om de details scherp te krijgen, gebruiken ze een slimme "ruisfilter" (een AI-tool genaamd Noise2Void).

• Analogie: Denk hierbij aan het verwijderen van vlekken van een oude foto. De software verwijdert het "gruis" zonder de belangrijke lijnen van de gebouwen (de cellen) aan te raken. Dit maakt het veel makkelijker om later te zien wat er precies gebeurt.

3. Het zoeken en vinden: De "Slimme Zoeker"

Nu de kaart recht en schoon is, moeten wetenschappers specifieke dingen vinden, zoals mitochondriën (de energiecentrales van de cel). Dit handmatig doen in een enorme 3D-stad is als zoeken naar een naald in een hooiberg.

• De oplossing: Ze gebruiken een AI-robot (genaamd MitoNet).
• Hoe het werkt: Eerst laten ze de robot een klein stukje van de stad zien en leren ze hem wat een mitochondrion is (door zelf een paar te markeren). Daarna kan de robot de hele stad in één keer scannen en alle energiecentrales automatisch markeren.
• Het geheim: Als ze de robot eerst even "trainen" met hun eigen specifieke foto's, wordt hij extreem goed. De nauwkeurigheid springt van 60% naar 94%! Het is alsof je een hond eerst even leert je eigen tuin te herkennen, waarna hij elke hond in de hele stad herkent.

4. Het samenvoegen: De "Perfecte Match"

Nu hebben ze de lichtkaart en de detailkaart. Ze moeten deze samenvoegen.

• Ze gebruiken een tool genaamd BigWarp. Stel je voor dat je twee transparante folies hebt. Je legt ze op elkaar en schuift ze zachtjes heen en weer tot de gebouwen precies op elkaar staan. Zodra ze staan, kun je zien: "Ah, dit lichtgevende puntje zit precies in deze ingewikkelde structuur!"

5. Het eindresultaat: De "3D-Film"

Tot slot willen ze het resultaat laten zien aan de wereld. Gewone foto's zijn saai.

• Ze gebruiken een krachtige 3D-software (genaamd Blender met speciale "Microscopy Nodes").
• Het resultaat: Ze maken een prachtige, draaiende 3D-film van de cel. Je kunt door de cellen "vliegen", zien hoe de energiecentrales eruitzien en hoe ze samenwerken met andere delen van de cel. Het is alsof je van een platte landkaart naar een interactieve virtuele realiteit gaat.

Waarom is dit belangrijk?

Vroeger was dit soort werk alleen mogelijk voor zeer dure laboratoria met dure software en programmeurs. Deze nieuwe "bouwset" is:

1. Gratis: Iedereen kan het gebruiken.
2. Schaalbaar: Het werkt op een gewone laptop, maar kan ook op supercomputers om gigantische datasets te verwerken.
3. Gemakkelijk: Het maakt complexe wetenschap toegankelijk voor iedereen, zodat meer mensen de geheimen van het leven kunnen ontrafelen.

Kortom: Dit artikel geeft wetenschappers een gratis, krachtige en gebruiksvriendelijke gereedschapskist om de kleinste gebouwen in de wereld (onze cellen) in 3D te bekijken, te repareren en te begrijpen.

Technische samenvatting

Probleemstelling

Correlatieve licht- en elektronenmicroscopie (CLEM) combineert de moleculaire specificiteit van lichtmicroscopie (LM) met de ultrastructurele details van elektronenmicroscopie (EM). Hoewel de vraag naar 3D CLEM-analyses groeit, blijft de verwerking van deze datasets uitdagend, vooral voor faciliteiten die deze diensten aanbieden. De huidige uitdagingen zijn:

• Gefragmenteerde workflows: Er bestaat geen gestandaardiseerde aanpak; onderzoekers moeten vaak losse tools combineren voor verschillende stappen (uitlijning, registratie, segmentatie, visualisatie).
• Multimodale complexiteit: Het synchroniseren van data met verschillende resoluties, pixelgroottes en velden van zicht is technisch complex.
• Toegankelijkheid en schaalbaarheid: Veel bestaande oplossingen vereisen commerciële software of programmeerkennis. Daarnaast genereren 3D CLEM-experimenten enorme datavolumes die vaak de capaciteit van standaard werkstations overstijgen.
• Gebrek aan open-source "turnkey"-oplossingen: Er ontbreekt een volledig open-source, modulaire pipeline die van begin tot eind (van ruwe data tot 3D-visualisatie) werkt en schaalbaar is naar High-Performance Computing (HPC) omgevingen.

Methodologie

De auteurs presenteren een modulaire, end-to-end pipeline die bestaande en nieuw ontwikkelde open-source tools integreert. De workflow is ontworpen om interoperabel te zijn en kan worden uitgevoerd op standaard werkstations of HPC-clusters (via Slurm-jobs en Nextflow). De workflow omvat de volgende hoofdstappen:

1. Pre-processing van EM-data (FIB/SEM):

   • Uitlijning (Alignment): Om ruimtelijke drift te corrigeren tijdens de 3D FIB/SEM-acquisitie.
     • Voor datasets met fiduciële markers (bijv. strepen): Gebruik van Taturtle (een Napari-plugin) voor template matching en Z-compensatie, gevolgd door AMST (Alignment to Median Smoothed Template) voor niet-lineaire correcties.
     • Voor datasets zonder fiduciële markers: Gebruik van AMST2, een nieuwe versie met een vooruitlijningsstap (pre-alignment) die translaties tussen aangrenzende slices corrigeert zonder externe markers.
   • Denoising: Toepassing van Noise2Void2 (N2V2) via de CAREamics-bibliotheek om ruis te verwijderen zonder informatie te verliezen, wat essentieel is voor accurate segmentatie.

2. Registratie (LM-EM):

   • Gebruik van BigWarp (geïntegreerd in BigDataViewer/MoBIE) voor interactieve registratie op basis van landmarks.
   • Mitochondriën worden gebruikt als fiduciële punten om de LM-data (die dichter bij de native staat staat) te registreren op de EM-data. Affiene of thin-plate spline-transformaties worden toegepast.

3. Segmentatie:

   • Gebruik van Empanada en het neurale netwerk MitoNet voor geautomatiseerde segmentatie van mitochondriën.
   • De auteurs tonen aan dat het hertrainen (retraining) van het MitoNet-model op een kleine subset van de specifieke dataset (met ground truth gegenereerd via nnInteractive in Napari) de prestaties drastisch verbetert.
   • Er wordt een strategie ontwikkeld om de beste parameters te selecteren (bijv. orthogonale patches vs. 2D patches).

4. Visualisatie en Animatie:

   • Gebruik van Blender met de Microscopy Nodes plugin.
   • Dit stelt onderzoekers in staat om LM-data (volumetrisch en emissief), EM-data (lichtverstrooiend) en segmentaties (3D-meshes) in één omgeving te integreren, te registreren en te animeren.

5. Infrastructuur:

   • De workflow is volledig open-source en compatibel met OME-Zarr formaten voor schaalbare dataopslag.
   • Integratie met HPC (via Open OnDemand en Jupyter notebooks) maakt de verwerking van grote datasets mogelijk.

Belangrijkste Resultaten

De auteurs hebben de workflow getest op twee datasets:

• Dataset 1 (MEF-cellen): Bevat fiduciële markers.
  • Vergelijking van uitlijningstools toonde aan dat Taturtle + AMST en AMST2 beide uitstekende resultaten leveren, met een vermindering van verplaatsingsfouten van ~0,75 nm naar ~0,25 nm.
  • AMST2 bleek ook effectief zonder fiduciële markers, hoewel de aanwezigheid van markers de nauwkeurigheid verder verbetert.
• Dataset 2 (HeLa-cellen): Geen fiduciële markers, representatief voor typische FIB/SEM-data.
  • Invloed van pre-processing: De combinatie van uitlijning (AMST2) en denoising (N2V2) verbeterde de segmentatie-accuraatheid van mitochondriën van ~40% naar ~60%.
  • Invloed van modelhertraining: Het hertrainen van MitoNet op de specifieke dataset verhoogde de segmentatie-accuraatheid drastisch naar ~94%, zelfs zonder denoising. Dit benadrukt dat modelhertraining cruciaal is voor hoge precisie.
  • Registratie: BigWarp/MoBIE leverde een snelle en robuuste registratie tussen LM en EM.
  • Visualisatie: Microscopy Nodes in Blender slaagde erin complexe 3D-scènes te renderen en te animeren, waarbij verschillende modaliteiten naadloos werden samengevoegd.

Bijdragen

1. Eerste modulaire, end-to-end open-source pipeline: Een volledig geïntegreerde oplossing voor 3D CLEM die van ruwe data tot animatie reikt, specifiek ontworpen voor gebruik in faciliteiten.
2. Nieuwe tools en methoden:
   • Taturtle: Een Napari-plugin voor fiduciële uitlijning met Z-compensatie.
   • AMST2: Een verbeterde uitlijningstool voor datasets zonder fiduciële markers.
   • Optimalisatie van MitoNet: Een bewezen methode om automatische segmentatie te verbeteren via hertraining en parameteroptimalisatie.
3. Schaalbaarheid: Demonstratie dat de workflow efficiënt draait op HPC-omgevingen, wat nodig is voor de groeiende datavolumes in de microscopie.
4. Toegankelijkheid: Door gebruik te maken van gebruikersvriendelijke interfaces (GUI's in Napari en Blender) en open-source software, verlagen ze de drempel voor onderzoekers zonder programmeerkennis.

Betekenis en Impact

Deze workflow lost een kritiek probleem op in de microscopie-community: de fragmentatie en complexiteit van 3D CLEM-data-analyse.

• Voor faciliteiten: Het biedt een gestandaardiseerd, reproduceerbaar en robuust protocol dat de doorvoer (throughput) verhoogt en de technische barrières verlaagt.
• Voor de wetenschap: Het maakt het mogelijk om complexe biologische vragen (zoals membraancontactpunten) te beantwoorden met hoge ruimtelijke resolutie en moleculaire specificiteit.
• Toekomstperspectief: De modulaire aard van de pipeline maakt het eenvoudig om nieuwe tools (bijv. voor live-cell imaging of andere AI-modellen) te integreren. De integratie met HPC en OME-Zarr positioneert de workflow als toekomstbestendig voor de "big data"-era in de biologie.

Kortom, dit werk levert een cruciale infrastructuur die de adoptie van geavanceerde 3D CLEM-methodologieën versnelt en democratiseert.