A high-performance end-to-end 3D CLEM processing workflow for facilities

Die Autoren stellen einen modular aufgebauten, vollständig quelloffenen und skalierbaren End-to-End-Workflow vor, der die Verarbeitung von 3D-CLEM-Daten für Forschungseinrichtungen durch die Integration bestehender und neuer Tools vereinfacht und so die technischen Hürden für die breite Anwendung dieser Methode senkt.

Das Wesentliche

Stellen Sie sich vor, Sie möchten ein hochkomplexes Geheimnis in einer Zelle lösen. Sie haben zwei Werkzeuge: Ein Super-Makroskop (Lichtmikroskop), das Ihnen zeigt, wo bestimmte Moleküle sind und wie sie funktionieren (wie ein Leuchtfeuer), und ein Super-Mikroskop (Elektronenmikroskop), das Ihnen zeigt, wie die winzigen Bausteine der Zelle aussehen, aber ohne Farben oder spezifische Markierungen.

Das Problem? Diese beiden Bilder passen nicht zusammen. Das eine ist wie ein unscharfes, farbiges Foto aus der Ferne, das andere wie eine extrem scharfe, aber graue Nahaufnahme aus dem Inneren. Wenn man sie zusammenfügen will (das nennt man CLEM), ist das wie ein riesiges Puzzle, bei dem die Teile aus verschiedenen Welten stammen und oft nicht genau passen.

Dieses Papier beschreibt einen neuen, automatisierten „Reparatur- und Zusammenbau-Service", der genau dieses Problem löst. Hier ist die Erklärung in einfachen Bildern:

1. Das Problem: Ein zerzaustes Puzzle

Wenn man mit dem Elektronenmikroskop ein 3D-Bild einer Zelle schneidet (wie beim Brot schneiden), passiert oft etwas Unangenehmes: Die Scheiben verrutschen ein wenig, weil die Zelle sich auflädt oder das Messwerkzeug nicht perfekt ist. Das Ergebnis ist ein 3D-Bild, das wie ein wackelnder Turm aussieht. Zudem sind die Bilder oft verrauscht (wie ein statisches Bild im alten Fernsehen).

2. Die Lösung: Ein modulares „Schweizer Taschenmesser"

Die Autoren haben keine neue, komplizierte Maschine gebaut, sondern ein Software-Kit zusammengestellt, das wie ein gut organisiertes Werkzeugset funktioniert. Es ist „Open Source", was bedeutet, dass jeder es kostenlos nutzen kann, wie ein gemeinsames Werkzeug im Dorf.

Hier sind die vier Hauptschritte, wie dieser Service funktioniert:

Schritt A: Die „Richtungs-Korrektur" (Alignment)

Stellen Sie sich vor, Sie stapeln 1000 Fotos übereinander, aber jedes ist ein Millimeter schief.

• Mit Markierungen: Wenn die Zelle kleine, künstliche „Fahnen" (fiducial marks) hat, nutzt das Programm diese als Ankerpunkte, um die Schichten perfekt auszurichten.
• Ohne Markierungen: Wenn keine Fahnen da sind, nutzt das Programm einen cleveren Algorithmus (AMST2), der wie ein Spiegelbild funktioniert. Es vergleicht jede Schicht mit ihren Nachbarn und richtet sie automatisch so aus, dass das Bild wieder flach und gerade wird.
• Analogie: Es ist wie ein digitaler Tischler, der schief gestapelte Bretter automatisch gerade rückt, damit ein stabiles Regal entsteht.

Schritt B: Das „Entstauben" (Denoising)

Die Bilder sind oft körnig. Das Programm nutzt eine Art KI-Filter (Noise2Void), der das Bild reinigt, ohne die feinen Details zu verwischen.

• Analogie: Stellen Sie sich vor, Sie haben ein altes, verstaubtes Foto. Der KI-Filter wischt den Staub weg, aber das Gesicht auf dem Foto bleibt scharf und klar.

Schritt C: Die „Zusammenführung" (Registration)

Jetzt müssen das farbige Lichtbild und das scharfe Graubild zusammenpassen.

• Das Programm sucht nach gemeinsamen Merkmalen (z. B. Mitochondrien, die „Kraftwerke" der Zelle) in beiden Bildern.
• Es verschiebt und verformt das graue Bild so lange, bis es perfekt auf dem farbigen Bild liegt.
• Analogie: Wie wenn Sie eine transparente Folie mit einem Muster über ein anderes Bild legen und die Folie so lange verschieben, bis die Linien perfekt übereinander liegen.

Schritt D: Die „Automatische Suche" (Segmentation)

Jetzt wollen wir wissen: Wo genau ist das Mitochondrium? Das manuell zu machen, dauert ewig.

• Hier kommt eine KI ins Spiel (ein trainiertes neuronales Netz). Sie hat gelernt, wie Mitochondrien aussehen.
• Das Besondere: Die Autoren haben gezeigt, dass man die KI für jeden neuen Fall kurz „nachschulen" kann (Retraining). Das ist wie ein Lehrer, der einem Schüler ein paar Beispiele zeigt, damit er das Muster sofort erkennt.
• Ergebnis: Die KI malt die Mitochondrien automatisch in 3D ein, und zwar mit einer Genauigkeit von fast 94 %.

Schritt E: Der „Film-Studio" (Visualisierung)

Am Ende haben wir Daten, die man kaum noch verstehen kann.

• Das Programm nutzt Blender (eine bekannte 3D-Software), um aus diesen Daten einen animierten 3D-Film zu machen.
• Man kann durch die Zelle fliegen, die Farben leuchten sehen und die 3D-Strukturen drehen.
• Analogie: Aus einer riesigen Datenbank mit Zahlen und Pixeln wird ein Hollywood-Blockbuster, den jeder verstehen kann.

Warum ist das wichtig?

Früher mussten Wissenschaftler für jeden dieser Schritte ein anderes, oft teures oder kompliziertes Programm lernen. Viele konnten sich das gar nicht leisten.

Dieser neue Workflow ist wie ein kompletter „All-in-One"-Service:

1. Er ist kostenlos (Open Source).
2. Er funktioniert auf normalen Computern, kann aber auch auf Supercomputern laufen, wenn die Daten riesig sind (wie ein Lieferwagen, der auch einen Lastzug ziehen kann).
3. Er macht die Arbeit so einfach, dass auch Labore ohne eigene IT-Experten komplexe 3D-Analysen durchführen können.

Fazit: Die Autoren haben nicht nur ein neues Werkzeug erfunden, sondern eine Bibliothek mit fertigen Bauplänen erstellt. Sie ermöglichen es, dass die komplexe Welt der Zellbiologie für alle sichtbar, verständlich und bearbeitbar wird – von der Rohdaten-Reparatur bis zum fertigen 3D-Film.

Technische Zusammenfassung

Technische Zusammenfassung: Ein hochleistungsfähiger End-to-End-Workflow für die 3D-CLEM-Verarbeitung

1. Problemstellung
Die Korrelative Licht- und Elektronenmikroskopie (CLEM) verbindet die molekulare Spezifität der Lichtmikroskopie (LM) mit dem ultrastrukturellen Detailreichtum der Elektronenmikroskopie (EM). Trotz der wachsenden Nachfrage nach 3D-CLEM-Analysen in Forschungseinrichtungen (Facilities) bestehen erhebliche Hürden bei der Datenverarbeitung:

• Fragmentierung: Bestehende Workflows sind stark zersplittert, nutzen inkompatible Tools und fehlen einheitliche Standards.
• Komplexität: Die multimodale Natur der Daten erfordert präzise Schritte wie EM-Slice-Alignment, LM-EM-Registrierung, Segmentierung und 3D-Visualisierung, die oft manuelles Eingreifen und Programmierkenntnisse erfordern.
• Ressourcenmangel: Viele Labore können sich keine kommerzielle Software leisten, und die Verarbeitung großer Volumendatensätze (z. B. aus FIB/SEM) erfordert High-Performance-Computing (HPC), das oft nicht einfach zugänglich ist.
• Fehlende Reproduzierbarkeit: Es gibt keine klare, frei verfügbare „Rezeptur", die Forscher von der Bildausrichtung bis zur quantitativen Analyse führt.

2. Methodik
Die Autoren stellen einen modularen, Open-Source-End-to-End-Workflow vor, der bestehende und neu entwickelte Tools in eine kohärente Pipeline integriert. Der Workflow ist skalierbar und kann von Standard-Workstations bis hin zu HPC-Umgebungen (z. B. über Slurm-Jobs und Jupyter-Notebooks) genutzt werden.

Die Pipeline umfasst folgende Hauptphasen:

• Datenvorverarbeitung (EM):

  • Alignment (Ausrichtung): Abhängig von der Anwesenheit von Fiducial-Markern (Referenzmarken) werden unterschiedliche Strategien angewendet:
    • Mit Fiducials: Kombination aus einem hausinternen Tool „Taturtle" (Template Matching mit Z-Kompensation) und dem AMST-Algorithmus (Alignment to Median Smoothed Template).
    • Ohne Fiducials: Nutzung von AMST2, einer neuen Version mit einem Pre-Alignment-Schritt, der Translationstransformationen basierend auf benachbarten Slices berechnet, um kumulative Verzerrungen zu minimieren.
  • Denoising (Rauschunterdrückung): Einsatz von Noise2Void2 (N2V2) über die CAREamics-Bibliothek, um die Datenqualität zu verbessern und die Segmentierung zu erleichtern.

• Registrierung (LM-EM):

  • Nutzung von BigWarp (integriert in BigDataViewer/MoBIE) für die interaktive, landmarkenbasierte Registrierung.
  • Die LM-Daten dienen als Referenz (da sie dem nativen Zustand näher sind), während die EM-Daten transformiert werden. Als Fiducials dienen mitochondriale Strukturen.

• Segmentierung:

  • Einsatz von Empanada mit dem neuronalen Netzwerk MitoNet zur automatischen Segmentierung von Mitochondrien.
  • Strategie: Vergleich von Standard-Modellen vs. retrainierten Modellen. Für das Retraining wurden Ground-Truth-Daten (manuell korrigiert via nnInteractive) verwendet, um das Modell an spezifische Datensätze anzupassen.

• Visualisierung und Animation:

  • Nutzung von Blender mit dem Microscopy Nodes-Plugin. Dies ermöglicht die flexible Integration, 3D-Rendering und Animation komplexer CLEM-Datensätze (LM als volumetrische Emission, EM als streuendes Volumen, Segmentierungen als 3D-Meshes) in einer einzigen Umgebung.

• Infrastruktur:

  • Die Verarbeitung läuft auf HPC-Clustern (Flemish Supercomputer Center), unterstützt durch skalierbare Datenformate wie OME-Zarr und Containerisierung für Reproduzierbarkeit.

3. Schlüsselergebnisse
Die Studie wurde an zwei verschiedenen Datensätzen validiert (MEF-Zellen mit Fiducials und HeLa-Zellen ohne Fiducials):

• Alignment: Die Kombination aus Taturtle und AMST sowie AMST2 reduzierte die Verschiebungsfehler signifikant (von ca. 0,75 nm auf ca. 0,25 nm in Z-Richtung). AMST2 erwies sich auch ohne Fiducials als robust, obwohl Fiducials die Genauigkeit weiter erhöhen.
• Segmentierung:
  • Vorverarbeitung (Alignment + Denoising) erhöhte die Segmentierungsgenauigkeit von ca. 40 % auf ca. 60 %.
  • Retraining des Modells war der entscheidende Faktor: Die Genauigkeit stieg von ca. 60 % (ohne Retraining) auf ca. 94 % (mit Retraining). Das retrainierte Modell war so robust, dass eine zusätzliche Denoising-Step für die Genauigkeit weniger kritisch war.
• Visualisierung: Der Workflow ermöglichte die erfolgreiche 3D-Visualisierung und Animation großer Datensätze (bis zu 17 GB EM-Volumen + 2,5 GB LM-Daten) in Blender, wobei die räumliche Übereinstimmung der Modalitäten präzise erhalten blieb.

4. Hauptbeiträge

• Einheitlicher Open-Source-Workflow: Bereitstellung einer vollständigen, modularen Pipeline, die den gesamten Prozess von der Rohdatenverarbeitung bis zur Animation abdeckt.
• Neue Tools und Methoden:
  • Einführung von Taturtle (Napari-Plugin) und AMST2 für flexibles EM-Alignment.
  • Demonstration einer optimierten Strategie für das Retraining von MitoNet mittels Empanada, um hohe Genauigkeit ohne manuelle Segmentierung des gesamten Datensatzes zu erreichen.
• Skalierbarkeit: Beweis der Machbarkeit, komplexe CLEM-Workflows auf HPC-Infrastrukturen zu betreiben, was für die wachsenden Datenmengen in der Mikroskopie essenziell ist.
• Zugänglichkeit: Durch GUIs (Napari, BigWarp, Blender) und Tutorials wird die Hürde für Nicht-Programmierer gesenkt.

5. Bedeutung und Ausblick
Diese Arbeit adressiert einen kritischen Bedarf in der mikroskopischen Forschung: Sie macht 3D-CLEM-Analysen für Einrichtungen (Facilities) als Dienstleistung reproduzierbar, skalierbar und zugänglicher. Durch die Integration von Open-Source-Tools und HPC-Ressourcen wird die Fragmentierung der Feldes verringert. Der Workflow dient als robustes Fundament für die Standardisierung von CLEM-Prozessen und fördert die Zusammenarbeit sowie die Reproduzierbarkeit wissenschaftlicher Ergebnisse. Zukünftige Verbesserungen könnten die Integration von Live-Cell-Imaging und die Anpassung an weitere Bildgebungsmodalitäten umfassen.