Mic-hackathon 2024: Hackathon on Machine Learning for Electron and Scanning Probe Microscopy

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen. Aber anstatt nach Fingerabdrücken zu suchen, suchen Sie nach den winzigsten Bausteinen des Universums: Atomen. Wissenschaftler verwenden leistungsstarke Werkzeuge namens Mikroskope, um Bilder dieser Atome zu machen, aber die Bilder sind oft so komplex und voller Daten, dass selbst die klügsten Menschen überfordert sind. Es ist, als würde man versuchen, eine Bibliothek von Büchern zu lesen, die in einer Sprache geschrieben sind, die man nicht spricht – und das alles auf einmal. Um dies verständlich zu machen, beginnen Wissenschaftler, Computeranwendungen beizubringen, diese Bilder zu „lesen“, indem sie eine spezielle Art von Gehirn nutzen: Maschinelles Lernen. Dies ist nicht nur ein Weg, bessere Fotos zu machen; es geht darum, dem Mikroskop beizubringen zu denken, zu entscheiden und sogar seine eigenen Fehler in Echtzeit zu korrigieren. Die große Frage ist: Können wir einen digitalen Assistenten bauen, der uns hilft, die unsichtbare Welt klar, schnell und ohne Ermüdung zu sehen?

Dieser Text ist ein Bericht von einem massiven „Hackathon“ – einem hochenergetischen Ereignis, bei dem Computer-Experten und Mikroskopie-Wissenschaftler zusammenkamen, um diese digitalen Assistenten zu bauen. Sie haben nicht nur über Ideen gesprochen; sie haben funktionierende Prototypen gebaut, um reale Probleme zu lösen. Ein Team erstellte einen „digitalen Zwilling“ eines Mikroskops, eine Videospiel-Version, mit der Forscher üben können, ohne teure Ausrüstung zu beschädigen. Eine andere Gruppe brachte einem Computer bei, winzige Körner in Materialien zu erkennen, sie nach Größe zu sortieren und sogar automatisch die interessantesten Stellen zum Heranzoomen zu finden. Sie bauten auch Werkzeuge, um unscharfe Bilder zu korrigieren, die durch verschmutzte Mikroskopspitzen verursacht wurden, und versuchten sogar vorherzusagen, wie Atome vibrieren, ohne langsame, schwere Simulationen durchführen zu müssen. Die wichtigste Erkenntnis ist, dass diese KI-Tools überraschend gut funktionieren: Sie können Strukturen identifizieren, unordentliche Daten bereinigen und sogar den nächsten besten Schritt in einem Experiment vorschlagen. Die Autoren weisen jedoch vorsichtig darauf hin, dass diese Werkzeuge zwar vielversprechend, aber noch nicht perfekt sind. Einige Modelle werden manchmal verwirrt oder „überoptimieren“ (overfitting), was bedeutet, dass sie die Trainingsdaten zu eng auswendig lernen und Schwierigkeiten mit neuen, unbekannten Bildern haben. Der Artikel legt nahe, dass diese KI-Helfer, mit vielfältigeren Daten und besserer Abstimmung, bald zum Standardpartner für Wissenschaftler werden könnten und so Stunden manueller Arbeit in Minuten automatisierter Entdeckungen verwandeln.

Das neue Gehirn des Mikroskops: Ein Hackathon-Bericht

Das große Ganze: Warum wir KI für Mikroskope brauchen
Stellen Sie sich ein modernes Elektronenmikroskop oder ein Rasterkraftmikroskop als eine superstarke Kamera vor, die einzelne Atome sehen kann. Aber diese Kameras sind so leistungsstark, dass sie Daten schneller erzeugen, als ein Mensch sie ansehen kann. Es ist, als hätte man eine Kamera, die eine Million Fotos pro Sekunde macht; wenn man versuchen würde, jedes einzelne anzusehen, würde man nie etwas erledigen. Jahrzehntelang mussten Wissenschaftler die interessanten Teile dieser Bilder manuell auswählen – ein Prozess, der langsam, langweilig und anfällig für menschliche Fehler ist (wie etwa das Übersehen eines winzigen Defekts, weil man müde war).

Der Artikel beschreibt ein kürzlich stattgefundenes Ereignis namens „Mic-hackathon 2024“, bei dem Forscher aus der ganzen Welt zusammenkamen, um dieses Problem zu lösen. Sie wollten sehen, ob Maschinelles Lernen (ML) – die Technologie, die es Computern ermöglicht, aus Beispielen zu lernen – die langweiligen Teile der Mikroskopie übernehmen kann. Das Ziel war es, Werkzeuge zu entwickeln, die automatisch interessante Merkmale finden, schlechte Bilder bereinigen und sogar das Mikroskop steuern können, um von selbst bessere Bilder zu machen.

Der digitale Zwilling: Üben, ohne etwas kaputt zu machen
Eines der ersten Dinge, die die Organisatoren taten, war die Erstellung eines „Digitalen Zwillings“ eines Mikroskops. Stellen Sie sich einen Flugsimulator für Piloten vor: Er lässt sie das Landen eines Flugzeugs üben, ohne das Risiko einzugehen, ein echtes Flugzeug abzustürzen. Ähnlich erlaubte dieser digitale Mikroskop (genannt DTMicroscope) den Teilnehmern, Code zu schreiben und ihre KI-Ideen in einer sicheren, virtuellen Umgebung zu testen. Sie konnten simulieren, Bilder von Materialien wie Graphen oder Nanopartikeln aufzunehmen, ohne Zeit an einer echten, teuren Maschine buchen zu müssen. Dies war ein Wendepunkt, da es jedem ermöglichte, frei zu experimentieren, im Wissen, dass bei einem Absturz des Codes keine echte Ausrüstung zu Schaden kommt.

Die Projekte: Was die Teams gebaut haben
Die Teilnehmer teilten sich in Teams auf, um spezifische Herausforderungen anzugehen. Hier sind einige der spannendsten Dinge, die sie gebaut haben:

• Der automatische Kornfinder: Ein Team nutete ein Modell namens „cellSAM“ (das ursprünglich zur Identifizierung von Zellen in biologischen Bildern entwickelt wurde), um Körner in Metall- und Keramikmaterialien zu finden. Es ist, als würde man einen Computer lehren, einzelne Blasen in einem Laib Brot zu entdecken. Sobald der Computer die Körner gefunden hatte, konnte er sie nach Größe und Dichte sortieren, was Wissenschaftlern hilft, die interessantesten Stellen für Studien zu finden. Sie bauten sogar ein System, das dem Mikroskop automatisch sagen konnte, an welchen spezifischen Stellen es heranzoomen soll, was Stunden der manuellen Suche spart.
• Der Bildreiniger: Mikroskope bekommen oft „schmutzige“ Spitzen, die die Bilder unscharf oder dupliziert erscheinen lassen (wie eine Spiegelung in einem Jahrmarktsspiegel). Zwei Teams arbeiteten daran, KI einzusetzen, um diese „Spitzen-Artefakte“ zu korrigieren. Sie trainierten Computer darauf, das unscharfe Bild zu betrachten und zu erraten, wie die ursprüngliche, saubere Oberfläche aussah. Während die KI moderate Unschärfen gut korrigieren konnte, merkt der Artikel an, dass sie bei extremen Fällen, wie etwa wenn die Spitze sehr stumpf oder zweigeteilt war, manchmal Schwierigkeiten hatte. Es ist ein laufender Prozess, aber ein vielversprechender Anfang.
• Der Kristall-Prädiktor: Ein anderes Team wollte vorhersagen, wie Atome vibrieren (thermische Streuung), ohne die schwere Mathematik durchzuführen, die normalerweise ewig dauert. Sie trainierten ein neuronales Netzwerk, um aus einer einfachen „elastischen“ Simulation zu erraten, wie die komplexe, vibrierende Version aussehen würde. In ihren Tests lag die Vermutung der KI sehr nah an der echten Simulation, was darauf hindeutet, dass Wissenschaftler in Zukunft diese komplexen Ergebnisse fast augenblicklich erhalten könnten.
• Der ferroelektrische Detektiv: Ein Team nutzte ein Generative Adversarial Network (GAN), um die interne Struktur eines Materials namens Bletitanat vorherzusagen. Sie versuchten, die „Polarisation“ (die Richtung der elektrischen Kräfte im Material) allein durch das Betrachten der Oberflächenhöhe zu erraten. Die KI war überraschend gut darin, die Grenzen zwischen verschiedenen Arten von Domänen zu erkennen, geriet aber manchmal in Verwirrung und sagte Veränderungen voraus, die eigentlich nicht vorhanden waren. Dies deutet darauf hin, dass das Modell mehr Trainingsdaten benötigt, um perfekt zuverlässig zu sein.
• Der intelligente Cropper (Zuschneider): Um diese KI-Modelle zu trainieren, müssen Wissenschaftler oft große Bilder in kleinere Stücke schneiden. Ein Team testete verschiedene Methoden des Zuschneidens dieser Bilder, um zu sehen, welche Methode das Lernen der KI verbessert. Sie fanden heraus, dass „Random Cropping“ (das Schneiden von Stücken an zufälligen Stellen) besser funktionierte als das Schneiden in ordentlichen Gitternetzen. Es ist, als würde man lernen, ein Gesicht zu erkennen, indem man es aus zufälligen Winkeln sieht, anstatt es nur frontal zu betrachten; die Zufälligkeit hilft der KI, das Material besser zu verstehen.

Das Urteil: Vielversprechend, aber nicht perfekt
Der Hackathon hat gezeigt, dass Maschinelles Lernen bereit ist, ein ernsthafter Partner in der Mikroskopie zu sein. Die Teams haben erfolgreich Werkzeuge gebaut, die mühsame Aufgaben automatisieren, unordentliche Daten bereinigen und sogar Mikroskope steuern können. Der Artikel ist jedoch sehr ehrlich über die Einschränkungen. Die KI-Modelle sind keine Magie; sie machen manchmal Fehler, besonders wenn sie auf Daten stoßen, die sie noch nicht gesehen haben. Einige Modelle „überoptimieren“ (overfit), was bedeutet, dass sie die Trainingsbeispiele zu gut auswendig lernen und bei neuen Situationen scheitern.

Die Autoren schlagen vor, dass der nächste Schritt darin besteht, vielfältigere Daten zu sammeln und die Modelle zu verfeinern. Sie betonen auch die Notwendigkeit besserer „Benchmarks“ – Standardtests, um zu sehen, wie gut verschiedene KI-Werkzeuge tatsächlich abschneiden. Das ultimative Ziel ist es, von der reinen Analyse von Daten nach dem Experiment zu einer KI überzugehen, die Wissenschaftlern hilft, Entscheidungen bereits während des Experiments zu treffen.

Warum das wichtig ist
Es geht hierbei nicht nur darum, das Leben der Wissenschaftler einfacher zu machen. Durch die Automatisierung der mühsamen Aufgaben wird die Zeit der menschlichen Forscher für die großen Fragen frei. Es könnte zu schnelleren Entdeckungen bei neuen Batteriematerialien, besseren Solarzellen und stärkeren Metallen führen. Der Artikel kommt zu dem Schluss, dass wir zwar noch nicht am Ziel sind, aber das Fundament gerade jetzt gelegt wird. Die „digitalen Zwillinge“ und die Open-Source-Werkzeuge, die während des Hackathons erstellt wurden, stehen allen zur Verfügung, um sicherzustellen, dass diese neue Art der Wissenschaft gemeinsam wachsen und sich verbessern kann. Es ist ein Blick in eine Zukunft, in der Mikroskope nicht nur Bilder machen, sondern uns tatsächlich helfen, die Welt Atom für Atom zu verstehen.