Depth-wise super-resolution of a serial-sectioned low-carbon steel microstructure by a generative adversarial network trained on in-plane images

Um das Innenleben von Stahl zu verstehen, müssen Wissenschaftler über die flache Oberfläche hinausblicken. Metalle sind keine einheitlichen Blöcke; sie sind komplexe Landschaften aus winzigen Kristallen, Körnern und Phasen, die entstehen, während das Material abkühlt und hart wird. Diese mikroskopischen Strukturen entscheiden darüber, ob ein Brückenbalken hält oder ein Autoteil bricht. Jahrzehntelang haben Forscher diese Materialien untersucht, indem sie sie dünn aufgeschnitten und die flachen Seiten unter einem Mikroskop betrachtet haben. Diese zweidimensionale Sicht ist nützlich, aber sie ist so, als versuche man, einen Wald zu verstehen, indem man ein einzelnes Blatt betrachtet. Um wirklich zu erfassen, wie sich das Material verhält, müssen Wissenschaftler die dreidimensionale Architektur der Körner und deren Verbindung von einer Seite zur anderen sehen.

Die Erstellung dieser 3D-Bilder erfordert normalerweise einen mühsamen Prozess namens serielle Sektionierung. Ein Metallblock wird in hunderte dünne Schichten geschnitten, und jede Schicht wird fotografiert. Wenn diese Fotos gestapelt werden, bilden sie ein digitales 3D-Modell. Es gibt jedoch einen Haken. Die Kamera erfasst die flache Oberfläche jeder Schicht mit unglaublicher Schärfe, aber der Abstand zwischen den Schichten ist oft viel größer als die Dicke der Schicht selbst. Dies erzeugt ein digitales Bild, das von der Seite zu Seite scharf ist, aber von oben nach unten verschwommen und blockartig wirkt. Es ist, als hätte man ein hochauflösendes Foto einer Landschaft, aber die vertikale Tiefe ist gestreckt und unscharf, was es unmöglich macht, zu sehen, wie die Merkmale in der dritten Dimension wirklich miteinander verbunden sind.

Einem Team von Forschern des Korea Institute of Materials Science und der Universität Tokio ist es gelungen, einen Weg zu finden, diesen Unschärfeeffil zu beheben, ohne mehr Bilder aufnehmen oder bessere Mikroskope bauen zu müssen. Sie entwickelten eine Methode unter Einsatz künstlicher Intelligenz, um die fehlenden Details entlang der Tiefe des Bildes aufzufüllen. Anstatt den Computer zu bitten, basierend auf einer Bibliothek anderer Stahlbilder zu raten, lehrten sie ihn anhand der Stahlprobe selbst. Das System lernte die Muster der Stahloberfläche und nutzte dieses Wissen, um die verschwommene Tiefe zu rekonstruieren, wodurch ein unscharfes, blockartiges 3D-Modell in eine scharfe, kontinuierliche Ansicht der wahren Struktur des Metalls verwandelt wurde.

Die Forscher begannen mit einer Probe aus niedrigkohlenstoffhaltigem Stahl, einem in der Bauindustrie und Fertigung weit verbreiteten Material. Sie bereiteten die Probe vor, indem sie sie auf 1400 Grad Celsius erhitzten und sie dann mit einer spezifischen Rate abkühlten, um eine Mischung aus Ferrit, Perlit und Bainit zu erzeugen – verschiedene Arten von Kristallstrukturen, die dem Stahl seine Festigkeit verleihen. Mithilfe eines automatisierten Prozesses schnitten sie den Stahl in Schichten und fotografierten jede Oberfläche mit einem optischen Mikroskop. Dies erzeugte eine perfekte, hochauflösende 3D-Karte des Stahls, die als „Wahrheit“ für ihr Experiment diente.

Um das Problem der unscharfen Tiefe zu simulieren, nahmen die Forscher diese perfekte 3D-Karte und entfernten künstlich die meisten Schichten. Sie behielten nur jede zweite, dritte oder vierte Schicht übrig, wodurch große Lücken in den Daten entstanden. Dies erzeugte eine niedrig auflösende Version des 3D-Bildes, bei der die vertikale Richtung gestreckt war und die Details verloren gingen. In diesem Zustand erschienen die langen, dünnen Platten des Ferrits und die dunklen Bänder des Perlits als unverbundene Klumpen oder wurden gänzlich verschmiert, was es schwierig machte, zu erkennen, wie der Mikrogefüge tatsächlich durch das Material fließt.

Das Team wandte sich daraufhin einem Typus künstlicher Intelligenz zu, der als Generative Adversarial Network bekannt ist, speziell einer verfeinerten Version namens ESRGAN. Dieses System arbeitet wie ein Schüler und ein Lehrer. Das „Schüler“-Netzwerk versucht zu erraten, wie die fehlenden Schichten aussehen sollten, während das „Lehrer“-Netzwerk prüft, ob die Vermutung echt aussieht. Um sie zu trainieren, nutzten die Forscher nicht eine Datenbank aus tausenden verschiedenen Stahlproben. Stattdessen verwendeten sie die einzelne Stahlprobe, die sie bereits hatten. Sie nahmen die scharfen, flachen Bilder der Stahloberfläche und erstellten Paare von Bildern: eines scharf und eines verschwommen. Das Netzwerk lernte, die spezifischen Muster der Stahlkörner zu erkennen und wie sie aussah, wenn sie klar versus wenn sie unscharf waren.

Nachdem das Netzwerk trainiert worden war, wandten die Forscher es auf die unscharfen, in der Tiefe gestreckten Bilder an. Das Ziel war es zu sehen, ob der Computer in der Lage war, das aus den flachen Oberflächen Gelernte zu nutzen, um die fehlenden vertikalen Details zu rekonstruieren. Sie verglichen die Ergebnisse mit der ursprünglichen perfekten 3D-Karte und mit anderen Methoden, wie etwa der standardmäßigen mathematischen Interpolation, die lediglich die Pixel zwischen den bekannten Schichten mittelt.

Die Ergebnisse zeigten einen deutlichen Unterschied. Die standardmäßigen mathematischen Methoden erzeugten Bilder, die zwar glatter waren, aber dennoch die feinen Details verloren. Die Grenzen zwischen den verschiedenen Kristallphasen blieben verschwommen, und die langen, dünnen Strukturen des Stahls erschienen unterbrochen oder unverbunden. Die älteren Versionen der künstlichen Intelligenz schnitten besser ab, führten aber immer noch einige unnatürliche Texturen ein. Die neue ESRGAN-Methode hingegen konnte die feinen Details erfolgreich wiederherstellen. Sie rekonstruierte die langen, dünnen Ferritplatten und die zarten Perlitbänder mit einer Klarheit, die eng mit der hochauflösenden Karte übereinstimmte. Das Netzwerk war in der Lage, den kontinuierlichen Fluss des Mikrogefüges zu erkennen, selbst in den Bereichen, in denen die Daten fehlten.

Die Forscher testeten diese Methode bei unterschiedlichen Schwierigkeitsgraden. Wenn die fehlenden Daten moderat waren, arbeitete das Netzwerk außergewöhnlich gut. Selbst wenn die Daten extrem spärlich waren, wobei nur eine von vier Schichten verblieb, gelang es dem Netzwerk dennoch, die allgemeine Form und Verbindung der mikrostrukturellen Merkmale wiederherzustellen, wobei es alle anderen Methoden übertraf. Sie maßen den Erfolg mit statistischen Werkzeugen, die prüften, wie genau das rekonstruierte Bild in Bezug auf Struktur und Pixelextraktion mit dem Original übereinstimmte. Die künstliche Intelligenz lieferte konsistent die engste Übereinstimmung und bewahrte die wahre Form der Körner sowie die korrekten Proportionen der verschiedenen Phasen.

Dieser Ansatz ist bedeutend, da er ein großes Nadelöhr in der Materialwissenschaft löst, ohne teure neue Ausrüstung oder massive Trainingsdatenbibliotheken zu erfordern. Indem sie den Computer lehren, das spezifische Material zu verstehen, das er betrachtet, können die Forscher ein qualitativ minderwertiges, anisotropes 3D-Bild in ein qualitativ hochwertiges, isotropes Bild verwandeln. Dies bedeutet, dass Wissenschaftler nun die wahre dreidimensionale Natur von Stahl und anderen Metallen mit viel größerer Präzision sehen können, was ein tieferes Verständnis dafür ermöglicht, wie diese Materialien aufgebaut sind und wie sie unter Belastung reagieren werden. Die Studie zeigt, dass künstliche Intelligenz mit der richtigen Ausbildung in der Lage ist, die Lücken unserer physischen Beobachtungen zu füllen und die verborgene Architektur der Materialien zu enthüllen, die unsere Welt zusammenhalten.