Depth-wise super-resolution of a serial-sectioned low-carbon steel microstructure by a generative adversarial network trained on in-plane images

Om het innerlijke leven van staal te begrijpen, moeten wetenschappers verder kijken dan het platte oppervlak. Metalen zijn geen uniforme blokken; het zijn complexe landschappen van minuscule kristallen, korrels en fasen die ontstaan terwijl het materiaal afkoelt en uithardt. Deze microscopische structuren bepalen of een brugbalk standhoudt of een auto-onderdeel breekt. Decennialang hebben onderzoekers deze materialen bestudeerd door ze dun te snijden en de platte vlakken onder een microscoop te bekijken. Dit tweedimensionale perspectief is nuttig, maar het is alsof je een bos probeert te begrijpen door naar een enkel blad te kijken. Om echt te vatten hoe het materiaal zich gedraagt, moeten wetenschappers de driedimensionale architectuur van de korrels zien en hoe deze van de ene naar de andere kant verbonden zijn.

Het maken van deze 3D-beelden houdt meestal een tijdrovend proces in dat seriële sectie wordt genoemd. Een blok metaal wordt in honderden dunne lagen gesneden, en elke laag wordt gefotografeerd. Wanneer deze foto's op elkaar worden gestapeld, vormen ze een digitaal 3D-model. Er is echter een addertje onder het gras. De camera legt het platte oppervlak van elke doorsnede met ongelooflijke scherpte vast, maar de afstand tussen de doorsneden is vaak veel groter dan de dikte van de doorsnede zelf. Dit creëert een digitaal beeld dat van zij tot zij scherp is, maar van boven naar beneden wazig en blokkerig. Het is alsof je een high-definition foto hebt van een landschap, maar de verticale diepte is uitgerekt en wazig, waardoor het onmogelijk is om te zien hoe de kenmerken echt met elkaar verbonden zijn in de derde dimensie.

Een team van onderzoekers aan het Korea Institute of Materials Science en de Universiteit van Tokio heeft een manier gevonden om deze onscherpte te verhelpen zonder meer foto's te hoeven maken of betere microscopen te bouwen. Ze ontwikkelden een methode met behulp van kunstmatige intelligentie om de ontbrekende details langs de diepte van het beeld in te vullen. In plaats van de computer te vragen te gokken op basis van een bibliotheek van andere staalbeelden, leerden ze de computer aan de hand van het staalmonster zelf. Het systeem leerde de patronen van het oppervlak van het staal kennen en gebruikte die kennis om de wazige diepte te reconstrueren, waardoor een wazig, blokkerig 3D-model werd veranderd in een scherp, continu beeld van de ware structuur van het metaal.

De onderzoekers begonnen met een monster van koolstofarm staal, een veelgebruikt materiaal in de bouw en productie. Ze bereidden het monster voor door het te verhitten tot 1400 graden Celsius en het vervolgens met een specifieke snelheid te laten afkoelen om een mengsel van ferriet, perliet en bainiet te creëren—verschillende soorten kristalstructuren die staal zijn sterkte geven. Met behulp van een geautomatiseerd proces sneden ze het staal in lagen en fotografeerden ze elk oppervlak met een optische microscoop. Dit creëerde een perfecte, hoog-resolutie 3D-kaart van het staal, die diende als de "waarheid" voor hun experiment.

Om het probleem van de wazige diepte te simuleren, namen de onderzoekers deze perfecte 3D-kaart en verwijderden ze kunstmatig de meeste lagen. Ze hielden slechts elke tweede, derde of vierde doorsnede over, waardoor er grote gaten in de gegevens ontstonden. Dit creëerde een versie van de 3D-afbeelding met een lage resolutie waarbij de verticale richting was uitgerekt en de details verloren waren gegaan. In deze staat verschenen de lange, dunne platen van ferriet en de donkere banden van perliet als losstaande vlekken of werden ze volledig uitgesmeerd, waardoor het moeilijk werd om te zien hoe de microstructuur daadwerkelijk door het materiaal stroomde.

Het team wendde zich vervolgens tot een type kunstmatige intelligentie dat bekend staat als een generative adversarial network, specifiek een verfijnde versie genaamd ESRGAN. Dit systeem werkt als een student en een docent. Het "student"-netwerk probeert te raden hoe de ontbrekende lagen eruit zouden moeten zien, terwijl het "docent"-netwerk controleert of de gok er echt uitziet. Om hen te trainen, gebruikten de onderzoekers niet een database van duizenden verschillende staalmonsters. In plaats daarvan gebruikten ze het enkele staalmonster dat ze al hadden. Ze namen de scherpe, platte afbeeldingen van het oppervlak van het staal en maakten paren van afbeeldingen: één scherp en één wazig. Het netwerk leerde de specifieke patronen van de korrels van het staal te herkennen en hoe ze eruit zagen wanneer ze helder waren versus wanneer ze wazig waren.

Zod： de netwerk getraind was, pasten de onderzoekers het toe op de wazige, in de diepte uitgerekte afbeeldingen. Het doel was om te zien of de computer de ontbrekende verticale details kon gebruiken om de reconstructie te voltooien op basis van wat hij had geleerd van de platte oppervlakken. Ze vergeleken de resultaten met de oorspronkelijke perfecte 3D-kaart en met andere methoden, zoals standaard mathematische interpolatie, die simpelweg de pixels tussen de bekende doorsneden middelen.

De resultaten toonden een duidelijk verschil. De standaard mathematische methoden produceerden afbeeldingen die weliswaar vloeiender waren, maar nog steeds de fijne details verloren. De grenzen tussen de verschillende kristalfasen bleven wazig, en de lange, dunne structuren van het staal leken onderbroken of losgekoppeld. De oudere versies van de kunstmatige intelligentie presteerden beter, maar introduceerden nog steeds enkele onnatuurlijke texturen. De nieuwe ESRGAN-methode slaagde er echter in de fijne details te herstellen. Het reconstrueerde de lange, dunne ferrietplaten en de delicate perlietbanden met een helderheid die nauw aansloot bij de originele hoog-resolutie kaart. Het netwerk was in staat om de continue stroom van de microstructuur te zien, zelfs in de gebieden waar de gegevens ontbraken.

De onderzoekers testten deze methode op verschillende moeilijkheidsgraden. Wanneer de ontbrekende gegevens matig waren, presteerde het netwerk uitzonderlijk goed. Zelfs wanneer de gegevens extreem schaars waren, met slechts één doorsnede van de vier overgebleven, slaagde het netwerk er nog steeds in om de algemene vorm en verbinding van de microstructurele kenmerken te herstellen, waarbij het alle andere methoden overtrof. Ze maten het succes met behulp van statistische instrumenten die controleerden hoe nauw de gereconstrueerde afbeelding overeenkwam met het origineel wat betreft structuur en pixel nauwkeurigheid. De kunstmatige intelligentie produceerde consequent de meest nauwkeurige match, waarbij de ware vorm van de korrels en de juiste proporties van de verschillende fasen werden behouden.

Deze aanpak is belangrijk omdat het een grote flessenhals in de materiaalkunde oplost zonder dat er dure nieuwe apparatuur of enorme bibliotheken met trainingsgegevens nodig zijn. Door de computer te leren de specifieke materie te begrijpen waar hij naar kijkt, kunnen de onderzoekers een kwalitatief minder goede, anisotrope 3D-afbeelding omzetten in een hoogwaardige, isotrope afbeelding. Dit betekent dat wetenschappers nu de ware driedimensionale aard van staal en andere metalen met veel grotere precisie kunnen zien, wat een dieper begrip mogelijk maakt van hoe deze materialen zijn opgebouwd en hoe ze zullen presteren onder spanning. De studie laat zien dat, met de juiste training, kunstmatige intelligentie de gaten in onze fysieke waarnemingen kan opvullen en de verborgen architectuur van de materialen die onze wereld bij elkaar houden, kan onthullen.