Depth-wise super-resolution of a serial-sectioned low-carbon steel microstructure by a generative adversarial network trained on in-plane images

Per comprendere la vita interiore dell'acciaio, gli scienziati devono guardare oltre la superficie piatta. I metalli non sono blocchi uniformi; sono paesaggi complessi di minuscoli cristalli, grani e fasi che si formano mentre il materiale si raffredda e si indurisce. Queste strutture microscopiche determinano se una trave di un ponte reggerà o se un componente di un'auto si spezzerà. Per decenni, i ricercatori hanno studiato questi materiali tagliandoli sottili e osservando le facce piatte al microscopio. Questa visione bidimensionale è utile, ma è come cercare di comprendere una foresta guardando una singola foglia. Per afferrare veramente come si comporta il materiale, gli scienziati hanno bisogno di vedere l'architettura tridimensionale dei grani e come essi si connettono da un lato all'altro.

Creare queste immagini 3D comporta solitamente un processo laborioso chiamato sezionamento seriale. Un blocco di metallo viene tagliato in centinaia di strati sottili e ogni strato viene fotografato. Quando vengono impilate insieme, queste foto formano un modello digitale 3D. Tuttavia, c'è un problema. La fotocamera cattura la superficie piatta di ogni fetta con un'incredibile nitidezza, ma la distanza tra le fette è spesso molto maggiore dello spessore della fetta stessa. Ciò crea un'immagine digitale che è nitida lateralmente, ma sfocata e a blocchi verticalmente. È come avere una foto ad alta definizione di un paesaggio, ma la profondità verticale è allungata e sfuocata, rendendo impossibile vedere come le caratteristiche si connettano realmente nella terza dimensione.

Un team di ricercatori presso l'Istituto Coreano di Scienza dei Materiali e l'Università di Tokyo ha trovato un modo per correggere questa sfocatura senza dover scattare più foto o costruire microscopi migliori. Hanno sviluppato un metodo utilizzando l'intelligenza artificiale per colmare i dettagli mancanti lungo la profondità dell'immagine. Invece di chiedere al computer di indovinare basandosi su una libreria di altre immagini di acciaio, lo hanno istruito usando il campione di acciaio stesso. Il sistema ha appreso i modelli della superficie dell'acciaio e ha usato quella conoscenza per ricostruire la profondità sfocata, trasformando un modello 3D sfuocato e a blocchi in una vista nitida e continua della vera struttura del metallo.

I ricercatori sono partiti con un campione di acciaio a basso tenore di carbonio, un materiale comune utilizzato nell'edilizia e nella produzione. Hanno preparato il campione riscaldandolo a 1400 gradi Celsius e poi raffreddandolo a una velocità specifica per creare una miscela di ferrite, perlite e bainite — diversi tipi di strutture cristalline che conferiscono resistenza all'acciaio. Utilizzando un processo automatizzato, hanno tagliato l'acciaio in strati e fotografato ogni superficie con un microscopio ottico. Questo ha creato una mappa 3D perfetta e ad alta risoluzione dell'acciaio, che ha servito da "verità" per il loro esperimento.

Per simulare il problema della profondità sfocata, i ricercatori hanno preso questa mappa 3D perfetta e hanno rimosso artificialmente la maggior parte degli strati. Hanno mantenuto solo ogni seconda, terza o quarta fetta, lasciando ampi vuoti nei dati. Questo ha creato una versione a bassa risoluzione dell'immagine 3D in cui la direzione verticale era allungata e i dettagli erano andati perduti. In questo stato, le lunghe e sottili piastre di ferrite e le bande scure di perlite apparivano come blob disconnessi o venivano completamente sfumate, rendendo difficile vedere come la microstruttura fluisse effettivamente attraverso il materiale.

Il team si è poi rivolto a un tipo di intelligenza artificiale nota come rete avversaria generativa, nello specifico una versione raffinata chiamata ESRGAN. Questo sistema funziona come uno studente e un insegnante. La rete "studente" cerca di indovinare come dovrebbero apparire gli strati mancanti, mentre la rete "insegnante" controlla se l'ipotesi sembri reale. Per addestrarli, i ricercatori non hanno utilizzato un database di migliaia di diversi campioni di acciaio. Invece, hanno utilizzato il singolo campione di acciaio che già possedevano. Hanno preso le immagini nitide e piatte della superficie dell'acciaio e hanno creato coppie di immagini: una nitida e una sfocata. La rete ha imparato a riconoscere i pattern specifici dei grani dell'acciaio e come apparissero quando erano chiari rispetto a quando erano sfocati.

Una volta addestrata la rete, i ricercatori l'hanno applicata alle immagini sfocate e allungate in profondità. L'obiettivo era vedere se il computer potesse usare ciò che aveva appreso dalle superfici piatte per ricostruire i dettagli verticali mancanti. Hanno confrontato i risultati con la mappa 3D perfetta originale e con altri metodi, come la normale interpolazione matematica, che si limita a mediare i pixel tra le fette note.

I risultati hanno mostrato una differenza netta. I metodi matematici standard producevano immagini più lisce ma che perdevano comunque i dettagli fini. I confini tra le diverse fasi cristalline rimanevano sfocati e le strutture lunghe e sottili dell'acciaio apparivano interrotte o disconnesse. Le versioni precedenti dell'intelligenza artificiale fornivano prestazioni migliori, ma introducevano comunque alcune texture innaturali. Il nuovo metodo ESRGAN, invece, ha recuperato con successo i dettagli fini. Ha ricostruito le piastre di ferrite lunghe e sottili e le delicate bande di perlite con una chiarezza che corrispondeva da vicino alla mappa originale ad alta risoluzione. La rete è stata in grado di vedere il flusso continuo della microstruttura, anche nelle aree in cui i dati erano mancanti.

I ricercatori hanno testato questo metodo a diversi livelli di difficoltà. Quando i dati mancanti erano moderati, la rete si è comportata eccezionalmente bene. Anche quando i dati erano estremamente scarsi, con un solo strato su quattro rimanente, la rete è riuscita comunque a recuperare la forma generale e la connessione delle caratteristiche microstrutturali, superando tutti gli altri metodi. Hanno misurato il successo utilizzando strumenti statistici che controllavano quanto l'immagine ricostruita corrispondesse all'originale in termini di struttura e accuratezza dei pixel. L'intelligenza artificiale ha prodotto costantemente il match più vicino, preservando la vera forma dei grani e le corrette proporzioni delle diverse fasi.

Questo approccio è significativo perché risolve un importante collo di bottiglia nella scienza dei materiali senza richiedere attrezzature nuove ed costose o enormi librerie di dati di addestramento. Insegnando al computer a comprendere il materiale specifico che sta osservando, i ricercatori possono trasformare un'immagine 3D anisotropa di bassa qualità in una ad alta qualità e isotropa. Ciò significa che gli scienziati possono ora vedere la vera natura tridimensionale dell'acciaio e di altri metalli con molta più precisione, permettendo una comprensione più profonda di come questi materiali siano costruiti e di come si comporteranno sotto sforzo. Lo studio dimostra che, con l'addestramento giusto, l'intelligenza artificiale può colmare le lacune delle nostre osservazioni fisiche, rivelando l'architettura nascosta dei materiali che tengono insieme il nostro mondo.