Contrastive Image-Metadata Pre-Training for Materials Transmission Electron Microscopy

1. Enunciato del Problema

La Microscopia Elettronica in Trasmissione (TEM) genera enormi quantità di dati, eppure oltre il 90% rimane inedito e inutilizzato, spesso scartato per risparmiare spazio di archiviazione. Questi dataset "residui" sono ricchi di dettagli e variazioni, ma vengono raramente sfruttati a causa di:

• Eterogeneità dei Dati: La TEM nella scienza dei materiali coinvolge campioni diversificati, modalità operative e impostazioni di acquisizione, rendendo difficile addestrare modelli che generalizzino attraverso condizioni differenti.
• Rumore ed Efficienza della Dose: La TEM moderna dà priorità all'efficienza della dose (minimizzando il danno da elettroni), risultando in dati molto rumorosi. I modelli attuali di machine learning (ML) per la riduzione del rumore sono tipicamente addestrati da zero per specifici livelli di rumore o campioni, mancando di robustezza rispetto a cambiamenti nei parametri strumentali (es. ingrandimento, tempo di permanenza, corrente del fascio).
• Mancanza di Dati Accoppiati: I dataset open-source esistenti sono o piccoli, sintetici, o privi dei ricchi metadati di acquisizione accoppiati necessari per addestrare modelli che comprendano la relazione tra l'aspetto dell'immagine e lo stato dello strumento.

La sfida principale è sfruttare questi archivi inutilizzati e ricchi di metadati per creare flussi di lavoro ML generalizzabili in grado di comprendere gli stati strumentali, eseguire trasferimenti di stile e ridurre il rumore delle immagini senza richiedere nuovi dati di addestramento accoppiati per ogni cambiamento di parametro.

2. Metodologia

Gli autori propongono il Pre-addestramento Contrastivo Immagine-Metadati (CIMP), un framework ispirato a CLIP (Contrastive Language-Image Pre-training), adattato per il dominio specifico della TEM a Scansione con Campo Scuro Annulare ad Alto Angolo (HAADF-STEM).

A. Costruzione del Dataset

• Fonte: 7.330 immagini HAADF-STEM raccolte da un singolo microscopio Titan in un laboratorio di ricerca sui materiali anonimizzato.
• Contenuto: Copre oltre 30 sistemi materiali distinti (principalmente catalizzatori eterogenei come Pt/CeO2, Pd/ZrO2) con oltre 130 campioni.
• Metadati: Ogni immagine è accoppiata a sette parametri di acquisizione:
  1. Dimensione del pixel
  2. Tempo di permanenza (dwell time)
  3. Angolo di convergenza del fascio
  4. Corrente del fascio
  5. Guadagno del rivelatore
  6. Offset del rivelatore
  7. Angolo di raccolta interno
• Set di Valutazione: Serie specifiche di immagini dello stesso campione con singoli parametri variati (tempo di permanenza, guadagno, offset) sono state riservate per la valutazione qualitativa, garantendo nessuna perdita di dati durante l'addestramento.

B. Architettura CIMP

• Obiettivo: Imparare uno spazio di embedding congiunto in cui le immagini HAADF-STEM e i loro vettori di metadati sono allineati tramite una funzione di perdita contrastiva.
• Encoder:
  • Encoder Immagine: Un ResNet-18 (addestrato da zero) ha dimostrato prestazioni superiori o pari ai Vision Transformers (ViT) pre-addestrati su ImageNet, probabilmente a causa del significativo divario di dominio tra immagini naturali e micrografie STEM.
  • Encoder Metadati: Un Multi-Layer Perceptron (MLP) che elabora i 7 parametri di acquisizione.
• Addestramento: Utilizza una funzione di perdita contrastiva InfoNCE. Il modello impara ad abbinare un immagine al suo vettore di metadati corretto all'interno di un batch di campioni negativi.

C. Applicazioni a valle

Gli embedding appresi servono come fondamento per due compiti principali:

1. Recupero con Sonda Lineare: Testare se specifici parametri di acquisizione possono essere decodificati linearmente dagli embedding visivi congelati.
2. Trasferimento di Stile Generativo: Un generatore basato su GAN (U-Net con condizionamento FiLM) utilizza gli embedding CIMP per tradurre un'immagine sperimentale nello stile che avrebbe sotto diversi parametri di acquisizione.
   • Condizionamento: Il generatore prende un'immagine sorgente e due embedding (metadati sorgente $e_{id}$ e metadati target $e_{tgt}$).
   • Funzioni di Perdita: Perdita avversariale ($L_{LSGAN}$), consistenza ciclica ($L_{cyc}$), perdita di identità ($L_{id}$) e una perdita di embedding percettiva ($L_{emb}$) che assicura che l'output corrisponda allo stile target nello spazio CIMP.

3. Contributi Chiave

1. Rilascio del Dataset: Il primo dataset su larga scala (7.330 immagini), di immagini e metadati accoppiati, per HAADF-STEM sperimentale, che copre materiali diversi e impostazioni strumentali.
2. Framework CIMP: Un nuovo metodo di pre-addestramento che impara uno spazio di embedding congiunto per immagini TEM e metadati, trattando questi embedding come un livello fondamentale per compiti a valle piuttosto che come un modello specifico per il compito.
3. Riduzione del Rumore Informata dalla Fisica: Dimostrazione che la rete di trasferimento di stile, quando condizionata su aumenti virtuali del tempo di permanenza e della corrente del fascio, agisce come un riduttore di rumore superiore rispetto a baseline auto-supervisionate come Noise2Void.
4. Decodificabilità Lineare: Dimostrazione che l'obiettivo contrastivo, senza supervisione diretta dei valori dei metadati, risulta in embedding in cui sette parametri fisici distinti sono individualmente recuperabili.

4. Risultati

A. Apprendimento degli Embedding e Recupero

• Iperparametri: Le prestazioni ottimali sono state raggiunte con ritagli di immagine 512x512, un backbone ResNet-18 e una dimensione di batch effettiva di 512.
• Accuratezza del Recupero: Il modello ha raggiunto un'accuratezza di recupero Top-1 di 0,844 (abbinamento di un'immagine al suo vettore di metadati corretto).
• Confronto Backbone: ResNet-18 (addestrato da zero) ha superato i ViT pre-addestrati su ImageNet (84,4% vs 82,8% Top-1), evidenziando la specificità di dominio dei dati STEM.

B. Recupero dei Metadati (Sonde Lineari)

• Utilizzando la regressione Ridge su embedding congelati, il modello ha recuperato con successo tutti e sette i parametri.
• Prestazioni:
  • Guadagno del Rivelatore: Meglio recuperato (SMAPE ≈ 5,3%, $R^2 > 0,82$).
  • Parametri trasformati in log (Dimensione del pixel, Tempo di permanenza, Corrente del fascio): Hanno mostrato $R^2$ più bassi (0,66–0,78) e SMAPE più alti (28–47%) a causa della natura moltiplicativa degli errori dopo la re-esponenziazione, ma sono rimasti decodificabili linearmente.
• Significato: Ciò conferma che gli embedding catturano una rappresentazione "fattorizzata" dei parametri fisici piuttosto che collassare in un singolo asse "rumore vs pulito".

C. Trasferimento di Stile e Riduzione del Rumore

• Tendenze Qualitative: Il generatore ha imitato con successo le tendenze fisiche (es. tempo di permanenza più alto = più liscio/meno rumoroso; corrente del fascio più alta = più luminoso).
  • Nota: In alcuni casi, il modello ha imparato bias del dataset (es. angolo di convergenza correlato alla corrente del fascio a causa di cambiamenti dell'apertura) piuttosto che la pura fisica.
• Metriche Quantitative: Su set di valutazione tenuti da parte, il GAN CIMP ha superato la baseline "no-edit" nel trasferimento del Guadagno (SSIM, PSNR, LPIPS) e ha eguagliato la baseline per il Tempo di permanenza.
• Prestazioni di Riduzione del Rumore:
  • Rispetto a Noise2Void, il GAN CIMP ha prodotto immagini più realistiche.
  • Noise2Void ha sofferto di artefatti a scacchiera e contenuti di fondo allucinati.
  • Il GAN CIMP ha preservato i dettagli strutturali riducendo efficacemente il rumore aumentando virtualmente la dose di elettroni.

5. Significato e Impatto

• Cambiamento di Paradigma: Sposta l'analisi dei dati TEM dall'approccio "addestrare da zero per ogni condizione specifica" a "pre-addestrare su archivi per imparare la fisica strumentale generalizzabile".
• Utilizzo dei Dati: Convalida che i dati sperimentali "residui" sono una risorsa preziosa per l'addestramento di modelli ML robusti, potenzialmente sbloccando il 90% dei dati TEM inutilizzati.
• Generalizzabilità: Gli embedding CIMP possono servire come segnali di condizionamento per compiti di segmentazione, analisi o recupero, rendendo i flussi di lavoro ML robusti alle variazioni nelle impostazioni del microscopio.
• Risorsa per la Comunità: Il rilascio del dataset e del codice abbassa la barriera per altri laboratori nell'adozione di metodi basati sui dati, incoraggiando una cultura della condivisione dei dati nella microscopia elettronica.

6. Limitazioni

• Condizioni al Contorno: Il modello fatica con valori estremi dei parametri (es. clipping/saturazione dell'immagine) perché tali "dati scadenti" sono tipicamente scartati dagli operatori e assenti dal set di addestramento.
• Scala del Dataset: Sebbene sia il più grande del suo genere nella TEM dei materiali, 7.330 immagini sono poche rispetto ai dataset di computer vision (es. 1,28 milioni di immagini di ImageNet), limitando la scala dell'addestramento del modello.
• Bias del Dataset: Il modello a volte apprende correlazioni presenti nel dataset specifico (es. dimensione dell'apertura che influenza sia l'angolo di convergenza che la corrente del fascio) piuttosto che leggi fisiche pure.

In conclusione, questo lavoro stabilisce una nuova fondazione per la TEM dei materiali dimostrando che il pre-addestramento contrastivo su archivi ricchi di metadati crea rappresentazioni potenti e consapevoli della fisica che abilitano compiti generativi avanzati e una riduzione del rumore robusta.