🔬 materials science

Overcoming Labelled Data Scarcity for Defect Classification in Scanning Tunneling Microscopy

Questo articolo propone un approccio automatizzato e flessibile per la segmentazione di immagini di microscopia a scansione a effetto tunnel (STM) che combina l'apprendimento few-shot e quello non supervisionato per superare la scarsità di dati etichettati, consentendo una classificazione dei difetti ad alta precisione su superfici diverse con una minima annotazione manuale.

Autori originali: Nikola L. Kolev, Max Trouton, Filippo Federici Canova, Geoff Thornton, David Z. Gao, Neil J. Curson, Taylor J. Z. Stock

Pubblicato 2026-06-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Nikola L. Kolev, Max Trouton, Filippo Federici Canova, Geoff Thornton, David Z. Gao, Neil J. Curson, Taylor J. Z. Stock

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di guardare la fotografia di un pavimento vasto e perfettamente piastrellato con minuscole piastrelle lucide. Questo è ciò che fa un Microscopio a Scansione a Effetto Tunnel (STM): scatta una foto di una superficie così ingrandita che è possibile vedere i singoli atomi, che appaiono come piccoli rilievi o avvallamenti.

Gli scienziati usano queste immagini per studiare come gli atomi si legano tra loro o come nuove molecole si depositano su una superficie. Tuttavia, c'è un problema: trovare e catalogare specifici "difetti" (come una piastrella mancante o un rilievo dalla forma strana) in queste immagini è come cercare un ago in un pagliaio. Farlo a mano è lento, noioso e richiede l'occhio di un esperto umano che fissi migliaia di immagini.

Questo articolo presenta un nuovo "assistente intelligente" automatizzato che può svolgere questo lavoro di catalogazione per te, ma con un superpotere: non ha bisogno di essere istruito con migliaia di esempi. Può imparare da una manciata di essi.

Ecco come funziona il sistema, suddiviso in semplici passaggi:

1. Il Problee: L'"Ago nel Pagliaio"

Tradizionalmente, per insegnare a un computer a individuare questi difetti atomici, gli scienziati dovevano catalogare manualmente migliaia di immagini prima. È come cercare di insegnare a un cane a recuperare una pallina specifica mostrandogli quella pallina 3.000 volte. Se lo scienziato vuole studiare un nuovo tipo di pallina (un nuovo materiale), deve ricominciare l'addestramento da capo con migliaia di nuovi esempi. Questo è troppo lento per la scienza del mondo reale.

2. La Soluzione: Il Detective "Few-Shot"

Gli autori hanno costruito un sistema che utilizza l'Apprendimento Few-Shot (FSL). Pensa a questo come a mostrare a un detective la foto di un sospetto specifico (il "difetto") e chiedergli di trovare quella stessa persona in mezzo a una folla. Il detective non ha bisogno di aver visto quel sospetto 3.000 volte; gli basta vederlo una o due volte per riconoscerne le caratteristiche chiave.

Il sistema ha tre parti principali, che lavorano insieme come una catena di montaggio in una fabbrica:

Fase A: L'Artista dello "Schizzo Approssimativo" (Apprendimento Non Supervisionato)

Per prima cosa, il sistema deve sapere dove si trovano approssimativamente i difetti. Utilizza una tecnica chiamata Apprendimento Non Supervisionato (Unsupervised Learning).

L'Analogia: Immagina di avere una foto in bianco e nero di una stanza disordinata. Non dici al computer cos'è una "sedia" o un "giocattolo". Inveve, gli chiedi di raggruppare insieme pixel dall'aspetto simile. Potrebbe dire: "Queste macchie scure sembrano appartenere insieme, e queste macchie chiare sembrano qualcos'altro".
Cosa fa: Crea una "mappa" approssimativa (una maschera binaria) che separa le "cose interessanti" (i difetti) dallo "sfondo noioso" (la griglia atomica perfetta). Questo passaggio richiede pochissimo intervento umano.

Fase B: La Macchina "Ritaglia e Incolla" (Ritaglio)

Una volta creata la mappa approssimativa, il sistema ritaglia piccoli pezzi quadrati dell'immagine che contengono i difetti.

L'Analogia: È come prendere una lente d'ingrandimento, trovare un rilievo sul pavimento e ritagliare proprio quel pollice quadrato della foto per osservarlo più da vicino.

Fase C: L' "Classificatore Esperto" (Few-Shot Learning)

Questa è la parte magica. Lo scienziato umano guarda alcuni di questi quadratini ritagliati e dice: "Questo è un 'Legame Pendente Doppio' (Tipo A), e questo è un 'Silossano' (Tipo B)".

L'Analogia: Mostri al computer uno o tre esempi di ciascun tipo di difetto. Il computer utilizza poi una "memoria" matematica per confrontare ogni altro quadratino ritagliato con i tuoi esempi. Chiede: "Questo nuovo quadrato assomiglia di più al tuo esempio di 'Tipo A' o al tuo esempio di 'Tipo B'?".
Il Risultato: Ordina automaticamente il resto dell'immagine.

3. Cosa hanno testato?

Il team ha testato questo "assistente intelligente" su tre diversi tipi di superfici:

Silicio (Si): Un materiale molto comune.
Germanio (Ge): Simile al silicio, ma leggermente diverso.
Biossido di Titanio (TiO2): Un materiale completamente diverso che appare e si comporta diversamente.

Volevano vedere se il sistema potesse imparare sul Silicio e riconoscere istantaneamente i difetti su Germanio e Biossido di Titanio senza aver bisogno di un massiccio nuovo corso di addestramento.

4. I Risultati

Sul Silicio: Il sistema è stato incredibilmente accurato, ottenendo il risultato corretto il 99% delle volte dopo essere stato mostrato solo tre esempi di ciascun tipo di difetto.
Su Germanio e Biossido di Titanio: L'accuratezza è scesa (circa al 62% e all'85% rispettivamente), ma era comunque molto migliore rispetto al semplice indovinare o all'uso di metodi più vecchi e semplici.
Il Test "One-Shot": Anche quando al sistema veniva mostrato un solo esempio di un difetto, riusciva comunque a trovare simili meglio di un programma per computer di base che si limita a guardare i pixel grezzi.

5. Perché questo è importante (secondo l'articolo)

Flessibilità: Se uno scienziato scopre una strana nuova molecola su una superficie, non deve passare settimane a catalogare i dati. Può semplicemente mostrare al computer alcuni esempi, e questo si adatta immediatamente.
Gestione delle "Anomalie": A volte, succede qualcosa di strano nell'immagine che non rientra in nessuna categoria (come un grande graffio). Il sistema permette all'umano di dire: "Ignora quello", in modo che non rovini le statistiche. I sistemi più vecchi li forzerebbero in una categoria sbagliata.
Velocità: Trasforma un compito che richiede ore di osservazione umana in un processo che avviene in pochi secondi.

Riassunto

L'articolo descrive un nuovo strumento che aiuta gli scienziati ad analizzare le immagini atomiche. Invece di aver bisogno di una vasta libreria di esempi catalogati per insegnare al computer, questo strumento impara da solo pochi esempi (proprio come farebbe un essere umano). Combina un creatore di "schizzi approssimativi" con un "classificatore intelligente" per trovare e nominare automaticamente i difetti atomici su diversi materiali, rendendo il processo di scoperta di nuovi materiali molto più veloce e meno laborioso.

Sintesi Tecnica: Superare la scarsità di dati etichettati per la classificazione dei difetti nella Microscopia a Effetto Tunnel (STM)

Problema
La microscopia a effetto tunnel (STM) fornisce immagini con risoluzione atomica essenziali per comprendere la fisica e la chimica delle superfici. Tuttavia, l'analisi quantitativa dei dati STM richiede tipicamente l'identificazione e l'etichettatura manuale di caratteristiche su scala atomica rispetto a uno sfondo uniforme, un processo che è laborioso e dispendioso in termini di tempo. Sebbene gli approcci di apprendimento automatico (ML) supervisionato, come le Reti Neurali Convoluzionali (CNN), abbiano dimostrato successo nell'automazione di questo compito, essi dipendono fortemente da ampi dataset annotati manualmente, specifici per ogni sistema di materiali. Questa dipendenza crea un collo di bottiglia: poiché la STM viene applicata frequentemente a nuovi materiali ed esperimenti, il requisito di estesi dati etichettati per ogni nuova superficie ne limita l'utilità pratica. Le alternative esistenti, come la generazione di dati sintetici tramite la Teoria del Funzionale della Densità (DFT), sono computazionalmente costose e richiedono spesso l'intervento di esperti, mentre altri metodi non supervisionati possono mancare di metriche di prestazione rigorose o di generalizzabilità.

Metodologia
Gli autori propongono un workflow ibrido e automatizzato che combina l'apprendimento non supervisionato e il Few-Shot Learning (FSL) per segmentare e classificare i difetti STM con una quantità minima di dati etichettati. Il framework opera attraverso una pipeline in cinque fasi:

Acquisizione e Preelaborazione dei Dati: Le immagini STM (stati occupati e vuoti) vengono acquisite, livellate sul piano, allineate lungo le linee di scansione e corrette per l'isteresi.
Segmentazione Grossolana Non Supervisionata (Modulo 1 & 2): Per evitare l'etichettatura manuale per il passaggio iniziale di segmentazione, gli autori utilizzano una FCNResNet101 pre-addestrata (addestrata su ImageNet) per estrarre vettori di caratteristiche dai pixel. Questi vettori subiscono un clustering k-means per generare una mappa binaria che distingue i "difetti" dal "reticolo". Questo output non supervisionato viene utilizzato per addestrare una U-Net leggera (Modulo 2) specifica per il substrato. La U-Net può quindi eseguire una segmentazione grossolana su nuove scansioni in pochi secondi su una CPU, sostituendo il passaggio non supervisionato più lento e dipendente dalla GPU.
Ritaglio delle Caratteristiche (Feature Cropping): La U-Net identifica le posizioni dei difetti, che vengono poi isolate in ritagli di immagine uniformi e ricampionate per corrispondere alle dimensioni della rete.
Generazione del Support Set Definito dall'Utente (Modulo 3): L'utente definisce $N$ classi di caratteristiche e annota un piccolo numero ( $K$ ) di esempi per ogni classe a partire dai ritagli delle immagini. Questo costituisce il support set. L'utente può anche escludere esplicitamente le caratteristiche anomale in questa fase.
Classificazione FSL: I restanti ritagli non visti (il query set) sono classificati da una rete FSL utilizzando il support set. La rete imbedde le immagini in uno spazio vettoriale latente e classifica i campioni query in base alla loro vicinanza ai vettori di supporto utilizzando specifiche metriche di distanza.

Lo studio valuta quattro distinti algoritmi FSL: Prototypical Networks, Matching Networks, Relation Networks e Simple Shot. Questi sono testati contro un classificatore baseline k-Nearest Neighbour (kNN) su pixel grezzi. Gli esperimenti utilizzano tre distinti sistemi superficiali per testare la generalizzabilità:

Si(001): Utilizzato per l'addestramento iniziale e i test su substrati noti con nuovi adsorbati (AsH3).
Ge(001): Testato come "nuovo" substrato (addestrato solo su dati Si).
TiO2(110): Testato come substrato strutturalmente differente (addestrato solo su dati Si e Ge).

Risultati Chiave
Gli autori riportano i seguenti risultati nei loro casi di test:

Prestazioni di Segmentazione: La U-Net, addestrata su dati etichettati dal pipeline non supervisionata, ha raggiunto accuratezze di validazione superiori al 90% per tutte e tre le superfici. Il punteggio Dice (DS) per la segmentazione dei soli difetti è stato più alto per il Germanio (0.87) e più basso per il Silicio (0.64), sebbene il DS totale (inclusi il background) sia rimasto elevato (0.96–0.99).
Accuratezza della Classificazione FSL:
- Prototypical Networks hanno superato costantemente gli altri metodi basati su reti neurali. Sul dataset di Silicio (Si(001):H:AsH3), la rete Prototypical ha raggiunto il 93.6% di accuratezza nell'impostazione 1-shot e il 98.9% nel 3-shot.
- Anche le reti Simple Shot si sono comportate bene, in particolare quando addestrate su dati specifici del substrato, spesso superando approcci basati su ResNet18 più grandi nonostante abbiano meno parametri.
- Le Relation Networks si sono comportate significativamente peggio (circa 54–58% di accuratezza), probabilmente a causa dell'overfitting dato dai limitati dati di addestramento e dalla complessità della loro metrica di distanza appresa.
- Generalizzazione: Quando applicate a substrati non visti (Ge e TiO2) senza addestramento preventivo su tali materiali, l'accuratezza è scesa (es. 54.5% 1-shot per Ge), ma i metodi FSL hanno comunque generalmente superato o eguagliato il baseline kNN nel regime 1-shot.
Studio di Ablazione: Gli autori hanno dimostrato che l'aumento artificiale del numero di classi di addestramento (invertendo i valori dei pixel per creare tipi di "difetti negativi") migliora l'accuratezza della classificazione. Ad esempio, la Matching Network sui dati del Germanio è migliorata del 12% quando il set di addestramento è stato aumentato con classi inverse.

Significatività e Rivendicazioni
Il lavoro si posiziona come un passo significativo verso la segmentazione automatica e indipendente dal materiale delle immagini STM. Il contributo primario è la dimostrazione che è possibile ottenere una classificazione dei difetti ad alta accuratezza con appena uno o tre punti dati etichettati per classe, eliminando efficacemente la barriera dei grandi dataset annotati.

Gli autori affermano che il loro approccio offre una maggiore flessibilità rispetto ai precedenti metodi supervisionati:

Adattabilità: Il sistema può essere adattato rapidamente a superfici non viste dopo l'addestramento iniziale.
Gestione delle Anomalie: A differenza dei rigidi classificatori supervisionati, questo workflow permette agli utenti di escludere esplicitamente le caratteristiche anomale dal support set, evitando che queste influenzino le statistiche—una capacità assente in alcuni lavori supervisionati precedenti.
Efficienza: Distillando la conoscenza da modelli pre-addestrati di grandi dimensioni in una U-Net più piccola per la segmentazione grossolana, il metodo consente un'elaborazione rapida, basata su CPU, adatta ai flussi di lavoro di laboratorio.

Gli autori rimangono modesti riguardo l'accuratezza assoluta su materiali completamente nuovi (es. 62% sul Germanio nel caso 1-shot), osservando che, sebbene ciò possa non essere sufficiente per un'analisi finale di qualità pubblicativa, fornisce intuizioni rapide e azionabili durante l'acquisizione dei dati. Concludono che, sebbene siano state utilizzate architetture standard per stabilire un baseline, lavori futuri riguardanti l'ottimizzazione degli iperparametri e il raffinamento architettonico potrebbero ulteriormente migliorare le prestazioni.