🔬 materials science

Overcoming Labelled Data Scarcity for Defect Classification in Scanning Tunneling Microscopy

Dit artikel stelt een geautomatiseerde, flexibele aanpak voor voor het segmenteren van Scanning Tunneling Microscopy (STM) beelden die few-shot en unsupervised learning combineert om het tekort aan gelabelde data te overwinnen, waardoor nauwkeurige defectclassificatie op diverse oppervlakken mogelijk wordt met minimale handmatige annotatie.

Oorspronkelijke auteurs: Nikola L. Kolev, Max Trouton, Filippo Federici Canova, Geoff Thornton, David Z. Gao, Neil J. Curson, Taylor J. Z. Stock

Gepubliceerd 2026-06-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nikola L. Kolev, Max Trouton, Filippo Federici Canova, Geoff Thornton, David Z. Gao, Neil J. Curson, Taylor J. Z. Stock

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een foto kijkt van een uitgestrekte, perfect betegelde vloer gemaakt van piepkleine, glanzende tegeltjes. Dit is wat een Scanning Tunneling Microscope (STM) doet: het maakt een foto van een oppervlak met een vergroting die zo groot is dat je individuele atomen kunt zien, die eruitzien als kleine bultjes of kuiltjes.

Wetenschappers gebruiken deze afbeeldingen om te bestuderen hoe atomen aan elkaar blijven plakken of hoe nieuwe moleculen op een oppervlak landen. Maar er is een probleem: het vinden en labelen van specifieke "defecten" (zoals een ontbrekende tegel of een vreemd gevormde bult) in deze afbeeldingen is alsof je een speld in een hooimijt probeert te vinden. Het handmatig doen is traag, saai en vereist een menselijke expert die duizenden afbeeldingen moet bestuderen.

Dit artikel presenteert een nieuwe geautomatiseerde "slimme assistent" die dit labelwerk voor je kan doen, maar met een superkracht: het hoeft niet getraind te worden met duizenden voorbeelden. Het kan leren van slechts een handvol.

Hier is hoe het systeem werkt, onderverdeeld in eenvoudige stappen:

1. Het Probleem: De "Speld in de Hooimijt"

Traditioneel moesten wetenschappers duizenden afbeeldingen eerst handmatig labelen om een computer te leren deze atomaire defecten te herkennen. Het is alsof je een hond probeert te leren om een specifieke bal te halen door hem die bal 3.000 keer te laten zien. Als de wetenschapper een nieuw type bal wil bestuderen (een nieuw materiaal), moet hij de training vanaf nul beginnen met duizenden nieuwe voorbeelden. Dit is te traag voor de echte wereld.

2. De Oplossing: De "Few-Shot" Detective

De auteurs hebben een systeem gebouwd dat gebruikmaakt van Few-Shot Learning (FSL). Denk hierbij aan een detective die een foto krijgt van een specifieke verdachte (het "defect") en vervolgens wordt gevraagd om diezelfde persoon in een menigte te vinden. De detective hoeft die verdachte niet 3.000 keer gezien te hebben; hij heeft hem slechts één of twee keer nodig om de belangrijkste kenmerken te herkennen.

Het systeem heeft drie hoofdonderdelen die samenwerken als een lopende band in een fabriek:

Stap A: De "Ruwe Schets" Kunstenaar (Unsupervised Learning)

Eerst moet het systeem ongeveer weten waar de defecten zich bevinden. Het gebruikt een techniek genaamd Unsupervised Learning.

De Analogie: Stel je voor dat je een zwart-witfoto hebt van een rommelige kamer. Je vertelt de computer niet wat een "stoel" of een "speeltje" is. In plaats daarvan vraag je de computer om vergelijkbare pixels bij elkaar te groeperen. De computer zegt misschien: "Deze donkere plekken lijken bij elkaar te horen, en deze heldere plekken lijken op iets anders."
Wat het doet: Het maakt een ruwe "kaart" (een binaire maskering) die het "interessante spul" (defecten) scheidt van de "saaie achtergrond" (het perfecte atomaire rooster). Deze stap vereist zeer weinig menselijke input.

Stap B: De "Knippen en Plakken" Machine (Cropping)

Zodra de ruwe kaart is gemaakt, knipt het systeem kleine vierkante stukjes uit de afbeelding die de defecten bevatten.

De Analogie: Het is alsof je een vergrootglas pakt, een bult op de vloer vindt en net dat vierkante inch van de foto uitknipt om het van dichterbij te bekijken.

Stap C: De "Expert Classifier" (Few-Shot Learning)

Dit is het magische deel. De menselijke wetenschapper kijkt naar een paar van deze uitgeknipte vierkantjes en zegt: "Dit is een 'Double Dangling Bond' (Type A), en dit is een 'Siloxane' (Type B)."

De Analogie: Je laat de computer één of drie voorbeelden van elk type defect zien. De computer gebruikt vervolgens een wiskundig "geheugen" om elk ander uitgeknipt vierkantje met jouw voorbeelden te vergelijken. Het vraagt: "Lijkt dit nieuwe vierkantje meer op jouw 'Type A' voorbeeld of op jouw 'Type B' voorbeeld?"
Het Resultaat: Het sorteert de rest van de afbeelding automatisch.

3. Wat hebben ze getest?

Het team heeft deze "slimme assistent" getest op drie verschillende soorten oppervlakken:

Silicon (Si): Een zeer gebruikelijk materiaal.
Germanium (Ge): Vergelijkbaar met silicium, maar net even anders.
Titanium Dioxide (TiO2): Een compleet ander materiaal dat er anders uitziet en anders werkt.

Ze wilden zien of het systeem kon leren op Silicium en vervolgens direct defecten op Germanium en Titanium Dioxide kon herkennen zonder een enorme nieuwe trainingssessie nodig te hebben.

4. De Resultaten

Op Silicon: Het systeem was ongelooflijk nauwkeurig en had het in 99% van de gevallen goed wanneer het slechts drie voorbeelden van elk defect type werd getoond.
Op Germanium en Titanium Dioxide: De nauwkeurigheid daalde (naar respectievelijk ongeveer 62% en 85%), maar het was nog steeds veel beter dan simpelweg gokken of oudere, eenvoudigere methoden gebruiken.
De "One-Shot" Test: Zelfs wanneer het systeem slechts één voorbeeld van een defect werd getoond, kon het nog steeds vergelijkbare defecten beter vinden dan een basiscomputerprogramma dat alleen naar ruwe pixels kijkt.

5. Waarom dit ertoe doet (volgens het artikel)

Flexibiliteit: Als een wetenschapper een vreemd nieuw molecuul op een oppervlak ontdekt, hoeft hij niet wekenlang data te labelen. Hij kan de computer gewoon een paar voorbeelden laten zien, en het systeem past zich onmiddellijk aan.
Omgaan met "Anomalieën": Soms gebeurt er iets vreemds in de afbeelding dat niet in een categorie past (zoals een grote kras). Het systeem stelt de mens in staat om te zeggen: "Negeer die ene," zodat het de statistieken niet verstoort. Oudere systemen zouden dit vreemde object dwingen in een verkeerde categorie.
Snelheid: Het verandert een taak die urenlang menselijk staren kost in een proces dat in seconden gebeurt.

Samenvatting

Het artikel beschrijft een nieuw hulpmiddel dat wetenschappers helpt bij het analyseren van atomaire afbeeldingen. In plaats van een enorme bibliotheek aan gelabelde voorbeelden nodig te hebben om de computer te leren, leert dit hulpmiddel van slechts een paar voorbeelden (net zoals een mens dat zou doen). Het combineert een "maker van ruwe schetsen" met een "slimme classifier" om automatisch atomaire defecten op verschillende materialen te vinden en te benoemen, waardoor het proces van het ontdekken van nieuwe materialen veel sneller en minder arbeidsintensief wordt.

Technische Samenvatting: Het overwinnen van schaarste aan gelabelde data voor defectclassificatie in Scanning Tunneling Microscopy

Probleemstelling
Scanning Tunneling Microscopy (STM) biedt beeldvorming met atomaire resolutie die essentieel is voor het begrijpen van oppervlaktefysica en -chemie. De kwantitatieve analyse van STM-data vereist echter doorgaans de handmatige identificatie en labeling van defecten op atomaire schaal tegen een uniforme achtergrond, een proces dat arbeidsintensief en tijdrovend is. Hoewel supervised machine learning (ML)-benaderingen, zoals Convolutional Neural Networks (CNN's), succes hebben getoond bij het automatiseren van deze taak, zijn ze sterk afhankelijk van grote, handmatig geannoteerde datasets die specifiek zijn voor elk materiaalsysteem. Deze afhankelijkheid creëert een bottleneck: aangezien STM frequent wordt toegepast op nieuwe materialen en experimenten, beperkt de vereiste van uitgebreide gelabelde data voor elk nieuw oppervlak het praktische nut van ML. Bestaande alternatieven, zoals synthetische datageneratie via Density Functional Theory (DFT), zijn computationeel duur en vereisen vaak deskundige interventie, terwijl andere unsupervised methoden mogelijk een gebrek hebben aan rigoureuze prestatiemetrieken of generaliseerbaarheid.

Methodologie
De auteurs stellen een hybride, geautomatiseerde workflow voor die unsupervised learning combineert met Few-Shot Learning (FSL) om STM-defecten te segmenteren en te classificeren met minimale gelabelde data. Het framework werkt via een vijfstaps pijplijn:

Data Acquisitie en Preprocessing: STM-beelden (filled en empty states) worden verworven, vlak gemaakt (plane-leveled), scan-lijn uitgelijnd en gecorrigeerd voor hysteresis.
Unsupervised Coarse Segmentation (Module 1 & 2): Om de handmatige labeling voor de initiële segmentatiestap te vermijden, maken de auteurs gebruik van een vooraf getrainde FCNResNet101 (getraind op ImageNet) om feature vectoren uit pixels te extraheren. Deze vectoren ondergaan k-means clustering om een binaire kaart te genereren die "defecten" onderscheidt van het "rooster" (lattice). Deze unsupervised output wordt gebruikt om een lichtgewicht U-Net (Module 2) te trainen die specifiek is voor het substraat. De U-Net kan vervolgens nieuwe scans binnen enkele seconden op een CPU uitvoeren coarse segmentatie, wat de tragere, GPU-afhankelijke unsupervised stap vervangt.
Feature Cropping: De U-Net identificeert de locaties van defecten, die vervolgens worden geïsoleerd in uniforme beeldcrops en worden gehersampled om te voldoen aan de netwerkdimensies.
User-Defined Support Set Generation (Module 3): De gebruiker definieert $N$ feature klassen en labelt een klein aantal ( $K$ ) voorbeelden voor elke klasse uit de gecrepte afbeeldingen. Dit vormt de support set. De gebruiker kan op dit stadium ook expliciet afwijkende kenmerken uitsluiten.
FSL Classificatie: De overgebleven ongeziene crops (de query set) worden geclassificeerd door een FSL-netwerk met behulp van de support set. Het netwerk embedt afbeeldingen in een latente vectorruimte en classificeert query-samples op basis van hun nabijheid tot support-vectoren met behulp van specifieke afstandmetrieken.

De studie evalueert vier verschillende FSL-algoritmen: Prototypical Networks, Matching Networks, Relation Networks, en Simple Shot. Deze worden getest tegen een baseline k-Nearest Neighbour (kNN) classifier op ruwe pixels. De experimenten maken gebruik van drie verschillende oppervlaktesystemen om generaliseerbaarheid te testen:

Si(001): Gebruikt voor initiële training en testen op bekende substraten met nieuwe adsorbaat (AsH3).
Ge(001): Getest als een "nieuw" substraat (getraind op enkel Si-data).
TiO2(110): Getest als een structureel verschillend substraat (getraind op enkel Si en Ge data).

Belangrijkste Resultaten
De auteurs rapporteren de volgende bevindingen over hun testgevallen:

Segmentatie Prestaties: De U-Net, getraind op data gelabeld door de unsupervised pijplijn, behaalde validatieaccuratessen boven de 90% voor alle drie de oppervlakken. De Dice Score (DS) voor defect-alleen segmentatie was het hoogst voor Germanium (0,87) en het laagst voor Silicon (0,64), hoewel de totale DS (inclusclusief achtergrond) hoog bleef (0,96–0,99).
FSL Classificatie Accuratesse:
- Prototypical Networks presteerden consequent beter dan andere neurale netwerk-gebaseerde methoden. Op de Silicon dataset (Si(001):H:AsH3) behaalde het Prototypical netwerk een accuratesse van 93,6% in de 1-shot setting en 98,9% in de 3-shot setting.
- Simple Shot netwerken presteerden ook goed, vooral wanneer ze op substraat-specifieke data waren getraind, waarbij ze vaak grotere ResNet18-gebaseerde benaderingen overtroffen ondanks het hebben van minder parameters.
- Relation Networks presteerden aanzienlijk slechter (ongeveer 54–58% accuratesse), waarschijnlijk door overfitting gezien de beperkte trainingsdata en de complexiteit van hun geleerde afstandmetriek.
- Generalisatie: Wanneer toegepast op ongeziene substraten (Ge en TiO2) zonder voorafgaande training op die specifieke materialen, daalde de accuratesse (bijv. 54,5% 1-shot voor Ge), maar de FSL-methoden presteerden over het algemeen nog steeds beter dan of gelijk aan de kNN baseline in de 1-shot regime.
Ablatie Studie: De auteurs toonden aan dat het kunstmatig verhogen van het aantal trainingsklassen (door pixelwaarden te inverteren om "negatieve" defecttypen te creëren) de classificatie-accuratesse verbeterde. Bijvoorbeeld, de Matching Network op Germanium data verbeterde met 12% wanneer de trainingsset werd uitgebreid met inverse klassen.

Betekenis en Claims
Het artikel positioneert dit werk als een belangrijke stap richting materiaal-agnostische, automatische segmentatie van STM-beelden. De primaire bijdrage is de demonstratie dat hoge-accuratesse defectclassificatie mogelijk is met slechts één of drie gelabelde datapunten per klasse, wat effectief de barrière van grote geannoteerde datasets wegneemt.

De auteurs beweren dat hun benadering meer flexibiliteit biedt dan eerdere supervised methoden:

Aanpasbaarheid: Het systeem kan snel worden aangepast aan ongeziene oppervlakken na de initiële training.
Afwijkende Kenmerken Afhandelen: In tegen tegenover rigide supervised classifiers, staat deze workflow de gebruiker toe om afwijkende kenmerken expliciet uit de support set uit te sluiten, wat voorkomt dat zij statistieken verstoren—een capaciteit die ontbreekt in sommige eerdere supervised werken.
Efficiëntie: Door kennis te distilleren van grote pre-trained modellen naar een kleinere U-Net voor coarse segmentatie, maakt de methode snelle, CPU-gebaseerde verwerking mogelijk die geschikt is voor laboratoriumworkflows.

De auteurs blijven bescheiden over de absolute accuratesse op volledig nieuwe materialen (bijv. 62% op Germanium in de 1-shot case), waarbij zij opmerken dat hoewel dit mogelijk niet voldoende is voor definitieve publicatiekwaliteit analyse, het wel snelle, actiegerichte inzichten biedt tijdens data-acquisitie. Zij concluderen dat hoewel standaard architecturen werden gebruikt om een baseline te vestigen, toekomstig werk met betrekking tot hyperparameter optimalisatie en architecturale verfijning de prestaties verder zou kunnen verbeteren.