🔬 materials science

Overcoming Labelled Data Scarcity for Defect Classification in Scanning Tunneling Microscopy

Dieses Paper schlägt einen automatisierten, flexiblen Ansatz zur Segmentierung von Rastertunnelmikroskopie-Bildern (STM) vor, der Few-Shot- und unüberwachtes Lernen kombiniert, um den Mangel an gelabelten Daten zu überwinden und eine hochgenaue Defektklassifizierung auf diversen Oberflächen mit minimalem manuellem Annotationsaufwand zu ermöglichen.

Ursprüngliche Autoren: Nikola L. Kolev, Max Trouton, Filippo Federici Canova, Geoff Thornton, David Z. Gao, Neil J. Curson, Taylor J. Z. Stock

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nikola L. Kolev, Max Trouton, Filippo Federici Canova, Geoff Thornton, David Z. Gao, Neil J. Curson, Taylor J. Z. Stock

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betrachten die Fotografie eines riesigen, perfekt gefliesten Bodens aus winzigen, glänzenden Kacheln. Genau das macht ein Rastertunnelmikroskop (STM): Es macht ein Bild einer Oberfläche, das so stark vergrößert ist, dass man einzelne Atome sehen kann, die wie kleine Hügel oder Vertiefungen aussehen.

Wissenschaftler nutzen diese Bilder, um zu untersuchen, wie Atome aneinanderhaften oder wie neue Moleküle auf einer Oberfläche landen. Es gibt jedoch ein Problem: Das Finden und Beschriften spezifischer „Defekte“ (wie eine fehlende Kachel oder ein seltsam geformter Hügel) in diesen Bildern ist, als versuche man, eine Nadel im Heuhaufen zu finden. Dies manuell zu erledigen, ist langsam, langweilig und erfordert einen menschlichen Experten, der tausende von Bildern stundenlang anstarrt.

Dieses Paper präsentiert einen neuen automatisierten „intelligenten Assistenten“, der diese Beschichtungsaufgabe für Sie übernimmt, aber mit einer Superkraft: Er muss nicht mit tausenden von Beispielen trainiert werden. Er kann aus nur einer Handvoll lernen.

So funktioniert das System, aufgeschlüsset in einfache Schritte:

1. Das Problem: Die „Nadel im Heuhaufen“

Traditionell mussten Wissenschaftler tausende von Bildern zuerst manuell beschriften, um einen Computer darauf zu trainieren, diese atomaren Defekte zu erkennen. Es ist, als würde man versuchen, einem Hund beizubringen, einen bestimmten Ball zu apportieren, indem man ihm diesen Ball 3.000 Mal zeigt. Wenn der Wissenschaftler einen neuen Typ von Ball (ein neues Material) untersuchen möchte, muss er das Training mit tausenden neuen Beispielen wieder von vorne beginnen. Das ist für die reale Wissenschaft zu langsam.

2. Die Lösung: Der „Few-Shot“-Detektiv

Die Autoren haben ein System entwickelt, das Few-Shot Learning (FSL) nutzt. Denken Sie an Folgendes: Man zeigt einem Detektiv ein Foto eines spezifischen Verdächtigen (des „Defekts“) und bittet ihn, dieselbe Person in einer Menge zu finden. Der Detektiv muss diesen Verdächtigen nicht 3.000 Mal gesehen haben; er muss ihn nur einmal oder zweimal sehen, um die Schlüsselmerkmale zu erkennen.

Das System besteht aus drei Hauptteilen, die wie ein Fließband in einer Fabrik zusammenarbeiten:

Schritt A: Der „Skizzenkünstler“ (Unsupervised Learning)

Zuerst muss das System grob wissen, wo sich die Defekte befinden. Es verwendet eine Technik namens Unsupervised Learning (unüberwachtes Lernen).

Die Analogie: Stellen Sie sich vor, Sie haben ein Schwarz-Weiß-Foto eines unordentlichen Zimmers. Sie sagen dem Computer nicht, was ein „Stuhl“ oder ein „Spielzeug“ ist. Stattdessen bitten Sie ihn, ähnliche Pixel zusammenzugruppieren. Er könnte sagen: „Diese dunklen Flecken scheinen zusammenzugehören, und diese hellen Flecken sehen nach etwas anderem aus.“
Was es tut: Es erstellt eine grobe „Karte“ (eine binäre Maske), die das „Interessante“ (Defekte) vom „langweiligen Hintergrund“ (dem perfekten Atomgitter) trennt. Dieser Schritt erfordert sehr wenig menschlichen Input.

Schritt B: Die „Ausschneidemaschine“ (Cropping)

Sobald die grobe Karte erstellt ist, schneidet das System kleine quadratische Teile des Bildes aus, die die Defekte enthalten.

Die Analogie: Es ist, als würde man eine Lupe nehmen, einen Hügel auf dem Boden finden und genau dieses Quadratzoll des Fotos ausschneiden, um es genauer zu betrachten.

Schritt C: Der „Experten-Klassifizierer“ (Few-Shot Learning)

Das ist der magische Teil. Der menschliche Wissenschaftler betrachtet einige dieser ausgeschnittenen Quadrate und sagt: „Dies ist eine ‚Double Dangling Bond‘ (Typ A), und dies ist ein ‚Siloxan‘ (Typ B).“

Die Analogie: Sie zeigen dem Computer eins oder drei Beispiele für jeden Typ. Der Computer nutzt dann ein mathematisches „Gedächtnis“, um jedes andere ausgeschnittene Quadrat mit Ihren Beispielen zu vergleichen. Er fragt sich: „Sieht dieses neue Quadrat eher wie Ihr ‚Typ A‘-Beispiel oder wie Ihr ‚Typ B‘-Beispiel aus?“
Das Ergebnis: Er sortiert den Rest des Bildes automatisch.

3. Was wurde getestet?

Das Team testete diesen „intelligenten Assistenten“ auf drei verschiedenen Arten von Oberflächen:

Silizium (Si): Ein sehr häufiges Material.
Germanium (Ge): Ähnlich wie Silizium, aber etwas anders.
Titandioxid (TiO2): Ein völlig anderes Material, das anders aussieht und sich anders verhält.

Sie wollten sehen, ob das System auf Silizium lernen kann und dann sofort Defekte auf Germanium und Titandioxid erkennt, ohne dass ein massives neues Training notwendig ist.

4. Die Ergebnisse

Auf Silizium: Das System war unglaublich genau und lag in 99 % der Fälle richtig, wenn es nur drei Beispiele für jeden Defekttyp gezeigt bekam.
Auf Germanium und Titandioxid: Die Genauigkeit sank (auf etwa 62 % bzw. 85 %), aber sie war immer noch viel besser als bloßes Raten oder die Verwendung älterer, einfacherer Methoden.
Der „One-Shot“-Test: Selbst wenn dem System nur ein einziges Beispiel eines Defekts gezeigt wurde, konnte es ähnliche Defekte besser finden als ein einfaches Computerprogramm, das nur rohe Pixel betrachtet.

5. Warum das wichtig ist (laut dem Paper)

Flexibilität: Wenn ein Wissenschaftler ein seltsames neues Molekül auf einer Oberfläche entdeckt, muss er nicht Wochen mit der Beschriftung von Daten verbringen. Er kann dem Computer einfach ein paar Beispiele zeigen, und dieser passt sich sofort an.
Umgang mit „Anomalien“: Manchmal passiert etwas Seltsames im Bild, das in keine Kategorie passt (wie ein großer Kratzer). Das System ermöglicht es dem Menschen zu sagen: „Ignoriere das eine“, damit es nicht die Statistiken verfälscht. Ältere Systeme würden dieses seltsame Ding zwangsweise einer falschen Kategorie zuordnen.
Geschwindigkeit: Es verwandelt eine Aufgabe, die Stunden des menschlichen Starrens erfordert, in einen Prozess, der in Sekunden abläuft.

Zusammenfassung

Das Paper beschreibt ein neues Werkzeug, das Wissenschaftlern hilft, atomare Bilder zu analysieren. Anstatt eine riesige Bibliothek mit beschrifteten Beispielen zu benötigen, um den Computer zu lehren, lernt dieses Werkzeug aus nur wenigen Beispielen (so wie ein Mensch). Es kombiniert einen „Skizzenmacher“ mit einem „intelligenten Klassifizierer“, um atomare Defekte auf verschiedenen Materialien automatisch zu finden und zu benennen, was den Prozess der Entdeckung neuer Materialien viel schneller und weniger arbeitsintensiv macht.

Technisches Resümee: Überwindung der Knappheit an gelabelten Daten für die Defektklassifizierung in der Rastertunnelmikroskopie

Problemstellung
Die Rastertunnelmikroskopie (STM) liefert atomar aufgelöste Abbildungen, die für das Verständnis der Oberflächenphysik und -chemie essenziell sind. Die quantitative Analyse von STM-Daten erfordert jedoch typischerweise die manuelle Identifizierung und Kennzeichnung von Defekten auf atomarer Ebene gegen einen gleichmäßigen Hintergrund – ein Prozess, der arbeitsintensiv und zeitaufwendig ist. Während Ansätze des überwachten maschinellen Lernens (Supervised Machine Learning, ML), wie etwa Convolutionale Neuronale Netze (CNNs), bei der Automatisierung dieser Aufgabe erfolgreich waren, hängen sie stark von großen, manuell annotierten Datensätzen ab, die spezifisch für jedes Materialsystem sind. Diese Abhängigkeit schafft einen Engpass: Da STM häufig für neuartige Materialien und Experimente eingesetzt wird, begrenzt die Anforderung an umfangreiche gelabelte Daten für jede neue Oberfläche den praktischen Nutzen von ML. Bestehende Alternativen, wie die Generierung synthetischer Daten mittels Dichtefunktionaltheorie (DFT), sind rechenintensiv und erfordern oft Expertenintervention, während andere unüberwachte Methoden möglicherweise keine strengen Leistungsmetriken oder Generalisierbarkeit aufweisen.

Methodik
Die Autoren schlagen einen hybriden, automatisierten Workflow vor, der unüberwachtes Lernen und Few-Shot Learning (FSL) kombiniert, um STM-Defekte mit minimalem Anteil an gelabelten Daten zu segmentieren und zu klassifizieren. Das Framework operiert über eine fünfstufige Pipeline:

Datenerfassung und Vorverarbeitung: STM-Bilder (gefüllte und leere Zustände) werden erworast, ebeneben, scanlinienorientiert und hinsichtlich Hysterese korrigiert.
Unüberwachte grobe Segmentierung (Modul 1 & 2): Um den manuellen Labeling-Schritt für die initiale Segmentierung zu vermeiden, nutzen die Autoren ein vortrainiertes FCNResNet101 (trainiert auf ImageNet), um Merkmalsvektoren aus Pixeln zu extrahieren. Diese Vektoren werden mittels k-Means-Clustering verarbeitet, um eine binäre Karte zu erstellen, die „Defekte“ vom „Gitter“ unterscheidet. Dieser unüberwachte Output wird verwendet, um ein leichtgewichtiges U-Net (Modul 2) zu trainieren, das spezifisch auf das Substrat zugeschnitten ist. Das U-Net kann dann neue Scans in Sekundenschnelle auf einer CPU zur groben Segmentierung durchführen, was den langsameren, GPU-abhängigen unüberwachten Schritt ersetzt.
Merkmals-Zuschnitt (Feature Cropping): Das U-Net identifiziert die Defektpositionen, welche anschließend in uniforme Bildausschnitte isoliert und so resampelt werden, dass sie den Netzwerkdimensionen entsprechen.
Benutzerdefinierte Support-Set-Generierung (Modul 3): Der Benutzer definiert $N$ Merkmalsklassen und labelt eine geringe Anzahl ( $K$ ) von Beispielen für jede Klasse aus den zugeschnittenen Bildern. Dies bildet das Support-Set. Der Benutzer kann in dieser Phase auch explizit Anomalien ausschließen.
FSL-Klassifizierung: Die verbleibenden ungesehenen Ausschnitte (das Query-Set) werden durch ein FSL-Netzwerk unter Verwendung des Support-Sets klassifiziert. Das Netzwerk bettet Bilder in einen latenten Vektorraum ein und klassifiziert Query-Samples basierend auf ihrer Nähe zu Support-Vektoren unter Verwendung spezifischer Distanzmetriken.

Die Studie evaluiert vier verschiedene FSL-Algorithmen: Prototypical Networks, Matching Networks, Relation Networks und Simple Shot. Diese werden gegen einen Baseline-k-Nearest-Neighbor (kNN)-Klassifikator auf Rohpixeln getestet. Die Experimente nutzen drei verschiedene Oberflächensysteme, um die Generalisierbarkeit zu testen:

Si(001): Verwendet für das initiale Training und Testen auf bekannten Substraten mit neuen Adsorbaten (AsH3).
Ge(001): Getestet als „neues“ Substrat (nur auf Si-Daten trainiert).
TiO2(110): Getestet als strukturell unterschiedliches Substrat (nur auf Si- und Ge-Daten trainiert).

Wesentliche Ergebnisse
Die Autoren berichten über folgende Befunde in ihren Testfällen:

Segmentierungsleistung: Das U-Net, das mit durch die unüberwachte Pipeline gelabelten Daten trainiert wurde, erreichte Validierungsgenauigkeiten von über 90 % für alle drei Oberflächen. Der Dice-Score (DS) für die reine Defektsegmentierung war am höchsten für Germanium (0,87) und am niedrigsten für Silizium (0,64), obwohl der Gesamt-DS (einschließlich Hintergrund) hoch blieb (0,96–0,99).
FSL-Klassifizierungsgenauigkeit:
- Prototypical Networks schnitten konsistent besser ab als andere auf neuronalen Netzen basierende Methoden. Auf dem Silizium-Datensatz (Si(001):H:AsH3) erreichte das Prototypical Network eine Genauigkeit von 93,6 % im 1-Shot-Szenario und 98,9 % im 3-Shot-Szenario.
- Simple Shot Netzwerke schnitten ebenfalls gut ab, insbesondere wenn sie auf substratspezifischen Daten trainiert wurden, wobei sie oft größere ResNet18-basierte Ansätze trotz geringerer Parameterzahl übertrafen.
- Relation Networks schnitten signifikant schlechter ab (ca. 54–58 % Genauigkeit), was wahrscheinlich auf Overfitting aufgrund der begrenzten Trainingsdaten und der Komplexität ihrer gelernten Distanzmetrik zurückzuführen ist.
- Generalisierung: Bei der Anwendung auf ungesehene Substrate (Ge und TiO2) ohne vorheriges Training auf diesen spezifischen Materialien sank die Genauigkeit (z. B. 54,5 % 1-Shot für Ge), aber die FSL-Methoden übertrafen im 1-Shot-Regime generell den kNN-Baseline oder waren mit ihm vergleichbar.
Ablationsstudie: Die Autoren zeigten, dass eine künstliche Erhöhung der Anzahl der Trainingsklassen (durch Invertierung der Pixelwerte zur Erstellung „negativer“ Defekttypen) die Klassifizierungsgenauigkeit verbesserte. Beispielsweise verbesserte sich das Matching Network auf Germanium-Daten um 12 %, als das Trainingsset mit inversen Klassen erweitert wurde.

Bedeutung und Ansprüche
Das Paper positioniert diese Arbeit als einen bedeutenden Schritt hin zur materialagnostischen, automatischen Segmentierung von STM-Bildern. Der primäre Beitrag ist der Nachweis, dass eine hochgenaue Defektklassifizierung mit nur einem oder drei gelabelten Datenpunkten pro Klasse möglich ist, was die Barriere großer annotierter Datensätze effektiv beseitigt.

Die Autoren behaupten, dass ihr Ansatz eine größere Flexibilität als bisherige überwachte Methoden bietet:

Adaptierbarkeit: Das System kann nach dem initialen Training schnell an ungesehene Oberflächen angepasst werden.
Umgang mit Anomalien: Im Gegensatz zu starren überwachten Klassifikatoren ermöglicht dieser Workflow dem Benutzer, Anomalien explizit aus dem Support-Set auszuschließen, was verhindert, dass diese die Statistiken verfälschen – eine Fähigkeit, die einigen vorangegangenen überwachten Arbeiten fehlt.
Effizienz: Durch die Destillation von Wissen aus großen vortrainierten Modellen in ein kleineres U-Net für die grobe Segmentierung ermöglicht die Methode eine schnelle, CPU-basierte Verarbeitung, die für Laborabläufe geeignet ist.

Die Autoren bleiben bescheiden hinsichtlich der absoluten Genauigkeit auf völlig neuen Materialien (z. B. 62 % auf Germanium im 1-Shot-Fall) und merken an, dass dies zwar nicht für eine abschließende publikationswürdige Analyse ausreichen mag, aber schnelle, handlungsrelevante Erkenntnisse während der Datenerfassung liefert. Sie schließen damit, dass zwar Standardarchitekturen verwendet wurden, um eine Baseline zu etablieren, zukünftige Arbeiten mit Hyperparameteroptimierung und architektonischer Verfeinerung die Leistung jedoch weiter steigern könnten.