🔬 materials science

Overcoming Labelled Data Scarcity for Defect Classification in Scanning Tunneling Microscopy

Cet article propose une approche automatisée et flexible pour la segmentation d'images de microscopie à effet tunnel (STM) qui combine l'apprentissage à peu d'exemples (few-shot) et l'apprentissage non supervisé afin de surmonter la rareté des données étiquetées, permettant ainsi une classification de défauts de haute précision sur diverses surfaces avec un minimum d'annotation manuelle.

Auteurs originaux : Nikola L. Kolev, Max Trouton, Filippo Federici Canova, Geoff Thornton, David Z. Gao, Neil J. Curson, Taylor J. Z. Stock

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nikola L. Kolev, Max Trouton, Filippo Federici Canova, Geoff Thornton, David Z. Gao, Neil J. Curson, Taylor J. Z. Stock

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez une photographie d'un vaste sol parfaitement carrelé de minuscules carreaux brillants. C'est ce que fait un Microscope à Effet Tunnel à Balayage (STM) : il prend une image d'une surface si magnifiée que l'on peut voir les atomes individuels, qui ressemblent à de petites bosses ou des creux.

Les scientifiques utilisent ces images pour étudier comment les atomes s'accrochent ensemble ou comment de nouvelles molécules se déposent sur une surface. Cependant, il y a un problème : trouver et étiqueter des « défauts » spécifiques (comme un carreau manquant ou une bosse de forme étrange) dans ces images revient à chercher une aiguille dans une botte de foin. Le faire à la main est lent, ennuyeux et nécessite qu'un expert humain scrute des milliers d'images.

Cet article présente un nouvel « assistant intelligent » automatisé capable d'effectuer ce travail d'étiquetage pour vous, mais avec un super-pouvoir : il n'a pas besoin d'être enseigné avec des milliers d'exemples. Il peut apprendre à partir d'une simple poignée d'exemples.

Voici comment fonctionne le système, décomposé en étapes simples :

1. Le Problème : L'« Aiguille dans une botte de foin »

Traditionnellement, pour apprendre à un ordinateur à repérer ces défauts atomiques, les scientifiques devaient d'abord étiqueter manuellement des milliers d'images. C'est comme essayer d'apprendre à un chien à rapporter une balle spécifique en lui montrant cette même balle 3 000 fois. Si le scientifique veut étudier un nouveau type de balle (un nouveau matériau), il doit recommencer l'entraînement à zéro avec des milliers de nouveaux exemples. C'est trop lent pour la science réelle.

2. La Solution : Le Détective du « Few-Shot Learning »

Les auteurs ont construit un système qui utilise l'Apprentissage par Petit Échantillon (Few-Shot Learning - FSL). Considérez cela comme le fait de montrer à un détective la photo d'un suspect spécifique (le « défaut ») et de lui demander de retrouver cette même personne dans une foule. Le détective n'a pas besoin d'avoir vu ce suspect 3 000 fois ; il lui suffit de le voir une ou deux fois pour reconnaître ses traits caractéristiques.

Le système possède trois parties principales, travaillant ensemble comme une chaîne de montage d'usine :

Étape A : L'Artiste du « Croquis Grossier » (Apprentissage non supervisé)

D'abord, le système doit savoir où se trouvent approximativement les défauts. Il utilise une technique appelée Apprentissage Non Supervisé.

L'analogie : Imaginez que vous avez une photo en noir et blanc d'une pièce en désordre. Vous ne dites pas à l'ordinateur ce qu'est une « chaise » ou un « jouet ». Au lieu de cela, vous lui demandez de regrouper les pixels qui se ressemblent. Il pourrait dire : « Ces taches sombres semblent appartenir ensemble, et ces taches brillantes ressemblent à autre chose. »
Ce qu'il fait : Il crée une « carte » grossière (un masque binaire) qui sépare les « éléments intéressants » (les défauts) du « fond ennuyeux » (la grille atomique parfaite). Cette étape nécessite très peu d'intervention humaine.

Étape B : La Machine « Découper et Coller » (Découpage/Cropping)

Une fois la carte grossière établie, le système découpe de petits carrés de l'image qui contiennent les défauts.

L'analogie : C'est comme prendre une loupe, trouver une bosse sur le sol, et découper juste ce pouce carré de la photo pour l'examiner de plus près.

Étape C : Le « Classificateur Expert » (Few-Shot Learning)

C'est la partie magique. L'humain scientifique regarde quelques-uns de ces carrés découpés et dit : « Celui-ci est une 'Liaison Danglante Double' (Type A), et celui-ci est un 'Siloxane' (Type B). »

L'analogie : Vous montrez à l'ordinateur un ou trois exemples de chaque type de défaut. L'ordinateur utilise ensuite une « mémoire » mathématique pour comparer chaque autre carré découpé à vos exemples. Il demande : « Est-ce que ce nouveau carré ressemble plus à votre exemple de 'Type A' ou à votre exemple de 'Type B' ? »
Le Résultat : Il trie le reste de l'image automatiquement.

3. Qu'ont-ils testé ?

L'équipe a testé cet « assistant intelligent » sur trois types de surfaces différents :

Silicium (Si) : Un matériau très courant.
Germanium (Ge) : Similaire au silicium, mais légèrement différent.
Dioxyde de Titane (TiO2) : Un matériau complètement différent qui a un aspect et un comportement différents.

Ils voulaient voir si le système pouvait apprendre sur le Silicium et reconnaître instantanément les défauts sur le Germanium et le Dioxyde de Titane sans avoir besoin d'un nouveau programme d'entraînement massif.

4. Les Résultats

Sur le Silicium : Le système était incroyablement précis, obtenant un taux de réussite de 99 % lorsqu'on lui montrait seulement trois exemples de chaque type de défaut.
Sur le Germanium et le Dioxyde de Titane : La précision a chuté (à environ 62 % et 85 % respectivement), mais elle était toujours bien meilleure qu'en se contentant de deviner ou en utilisant des méthodes plus anciennes et plus simples.
Le Test « One-Shot » : Même lorsque le système n'était confronté qu'à un seul exemple d'un défaut, il pouvait toujours trouver des éléments similaires mieux qu'un programme informatique de base qui se contente d'analyser les pixels bruts.

5. Pourquoi cela est important (selon l'article)

Flexibilité : Si un scientifique découvre une nouvelle molécule étrange sur une surface, il n'a pas besoin de passer des semaines à étiqueter des données. Il peut simplement montrer quelques exemples à l'ordinateur, et celui-ci s'adapte immédiatement.
Gestion des « Anomalies » : Parfois, quelque chose d'étrange se produit dans l'image et ne correspond à aucune catégorie (comme une grande rayure). Le système permet à l'humain de dire : « Ignorez cela », afin de ne pas fausser les statistiques. Les anciens systèmes forceraient cet élément étrange dans une mauvaise catégorie.
Vitesse : Cela transforme une tâche qui demande des heures de concentration humaine en un processus qui se déroule en quelques secondes.

Résumé

L'article décrit un nouvel outil qui aide les scientifiques à analyser les images atomiques. Au lieu d'avoir besoin d'une immense bibliothèque d'exemples étiquetés pour enseigner à l'ordinateur, cet outil apprend à partir de seulement quelques exemples (comme le ferait un humain). Il combine un créateur de « croquis grossiers » avec un « classificateur intelligent » pour trouver et nommer automatiquement les défauts atomiques sur différents matériaux, rendant le processus de découverte de nouveaux matériaux beaucoup plus rapide et moins laborieux.

Résumé technique : Surmonter la rareté des données étiquetées pour la classification des défauts en microscopie à effet tunnel

Énoncé du problème
La microscopie à effet tunnel (STM) fournit une imagerie à résolution atomique essentielle à la compréhension de la physique et de la chimie des surfaces. Cependant, l'analyse quantitative des données STM nécessite généralement l'identification et l'étiquetage manuels de caractéristiques à l'échelle atomique sur un fond uniforme, un processus laborieux et chronophage. Bien que les approches d'apprentissage automatique (ML) supervisées, telles que les réseaux de neurones convolutifs (CNN), aient montré un certain succès dans l'automatisation de cette tâche, elles dépendent fortement de jeux de données annotés manuellement et spécifiques à chaque système de matériaux. Cette dépendance crée un goulot d'étranglement : comme la STM est fréquemment appliquée à de nouveaux matériaux et expériences, l'exigence de données étiquetées étendues pour chaque nouvelle surface limite l'utilité pratique du ML. Les alternatives existantes, telles que la génération de données synthétiques via la théorie de la fonctionnelle de la densité (DFT), sont coûteuses en termes de calcul et nécessitent souvent l'intervention d'experts, tandis que d'autres méthodes non supervisées peuvent manquer de métriques de performance rigoureuses ou de généralisabilité.

Méthodologie
Les auteurs proposent un flux de travail hybride et automatisé qui combine l'apprentissage non supervisé et l'apprentissage à peu d'exemples (Few-Shot Learning - FSL) pour segmenter et classifier les défauts STM avec un minimum de données étiquetées. Le cadre fonctionne via un pipeline en cinq étapes :

Acquisition et prétraitement des données : Les images STM (états remplis et vides) sont acquises, nivelées par plan, alignées par ligne de balayage et corrigées pour l'hystérésis.
Segmentation grossière non supervisée (Module 1 & 2) : Pour éviter l'étiquetage manuel lors de l'étape initiale de segmentation, les auteurs utilisent un FCNResNet101 pré-entraîné (entraîné sur ImageNet) pour extraire des vecteurs de caractéristiques à partir des pixels. Ces vecteurs subissent un partitionnement k-means pour générer une carte binaire distinguant les « défauts » du « réseau ». Cette sortie non supervisée est utilisée pour entraîner un U-Net léger (Module 2) spécifique au substrat. L'U-Net peut ensuite effectuer une segmentation grossière sur de nouveaux balayages en quelques secondes sur un CPU, remplaçant l'étape non supervisée plus lente et dépendante d'un GPU.
Découpage des caractéristiques (Feature Cropping) : L'U-Net identifie les emplacements des défauts, qui sont ensuite isolés en coupes d'images uniformes et rééchantillonnés pour correspondre aux dimensions du réseau.
Génération de l'ensemble de support défini par l'utilisateur (Module 3) : L'utilisateur définit $N$ classes de caractéristiques et étiquette un petit nombre ( $K$ ) d'exemples pour chaque classe à partir des coupes d'images. Cela forme l'ensemble de support (support set). L'utilisateur peut également exclure explicitement les caractéristiques anormales à ce stade.
Classification FSL : Les coupes restantes non vues (l'ensemble de requête ou query set) sont classifiées par un réseau FSL utilisant l'ensemble de support. Le réseau projette les images dans un espace vectoriel latent et classifie les échantillons de requête en fonction de leur proximité avec les vecteurs de support en utilisant des métriques de distance spécifiques.

L'étude évalue quatre algorithmes FSL distincts : Prototypical Networks, Matching Networks, Relation Networks et Simple Shot. Ceux-ci sont testés par rapport à un classifieur k-plus proches voisins (kNN) de base sur les pixels bruts. Les expériences utilisent trois systèmes de surface distincts pour tester la généralisabilité :

Si(001) : Utilisé pour l'entraînement initial et les tests sur des substrats connus avec de nouveaux adsorbats (AsH3).
Ge(001) : Testé comme un « nouveau » substrat (entraîné uniquement sur les données de Si).
TiO2(110) : Testé comme un substrat structurellement différent (entraîné uniquement sur les données de Si et Ge).

Résultats clés
Les auteurs rapportent les conclusions suivantes à travers leurs cas de test :

Performance de la segmentation : L'U-Net, entraîné sur des données étiquetées par le pipeline non supervisé, a atteint des précisions de validation supérieures à 90 % pour les trois surfaces. Le score Dice (DS) pour la segmentation des défauts seuls était le plus élevé pour le Germanium (0,87) et le plus bas pour le Silicium (0,64), bien que le DS total (incluant l'arrière-plan) soit resté élevé (0,96–0,99).
Précision de la classification FSL :
- Les Prototypical Networks ont systématiquement surpassé les autres méthodes basées sur des réseaux neuronaux. Sur le jeu de données de Silicium (Si(001):H:AsH3), le réseau Prototypical a atteint une précision de 93,6 % dans la configuration 1-shot et de 98,9 % dans la configuration 3-shot.
- Les réseaux Simple Shot ont également bien performé, particulièrement lorsqu'ils étaient entraînés sur des données spécifiques au substrat, surpassant souvent les approches plus larges basées sur ResNet18 malgré un nombre de paramètres inférieur.
- Les Relation Networks ont nettement moins bien performé (environ 54–58 % de précision), probablement en raison d'un surapprentissage (overfitting) compte tenu des données d'entraînement limitées et de la complexité de leur métrique de distance apprise.
- Généralisation : Lorsqu'appliqués à des substrats non vus (Ge et TiO2) sans entraînement préalable sur ces matériaux spécifiques, la précision a chuté (ex: 54,5 % en 1-shot pour Ge), mais les méthodes FSL ont généralement surpassé ou égalé la base kNN dans le régime 1-shot.
Étude d'ablation : Les auteurs ont démontré qu'augmenter artificiellement le nombre de classes d'entraînement (en inversant les valeurs de pixels pour créer des types de « défauts négatifs ») améliorait la précision de la classification. Par exemple, le Matching Network sur les données de Germanium s'est amélioré de 12 % lorsque l'ensemble d'entraînement a été augmenté avec des classes inverses.

Signification et revendications
L'article positionne ce travail comme une étape significative vers une segmentation automatique et indépendante du matériau des images STM. La contribution primaire est la démonstration qu'une classification de défauts de haute précision est possible avec seulement un ou trois points de données étiquetés par classe, éliminant ainsi la barrière des grands ensembles de données annotés.

Les auteurs affirment que leur approche offre une plus grande flexibilité que les méthodes supervisées précédentes :

Adaptabilité : Le système peut être adapté rapidement à des surfaces non vues après un entraînement initial.
Gestion des anomalies : Contra s'à des classificateurs supervisés rigides, ce flux de travail permet à l'utilisateur d'exclure explicitement les caractéristiques anormales de l'ensemble de support, empêchant ainsi de fausser les statistiques — une capacité absente de certains travaux supervisés antérieurs.
Efficacité : En distillant la connaissance de grands modèles pré-entraînés vers un U-Net plus petit pour la segmentation grossière, la méthode permet un traitement rapide sur CPU, adapté aux flux de travail de laboratoire.

Les auteurs restent modestes quant à la précision absolue sur des matériaux totalement nouveaux (ex: 62 % sur le Germanium dans le cas 1-shot), notant que bien que cela puisse ne pas être suffisant pour une analyse finale de qualité publication, cela fournit des informations rapides et exploitables pendant l'acquisition des données. Ils concluent que bien que des architectures standards aient été utilisées pour établir une base de référence, des travaux futurs impliquant l'optimisation des hyperparamètres et l'affinement architectural pourraient encore améliorer les performances.