🔬 materials science

Overcoming Labelled Data Scarcity for Defect Classification in Scanning Tunneling Microscopy

Este artículo propone un enfoque automatizado y flexible para la segmentación de imágenes de Microscopía de Túnel de Barrido (STM) que combina el aprendizaje de pocos disparos (few-shot) y el aprendizaje no supervisado para superar la escasez de datos etiquetados, permitiendo una clasificación de defectos de alta precisión en diversas superficies con una mínima anotación manual.

Autores originales: Nikola L. Kolev, Max Trouton, Filippo Federici Canova, Geoff Thornton, David Z. Gao, Neil J. Curson, Taylor J. Z. Stock

Publicado 2026-06-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nikola L. Kolev, Max Trouton, Filippo Federici Canova, Geoff Thornton, David Z. Gao, Neil J. Curson, Taylor J. Z. Stock

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás mirando una fotografía de un suelo vasto y perfectamente alicatado con baldosas diminutas y brillantes. Esto es lo que hace un Microscopio de Efecto Túnel de Barrido (STM): toma una imagen de una superficie tan magnificada que puedes ver átomos individuales, que parecen pequeños bultos o hendiduras.

Los científicos utilizan estas imágenes para estudiar cómo los átomos se pegan entre sí o cómo nuevas moléculas aterrizan sobre una superficie. Sin embargo, hay un problema: encontrar y etiquetar "defectos" específicos (como una baldosa faltante o un bulto con una forma extraña) en estas imágenes es como intentar encontrar una aguja en un pajar. Hacerlo a mano es lento, aburrido y requiere que un experto humano pase la vista por miles de imágenes.

Este artículo presenta un nuevo "asistente inteligente" automatizado que puede realizar este trabajo de etiquetado por usted, pero con un superpoder: no necesita ser enseñado con miles de ejemplos. Puede aprender de solo un puñado.

Así es como funciona el sistema, desglosado en pasos sencillos:

1. El Problema: La "Aguja en un Pajar"

Tradicionalmente, para enseñar a una computadora a detectar estos defectos atómicos, los científicos tenían que etiquetar manualmente miles de imágenes primero. Es como intentar enseñarle a un perro a buscar una pelota específica mostrándole esa pelota 3,000 veces. Si el científico quiere estudiar un nuevo tipo de pelota (un nuevo material), tiene que empezar el entrenamiento desde cero con miles de nuevos ejemplos. Esto es demasiado lento para la ciencia del mundo real.

2. La Solución: El Detective de "Pocos Ejemplos" (Few-Shot)

Los autores construyeron un sistema que utiliza el Aprendizaje de Pocos Ejemplos (Few-Shot Learning - FSL). Piensa en esto como mostrarle a un detective una foto de un sospechoso específico (el "defecto") y pedirle que encuentre a esa misma persona en una multitud. El detective no necesita haber visto a ese sospechoso 3,000 veces; solo necesita verlo una o dos veces para reconocer sus rasgos clave.

El sistema tiene tres partes principales, trabajando juntas como una línea de ensamblaje de una fábrica:

Paso A: El Artista del "Boceto Grueso" (Aprendizaje No Supervisado)

Primero, el sistema necesita saber dónde están ubicados aproximadamente los defectos. Utiliza una técnica llamada Aprendizaje No Supervisado.

La Analogía: Imagina que tienes una foto en blanco y negro de una habitación desordenada. No le dices a la computadora qué es una "silla" o un "juguete". En su lugar, le pides que agrupe píxeles de apariencia similar. Podría decir: "Estas manchas oscuras parecen pertenecer juntas, y estas manchas brillantes parecen ser algo más".
Lo que hace: Crea un "mapa" aproximado (una máscara binaria) que separa lo "interesante" (los defectos) del "fondo aburrido" (la rejilla atómica perfecta). Este paso requiere muy poca intervención humana.

Paso B: La Máquina de "Cortar y Pegar" (Recorte)

Una vez hecho el mapa aproximado, el sistema recorta pequeñas piezas cuadradas de la imagen que contienen los defectos.

La Analogía: Es como tomar una lupa, encontrar un bulto en el suelo y recortar justo ese centímetro cuadrado de la foto para observarlo más de cerca.

Paso C: El "Clasificador Experto" (Aprendizaje de Pocos Ejemplos)

Esta es la parte mágica. El científico humano mira algunos de estos cuadrados recortados y dice: "Este es un 'Enlace de Dangling Doble' (Tipo A), y este es un 'Siloxano' (Tipo B)".

La Analogía: Le muestras a la computadora uno o tres ejemplos de cada tipo de defecto. La computadora luego utiliza una "memoria" matemática para comparar cada otro cuadrado recortado contra tus ejemplos. Pregunta: "¿Este nuevo cuadrado se parece más a tu ejemplo de 'Tipo A' o a tu ejemplo de 'Tipo B'?".
El Resultado: Clasifica el resto de la imagen automáticamente.

3. ¿Qué Probaron?

El equipo probó este "asistente inteligente" en tres tipos diferentes de superficies:

Silicio (Si): Un material muy común.
Germanio (Ge): Similar al silicio, pero ligeramente diferente.
Dióxido de Titanio (TiO2): Un material completamente diferente que se ve y actúa de forma distinta.

Querían ver si el sistema podía aprender en Silicio y reconocer instantáneamente los defectos en Germanio y Dióxido de Titanio sin necesidad de un nuevo curso de entrenamiento masivo.

4. Los Resultados

En Silicio: El sistema fue increíblemente preciso, acertando el 99% de las veces cuando se le mostraban solo tres ejemplos de cada tipo de defecto.
En Germanio y Dióxido de Titanio: La precisión bajó (a aproximadamente un 62% y 85% respectivamente), pero seguía siendo mucho mejor que simplemente adivinar o usar métodos más antiguos y simples.
La Prueba de "Un Solo Ejemplo" (One-Shot): Incluso cuando el sistema se le mostró solo un ejemplo de un defecto, pudo encontrar otros similares mejor que un programa de computadora básico que solo busca píxeles brutos.

5. Por Qué Esto Importa (Según el Artículo)

Flexibilidad: Si un científico descubre una molécula extraña en una superficie, no necesita pasar semanas etiquetando datos. Puede simplemente mostrarle unos pocos ejemplos a la computadora, y esta se adapta de inmediato.
Manejo de "Anomalías": A veces, algo extraño sucede en la imagen que no encaja en ninguna categoría (como un gran rasguño). El sistema permite al humano decir: "Ignora eso", para que no arruine las estadísticas. Los sistemas antiguos forzarían ese elemento extraño a entrar en una categoría incorrecta.
Velocidad: Convierte una tarea que toma horas de observación humana en un proceso que ocurre en segundos.

Resumen

El artículo describe una nueva herramienta que ayuda a los científicos a analizar imágenes atómicas. En lugar de necesitar una biblioteca masiva de ejemplos etiquetados para enseñar a la computadora, esta herramienta aprende de solo unos pocos ejemplos (tal como lo haría un humano). Combina un creador de "bocetos gruesos" con un "clasificador inteligente" para encontrar y nombrar automáticamente defectos atómicos en diferentes materiales, haciendo que el proceso de descubrimiento de nuevos materiales sea mucho más rápido y menos laborioso.

Resumen Técnico: Superando la escasez de datos etiquetados para la clasificación de defectos en Microscopía de Efecto Túnel

Planteamiento del problema
La Microscopía de Efecto Túnel (STM, por sus siglas en inglés) proporciona imágenes con resolución atómica esenciales para comprender la física y la química de superficies. Sin embargo, el análisis cuantitativo de los datos de STM requiere típicamente la identificación y el etiquetado manual de características a escala atómica frente a un fondo uniforme, un proceso que es laborioso y consume mucho tiempo. Aunque los enfoques de aprendizaje automático (ML) supervisado, como las Redes Neuronales Convolucionales (CNN), han mostrado éxito en la automatización de esta tarea, dependen fuertemente de conjuntos de datos anotados manualmente y específicos para cada sistema de materiales. Esta dependencia crea un cuello de botella: dado que la STM se aplica frecuentemente a nuevos materiales y experimentos, el requisito de extensos datos etiquetados para cada nueva superficie limita la utilidad práctica del ML. Las alternativas existentes, como la generación de datos sintéticos mediante la Teoría del Funcional de la Densidad (DFT), son computacionalmente costosas y a menudo requieren la intervención de expertos, mientras que otros métodos no supervisados pueden carecer de métricas de rendimiento rigurosas o de generalizabilidad.

Metodología
Los autores proponen un flujo de trabajo híbrido y automatizado que combina el aprendizaje no supervisado y el Aprendizaje de Pocos Ejemplos (FSL, por sus siglas en inglés) para segmentar y clasificar defectos de STM con un mínimo de datos etiquetados. El marco opera a través de un pipeline de cinco pasos:

Adquisición y Preprocesamiento de Datos: Se adquieren imágenes de STM (estados de llenado y vacío), se nivelan en el plano, se alinean las líneas de escaneo y se corrigen para la histéresis.
Segmentación Gruesa No Supervisada (Módulo 1 y 2): Para evitar el etiquetado manual en el paso inicial de segmentación, los autores utilizan una FCNResNet101 preentrenada (entrenada en ImageNet) para extraer vectores de características de los píxeles. Estos vectores se someten a una agrupación por k-medias (k-means) para generar un mapa binario que distingue los "defectos" de la "red cristalina". Este resultado no supervisado se utiliza para entrenar una U-Net ligera (Módulo 2) específica para el sustrato. La U-Net puede entonces realizar una segmentación gruesa en nuevos escaneos en segundos en una CPU, reemplazando el paso no supervisado más lento y dependiente de GPU.
Recorte de Características: La U-Net identifica las ubicaciones de los defectos, que luego se aíslan en recortes de imagen uniformes y se remuestrean para coincidir con las dimensiones de la red.
Generación de Conjunto de Soporte Definido por el Usuario (Módulo 3): El usuario define $N$ clases de características y etiqueta un pequeño número ( $K$ ) de ejemplos para cada clase a partir de los recortes de imagen. Esto forma el conjunto de soporte. El usuario también puede excluir explícitamente anomalías en esta etapa.
Clasificación FSL: Los recortes restantes no vistos (el conjunto de consulta) son clasificados por una red FSL utilizando el conjunto de soporte. La red incrusta las imágenes en un espacio vectorial latente y clasifica las muestras de consulta basándose en su proximidad a los vectores de soporte utilizando métricas de distancia específicas.

El estudio evalúa cuatro algoritmos de FSL distintos: Redes Prototípicas (Prototypical Networks), Redes de Emparejamiento (Matching Networks), Redes de Relación (Relation Networks) y Simple Shot. Estos se prueban contra un clasificador base de k-Vecinos Más Cercanos (kNN) sobre píxeles brutos. Los experimentos utilizan tres sistemas de superficies distintas para probar la generalizabilidad:

Si(001): Utilizado para el entrenamiento inicial y pruebas en sustratos conocidos con nuevos adsorbatos (AsH3).
Ge(001): Probado como un "nuevo" sustrato (entrenado solo con datos de Si).
TiO2(110): Probado como un sustrato estructuralmente diferente (entrenado solo con datos de Si y Ge).

Resultos Clave
Los autores reportan los siguientes hallazgos a través de sus casos de prueba:

Rendimiento de la Segmentación: La U-Net, entrenada con datos etiquetados por el pipeline no supervisado, alcanzó precisiones de validación superiores al 90% para las tres superficies. El Puntaje Dice (DS) para la segmentación de solo defectos fue más alto para el Germanio (0.87) y más bajo para el Silicio (0.64), aunque el DS total (incluyendo el fondo) se mantuvo alto (0.96–0.99).
Precisión de Clasificación FSL:
- Las Redes Prototípicas superaron consistentemente a otros métodos basados en redes neuronales. En el conjunto de datos de Silicio (Si(001):H:AsH3), la red Prototípica logró una precisión del 93.6% en la configuración de 1-shot y del 98.9% en la de 3-shot.
- Las redes Simple Shot también funcionaron bien, particularmente cuando se entrenaron con datos específicos del sustrato, superando a menudo a los enfoques más grandes basados en ResNet18 a pesar de tener menos parámetros.
- Las Redes de Relación funcionaron significativamente peor (aprox. 54–58% de precisión), probablemente debido al sobreajuste dado la limitación de los datos de entrenamiento y la complejidad de su métrica de distancia aprendida.
- Generalización: Cuando se aplicaron a sustratos no vistos (Ge y TiO2) sin entrenamiento previo en esos materiales específicos, la precisión disminuyó (por ejemplo, 54.5% 1-shot para Ge), pero los métodos FSL generalmente superaron o igualaron la línea base de kNN en el régimen de 1-shot.
Estudio de Ablación: Los autores demostraron que aumentar artificialmente el número de clases de entrenamiento (invirtiendo los valores de los píxeles para crear tipos de "defectos negativos") mejoró la precisión de la clasificación. Por ejemplo, la Red de Emparejamiento en los datos de Germanio mejoró un 12% cuando el conjunto de entrenamiento se aumentó con clases inversas.

Significancia y Reivindicaciones
El artículo posiciona este trabajo como un paso significativo hacia la segmentación automática e independiente del material de las imágenes de STM. La contribución principal es la demostración de que es posible lograr una clasificación de defectos de alta precisión con tan solo uno o tres puntos de datos etiquetados por clase, eliminando eficazmente la barrera de los grandes conjuntos de datos anotados.

Los autores afirman que su enfoque ofrece mayor flexibilidad que los métodos supervisados previos:

Adaptabilidad: El sistema puede adaptarse rápidamente a superficies no vistas tras el entrenamiento inicial.
Manejo de Anomalías: A diferencia de los clasificadores supervisados rígidos, este flujo de trabajo permite a los usuarios excluir explícitamente las características anómalas del conjunto de soporte, evitando que sesguen las estadísticas; una capacidad que carecen algunos trabajos supervisados previos.
Eficiencia: Al destilar el conocimiento de modelos preentrenados de gran tamaño en una U-Net más pequeña para la segmentación gruesa, el método permite un procesamiento rápido basado en CPU, adecuado para flujos de trabajo de laboratorio.

Los autores mantienen la modestia respecto a la precisión absoluta en materiales completamente nuevos (por ejemplo, 62% en Germanio en el caso de 1-shot), señalando que, si bien esto puede no ser suficiente para un análisis final de calidad de publicación, proporciona información rápida y accionable durante la adquisición de datos. Concluyen que, aunque se utilizaron arquitecturas estándar para establecer una línea base, el trabajo futuro que involucre la optimización de hiperparámetros y el refinamiento arquitectónico podría mejorar aún más el rendimiento.