STEM-Bank-26: An Open Dataset of Analytical Scanning Transmission Electron Microscopy Images and Spectra

En el mundo invisible de la ciencia de materiales, los investigadores necesitan ver cosas que son demasiado pequeñas para el ojo desnudo, demasiado pequeñas para los microscopios estándar e incluso demasiado pequeñas para que la mente humana las comprenda fácilmente. Para estudiar estas estructuras diminutas, los científicos utilizan una poderosa herramienta llamada microscopía electrónica de transmisión de barrido. Imagine un haz de electrones, que son partículas subatómicas, siendo disparado contra una muestra tan fina que los electrones puedan atravesarla. A medida que el haz recorre el material, este interactúa con los átomos, creando una imagen detallada de la estructura interna de la muestra. Pero ver la forma es solo la mitad de la historia. Para comprender verdaderamente un material, los científicos también necesitan saber de qué está hecho y cómo se comportan sus átomos. Aquí es donde entra la espectroscopia. Al analizar la energía perdida por los electrones o los rayos X que emiten al golpear la muestra, los investigadores pueden identificar los elementos específicos presentes e incluso determinar su estado químico. Esta combinación de imágenes de alta resolución y análisis químico es esencial para desarrollar mejores baterías, catalizadores más eficientes y dispositivos electrónicos avanzados. Sin embargo, enseñar a las computadoras a realizar estas tareas complejas ha sido difícil porque los datos requeridos para entrenarlas han estado dispersos, incompletos o guardados en archivos privados.

Un equipo de investigadores de la Universidad de Pensilvania ha cambiado ahora el panorama al publicar una colección masiva y abierta de este tipo exacto de datos. Han ensamblado un conjunto de datos llamado STEM-Bank-26, que contiene casi 38,000 imágenes y miles de mediciones espectroscópicas recopiladas a lo largo de cinco años. Esta colección no es solo un surtido aleatorio de imágenes; es un registro estructurado de cómo trabajan realmente los científicos. El conjunto de datos incluye 37,921 imágenes tomadas de 1,095 muestras de materiales diferentes a través de 1,499 sesiones experimentales distintas. Para más de dos tercios de estas sesiones, los investigadores también capturaron datos espectroscópicos, proporcionando una imagen completa tanto de la estructura física como de la composición química de los materiales. El tamaño total de esta colección es de 929 gigabytes, un volumen de información que la convierte en el conjunto de datos de acceso abierto más grande de su tipo que integra la obtención de imágenes con la espectroscopia de energía dispersiva y la espectroscopia de pérdida de energía de electrones.

El verdadero valor de este trabajo no reside solo en la gran cantidad de archivos, sino en cómo los investigadores los organizaron para revelar el proceso de toma de decisiones humanas detrás de la ciencia. La microscopía electrónica no es un proceso totalmente automatizado; requiere un operador experto que observe una muestra, decida qué área es interesante, ajuste la configuración del microscopio y luego elija recolectar datos químicos en ese punto específico. Esta serie de decisiones forma una "trayectoria", un camino de acciones que conduce desde una vista general hasta un análisis detallado. Debido a que estas decisiones rara vez se registran en un solo archivo, el equipo desarrolló un método para reconstruir estos caminos comparando los metadatos —las etiquetas digitales adjuntas a cada archivo que registran el tiempo, la posición y la configuración—. Al analizar los huecos entre las imágenes, pudieron inferir cuándo un operador movió la muestra a una nueva ubicación o hizo una pausa para pensar, convirtiendo efectivamente un archivo estático de archivos en un registro dinámico de exploración científica.

Esta reconstrucción permite que el conjunto de datos sirva como campo de entrenamiento para la inteligencia artificial. En el pasado, los esfuerzos para construir "científicos de IA" capaces de operar estos microscopios se vieron estancados por la falta de datos que mostraran cómo los humanos exploran y se adaptan a la nueva información. Los conjuntos de datos existentes a menudo contenían solo imágenes o solo espectros, perdiendo el vínculo crucial entre ambos. Esta nueva colección cierra esa brecha, ofreciendo una visión realista de cómo un científico pasa de un estudio general de una muestra a un análisis enfocado de una característica específica. Los datos muestran que la mayoría de las sesiones experimentales involucran entre 10 y 100 imágenes, y una parte significativa incluye el mapeo químico. Las muestras mismas son diversas, que van desde catalizadores heterogéneos utilizados en reacciones químicas hasta componentes de baterías de iones de litio, proporcionando una base amplia para que los modelos de aprendizaje automático aprendan de ellas.

Los investigadores también abordaron los desafíos logísticos que usualmente impiden que tales grandes conjuntos de datos sean compartidos. El tiempo de uso del microscopio es costoso y los archivos generados suelen ser demasiado grandes para publicarse en su totalidad, lo que lleva a los científicos a compartir solo unas pocas imágenes representativas. Este nuevo trabajo demuestra que es posible compartir el archivo completo sin abrumar a la comunidad científica. El equipo proporcionó herramientas y scripts que permiten a otros investigadores convertir fácilmente sus propios datos de archivo en conjuntos de datos de trayectoria similares, fomentando un cambio en la forma en que la comunidad de la microscopía comparte su trabajo. Al poner estos datos a disposición bajo una licencia abierta, los autores esperan acelerar el desarrollo de la investigación de materiales autónoma, donde los sistemas inteligentes puedan aprender de la experiencia humana para explorar nuevos materiales de manera más rápida y eficiente.

Si bien el conjunto de datos es un paso significativo, los autores son claros sobre sus limitaciones. Las trayectorias reconstruidas son instantáneas del estado del microscopio en lugar de un video continuo de las acciones del operador. No capturan los momentos en que un científico mueve la platina para inspeccionar un área pero decide no tomar una foto, lo que significa que los datos podrían favorecer ligeramente a las áreas que fueron consideradas dignas de una captura de alta resolución. Además, algunos detalles técnicos sobre la configuración de la lente del microscopio faltan en los archivos originales, lo que limita el uso del conjunto de datos para tareas que implican el ajuste preciso del instrumento mismo. A pesar de estas restricciones, la colección se presenta como un recurso robusto para comprender la compleja interacción entre la obtención de imágenes y la espectroscopia. Ofrece un vistazo poco común al flujo de trabajo diario de la ciencia de materiales, proporcionando la materia prima necesaria para enseñar a las máquinas a ver, analizar y comprender el mundo a nanoescala con la misma curiosidad y juicio que un experto humano.