Contrastive Image-Metadata Pre-Training for Materials Transmission Electron Microscopy

Aquí se presenta un resumen técnico detallado del artículo "Contrastive Image-Metadata Pre-Training for Materials Transmission Electron Microscopy".

1. Planteamiento del Problema

La Microscopía Electrónica de Transmisión (TEM) genera vastas cantidades de datos, sin embargo, más del 90% de ellos permanece sin publicar y sin utilizar, siendo a menudo descartado para ahorrar espacio de almacenamiento. Estos conjuntos de datos "sobrantes" son ricos en detalle y variación, pero rara vez se utilizan debido a:

• Heterogeneidad de Datos: La TEM en ciencia de materiales implica muestras diversas, modos de operación y configuraciones de adquisición, lo que dificulta entrenar modelos que generalicen a través de diferentes condiciones.
• Ruido y Eficiencia de Dosis: La TEM moderna prioriza la eficiencia de dosis (minimizando el daño por electrones), lo que resulta en datos muy ruidosos. Los modelos actuales de aprendizaje automático (ML) para eliminación de ruido suelen entrenarse desde cero para niveles de ruido o muestras específicas, careciendo de robustez ante cambios en los parámetros del instrumento (por ejemplo, magnificación, tiempo de permanencia, corriente del haz).
• Falta de Datos Emparejados: Los conjuntos de datos de código abierto existentes son o bien pequeños, sintéticos, o carecen de los metadatos de adquisición emparejados y ricos necesarios para entrenar modelos que comprendan la relación entre la apariencia de la imagen y el estado del instrumento.

El desafío central es aprovechar estos archivos sin utilizar y ricos en metadatos para crear flujos de trabajo de ML generalizables que puedan comprender los estados del instrumento, realizar transferencia de estilo y eliminar el ruido de las imágenes sin requerir nuevos datos de entrenamiento emparejados para cada cambio de parámetro.

2. Metodología

Los autores proponen Pre-entrenamiento Contrastivo Imagen-Metadatos (CIMP), un marco inspirado en CLIP (Pre-entrenamiento Contrastivo Lenguaje-Imagen), adaptado para el dominio específico de HAADF-STEM (Microscopía Electrónica de Transmisión de Barrido con Campo Oscuro Anular de Alto Ángulo).

A. Construcción del Conjunto de Datos

• Fuente: 7,330 imágenes HAADF-STEM recopiladas de un solo microscopio Titan en un laboratorio de investigación de materiales anonimizado.
• Contenido: Cubre más de 30 sistemas de materiales distintos (principalmente catalizadores heterogéneos como Pt/CeO2, Pd/ZrO2) con más de 130 muestras.
• Metadatos: Cada imagen está emparejada con siete parámetros de adquisición:
  1. Tamaño de píxel
  2. Tiempo de permanencia
  3. Ángulo de convergencia del haz
  4. Corriente del haz
  5. Ganancia del detector
  6. Desplazamiento del detector
  7. Ángulo de colección interior
• Conjuntos de Evaluación: Series específicas de imágenes tomadas de la misma muestra con parámetros individuales variados (tiempo de permanencia, ganancia, desplazamiento) se reservaron para evaluación cualitativa, asegurando que no hubiera filtrado de datos durante el entrenamiento.

B. Arquitectura CIMP

• Objetivo: Aprender un espacio de incrustación conjunta donde las imágenes HAADF-STEM y sus vectores de metadatos se alinean mediante una pérdida contrastiva.
• Codificadores:
  • Codificador de Imagen: Se encontró que un ResNet-18 (entrenado desde cero) superaba o igualaba a los Transformadores de Visión (ViT) preentrenados en ImageNet, probablemente debido a la brecha de dominio significativa entre imágenes naturales y micrografías STEM.
  • Codificador de Metadatos: Una Perceptrón Multicapa (MLP) que procesa los 7 parámetros de adquisición.
• Entrenamiento: Utiliza una pérdida contrastiva InfoNCE. El modelo aprende a emparejar una imagen con su vector de metadatos correcto entre un lote de muestras negativas.

C. Aplicaciones Descendentes

Las incrustaciones aprendidas sirven como base para dos tareas principales:

1. Recuperación con Sonda Lineal: Probar si parámetros de adquisición específicos pueden decodificarse linealmente a partir de las incrustaciones visuales congeladas.
2. Transferencia de Estilo Generativa: Un generador basado en GAN (U-Net con condicionamiento FiLM) utiliza las incrustaciones CIMP para traducir una imagen experimental al estilo que tendría bajo diferentes parámetros de adquisición.
   • Condicionamiento: El generador toma una imagen fuente y dos incrustaciones (metadatos fuente $e_{id}$ y metadatos objetivo $e_{tgt}$).
   • Funciones de Pérdida: Pérdida adversaria ($L_{LSGAN}$), consistencia cíclica ($L_{cyc}$), pérdida de identidad ($L_{id}$) y una pérdida de incrustación perceptual ($L_{emb}$) que asegura que la salida coincida con el estilo objetivo en el espacio CIMP.

3. Contribuciones Clave

1. Lanzamiento del Conjunto de Datos: El primer conjunto de datos emparejado imagen-metadatos a gran escala (7,330 imágenes) para HAADF-STEM experimental, que cubre diversos materiales y configuraciones de instrumentos.
2. Marco CIMP: Un método de pre-entrenamiento novedoso que aprende un espacio de incrustación conjunta para imágenes TEM y metadatos, tratando estas incrustaciones como una capa fundamental para tareas descendentes en lugar de un modelo específico de tarea.
3. Eliminación de Ruido Informada por Física: Demostración de que la red de transferencia de estilo, cuando se condiciona a aumentos virtuales del tiempo de permanencia y la corriente del haz, actúa como un eliminador de ruido superior en comparación con baselines auto-supervisados como Noise2Void.
4. Decodificabilidad Lineal: Demostración de que el objetivo contrastivo, sin supervisión directa de los valores de metadatos, resulta en incrustaciones donde siete parámetros físicos distintos son individualmente recuperables.

4. Resultados

A. Aprendizaje de Incrustaciones y Recuperación

• Hiperparámetros: Se logró un rendimiento óptimo con recortes de imagen de 512x512, una arquitectura base ResNet-18 y un tamaño de lote efectivo de 512.
• Precisión de Recuperación: El modelo logró una precisión de recuperación Top-1 de 0.844 (emparejando una imagen con su vector de metadatos correcto).
• Comparación de Arquitecturas Base: ResNet-18 (entrenado desde cero) superó a ViT preentrenado en ImageNet (84.4% vs 82.8% Top-1), destacando la especificidad del dominio de los datos STEM.

B. Recuperación de Metadatos (Sondas Lineales)

• Utilizando regresión Ridge sobre incrustaciones congeladas, el modelo recuperó con éxito los siete parámetros.
• Rendimiento:
  • Ganancia del Detector: Mejor recuperada (SMAPE ≈ 5.3%, $R^2 > 0.82$).
  • Parámetros transformados logarítmicamente (Tamaño de píxel, Tiempo de permanencia, Corriente del haz): Mostraron una $R^2$ más baja (0.66–0.78) y un SMAPE más alto (28–47%) debido a la naturaleza multiplicativa de los errores tras la re-exponenciación, pero siguieron siendo decodificables linealmente.
• Significado: Esto confirma que las incrustaciones capturan una representación "factorizada" de los parámetros físicos en lugar de colapsar en un solo eje "ruido vs. limpio".

C. Transferencia de Estilo y Eliminación de Ruido

• Tendencias Cualitativas: El generador imitó con éxito las tendencias físicas (por ejemplo, mayor tiempo de permanencia = más suave/menos ruido; mayor corriente del haz = más brillante).
  • Nota: En algunos casos, el modelo aprendió sesgos del conjunto de datos (por ejemplo, el ángulo de convergencia correlacionado con la corriente del haz debido a cambios en el diafragma) en lugar de física pura.
• Métricas Cuantitativas: En conjuntos de evaluación retenidos, el GAN CIMP superó la línea base "sin edición" en transferencia de Ganancia (SSIM, PSNR, LPIPS) e igualó la línea base para el tiempo de permanencia.
• Rendimiento de Eliminación de Ruido:
  • En comparación con Noise2Void, el GAN CIMP produjo imágenes más realistas.
  • Noise2Void sufrió de artefactos de tablero de ajedrez y contenido de fondo alucinado.
  • El GAN CIMP preservó los detalles estructurales mientras reducía efectivamente el ruido al aumentar virtualmente la dosis de electrones.

5. Significado e Impacto

• Cambio de Paradigma: Mueve el análisis de datos TEM de "entrenar desde cero para cada condición específica" a "pre-entrenar en archivos para aprender física de instrumentos generalizable".
• Utilización de Datos: Valida que los datos experimentales "sobrantes" son un recurso valioso para entrenar modelos de ML robustos, potencialmente desbloqueando el 90% de los datos TEM sin utilizar.
• Generalizabilidad: Las incrustaciones CIMP pueden servir como señales de condicionamiento para tareas de segmentación, análisis o recuperación, haciendo que los flujos de trabajo de ML sean robustos ante variaciones en la configuración del microscopio.
• Recurso para la Comunidad: El lanzamiento del conjunto de datos y el código reduce la barrera para que otros laboratorios adopten métodos basados en datos, fomentando una cultura de intercambio de datos en microscopía electrónica.

6. Limitaciones

• Condiciones de Frontera: El modelo lucha con valores de parámetros extremos (por ejemplo, recorte/saturación de imagen) porque tales "datos malos" son típicamente descartados por los operadores y están ausentes en el conjunto de entrenamiento.
• Escala del Conjunto de Datos: Aunque es el más grande de su tipo en TEM de materiales, 7,330 imágenes es pequeño en comparación con los conjuntos de datos de visión por computadora (por ejemplo, los 1.28M de imágenes de ImageNet), lo que limita la escala del entrenamiento del modelo.
• Sesgo del Conjunto de Datos: El modelo a veces aprende correlaciones presentes en el conjunto de datos específico (por ejemplo, el tamaño del diafragma afectando tanto al ángulo de convergencia como a la corriente del haz) en lugar de leyes físicas puras.

En conclusión, este trabajo establece una nueva base para la TEM de materiales al demostrar que el pre-entrenamiento contrastivo en archivos ricos en metadatos crea representaciones poderosas y conscientes de la física que habilitan tareas generativas avanzadas y eliminación de ruido robusta.