Resumen Técnico: Desbloqueando Dimensiones Latentes en Datos de Dispersión de Rayos X a Gran Escala

Declaración del Problema

Las instalaciones de usuarios científicos, particularmente los sincrotrones, generan datos de dispersión de rayos X a tasas que exceden la capacidad de la inspección manual tradicional y los flujos de trabajo de procesamiento por lotes fuera de línea. Los conjuntos de datos resultantes son heterogéneos, de alta dimensionalidad y de escala masiva (millones de imágenes). Si bien el aprendizaje automático ha mostrado ser prometedor para analizar datos complejos de rayos X, persiste una brecha crítica en la extracción de estructuras interpretables de estos grandes archivos en tiempo real. Un desafío específico abordado en este trabajo es determinar si los modelos fundacionales de visión de propósito general (entrenados en imágenes naturales) son suficientes para el análisis de datos de dispersión, o si las características estructurales únicas de los patrones de dispersión (por ejemplo, anillos de difracción, simetría de picos) requieren modelos específicos del dominio.

Metodología

1. Arquitectura del Modelo: Autoencoder Variacional Convolucional Basado en Atención (C-VAE)

Los autores desarrollaron un Autoencoder Variacional Convolucional (C-VAE) específico del dominio para aprender representaciones de baja dimensión de imágenes de dispersión de rayos X.

• Diseño Híbrido: La arquitectura combina Redes Neuronales Convolucionales (CNN) para capturar características espaciales locales con mecanismos de autoatención por ventanas (inspirados en los Swin Transformers) para modelar dependencias de largo alcance y estructuras jerárquicas.
• Entrada/Salida: El modelo procesa imágenes de $512 \times 512$ píxeles y las mapea a un espacio latente de 512 dimensiones.
• Marco Probabilístico: Como VAE, impone un espacio latente estructurado y continuo, lo que facilita tareas posteriores como el agrupamiento (clustering) y la interpolación. El codificador genera la media y la log-varianza de una distribución Gaussiana diagonal, utilizando el truco de reparametrización para el muestreo estocástico.

2. Datos de Entrenamiento e Infraestructura

• Conjunto de Datos: El modelo fue entrenado con 1.5 millones de imágenes de dispersión de rayos X recolectadas durante una década en el Advanced Light Source (ALS), específicamente de la línea de luz 7.3.3. Los datos abarcan diversos sistemas de materiales (polvos cristalinos, cristales líquidos, materiales amorfos, películas delgadas) y geometrías (transmisión y de incidencia rasante).
• Hardware: El entrenamiento se llevó a cabo en la supercomputadora NERSC Perlmutter utilizando 80 GPUs NVIDIA A100 durante aproximadamente 48 horas.
• Preprocesamiento: Las imágenes se redimensionaron desde su resolución nativa ($1475 \times 1679$) a $512 \times 512$ antes de la codificación.

3. Estrategias de Generación de Datos Sintéticos

Para generar imágenes de dispersión sintéticas controladas a partir del espacio latente, se implementaron dos estrategias:

• Muestreo PCA guiado por UMAP: Se ajustan modelos PCA conscientes de los grupos (clusters) a los vectores latentes centrales. Se generan nuevas muestras mediante el muestreo de ruido Gaussiano en el espacio PCA de grupos específicos, ponderado por un softmax controlado por temperatura sobre los centroides de UMAP cercanos.
• Emparejamiento de Flujo Condicional (CFM): Una red de velocidad aprende un flujo normalizante continuo desde un prior Gaussiano estándar hacia la distribución latente de entrenamiento, condicionado en coordenadas 2D de UMAP. Este método incorpora guía libre de clasificador para mejorar la fidelidad del condicionamiento.

4. Infraestructura de Software

El flujo de trabajo está integrado en la plataforma MLExchange a través del componente Latent Space Explorer. Este sistema soporta:

• Análisis Fuera de Línea: Exploración interactiva de conjuntos de datos archivados utilizando reducción de dimensionalidad (PCA, UMAP, t-SNE) y agrupamiento (HDBSCAN).
• Análisis en Tiempo Real (On-the-Fly): Embebido en tiempo real de imágenes de detectores en streaming con un tiempo de inferencia de aproximadamente 0.05 segundos por muestra.
• Gestión de Modelos: Integración con MLflow para el registro de versiones de modelos y Tiled para el acceso a datos.

Resultados Clave

1. Organización del Espacio Latente

El C-VAE aprendió un espacio latente bien organizado a partir de los 1.5 millones de imágenes históricas:

• Agrupamiento (Clustering): HDBSCAN identificó distintos grupos correspondientes a diferentes regímenes de dispersión (por ejemplo, anillos isotrópicos frente a picos agudos).
• Trayectorias: Dentro de los grupos, los embeddings formaron trayectorias suaves y lineales que reflejaban la progresión temporal de experimentos individuales, capturando transiciones morfológicas continuas.
• Interpretabilidad: El espacio latente separó con éxito experimentos independientes mientras agrupaba patrones estructuralmente similares, una estructura que no es recuperable mediante la proyección directa de las intensidades de píxeles brutos.

2. Despliegue en Tiempo Real y Generalización

El C-VAE pre-entrenado se desplegó sin reentrenamiento para el análisis en vivo en dos instalaciones:

• Línea de Luz 7.3.3 del ALS: Rastreó con éxito la evolución estructural de películas de ionómero de perfluorosulfónico (PFSA) durante el recubrimiento por cuchilla, capturando transiciones desde estados dominados por el solvente hacia agregados semi-cristalinos.
• Línea de Luz SMI de NSLS-II: El modelo se generalizó a una instalación diferente con hardware de detector y geometría de línea de luz distintos, manteniendo trayectorias latentes suaves y un agrupamiento consistente de estados estructurales.

3. Comparación con Modelos de Propósito General

El C-VAE se comparó con DINOv3 (ViT-7B), un modelo fundacional de visión de propósito general entrenado en imágenes naturales:

• Desempeño: Aunque DINOv3 produjo trayectorias coherentes, sus asignaciones de grupos fueron más fragmentadas y las trayectorias dentro de cada ejecución fueron menos suaves.
• Interpretabilidad: El C-VAE específico del dominio demostró una capacidad superior para organizar características específicas de la dispersión (simetría de anillos de difracción, nitidez de picos, orientación) en comparación con el modelo de propósito general, que depende de características de imágenes naturales como la textura y el contraste de color.

4. Generación de Imágenes Sintéticas

Ambas estrategias de muestreo produjeron imágenes de dispersión sintéticas físicamente realistas (anillos concéntricos, halos difusos, distribuciones anisotrópicas) que ocupaban las mismas regiones del embedding de UMAP que los datos de entrenamiento. El Emparejamiento de Flujo Condicional logró una fidelidad de condicionamiento superior en comparación con el muestreo PCA guiado por UMAP.

Significancia y Reivindicaciones

El artículo sostiene que entrenar un modelo específico del dominio en datos de dispersión a gran escala produce una organización latente más interpretable que los modelos de visión de propósito general. Las contribuciones clave incluyen:

1. Demostración de Baja Dimensionalidad: Mostrar que las variaciones estructurales dominantes en los datos de dispersión de rayos X pueden capturarse en un espacio latente compacto de 512 dimensiones, justificando el análisis en tiempo real sin una pérdida significativa de información discriminativa.
2. Generalización entre Instalaciones: Probar que un modelo entrenado en un sincrotrón (ALS) puede organizar eficazmente los datos de otro (NSLS-II) sin reentrenamiento, lo que sugiere que las representaciones aprendidas capturan la física fundamental en lugar de artefactos específicos de la instalación.
3. Flujo de Trabajo Integrado: Proporcionar un entorno de software unificado (Latent Space Explorer) que une la exploración de archivos fuera de línea y el monitoreo de experimentos en vivo, permitiendo el descubrimiento estructural interactivo.
4. Base para la Automatización: Establecer un espacio latente estructurado que pueda servir como interfaz para el futuro control experimental autónomo y agentes de modelos de lenguaje, pasando del monitoreo pasivo a la toma de decisiones basada en datos.

Los autores señalan que, si bien los resultados son prometedores, los hallazgos científicos específicos del despliegue en la línea de luz P03 están fuera del alcance de este estudio centrado en métodos y se informarán por separado. El trabajo enfatiza la necesidad de un entrenamiento específico del dominio para manejar las características texturales y estructurales únicas de los datos de dispersión de rayos X.