DMCpy: A powder and single crystal neutron diffraction software for DMC

DMCpy es un software basado en Python desarrollado para el análisis de datos de difracción de neutrones del difractómetro DMC, diseñado para facilitar la reducción, visualización y procesamiento de datos tanto de muestras policristalinas como monocristalinas.

Lo esencial

¡Imagina que el DMC es como un "gato gigante" con una visión súper aguda que puede ver cosas invisibles! Este "gato" es un instrumento científico en Suiza que dispara neutrones (partículas diminutas y fantasmales) contra materiales para descubrir cómo están organizados sus átomos y sus imanes internos.

Hace poco, a este "gato" le pusieron unos gafas de realidad virtual gigantes (un detector 2D moderno) que le permiten ver el mundo de los átomos de dos formas:

1. Como si fuera un polvo mágico (muestras en polvo).
2. Como si fuera un cristal de diamante perfecto (cristales individuales).

El problema es que estas nuevas gafas generan tantas fotos y datos que los científicos se ahogaban en papeles y archivos. ¡Era como intentar ordenar un océano de arena con las manos!

Aquí es donde entra DMCpy.

¿Qué es DMCpy?

Piensa en DMCpy como un chef de cocina robotizado (un programa de computadora hecho en Python) que ha sido diseñado específicamente para cocinar los ingredientes que le da el "gato" DMC.

Su trabajo es tomar ese "océano de datos" crudo y desordenado y convertirlo en un plato delicioso y fácil de entender para los científicos.

¿Cómo funciona? (Con analogías simples)

1. El Filtro de Ruido (Normalización)
Imagina que las 9 partes del detector del "gato" son como 9 micrófonos en un concierto. Algunos micrófonos son más sensibles que otros y captan más ruido.

• Lo que hace DMCpy: Toma una muestra de "vanadio" (un material de referencia) y le dice: "Oye, este micrófono suena un poco más fuerte, bájale el volumen". Así, todas las partes del detector suenan igual de bien. Es como afinar un coro para que todos canten en la misma nota.

2. El Traductor de Mapas (Conversión a Espacio Recíproco)
Los datos salen del detector como coordenadas extrañas (como "píxel 12, fila 5"). Pero los científicos necesitan ver un mapa del tesoro (llamado espacio recíproco) donde pueden ver dónde están los "tesoros" (los patrones magnéticos o atómicos).

• Lo que hace DMCpy: Actúa como un traductor mágico. Convierte esas coordenadas aburridas en un mapa 3D brillante donde puedes girar y ver los patrones desde cualquier ángulo, como si estuvieras explorando una cueva con una linterna.

3. El Cortador de Pastel (Integración y Recortes)
A veces, los científicos quieren ver solo una "rebanada" de datos para entender mejor un detalle.

• Lo que hace DMCpy: Tiene herramientas para hacer cortes 2D (como una foto plana) o 1D (como una línea de perfil) a través de esos datos masivos. Es como usar un cuchillo láser para cortar una rebanada perfecta de un pastel gigante sin derramar ni una miga.

4. La Lupa Interactiva (Visualización)
Para los cristales, a veces no sabes exactamente dónde mirar.

• Lo que hace DMCpy: Ofrece una herramienta llamada "Interactive Viewer" que es como un videojuego. Puedes mover una barra deslizante y ver cómo cambian las imágenes en la pantalla en tiempo real, ayudando a los científicos a alinear su muestra como quien ajusta el enfoque de una cámara.

¿Por qué es importante?

Antes, analizar estos datos era lento, aburrido y propenso a errores, como tratar de armar un rompecabezas de 10 millones de piezas en la oscuridad.

Con DMCpy, los científicos pueden:

• Ver más rápido: Obtienen resultados en minutos en lugar de días.
• Ver mejor: Eliminan los errores del instrumento automáticamente.
• Descubrir más: Pueden estudiar desde materiales para baterías de coches eléctricos hasta nuevos imanes, entendiendo cómo funcionan a nivel atómico.

En resumen, DMCpy es el asistente inteligente que permite a los científicos aprovechar al máximo la "gafas de realidad virtual" del instrumento DMC, transformando un caos de números en historias claras sobre cómo está construido nuestro universo material.

Resumen técnico

Resumen Técnico: DMCpy – Software para Análisis de Difracción de Neutrones

1. Problema

El difractómetro DMC en el SINQ (Paul Scherrer Institute, Suiza) ha sido recientemente actualizado con un detector de helio-3 ($^3$He) de gran área y lectura bidimensional (2D). Esta mejora permite experimentos de alta resolución tanto para muestras en polvo como para monocristales, optimizados para neutrones fríos. Sin embargo, esta actualización genera dos desafíos principales:

• Volumen y complejidad de datos: Los experimentos de monocristal implican mapear grandes áreas del espacio recíproco, generando conjuntos de datos masivos (cientos de millones de píxeles) que son difíciles de procesar en computadoras estándar.
• Falta de herramientas específicas: Los flujos de trabajo tradicionales de reducción de datos no son adecuados para la operación de longitud de onda constante y la geometría única del detector 2D del DMC. Se necesitaba un software capaz de manejar la conversión de coordenadas, la normalización entre módulos del detector y la visualización interactiva de manera eficiente.

2. Metodología

Para abordar estos desafíos, los autores desarrollaron DMCpy, un paquete de software basado en Python diseñado específicamente para el difractómetro DMC. La metodología se basa en una arquitectura modular que integra las siguientes características técnicas:

• Estructura de Datos y Cálculo:

  • Utiliza objetos DataFile para convertir coordenadas del detector (espacio real) a coordenadas de espacio recíproco ($\vec{Q}$).
  • Implementa una matriz UB para transformar el sistema de coordenadas del instrumento al sistema de la red cristalina del muestra (HKL).
  • Emplea un enfoque de "cálculo perezoso" (lazy calculation) o just-in-time (JIT) para calcular posiciones de dispersión, lo que reduce drásticamente el uso de memoria RAM al no cargar todo el archivo de datos simultáneamente.
  • Utiliza procesamiento por lotes (batched computation) para manejar archivos de datos masivos, procesando partes del archivo secuencialmente en lugar de en memoria completa.

• Normalización y Corrección:

  • Implementa una tabla de normalización basada en muestras de Vanadio para corregir las discrepancias de sensibilidad entre los 9 módulos del detector y los 128 hilos de cada módulo.
  • Permite el enmascaramiento de artefactos (hilos muertos, módulos) sustituyendo valores por NaN.

• Visualización y Análisis:

  • Visor Interactivo: Permite inspeccionar la alineación de la muestra y la intensidad en función del ángulo de rotación (A3) antes del procesamiento completo.
  • Viewer3D: Herramienta para navegar datos de monocristal en espacio recíproco 3D (Q o HKL), permitiendo cortes 2D y 1D.
  • Integración: Funciones para integrar picos de Bragg (integración de caja), cortes 2D en planos de dispersión y cortes 1D optimizados mediante cajas delimitadoras (bounding boxes) para acelerar el procesamiento.

• Tecnología: Escrito en Python, utilizando bibliotecas como NumPy, SciPy, Matplotlib y H5py. Distribuido vía PyPI y con licencia MPL-2.0.

3. Contribuciones Clave

El artículo presenta las siguientes contribuciones principales al campo de la difracción de neutrones:

1. Software Específico para DMC: La primera herramienta de software diseñada nativamente para explotar las capacidades del detector 2D del DMC, unificando el análisis de polvo y monocristal.
2. Optimización de Recursos: La implementación de algoritmos de cálculo lazy y procesamiento por lotes permite analizar conjuntos de datos de monocristal de gran escala en hardware de escritorio estándar, algo que antes era inviable.
3. Flujo de Trabajo Unificado: Proporciona un pipeline completo que va desde la visualización de datos crudos, pasando por la normalización, conversión a espacio recíproco, hasta la exportación en formatos estándar (PSI-powder, xye) compatibles con software de refinamiento como FullProf o GSAS-II.
4. Interfaz Gráfica (DMCS.py): Desarrollo de una interfaz gráfica para uso en el instrumento, facilitando a los usuarios la alineación rápida de muestras, la indexación de picos y la generación de la matriz UB durante los experimentos.

4. Resultados

El software ha sido validado y puesto en producción con los siguientes resultados:

• Validación de Polvo: La funcionalidad para datos en polvo ha sido validada mediante estudios publicados en revistas científicas que utilizan el método de Rietveld para el refinamiento de estructuras. Se demostró que la integración en espacio Q produce picos más simétricos y con mejor resolución que la integración vertical tradicional, especialmente a bajos ángulos.
• Validación de Monocristal: Las funciones de integración de picos, visualización 3D y cortes han sido utilizadas en publicaciones recientes (citas [25, 26]) para investigar señales difusas y orden magnético.
• Eficiencia: Se logró reducir significativamente el tiempo de procesamiento y el uso de memoria, permitiendo la manipulación de datos que superan los 88 millones de píxeles en un solo escaneo.
• Adopción: El software se utiliza actualmente en el programa de usuarios del SINQ y está disponible públicamente en Zenodo y PyPI.

5. Significancia

El desarrollo de DMCpy es fundamental para maximizar el potencial científico del difractómetro DMC actualizado. Al resolver los cuellos de botella en el procesamiento de datos de grandes volúmenes generados por detectores 2D modernos, permite a los investigadores:

• Realizar estudios más complejos de estructuras nucleares y magnéticas en sistemas de materia condensada.
• Investigar fenómenos de dispersión difusa y vectores de ordenamiento magnético con mayor precisión y rapidez.
• Democratizar el acceso a análisis avanzados mediante una herramienta de código abierto, estandarizada y fácil de usar, reduciendo la barrera de entrada para nuevos usuarios en el campo de la dispersión de neutrones.

En resumen, DMCpy no es solo una herramienta de conversión de datos, sino un ecosistema integral que transforma la capacidad operativa del instrumento DMC, facilitando descubrimientos científicos en física del estado sólido y ciencia de materiales.