GPU-Accelerated Simulation of 3D Diamond Sensors Using the TeRABIT Infrastructure

Este artículo presenta un marco de simulación distribuida acelerada por GPU que aprovecha la infraestructura TeRABIT para resolver de manera eficiente una nueva ecuación diferencial parcial de tercer orden para modelar la formación de señales en sensores de diamante tridimensionales, permitiendo así estudios rápidos de hipótesis sobre la geometría del sensor.

Lo esencial

Imagina que intentas escuchar un susurro en un pasillo muy largo y ruidoso. El susurro es una señal diminuta de una partícula de radiación golpeando un sensor de diamante. El pasillo es el propio diamante, y las paredes están revestidas con "cables" especiales de carbono (electrodos) que transportan el sonido a tu oído (el ordenador).

El problema es que estos cables de carbono no son perfectos; son un poco como tuberías viejas y oxidadas. Cuando la señal viaja a través de ellos, se retrasa y distorsiona, muy parecido a cómo un sonido hace eco y se desvanece en un túnel largo. Esto dificulta saber exactamente cuándo comenzó el susurro, lo cual es crucial para experimentos de física de alta velocidad.

Así es como los investigadores de este artículo resolvieron el problema de determinar exactamente cómo se comporta esa señal, utilizando una combinación de matemáticas superinteligentes y ordenadores supersónicos.

1. La Vieja Forma: Intentar Mapear un Laberinto con una Linterna

Anteriormente, los científicos intentaban simular cómo se mueven estas señales a través del diamante. Era como intentar mapear un laberinto gigante en 3D caminando a través de él paso a paso con una linterna.

• El Cuello de Botella: Las matemáticas necesarias para predecir cómo la señal se retuerce y gira a través de las "tuberías oxidadas" eran increíblemente pesadas. A un superordenador le tomaba una semana completa simular solo una versión del sensor.
• La Limitación: Debido a que tardaba tanto, no podían probar muchos diseños diferentes. Quedaron atrapados con una sola forma, incapaces de preguntar: "¿Y si hacemos los cables más delgados?" o "¿Y si el diamante fuera más corto?".

2. La Nueva Herramienta: El Super-Expreso "TeRABIT"

Los autores construyeron un nuevo motor de simulación llamado WeightingTide. Piensa en esto como reemplazar la linterna lenta y paso a paso con una flota de drones de alta velocidad que pueden volar sobre todo el laberinto a la vez.

• El Impulso de la GPU: Trasladaron las matemáticas pesadas a las GPUs (los chips potentes que normalmente se encuentran en los ordenadores de videojuegos). En lugar de un cerebro haciendo las matemáticas, utilizaron miles de cerebros diminutos trabajando simultáneamente. Esto convirtió un trabajo de una semana en unas pocas horas.
• La Red "TeRABIT": Para manejar aún más trabajo, no solo usaron un ordenador. Conectaron ordenadores en diferentes ciudades (Florencia, Bolonia y Padua) utilizando un protocolo de internet especial llamado InterLink. Imagina una carrera de relevos donde los corredores en diferentes ciudades se pasan el testigo instantáneamente. Si un ordenador está ocupado, el trabajo se entrega instantáneamente a otro cercano. Almacenaron los datos en un "casillero en la nube" central (almacenamiento S3) para que todos pudieran tomar lo que necesitaban sin obstruir las carreteras locales.

3. El Juego del "¿Y Si?": Diseñando el Sensor Perfecto

Con este nuevo sistema rápido, el equipo finalmente pudo jugar al juego del "¿Y si?". Probaron miles de formas diferentes para el sensor de diamante para ver cuál daría la señal más clara y rápida.

Se centraron en dos partes principales del sensor:

• Los Cables de "Bias" (La Fuente de Alimentación): Se preguntaron si hacer estos cables más delgados ayudaría.
  • La Sorpresa: Descubrieron que hacer estos cables más delgados realmente no cambiaba mucho el tiempo. Fue como darse cuenta de que apretar el pomo de una puerta no detiene el chirrido; el chirrido proviene de las bisagras en otro lugar.
• Los Cables de "Readout" (La Ruta de la Señal): Probaron hacer el diamante más delgado, lo que acorta la ruta que la señal tiene que recorrer.
  • El Descubrimiento: ¡Esto sí ayudó! Acortar la ruta que recorre la señal redujo el retraso. Es como acortar un pasillo largo; el susurro llega a tu oído más rápido y con más claridad.

4. El Resultado: Una Imagen Más Nítida

Combinando estos hallazgos, el equipo propuso un nuevo diseño:

1. Hacer los cables de "readout" más cortos (usando un diamante más delgado).
2. Hacer los cables de "bias" tan delgados como sea posible (para ahorrar dinero y reducir el riesgo de romper el diamante durante la fabricación), ya que su tamaño no perjudica la temporización.

La Conclusión:
Este nuevo método de simulación es como actualizar de un cartógrafo manual y lento a un sistema de GPS en tiempo real. Permitió a los científicos probar diseños rápidamente y encontrar una forma de mejorar la precisión de temporización del sensor en aproximadamente un 10%. Esto los acerca al objetivo final: detectar partículas con una resolución de temporización tan rápida que es mejor que 100 picosegundos (¡eso son 100 billonésimas de segundo!).

No inventaron un nuevo sensor hoy, pero construyeron el "túnel de viento" que permite a los ingenieros diseñar el mejor sensor posible para el futuro.

Resumen técnico

Resumen Técnico: Simulación Acelerada por GPU de Sensores de Diamante 3D Utilizando la Infraestructura TeRABIT

Planteamiento del Problema
Los detectores de diamante con electrodos ortogonales a la superficie, creados mediante grafitización inducida por láser, ofrecen un potencial significativo para la Física de Altas Energías, la Medicina Nuclear y la dosimetría debido a su resistencia a la radiación y sus capacidades de temporización rápida. Los avances recientes en grafitización han permitido resoluciones temporales mejores de 100 ps. Sin embargo, simular con precisión la formación de la señal en estos dispositivos sigue siendo un desafío computacional mayor. El proceso de formación de la señal implica una interacción compleja de fluctuaciones en la deposición de energía, transporte de portadores, propagación de la señal y electrónica de lectura.

Los métodos de simulación estándar basados en el teorema de Ramo-Shockley son insuficientes porque no tienen en cuenta los efectos de impedancia de los electrodos resistivos, los cuales dominan la resolución temporal en estas estructuras 3D. Aunque una extensión del teorema por Riegler incorpora estos efectos mediante una función de correlación de cuatro dimensiones, $\vec{H}(\vec{x}, t)$, el cálculo numérico de esta función es computacionalmente costoso. Los intentos anteriores utilizando métodos pseudo-espectrales en Python (con extensiones en C) y COMSOL MultiPhysics® fueron demasiado lentos para una optimización geométrica sistemática o estaban limitados por restricciones de memoria que impedían la computación distribuida en redes de Computación de Alto Rendimiento (HTC).

Metodología
Los autores desarrollaron un nuevo marco de simulación que aborda estos cuellos de botella mediante tres innovaciones técnicas principales:

1. Flujo de Trabajo de Micro-pasos Orquestado: La simulación se estructura como un flujo de trabajo de Grafo Acíclico Dirigido (DAG) orquestado por Snakemake. Este flujo de trabajo divide el proceso en seis pasos distintos:

   • Compilación de geometría (de OpenSCAD a STL).
   • Cálculo del campo electrostático (resolución de la ecuación de Laplace).
   • Cálculo de la función de correlación (resolución de una ecuación diferencial parcial de tercer orden derivada de las leyes de Maxwell en una aproximación cuasi-estática).
   • Simulación de la trayectoria de los portadores (utilizando Garfield++).
   • Cálculo de la corriente inducida (convolución de la velocidad y la función de correlación).
   • Simulación de la electrónica y del sistema de adquisición de datos (DAQ).
     Los formatos de datos intermedios están optimizados para el rendimiento, incluyendo el uso de Apache Arrow para reducir los tamaños de archivo en un ~80% y la sobrecarga de deserialización.

2. Aceleración por GPU (WeightingTide): Los pasos críticos para el rendimiento, específicamente el cálculo del campo electrostático y la función de correlación $\vec{H}(\vec{x}, t)$, fueron portados a GPUs utilizando la biblioteca CuPy.

   • Electrostática: Un método pseudo-espectral iterativo resuelve la ecuación de Laplace utilizando FFTs 3D y kernels CUDA personalizados. Se emplearon kernels personalizados para multiplicar las representaciones espectrales por el momento cuadrático del vector de onda, reduciendo a la mitad la memoria GPU requerida en comparación con una implementación puramente en Python.
   • Función de Correlación: Un kernel CUDA personalizado calcula el voltaje establecido por cargas puntuales en los límites, haciendo cumplir las condiciones de frontera copiando fragmentos escalados de soluciones fundamentales. Este paso, que dominaba el tiempo de ejecución en CPU, logró una aceleración de 100× en GPUs.
   • Convolución: La convolución de las velocidades de los portadores con la función de correlación fue descargada a la GPU. La función de correlación se cargó en la memoria de textura de la GPU para aprovechar la interpolación lineal acelerada por hardware a lo largo de las trayectorias de los portadores.

3. Computación Distribuida mediante TeRABIT e InterLink: Para permitir escaneos sistemáticos de parámetros, el flujo de trabajo se distribuyó a través de recursos de computación heterogéneos. El sistema utiliza los "Burbujas" HPC de TeRABIT (específicamente el sitio de Padua con GPUs H200) y los recursos HTC de INFN-CNAF (nodos solo CPU).

   • El flujo de trabajo Snakemake interactúa con un clúster Kubernetes gestionado por Kueue.
   • El proyecto InterLink define nodos virtuales que ejecutan cargas de trabajo contenidas (gestionadas mediante Apptainer y CVMFS) en sitios remotos (CNAF y Padua) en lugar de nodos físicos locales.
   • El intercambio de datos entre sitios geográficamente distantes se gestiona mediante un almacenamiento centralizado compatible con S3 (Deuxfleurs Garage), aunque se señala que el ancho de banda de transferencia de datos es el principal cuello de botella en la ejecución paralela.

Contribuciones Clave

• Innovación Algorítmica: El desarrollo de un solucionador que utiliza soluciones fundamentales para imponer condiciones de frontera y métodos espectrales para extender la solución al volumen del detector de diamante, resolviendo la EDP de tercer orden requerida para los potenciales de ponderación dependientes del tiempo.
• Porteo de Software: La migración exitosa de los pasos de simulación críticos para el rendimiento a GPUs, reduciendo el tiempo de obtención de resultados para una sola geometría de aproximadamente una semana a unas pocas horas.
• Integración de Infraestructura: La demostración de un modelo de computación distribuida que integra sin fisuras recursos HTC (CNAF) y HPC (TeRABIT Padua) a través del protocolo InterLink y Kubernetes, permitiendo la orquestación de flujos de trabajo científicos complejos y multietapa entre sitios.
• Desarrollo de Paquetes: La creación del paquete Python WeightingTide, que encapsula los métodos acelerados por GPU basados en CuPy para los cálculos electrostáticos y de función de correlación.

Resultados
Utilizando la nueva arquitectura de simulación, los autores realizaron estudios paramétricos sistemáticos en detectores de diamante 3D con electrodos grafitizados, centrándose en dos variables geométricas: el diámetro del electrodo de polarización y el espesor del volumen de diamante.

• Diámetro del Electrodo de Polarización: Contrario a las expectativas iniciales de que la resistencia del electrodo dictaría linealmente la resolución temporal, el estudio encontró que la resolución temporal es en gran medida independiente del diámetro del electrodo de polarización (variado de 6 a 14 $\mu$m). Los autores atribuyen esto a la geometría 3D, donde la contribución de los electrodos de polarización a la evolución de la función de correlación es insignificante en comparación con los electrodos de lectura. Esto sugiere que los electrodos de polarización pueden fabricarse con diámetros muy pequeños para minimizar los riesgos de daño durante la grafitización sin comprometer el rendimiento de temporización.
• Espesor del Volumen: El estudio confirmó que la resolución temporal mejora a medida que disminuye el espesor del volumen de diamante. Esto es consistente con el hallazgo de que la propagación de la señal a lo largo del electrodo de lectura es el factor dominante que limita la temporización. Electrodos de lectura más cortos (volumen más delgado) mejoran directamente el rendimiento de temporización.
• Propuesta de Optimización: Basándose en estos hallazgos, los autores proponen una nueva geometría de sensor (Fig. 7) que presenta electrodos de lectura acortados y diámetros de electrodos de polarización minimizados. Se proyecta que esta configuración mejore la resolución temporal en aproximadamente un 10% mientras mantiene la viabilidad de fabricación.

Significado y Perspectivas
El artículo afirma que este trabajo permite estudios de "qué pasaría si" sobre la geometría del sensor que anteriormente eran computacionalmente prohibitivos. Al reducir el tiempo de obtención de resultados de semanas a horas y permitir la ejecución distribuida, el marco permite la optimización sistemática de los parámetros del detector.

Los autores concluyen que, aunque se pueden lograr ganancias incrementales (~10%) mediante la optimización geométrica (específicamente reduciendo la longitud del electrodo de lectura), la estrategia más efectiva para una mejora adicional del rendimiento sigue siendo mejorar la conductividad de las columnas grafitizadas. Los resultados indican que los detectores de diamante 3D se están acercando rápidamente a los límites fundamentales impuestos por la electrónica de lectura. La integración exitosa de la aceleración por GPU con recursos HPC/HTC distribuidos a través de la infraestructura TeRABIT proporciona una vía robusta para el diseño y la optimización futuros de detectores.