Resumen Técnico: GRACE – Un Marco de Trabajo de Código Abierto para Relatividad Numérica Acelerada por GPU

Problema y Motivación

La relatividad numérica (RN) ha madurado hasta un punto en el que proporciona predicciones cuantitativas para sistemas astrofísicos relativistas, tales como fusiones de estrellas de neutrones binarias (BNS) y la dinámica de agujeros negros. Sin embargo, el campo depende cada vez más de las instalaciones de computación de alto rendimiento (HPC) que presentan arquitecturas heterogéneas, donde las Unidades de Procesamiento Gráfico (GPU) complementan a las CPU tradicionales. Aunque muchos códigos de RN han sido adaptados para GPUs, esta transición presenta desafíos significativos. Los algoritmos bien adaptados para CPUs suelen funcionar mal en arquitecturas de GPU debido a las diferencias en los patrones de acceso a la memoria y los requisitos de paralelismo. Además, los marcos de trabajo existentes suelen carecer de un enfoque unificado para la portabilidad entre diversos hardware (por ejemplo, NVIDIA, AMD, Intel) manteniendo una alta eficiencia. Existe la necesidad de un marco de trabajo construido desde cero para aprovechar eficientemente los modernos sistemas de HPC heterogéneos, utilizando bibliotecas de código abierto para asegurar la mantenibilidad y la reproducibilidad.

Metodología

Los autores presentan GRACE (General Relativistic Astrophysics Code for Exascale), un nuevo marco de trabajo de RN diseñado para la eficiencia y la portabilidad en plataformas heterogéneas.

Arquitectura Central y Portabilidad

• Kokkos: GRACE está construido exclusivamente sobre bibliotecas de código abierto, utilizando Kokkos como una capa de abstracción mínima. Esto permite que el código apunte a múltiples backends (CUDA, HIP, OpenMP) desde un único árbol de fuentes, asegurando la portabilidad de rendimiento a través de arquitecturas de CPU y GPU.
• Gestión de la Rejilla: La rejilla numérica se construye como un bosque de octrees utilizando la biblioteca p4est. p4est se ejecuta exclusivamente en el host (CPU) para gestionar la conectividad, la búsqueda de vecinos, el equilibrio del árbol y el equilibrio de carga. Todas las operaciones que portan datos en las celdas de la rejilla se ejecutan en el dispositivo (GPU) mediante kernels escritos a medida.
• Refinamiento de Malla Adaptativa (AMR): GRACE soporta tanto el Refinamiento de Malla Fija (FMR) como el AMR. La rejilla mantiene un equilibrio de 2:1 entre vecinos. El refinamiento y el desrefinamiento se gestionan mediante operaciones de "prolongación" y "restricción" realizadas en la GPU.

Formulaciones Físicas

• Ecuaciones de Einstein: El código evoluciona las ecuaciones de Einstein utilizando la formulación Z4c, que incluye términos de amortiguación de restricciones para controlar los errores numéricos. El sistema utiliza la "calibración de puncutura" (puncture gauge) con el seccionamiento 1+log para el lapse y las ecuaciones de Gamma-driver para el shift.
• GRMHD: El marco resuelve las ecuaciones de Magnetohidrodinámica General Relativista (GRMHD) ideal para plasmas con conductividad infinita.
  • Leyes de Conservación: El sistema utiliza una formulación conservativa con métodos de captura de choques de alta resolución (HRSC).
  • Solucionadores de Riemann: Emplea solucionadores de Riemann aproximados, específicamente HLLE (Harten–Lax–van Leer–Einfeldt) o LLF (Local Lax–Friedrichs).
  • Reconstrucción: El código utiliza una jerarquía de operadores de reconstrucción, con esquemas de quinto orden WENO-Z (Weighted Essentially Non-Oscillatory) como predeterminados.
  • Transporte Constreñido (CT): Para mantener la condición de divergencia nula del campo magnético ($\nabla \cdot \mathbf{B} = 0$) con precisión de máquina, GRACE emplea un enfoque de transporte constreñido. El campo magnético se almacena en las caras de las celdas y las fuerzas electromotrices (EMFs) se calculan en las aristas de las celdas. La implementación utiliza el esquema "CT-contact", que promedia las EMFs de las caras circundantes y las corrige con términos de derivada upwinded.
• Ecuación de Estado (EOS): GRACE soporta cuatro familias de EOS: gas ideal, politrópica por partes, híbrida (fría + térmica) y EOS 3D totalmente tabuladas (formato CompOSE).

Detalles de Implementación Numérica

• Integración Temporal: El sistema utiliza esquemas de Runge-Kutta (RK) explícitos, siendo el método de 3S* (cuatro etapas, cuarto orden, de bajo almacenamiento) el predeterminado.
• Conservativa-a-Primitiva (C2P): El código implementa un esquema de inversión robusto (basado en [92]) para recuperar las variables primitivas a partir de las conservadas, con mecanismos de respaldo (inversión basada en entropía) para estados mal condicionados.
• Condiciones de Contorno: Los límites exteriores utilizan condiciones radiativas de tipo Sommerfeld. Las zonas fantasma (ghost zones) se actualizan utilizando un modelo de ejecución basado en tareas representado como un Grafo Acíclico Dirigido (DAG) para optimizar las operaciones limitadas por memoria y por cómputo en las GPUs.
• Corrección de Flujo: Se implementa una corrección de flujo de primer orden a posteriori (FOFC) para prevenir estados no físicos en regiones de fuertes gradientes o baja densidad.

Contribuciones Clave

1. Desarrollo del Marco de Trabajo: La creación de GRACE, un nuevo marco de RN construido desde cero para computación heterogénea, aprovechando Kokkos para la portabilidad y p4est para el AMR.
2. Optimización de GPU: Implementación de un sistema de actualización de zonas fantasma basado en tareas y kernels personalizados que permiten la ejecución eficiente en GPUs, incluyendo el manejo específico del transporte constreñido y la preservación de la divergencia del campo magnético a través de los límites de refinamiento.
3. Suite de Validación: Una validación exhaustiva del código contra una amplia gama de pruebas estándar, incluyendo:
   • Tubos de choque magnetizados y rotores magnéticos en espacio plano.
   • Acreción de Bondi sobre un agujero negro de Schwarzschild.
   • Oscilaciones de estrellas de neutrones tanto en espacios de tiempo fijos (Cowling) como dinámicos.
   • Ringdown de puncuturas perturbadas en rotación.
   • Inspiración y fusión de agujeros negros binarios.
4. Simulaciones de Estrellas de Neutrones Binarias: Evolución de dos escenarios distintos de fusión de BNS:
   • Un sistema de masa igual, no magnetizado, con una EOS de gas ideal.
   • Un sistema de masa desigual ($q=0.8$), magnetizado, con una EOS SFHo de temperatura finita y tabulada.
5. Comparación entre Códigos: Una comparación detallada de los resultados de la fusión de BNS magnetizada con el código FIL (Frankfurt/IllinoisGRMHD), demostrando concordancia en la dinámica de la inspiración dentro de los límites de los errores de discretización.

Resultados

• Precisión: GRACE reproduce con éxito las soluciones exactas para tubos de choque y las soluciones cuasi-analíticas para la acreción de Bondi. Captura con precisión los espectros de oscilación de las estrellas de neutrones (modos fundamentales y sobretonos) y las formas de onda de ringdown de agujeros negros binarios.
• Convergencia: El código exhibe órdenes de convergencia esperados. Para las fusiones de agujeros negros binarios, los errores de discretización espacial (sexto orden) dominan el presupuesto de error. Para las inspiraciones de BNS, el orden de convergencia observado es aproximadamente $p \approx 2.8$, situándose entre la precisión de segundo orden del sector de materia de volumen finito y la precisión de cuarto orden del sector del espacio-tiempo.
• Conservación: El código conserva la masa en reposo al nivel del error de redondeo acumulado ($\lesssim 10^{-10}$) durante la fase de inspiración. El esquema de transporte constreñido mantiene la restricción de divergencia discreta del campo magnético a precisión de máquina ($\sim 10^{-19}$) a través de los límites de refinamiento y las particiones MPI.
• Rendimiento:
  • Rendimiento (Throughput): En una APU AMD MI300A, GRACE alcanza $\sim 2.48 \times 10^7$ ciclos-zona por segundo (espacio-tiempo fijo) y $\sim 1.68 \times 10^7$ (GRMHD-Z4c acoplado). En una NVIDIA A100, estos valores son $\sim 1.05 \times 10^7$ y $\sim 6.7 \times 10^6$, respectivamente.
  • Escalabilidad: Las pruebas de escalabilidad fuerte muestran eficiencias de $\sim 44\%$ (rejilla uniforme) y $\sim 54\%$ (rejilla FMR) al aumentar el número de dispositivos por factores de 16 y 8. Las pruebas de escalabilidad débil demuestran eficiencias de $\sim 90\%$ (uniforme) y $\sim 98\%$ (FMR) hasta 128 y 256 dispositivos, respectivamente.
  • Ejecuciones de Producción: Las simulaciones de fusiones de BNS en el clúster Viper (AMD MI300A) lograron tasas de evolución sostenidas de $\sim 300$ $M_\odot$/h, con costos computacionales que escalan aproximadamente como $h^{-4}$, consistentes con las expectativas teóricas para la evolución 3+1 dimensional.

Significado y Reivindicaciones

El artículo afirma que GRACE representa un paso significativo hacia la realización de la relatividad numérica eficiente y accesible en las modernas plataformas de HPC heterogéneas. Al estar construido enteramente sobre bibliotecas de código abierto (Kokks, p4est), asegura la mantenibilidad y portabilidad a largo plazo. Los autores enfatizan que GRACE no es meramente un port de códigos existentes, sino un nuevo marco diseñado para superar los desafíos algorítmicos específicos de las arquitecturas de GPU, particularmente en lo que respecta al acceso a la memoria y el paralelismo.

La validación contra el código FIL y la reproducción exitosa de fenómenos complejos (como fusiones de BNS magnetizadas con EOS tabuladas) sirven como evidencia de la corrección y robustez del código. Los autores señalan modestamente que, si bien la resolución actual es suficiente para validar la dinámica y la convergencia del código, capturar efectos de dínamo a pequeña escala en la amplificación del campo magnético post-fusión requiere resoluciones que exceden el alcance de este artículo de validación. El lanzamiento de GRACE junto con GRACEpy (un entorno Python para post-procesamiento) se presenta como una contribución a la capacidad de la comunidad para realizar y analizar simulaciones de RN de alta fidelidad.