An efficient multi-GPU implementation for the Discontinuous Galerkin ocean model SLIM

Este artículo presenta una implementación altamente eficiente y acelerada por múltiples GPU del modelo oceánico de Galerkin discontinuo SLIM que logra aceleraciones masivas en comparación con sistemas basados en CPU y permite simulaciones costeras de ultra-alta resolución, como una mejora de cinco veces en la resolución para la Gran Barrera de Coral.

Lo esencial

La Gran Imagen: Hacer que los Modelos Oceánicos sean "Super-Rápidos"

Imagina intentar simular el océano. Durante mucho tiempo, los científicos utilizaron una "cuadrícula" como un tablero de ajedrez para mapear el agua. Pero el océano no es un tablero de ajedrez; tiene costas irregulares, fosas profundas y arrecifes poco profundos. Para hacer que el tablero de ajedrez encaje, o bien tienes que hacer los cuadrados diminutos en todas partes (lo cual toma una eternidad calcular) o bien aceptas que los bordes se vean bloqueados y incorrectos.

El modelo SLIM descrito en este artículo utiliza un enfoque diferente: una malla no estructurada. Piensa en esto como un mosaico hecho de baldosas de formas irregulares. Puedes usar baldosas diminutas e intrincadas justo al lado de un arrecife rocoso y baldosas enormes y simples en el océano profundo y abierto. Esto es perfecto para las zonas costeras, pero es computacionalmente costoso. Es como intentar pintar una obra maestra con un pincel diminuto; requiere mucho tiempo y esfuerzo.

Los autores de este artículo se preguntaron: "¿Cómo podemos hacer que este modelo oceánico detallado, estilo mosaico, se ejecute lo suficientemente rápido para ser útil?". Su respuesta fue construir una versión diseñada específicamente para GPUs (los potentes chips gráficos encontrados en computadoras de juegos y supercomputadoras).

La Innovación Central: El Océano "Listo para GPU"

El artículo se centra en un método matemático específico llamado Galerkin Discontinuo (DG).

• La Analogía: Imagina un aula.
  • Métodos antiguos (Continuos): Los estudiantes se sostienen de la mano en un círculo gigante. Si un estudiante se mueve, tiene que decirle a todos los demás en el círculo. Está conectado, pero es lento para coordinar.
  • Método DG: Cada estudiante está sentado en su propio escritorio. Trabajan independientemente en sus propios problemas matemáticos. Solo hablan con sus vecinos inmediatos cuando necesitan pasar una nota.
• Por qué esto ayuda: Como los estudiantes (puntos de datos) trabajan independientemente, puedes contratar a 1.000 maestros (núcleos de GPU) para ayudarlos a todos al mismo tiempo sin que se estorben entre sí. Esto es exactamente lo que a las GPUs les encanta hacer: trabajo masivo en paralelo.

Cómo lo Hicieron Rápido (La "Salsa Secreta")

Los autores no solo pusieron el código en una GPU; rediseñaron completamente cómo se almacena y mueve la información, utilizando tres trucos principales:

1. La Organización de la "Biblioteca" (Disposición de la Memoria)
Las GPUs son como bibliotecarios supersónicos. Si los libros están dispersos aleatoriamente, el bibliotecario pierde tiempo corriendo de un lado a otro. Si están organizados perfectamente, pueden agarrarlos instantáneamente.

• El equipo reorganizó los datos para que la información relacionada estuviera justo al lado de la otra en la memoria. Incluso utilizaron una "curva de Hilbert" (un camino específico y enroscado) para organizar las baldosas irregulares de modo que los vecinos estuvieran físicamente cerca en la memoria de la computadora. Esto mantiene al "bibliotecario" de la GPU funcionando a máxima velocidad.

2. La Línea de Ensamblaje de "Celdas"
El modelo oceánico es 3D, hecho de columnas verticales de agua. Algunos cálculos necesitan resolver un rompecabezas para toda la columna a la vez.

• El Problema: Por lo general, resolver estos rompecabezas uno por uno es lento.
• La Solución: Crearon una disposición especial de "Celda". Imagina una línea de ensamblaje de fábrica donde 128 trabajadores (hilos) están asignados a 128 columnas. En lugar de pasar piezas de un lado a otro, organizan las piezas en una cuadrícula ordenada (una matriz) para que los 128 trabajadores puedan agarrar lo que necesitan simultáneamente. Esto convierte un proceso lento y secuencial en uno rápido y paralelo.

3. El Solucionador "Sin Plano" (Libre de Matrices)
En muchos problemas matemáticos, tienes que construir un plano gigante (una matriz) antes de poder resolver el problema. Construir el plano toma tiempo.

• El Truco: Para ciertas partes del modelo oceánico (como la presión y el movimiento vertical), los autores se dieron cuenta de que el plano siempre seguía un patrón predecible. En lugar de construir el plano, escribieron una receta que calcula la respuesta directamente sobre la marcha. Es como saber la respuesta a un problema matemático sin necesidad de escribir los pasos de la división larga.

Los Resultados: Una Revolución de Velocidad

El artículo presenta resultados de referencia que muestran cuán efectiva es esto:

• Una GPU vs. Una Sala de Computadoras: Una sola GPU de gama alta (como una NVIDIA A100) puede hacer el trabajo de aproximadamente 1.500 procesadores de computadora estándar.
• El Salto "50x": Si reemplazas un servidor masivo con 128 núcleos de CPU con un solo servidor que contiene solo 4 de estas GPUs, la simulación se ejecuta 50 veces más rápido.
• Escalabilidad: Lo probaron en supercomputadoras con hasta 1.024 GPUs. El sistema escaló maravillosamente, lo que significa que agregar más GPUs mantenía la simulación funcionando de manera eficiente, siempre que el área oceánica que se simulaba fuera lo suficientemente grande para mantener a todas esas GPUs ocupadas.

La Prueba del Mundo Real: La Gran Barrera de Coral

Para demostrar que esto no era solo una prueba de velocidad teórica, ejecutaron una simulación de la Gran Barrera de Coral.

• El Desafío: El arrecife tiene formas increíblemente complejas. Los modelos anteriores tenían que usar una resolución "borrosa" (aproximadamente de 1,5 km a 4 km por baldosa) para ejecutarse en un tiempo razonable.
• El Nuevo Resultado: Usando su nuevo modelo acelerado por GPU, simularon todo el arrecife con una resolución cinco veces más fina (hasta 200 metros).
• El Resultado: Podían ver detalles diminutos como "chorros de marea" (corrientes rápidas de agua) y pequeños remolinos que anteriormente eran invisibles. Lograron una velocidad donde la computadora simulaba 100 días de tiempo oceánico por cada 1 día de tiempo real.

Resumen

Este artículo demuestra que al repensar cómo se organiza la información y aprovechar el poder único de los chips gráficos modernos, los científicos finalmente pueden ejecutar modelos oceánicos 3D altamente detallados de costas complejas. Transformaron un proceso que antes era demasiado lento y costoso en una herramienta rápida y eficiente, abriendo la puerta a simulaciones de ultra-alta resolución de lugares como la Gran Barrera de Coral.

Resumen técnico

Resumen Técnico: Una Implementación Eficiente Multi-GPU para el Modelo Oceánico de Galerín Descontinuado SLIM

Planteamiento del Problema
Los modelos oceánicos de malla no estructurada son cada vez más vitales para aplicaciones costeras debido a su capacidad para representar geometrías complejas y aplicar refinamiento local de la malla. Sin embargo, su adopción más amplia, particularmente para modelos basados en el método de elementos finitos de Galerín descontinuado (DG-FE), ha sido obstaculizada por los altos costos computacionales. El enfoque DG-FE implica inherentemente más grados de libertad y cálculos por elemento que los métodos tradicionales de volúmenes finitos o de elementos finitos continuos. Además, la conectividad irregular de las mallas no estructuradas requiere el almacenamiento y la gestión explícitos de las relaciones de vecindad, lo que conduce a requisitos sofisticados de manejo de datos y a una mayor sobrecarga computacional. Aunque se han empleado estrategias como el refinamiento local de la malla y la división de modos, a menudo son insuficientes para simulaciones de alta resolución o de larga duración. La rápida emergencia de arquitecturas de computación de alto rendimiento (HPC) basadas en GPU ofrece una solución potencial, ya que las formulaciones DG-FE son adecuadas para cálculos masivamente paralelos por elemento; sin embargo, aprovechar plenamente estas arquitecturas requiere un rediseño completo de los códigos computacionales.

Metodología
Los autores presentan una implementación completa de un modelo oceánico DG-FE 3D de SLIM, optimizada para sistemas de GPU única y múltiple con soporte para arquitecturas NVIDIA y AMD. La implementación se basa en una capa de abstracción ligera para cambiar entre backends de CPU, CUDA y HIP.

• Diseño de Memoria y Asignación de Hilos: El modelo emplea una estrategia de "un hilo por elemento" en lugar de por nodo para aumentar la carga de trabajo computacional por hilo. Para optimizar la coalescencia de memoria, la malla 2D se reordena utilizando una curva de Hilbert. Se introduce un diseño de datos híbrido: un formato de Estructura de Arrays (SoA) para cálculos generales y un diseño de "celda" especializado para resolver sistemas lineales. El diseño de celda agrupa conjuntos de columnas prismáticas (típicamente 128) en una estructura de matriz (Array de Estructura de Arrays), permitiendo un acceso a memoria perfectamente coalescido durante la resolución de sistemas lineales de bandas asociados con las columnas verticales.
• Esquemas Numéricos: El modelo utiliza un esquema Runge-Kutta dividido IMEX. El modo externo (barotrópico) utiliza un método Runge-Kutta explícito de tres pasos en la malla 2D, mientras que el modo interno (baroclínico) avanza las ecuaciones 3D. El modo interno separa los procesos horizontales y verticales; la advección y la viscosidad horizontales son explícitas, mientras que los procesos verticales pueden ser implícitos para mitigar las condiciones CFL estrictas.
• Solucionadores:
  • Solucionadores sin Matriz: Para el gradiente de presión horizontal y la velocidad vertical, los sistemas lineales poseen una estructura predecible que permite su resolución sin ensamblaje explícito de la matriz. Un solucionador de un solo paso con mirada hacia arriba codifica la estructura de la matriz en una fórmula de recurrencia.
  • Solucionadores de Columna Ensamblados Completamente: Para el cierre de turbulencia y los flujos verticales implícitos, el modelo ensambla matrices dispersas que acoplan nodos dentro de una columna. Estas se resuelven in situ utilizando eliminación gaussiana con un hilo por sistema, aprovechando búferes locales para evitar el desbordamiento de registros.
• Estrategia Multi-GPU: El dominio se descompone horizontalmente utilizando MPI, con una GPU por rango. Para superponer el cálculo y la comunicación, el código divide cada partición en elementos de frontera/ghost y elementos interiores. Los cálculos de frontera y los intercambios de halo se lanzan en un stream de comunicación de alta prioridad, mientras que los cálculos interiores proceden en un stream de cálculo. Esta superposición es crítica, particularmente para el modo externo 2D donde la latencia de lanzamiento de kernels y los costos de comunicación pueden convertirse en cuellos de botella.

Resultados Clave

• Rendimiento de GPU Única: Las pruebas de rendimiento en una GPU NVIDIA A100 demuestran un rendimiento equivalente a aproximadamente 1500 núcleos de CPU. Reemplazar un nodo de CPU de 128 núcleos con un nodo de GPU 4×A100 produce una aceleración de aproximadamente 50×. La implementación mantiene hasta el 80% del ancho de banda de memoria pico para kernels limitados por memoria y el 60% del rendimiento de punto flotante pico para kernels limitados por cálculo, con un promedio sostenido de ~30% para ambos durante un paso de tiempo completo.
• Escalabilidad: La eficiencia de escalado débil se mantiene hasta 1024 GPUs (512 GCD de AMD MI250X) en el superordenador LUMI. El escalado fuerte sigue la ley de Amdahl, donde el componente baroclínico 3D escala casi idealmente, pero el modo barotrópico 2D actúa como una fracción secuencial debido a su alta frecuencia de kernels cortos e intercambios de halo.
• Aplicación a la Gran Barrera de Coral (GBR): El modelo se aplicó a una simulación realista de la GBR con una malla de 3,3 millones de triángulos (34 millones de elementos 3D), con resoluciones que van desde 200 m cerca de los arrecifes hasta 10 km en alta mar. Ejecutándose en 32 GPUs AMD MI250X (64 GCD) en doble precisión, la simulación logró un rendimiento de aproximadamente 100 días simulados por día de reloj. Esta configuración resolvió estructuras de flujo de hasta unos pocos cientos de metros, capturando chorros de marea y remolinos previamente irresolubles en modelos de resolución uniforme.

Significado y Afirmaciones
El artículo afirma que los métodos DG-FE acelerados por GPU pueden avanzar drásticamente las capacidades de la modelación oceánica de malla no estructurada. Al explotar eficazmente las arquitecturas GPU mediante diseños de datos específicos, solucionadores sin matriz y estrategias de superposición de comunicación, los autores demuestran que el costo computacional de las simulaciones no estructuradas de alta resolución puede ponerse a la par con los modelos de malla estructurada en resoluciones más gruesas. Esto elimina una restricción histórica en la aplicación práctica de modelos de malla no estructurada para dominios regionales y costeros.

Los autores enfatizan que este trabajo permite simulaciones costeras de ultra-alta resolución que previamente eran inviables, permitiendo la resolución de procesos multiescala a lo largo del continuum tierra-mar. Si bien la aplicación a la GBR sirve como demostración de capacidades de escalabilidad y resolución en lugar de un estudio científico totalmente validado, destaca el potencial para aplicaciones operativas en la gestión ambiental. El artículo concluye que las ventajas inherentes de las mallas no estructuradas —flexibilidad geométrica, refinamiento local y resolución multiescala— ahora pueden aprovecharse sin la sobrecarga computacional tradicional, posicionando a los modelos DG acelerados por GPU como una herramienta prometedora para la próxima generación de simulaciones oceánicas costeras.