Streami: An MPI Data-Parallel Library to Compute Field Lines on GPUs

Este artículo presenta Streami, una biblioteca de código abierto, extensible y acelerada por GPU que se interconecta con aplicaciones MPI para computar eficientemente líneas de campo en flujos de fluidos tanto para análisis post-hoc como in-situ.

Lo esencial

Imagina que estás intentando visualizar las corrientes invisibles de una tormenta masiva dentro de una supercomputadora. En el mundo de la dinámica de fluidos, los científicos utilizan "líneas de campo" (como líneas de corriente) para dibujar las trayectorias que seguirían partículas diminutas mientras cabalgan estas corrientes. Es como lanzar un millón de hojas a un río para ver hacia dónde fluye el agua.

El problema es que estas simulaciones son enormes. Se ejecutan en supercomputadoras que tienen docenas de potentes tarjetas gráficas (GPUs) trabajando juntas, repartidas en muchas máquinas diferentes. Normalmente, para dibujar estas líneas, tendrías que detener la simulación, copiar toda esa enorme cantidad de datos a una computadora separada e intentar dibujarlos. Pero mover esa cantidad de datos es como intentar verter todo el océano en una taza de té; es lento, costoso y crea un cuello de botella que detiene todo lo demás.

Entra "Streami".

Piensa en Streami como un servicio de mensajería especializado de alta velocidad que vive dentro de la propia supercomputadora. En lugar de mover los datos hacia afuera, Streami mueve las "hojas" (las partículas) directamente entre las diferentes tarjetas gráficas que ya contienen los datos.

Así es como funciona, desglosado en conceptos simples:

1. El servicio de entrega "In-Situ"

La mayoría de las herramientas de visualización son como un servicio de mensajería que recoge un paquete, lo lleva a un almacén, lo clasifica y luego lo envía. Streami es diferente. Es como una red de teletransporte construida directamente en el suelo de la fábrica.

• La configuración: La supercomputadora está dividida en vecindarios (particiones de datos), con cada vecindario gestionado por una GPU específica.
• El trabajo: Streami permite que una partícula comience en el Vecindario A, se mueva a través del flujo y, si cruza la frontera hacia el Vecindario B, se "teletransporta" instantáneamente (mediante una conexión directa y rápida) a la GPU que gestiona el Vecindario B.
• El beneficio: Los datos nunca salen de la supercomputadora. La simulación y la visualización ocurren al mismo tiempo, en las mismas máquinas, sin el lento "viaje en camión" de copiar datos.

2. Las dos capas de la biblioteca

El artículo describe a Streami como si tuviera dos "lenguajes" o capas:

• La capa de bajo nivel (El motor): Esta es la maquinaria pesada escrita en un lenguaje muy rápido y técnico (CUDA/C++). Es la parte que realmente calcula las matemáticas de cada partícula, comprueba en qué vecindario se encuentra y gestiona el teletransporte instantáneo entre computadoras. Está diseñada para ser lo más rápida posible, utilizando "plantillas" para que pueda adaptarse a diferentes tipos de rejillas de datos sin ralentizarse.
• La capa de alto nivel (El tablero de control): Esta es la interfaz amigable para el usuario (escrita en C++). Es como el volante y el tablero de un coche. Los científicos no necesitan saber cómo funciona el motor; simplemente le dicen al tablero: "Dibújame una corriente de partículas empezando aquí", y el tablero se encarga de la compleja matemática y la comunicación detrás de escena.

3. Manejo de diferentes terrenos

Las simulaciones de fluidos pueden ser desordenadas. A veces, los datos son una rejilla uniforme y ordenada (como un tablero de ajedrez). Otras veces, es una malla caótica y desordenada de formas (como una pila de rocas).

• Streami es extensible. Tiene un "traductor universal" que puede entender tanto las rejillas ordenadas de tipo tablero de ajedrez como las pilas de rocas desordenadas.
• Si un científico tiene un nuevo tipo de datos extraño, puede conectarlo al motor de bajo nivel de Streami sin tener que reconstruir todo el sistema. La biblioteca descubre cómo navegar por el terreno específico de esos datos.

4. Pruebas en el mundo real

Los autores probaron Streami en un clúster con 16 potentes GPUs. Rastrearon 100,000 partículas moviéndose a través de una galaxia simulada.

• El resultado: El sistema fue increíblemente rápido, tardando solo entre 1 y 2 milisegundos en mover todas las partículas un paso adelante.
• El cuello de botella: Lo único que lo ralentizó ligeramente fue la "llamada telefónica" entre las diferentes computadoras (comunicación MPI) para decir: "Oye, esta partícula ahora está en tu vecindario". Aun así, fue muy eficiente.

Resumen

En resumen, Streami es una herramienta que permite a los científicos dibujar líneas de flujo (como corrientes de viento o agua) directamente dentro de una supercomputadora masiva mientras la simulación se está ejecutando. Evita el proceso lento y doloroso de copiar enormes cantidades de datos. En su lugar, actúa como un puente fluido, permitiendo que las partículas salten instantáneamente entre diferentes tarjetas gráficas, lo que hace posible visualizar flujos de fluidos complejos y masivos en tiempo real o casi en tiempo real.

Los autores han hecho que esta herramienta sea de código abierto, lo que significa que cualquiera puede usarla para construir sus propias aplicaciones de "colocación interactiva de puntos semilla" (donde puedes hacer clic y soltar hojas virtuales en una simulación para ver hacia dónde van) o integrarla en sus propios flujos de trabajo científicos.

Resumen técnico

Resumen Técnico: Streami – Una biblioteca de paralelismo de datos MPI para la computación de líneas de campo acelerada por GPU

Planteamiento del problema

Las líneas de campo (por ejemplo, líneas de corriente, líneas de traza) son primitivas esenciales para analizar flujos de fluidos, particularmente en la Dinámica de Fluidos Computacional (CFD). Estas simulaciones suelen ejecutarse en sistemas de Computación de Alto Rendimiento (HPC) que utilizan memoria distribuida y nodos multi-GPU. Mientras que las computaciones individuales de GPU se aceleran mediante APIs como CUDA o HIP, la comunicación entre nodos depende de MPI.

Los flujos de trabajo de visualización actuales enfrentan cuellos de botella significativos:

1. Movimiento de datos: Copiar conjuntos de datos masivos y distribuidos a una estación de trabajo separada para el post-procesamiento suele ser inviable debido al volumen y la latencia.
2. Falta de abstracción: Aunque existen bibliotecas para la visualización de campos escalares (por ejemplo, OSPRay, ANARI) o para la orquestación in-situ (por ejemplo, Catalyst, Ascent), no existe una abstracción de alto rendimiento y de paralelismo de datos específicamente para la computación de líneas de campo que se integre perfectamente con las descomposiciones de dominio MPI existentes.
3. Inflexibilidad: Las herramientas existentes a menudo requieren el remuestreo o el mapeo de campos de flujo personalizados para ajustarlos a estructuras de datos específicas (por ejemplo, rejillas de vóxeles), lo que provoca una pérdida de calidad o un uso excesivo de la memoria. Además, el manejo de los desequilibrios de carga y la migración de partículas entre rangos MPI (el efecto "ping-pong") suele estar estrechamente acoplado a ecosistemas específicos como VTK, lo que limita la portabilidad.

Metodología

Los autores presentan Streami, una biblioteca extensible y de código abierto diseñada para computar líneas de campo directamente en clústeres multi-GPU utilizando un enfoque de paralelismo de datos. Streami actúa como una capa delgada entre las simulaciones de CFD y la renderización de bajo nivel, soportando tanto la visualización in-situ como in-transit.

Arquitectura de Software

Streami se divide en dos interfaces primarias:

1. Interfaz de Bajo Nivel (CUDA/C++)
Esta capa proporciona los bloques de construcción críticos para el rendimiento, utilizando polimorfismo en tiempo de compilación para evitar la sobrecarga en tiempo de ejecución.

• Abstracción de Campo Vectorial: La abstracción central es una clase VecField con componentes tanto de host como de dispositivo. La clase de dispositivo implementa dos funciones intrínsecas críticas:
  • sample(position): Reconstruye el valor del campo vectorial en una posición 3D específica.
  • destinationID(position): Determina el rango MPI (GPU) que posee los datos para una posición dada. Esto permite a la biblioteca manejar particiones espaciales arbitrarias (por ejemplo, rejillas uniformes, estructuras basadas en árboles) sin imponer un diseño de datos específico.
• Advección de Partículas: Implementada mediante kernels de CUDA (por ejemplo, usando integración de Runge-Kutta). El kernel muestrea el campo, actualiza las posiciones de las partículas y determina el rango de destino.
• Comunicación Inter-GPU: El intercambio de partículas entre rangos se gestiona mediante RaFI, una biblioteca optimizada diseñada originalmente para el trazado de rayos. RaFI trata a las partículas como rayos, almacenándolas en búfer y realizando transferencias colectivas de todos-a-todos (all-to-all) utilizando MPI consciente de CUDA (CUDA-aware MPI). Esto abstrae la complejidad de las consultas de vecindad y las regiones de halo del usuario.

2. Interfaz de Alto Nivel (C++ Orientado a Objetos)
Esta capa proporciona una clase Tracer que orquesta los algoritmos de visualización:

• Soporte de Algoritmos: Soporta Líneas de Corriente (flujo estacionario) y Líneas de Traza (flujo no estacionario).
• Flujo de Trabajo: La clase Tracer gestiona el paso de tiempo de la simulación, la generación de partículas (colocación de semillas) y la llamada iterativa al kernel de actualización update().
• Flexibilidad: La API permite a las aplicaciones pasar sus datos en su formato nativo (estructurado o no estructurado) sin necesidad de remuestreo, siempre que exista una implementación de tipo de campo compatible.

Extensiones de Campo

Streami soporta diferentes representaciones de campo a través de plantillas (templates) de C++. Actualmente, soporta:

• Campos Estructurados: Rejillas de vóxeles uniformes almacenadas en la memoria global.
• Campos No Estructurados: Rejillas que contienen tetraedros, pirámides, prismas y hexaedros, utilizando una Jerarquía de Volúmenes Envolventes (BVH) acelerada por GPU mediante cuBQL para consultas espaciales.

Contribuciones Clave

1. Una Biblioteca de Integración Directa: Streami ofrece una API sencilla para integrar la computación de líneas de campo en las canalizaciones de HPC existentes sin requerir copias de datos o cambios de contexto.
2. Eficiencia de Paralelismo de Datos: Al aprovechar la descomposición de dominio existente de la aplicación de CFD, Streami evita los problemas de equilibrio de carga y los costos de transferencia de datos asociados con el post-procesamiento tradicional.
3. Extensibilidad: La biblioteca permite a los usuarios definir tipos de campos vectoriales personalizados y esquemas de partición espacial (por ejemplo, recorridos de árboles) mediante plantillas de tiempo de compilación, eliminando la necesidad de remuestreo.
4. Lanzamiento de Código Abierto: Streami se publica bajo la licencia Apache 2.0, proporcionando una implementación de referencia para la visualización de flujo multi-GPU basada en MPI.

Resultados y Rendimiento

Los autores evaluaron Streami utilizando un conjunto de datos de astrofísica (1K³ vóxeles) en hasta 16 GPUs A100 (dos nodos).

• Rendimiento: Los pasos de advección únicos para 100,000 partículas promediaron entre 1 y 2 ms.
• Cuellos de Botella: Los resultados indican que el rendimiento está limitado principalmente por la sobrecarga de comunicación de MPI más que por la computación local de la GPU.
• Escalabilidad: La biblioteca trazó con éxito las partículas a través de rangos distribuidos, con la biblioteca RaFI gestionando eficientemente el intercambio de partículas.
• Datos No Estructurados: La biblioteca adaptó con éxito el conjunto de datos estructurado a un formato hexaédrico no estructurado, aunque las restricciones de memoria impidieron la ejecución en un número muy pequeño de GPUs (1–4 GPUs) para la variante no estructurada debido a la sobrecarga de la estructura BVH.

Significado y Reivindicaciones

El artículo posiciona a Streami como una abstracción necesaria que llena un vacío en el estado del arte para la visualización de flujo multi-nodo y multi-GPU. Su principal importancia radica en su capacidad para:

• Interoperar con las aplicaciones de simulación de HPC existentes reutilizando su descomposición de dominio.
• Minimizar la Sobrecarga evitando copias de datos y cambios de contexto, lo que la hace adecuada tanto para el post-procesamiento interactivo como para el análisis in-situ.
• Proporcionar una Base para futuras extensiones a otros tipos de líneas de campo (por ejemplo, líneas de trayectoria o pathlines) y topologías de campo complejas sin sacrificar el rendimiento de "velocidad de la luz" requerido para la visualización a gran escala en HPC.

Los autores concluyen que, si bien la biblioteca es modesta en su conjunto actual de características (centrándose en líneas de corriente y líneas de traza), su filosofía de diseño —separando la muestra de campo de bajo nivel de la lógica del algoritmo de alto nivel— proporciona un marco robusto para la computación eficiente y de paralelismo de datos de líneas de campo.