Streami: An MPI Data-Parallel Library to Compute Field Lines on GPUs

Dieses Paper stellt Streami vor, eine Open-Source, erweiterbare und GPU-beschleunigte Bibliothek, die mit MPI-Anwendungen interagiert, um Feldlinien in Fluidströmungen sowohl für die Post-hoc- als auch für die In-situ-Analyse effizient zu berechnen.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, die unsichtbaren Strömungen eines gewaltigen, wirbelnden Sturms innerhalb eines Supercomputers zu visualisieren. In der Welt der Strömungsmechanik verwenden Wissenschaftler „Feldlinien“ (wie Stromlinien), um die Pfade zu zeichnen, die winzige Teilchen nehmen würden, während sie auf diesen Strömungen reiten. Es ist so, als würde man Millionen von Blättern in einen Fluss werfen, um zu sehen, wohin das Wasser fließt.

Das Problem ist, dass diese Simulationen riesig sind. Sie laufen auf Supercomputern, die mit Dutzenden leistungsstarker Grafikkarten (GPUs) arbeiten, die über viele verschiedene Maschinen verteilt sind. Normalerweise müsste man, um diese Linien zu zeichnieren, die Simulation stoppen, all diese massiven Daten auf einen separaten Computer kopieren und dann versuchen, sie zu zeichnen. Aber das Bewegen dieser Menge an Daten ist so, als würde man versuchen, den gesamten Ozean in eine Teetasse zu gießen; es ist langsam, teuer und erzeugt einen Flaschenhals, der alles zum Stillstand bringt.

Hier kommt „Streami“ ins Spiel.

Betrachten Sie Streami als einen spezialisierten, Hochgeschwindigkeits-Kurierdienst, der direkt innerhalb des Supercomputers lebt. Anstatt die Daten nach außen zu bewegen, bewegt Streami die „Blätter“ (die Teilchen) direkt zwischen den verschiedenen Grafikkarten, die die Daten bereits halten.

So funktioniert es, unterteilt in einfache Konzepte:

1. Der „In-Situ“-Lieferdienst

Die meisten Visualisierungswerkzeuge sind wie ein Lieferdienst, der ein Paket abholt, es zu einem Lagerhaus fährt, sortiert und dann versendet. Streami ist anders. Es ist wie ein Teleportationsnetzwerk, das direkt in die Fabrikhalle eingebaut ist.

• Das Setup: Der Supercomputer ist in Nachbarschaften (Datenpartitionen) unterteilt, wobei jede Nachbarschaft von einer spezifischen GPU verwaltet wird.
• Der Auftrag: Streami ermöglicht es einem Teilchen, in Nachbarschaft A zu starten, sich durch den Fluss zu bewegen, und falls es die Grenze zu Nachbarschaft B überschreitet, „teleportiert“ es sich sofort (über eine schnelle, direkte Verbindung) zur GPU, die Nachbarschaft B verwaltet.
• Der Vorteil: Die Daten verlassen den Supercomputer nie. Die Simulation und die Visualisierung finden gleichzeitig auf denselben Maschinen statt, ohne die langsame „LKW-Fahrt“ durch das Kopieren von Daten.

2. Die zwei Ebenen der Bibliothek

Das Paper beschreibt Streami als eine Struktur mit zwei „Sprachen“ oder Ebenen:

• Die Low-Level-Ebene (Der Motor): Dies ist die schwere Maschinerie, die in einer sehr schnellen, technischen Sprache (CUDA/C++) geschrieben ist. Es ist der Teil, der die mathematischen Berechnungen für jedes einzelne Teilchen durchführt, prüft, in welcher Nachbarschaft es sich befindet, und die sofortige Teleportation zwischen den Computern handhabt. Sie ist darauf ausgelegt, so schnell wie physisch möglich zu sein, indem sie „Templates“ verwendet, damit sie sich an verschiedene Arten von Datengittern anpassen kann, ohne langsamer zu werden.
• Die High-Level-Ebene (Das Dashboard): Dies ist die benutzerfreundliche Schnittstelle (geschrieben in C++). Sie ist wie das Lenkrad und das Armaturenbrett eines Autos. Wissenschaftler müssen nicht wissen, wie der Motor funktioniert; sie sagen dem Dashboard einfach: „Zeichne mir eine Partikelströmung ab diesem Punkt“, und das Dashboard kümmert sich im Hintergrund um die komplexe Mathematik und Kommunikation.

3. Der Umgang mit unterschiedlichen Terrains

Fluid-Simulationen können chaotisch sein. Manchmal sind die Daten ein ordentliches, gleichmäßiges Gitter (wie ein Schachbrett). Andere Male ist es ein chaotisches, unregelmäßiges Netz aus Formen (wie ein Haufen Steine).

• Streami ist erweiterbar. Es besitzt einen „universellen Übersetzer“, der sowohl die ordentlichen Schachbrettgitter als auch die chaotischen Steinhaufen verstehen kann.
• Wenn ein Wissenschaftler einen neuen, ungewöhnlichen Datentyp hat, kann er diesen in die Low-Level-Engine von Streami einbinden, ohne das gesamte System neu aufbauen zu müssen. Die Bibliothek findet heraus, wie sie sich in dem spezifischen Terrain der Daten navigieren muss.

4. Reale Tests

Die Autoren haben Streami auf einem Cluster mit 16 leistungsstarken GPUs getestet. Sie verfolgten 100.000 Teilchen, die sich durch eine simulierte Galaxie bewegten.

• Das Ergebnis: Das System war unglaublich schnell und benötigte nur etwa 1 bis 2 Millisekunden, um alle Teilchen einen Schritt vorwärts zu bewegen.
• Der Flaschenhals: Das Einzige, was es leicht verlangsamte, war der „Anruf“ zwischen den verschiedenen Computern (MPI-Kommunikation), um zu sagen: „Hey, dieses Teilchen ist jetzt in deiner Nachbarschaft.“ Selbst dann war es sehr effizient.

Zusammenfassung

Kurz gesagt ist Streami ein Werkzeug, das es Wissenschaftlern ermöglicht, Flusslinien (wie Wind- oder Wasserströmungen) direkt innerhalb eines massiven Supercomputers zu zeichnen, während die Simulation läuft. Es vermeidet den langsamen, mühsamen Prozess des Kopierens riesiger Datenmengen. Stattdessen fungiert es als nahtlose Brücke, die es Teilchen ermöglicht, instantan zwischen verschiedenen Grafikkarten zu springen, was es möglich macht, komplexe, massive Fluidströme in Echtzeit oder nahezu Echtzeit zu visualisieren.

Die Autoren haben dieses Tool als Open-Source zur Verfügung gestellt, was bedeutet, dass jeder es nutzen kann, um seine eigenen Anwendungen für die „interaktive Platzierung von Startpunkten“ (wo man per Klick virtuelle Blätter in eine Simulation fallen lassen kann, um zu sehen, wohin sie führen) zu bauen oder es in seine eigenen wissenschaftlichen Arbeitsabläufe zu integrieren.

Technische Zusammenfassung

Technisches Resümee: Streami – Eine MPI-dataparallele Bibliothek für GPU-beschleunigte Feldlinienberechnung

Problemstellung

Feldlinien (z. B. Stromlinien, Streaklines) sind essenzielle Primitiven für die Analyse von Fluidströmungen, insbesondere in der numerischen Strömungsmechanik (CFD). Diese Simulationen laufen typischerweise auf High-Performance-Computing-Systemen (HPC), die verteilte Speicher und Multi-GPU-Knoten nutzen. Während die Berechnung einzelner GPUs über APIs wie CUDA oder HIP beschleunigt wird, erfolgt die Kommunikation zwischen den Knoten über MPI.

Aktuelle Visualisierungs-Workflows stehen vor erheblichen Engpässen:

1. Datenbewegung: Das Kopieren massiver, verteilter Datensätze auf eine separate Workstation zur Nachbearbeitung ist aufgrund des Volumens und der Latenz oft nicht praktikabel.
2. Mangel an Abstraktion: Während Bibliotheken für skalare Feldvisualisierung (z. B. OSPRay, ANARI) oder In-situ-Orchestrierung (z. B. Catalyst, Ascent) existieren, gibt es keine hochperformante, datenparallele Abstraktion speziell für die Feldlinienberechnung, die sich nahtlos in bestehende MPI-Domänenzerlegungen integriert.
3. Inflexibilität: Bestehende Werkzeuge erfordern oft ein Resampling oder Remapping von benutzerdefinierten Strömungsfeldern, um sie an spezifische Datenstrukturen (z. B. Voxel-Gitter) anzupassen, was zu Qualitätsverlust oder übermäßigem Speicherverbrauch führt. Zudem ist die Handhabung von Lastimbalancen und Partikelmigration zwischen MPI-Ranks (der „Ping-Pong-Effekt“) oft eng an Ökosysteme wie VTK gekoppelt, was die Portabilität einschränkt.

Methodik

Die Autoren präsentieren Streami, eine erweiterbare Open-Source-Bibliothek, die darauf ausgelegt ist, Feldlinien direkt auf Multi-GPU-Clustern mittels eines datenparallelen Ansatzes zu berechnen. Streami funget als dünne Schicht zwischen CFD-Simulationen und der Low-Level-Rendering-Ebene und unterstützt sowohl In-situ- als auch In-transit-Visualisierung.

Softwarearchitektur

Streami ist in zwei primäre Schnittstellen unterteilt:

1. Low-Level-Schnittstelle (CUDA/C++)
Diese Schicht stellt die leistungskritischen Bausteine bereit und nutzt zur Vermeidung von Laufzeitoverhead polymorphe Typisierung zur Kompilierzeit.

• Vektorfeld-Abstraktion: Die Kernabstraktion ist eine VecField-Klasse mit Host- und Device-Komponenten. Die Device-Klasse implementiert zwei kritische intrinsische Funktionen:
  • sample(position): Rekonstruiert den Wert des Vektorfeldes an einer spezifischen 3D-Position.
  • destinationID(position): Bestimmt den MPI-Rank (GPU), der die Daten für eine gegebene Position hält. Dies ermöglicht es der Bibliothek, beliebige räumliche Partitionierungen (z. B. uniforme Gitter, baumbasierte Strukturen) zu handhaben, ohne ein spezifisches Datenlayout aufzuerlegen.
• Partikel-Advektion: Implementiert über CUDA-Kernel (z. B. unter Verwendung der Runge-Kutta-Integration). Der Kernel sampelt das Feld, aktualisiert die Partikelpositionen und bestimmt den Ziel-Rank.
• Inter-GPU-Kommunikation: Der Partikelaustausch zwischen Ranks wird durch RaFI gehandhabt, eine optimierte Bibliothek, die ursprünglich für das Raytracing entwickelt wurde. RaFI behandelt Partikel wie Strahlen (Rays), puffert sie und führt kollektive All-to-All-Transfers mittels CUDA-aware MPI durch. Dies abstrahiert die Komplexität von Nachbarschaftsabfragen und Halo-Regionen für den Benutzer.

2. High-Level-Schnittstelle (Objektorientiertes C++)
Diese Schicht stellt eine Tracer-Klasse bereit, die die Visualisierungsalgorithmen orchestriert:

• Algorithmus-Unterstützung: Unterstützt Stromlinien (stationäre Strömung) und Streaklines (instationäre Strömung).
• Workflow: Der Tracer verwaltet den Zeitschritt der Simulation, die Partikelgenerierung (Seed-Platzierung) und den iterativen Aufruf des Low-Level update()-Kernels.
• Flexibilität: Die API ermöglicht es Anwendungen, Daten in ihrem nativen Format (strukturiert oder unstrukturiert) zu übergeben, ohne ein Resampling durchzuführen, sofern eine kompatible Feldtyp-Implementierung vorliegt.

Feld-Erweiterungen

Streami unterstützt verschiedene Feldrepräsentationen durch C++-Templates. Aktuell werden unterstützt:

• Strukturierte Felder: Uniforme Voxel-Gitter, die im globalen Speicher gespeichert sind.
• Unstrukturierte Felder: Gitter, die Tetraeder, Pyramiden, Prismen und Hexaeder enthalten, unter Verwendung einer GPU-beschleunigten Bounding Volume Hierarchy (BVH) via cuBQL für räumliche Abfragen.

Kernbeiträge

1. Eine Drop-in-Bibliothek: Streami bietet eine einfache API zur Integration der Feldlinienberechnung in bestehende HPC-Pipelines, ohne dass Datenkopien oder Kontextwechsel erforderlich sind.
2. Datenselektivität und Effizienz: Durch die Nutzung der bestehenden Domänenzerlegung der CFD-Anwendung vermeidet Streami die Probleme der Lastverteilung und der Datentransferkosten, die mit traditioneller Nachbearbeitung verbunden sind.
3. Erweiterbarkeit: Die Bibliothek erlaubt es Benutzern, benutzerdefinierte Vektorfeldtypen und räumliche Partitionierungsschemata (z. B. Baum-Traversierungen) über C++-Templates zu definieren, wodurch ein Resampling überflüssig wird.
4. Open Source Release: Streami wird unter der Apache 2.0-Lizenz veröffentlicht und bietet eine Referenzimplementierung für die Multi-GPU- und MPI-basierte Strömungsvisualisierung.

Ergebnisse und Performance

Die Autoren evaluierten Streami mit einem Astrophysik-Datensatz (1K³ Voxel) auf bis zu 16 A100-GPUs (zwei Knoten).

• Performance: Einzelne Advektionsschritte für 100.000 Partikel dauerten im Durchschnitt 1–2 ms.
• Engpässe: Die Ergebnisse zeigen, dass die Performance primär durch den MPI-Kommunikationsoverhead und nicht durch die lokale GPU-Berechnung begrenzt wird.
• Skalierbarkeit: Die Bibliothek konnte Partikel erfolgreich über verteilte Ranks hinweg verfolgen, wobei die RaFI-Bibliothek den Partikelaustausch effizient handhabte.
• Unstrukturierte Daten: Die Bibliothek konnte den strukturierten Datensatz erfolgreich in ein unstrukturiertes Hexaeder-Format adaptieren, wenngleich Speicherbeschränkungen die Ausführung bei sehr geringen GPU-Zahlen (1–4 GPUs) für die unstrukturierte Variante verhinderten, bedingt durch den Overhead der BVH-Struktur.

Bedeutung und Ansprüche

Das Paper positioniert Streami als eine notwendige Abstraktion, die eine Lücke im aktuellen Stand der Technik für die Multi-Node/Multi-GPU-Strömungsvisualisierung schließt. Die primäre Bedeutung liegt in der Fähigkeit:

• Mit bestehenden HPC-Simulationsanwendungen zu interoperieren, indem deren Domänenzerlegung wiederverwendet wird.
• Den Overhead zu minimieren, indem Datenkopien und Kontextwechsel vermieden werden, was die Bibliothek sowohl für die interaktive Nachbearbeitung als auch für die In-situ-Analyse geeignet macht.
• Eine Grundlage zu bilden für zukünftige Erweiterungen auf andere Feldlinien-Typen (z. B. Pfadlinien) und komplexe Feldtopologien, ohne die für die großskalige HPC-Visualisierung erforderliche „Speed-of-Light“-Performance zu opfern.

Die Autoren kommen zu dem Schluss, dass Streami, obwohl die aktuelle Funktionsvielfalt moderat ist (Fokus auf Stromlinien und Streaklines), durch die Designphilosophie – die Trennung der Low-Level-Feldabtastung von der High-Level-Algorithmuslogik – ein robustes Framework für die effiziente, datenparallele Feldlinienberechnung bietet.