A Comparison of Massively Parallel Performance Portable Particle-in-Cell schemes for electrostatic kinetic plasma simulations

Dieser Beitrag bewertet die Leistungsfähigkeit und Portabilität verschiedener Poisson-Löser, einschließlich FFT, PCG, FEM und der neuartigen Particle-in-Fourier (PIF)-Verfahren, innerhalb der IPPL-Bibliothek für elektrostatische PIC-Simulationen auf unterschiedlichen GPU-Architekturen und stellt fest, dass FFT zwar am schnellsten ist, das PIF-Verfahren jedoch als hochgenaue Alternative eine hervorragende Skalierbarkeit bietet.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, eine massive Menschenmenge (Partikel) zu simulieren, die sich durch einen Raum bewegt, wobei sich alle basierend auf ihrer Position gegenseitig drängen und ziehen. Das ist im Wesentlichen das, was Wissenschaftler tun, wenn sie Plasma (ein extrem heißes, elektrisch geladenes Gas) simulieren, um sein Verhalten zu verstehen.

Dieser Artikel ist ein „Rennbericht", der verschiedene Methoden zur Berechnung der Kräfte zwischen diesen Partikeln vergleicht, um herauszufinden, welche Methode auf den leistungsstärksten Supercomputern der Welt am schnellsten und zuverlässigsten ist.

Hier ist die Aufschlüsselung des Rennens mit einfachen Analogien:

Die Szenerie: Die „Particle-in-Cell"-Schleife

Stellen Sie sich die Simulation als ein Spiel vor, das in Runden gespielt wird. In jeder Runde führt der Computer vier Dinge aus:

1. Scatter (Streuen): Er nimmt die Positionen der Partikel und malt ihre „Ladung" auf ein Gitter (wie ein Schachbrett).
2. Solve (Lösen): Er berechnet das elektrische Feld (die Druck-/Zugkraft) überall auf diesem Gitter basierend auf den gemalten Ladungen. Dies ist das Hauptereignis des Rennens.
3. Gather (Sammeln): Er liest die Kraft vom Gitter ab und teilt jedem Partikel mit, wie er sich bewegen soll.
4. Push (Schieben): Die Partikel bewegen sich an ihre neuen Plätze.

Die Autoren testeten vier verschiedene „Solver" (Methoden zur Berechnung von Schritt 2), um zu sehen, welcher gewinnt.

Die vier Läufer

1. Der FFT-Solver (Der schnelle Sprinter)

• Funktionsweise: Diese Methode nutzt einen mathematischen Trick namens „Fast Fourier Transform" (Schnelle Fourier-Transformation). Stellen Sie sich vor, Sie versuchen, ein Puzzle zu lösen, indem Sie das gesamte Bild sofort in einem Spiegel sehen, anstatt es ein Teilchen nach dem anderen zu betrachten. Es ist unglaublich schnell.
• Der Haken: Es funktioniert nur, wenn der Raum „periodische" Grenzen hat. Denken Sie an eine Videospielewelt, in der Sie, wenn Sie den rechten Rand verlassen, sofort auf der linken Seite wieder auftauchen. Es kann keine Wände oder offenen Türen handhaben.
• Das Ergebnis: Es war in Bezug auf die reine Zeit absolut am schnellsten. Allerdings stolperte es auf einem bestimmten Supercomputer (Alps), weil der Teil „Partikelbewegung" der Schleife hängen blieb und das gesamte Rennen verlangsamt wurde.

2. Der PCG-Solver (Der zuverlässige Arbeitstier)

• Funktionsweise: Diese Methode zerlegt das Gitter in winzige Quadrate und löst die Mathematik Schritt für Schritt, wie ein Detektiv, der jeden Hinweis einzeln überprüft. Sie verwendet einen „Preconditioned Conjugate Gradient"-Ansatz.
• Der Haken: Es ist viel langsamer als der FFT (etwa 10-mal langsamer in der reinen Zeit), aber es ist sehr flexibel. Es kann Wände (Dirichlet) oder offene Räume (Neumann) handhaben, nicht nur die „Wrap-Around"-Videospielewelt.
• Das Ergebnis: Es skaliert gut (wird schneller, wenn Sie mehr Computer hinzufügen), aber es dauert länger, die Arbeit zu erledigen.

3. Der FEM-Solver (Der hochpräzise Architekt)

• Funktionsweise: Dies ist die „Finite-Elemente-Methode". Anstatt eines starren Gitters behandelt sie den Raum wie ein flexibles Netz, das sich biegen und an komplexe Formen anpassen kann. Es ist wie ein maßgeschneiderter Anzug im Vergleich zu einem klobigen, vom Regal gekauften Hemd.
• Der Haken: Wie der PCG ist es langsamer als der FFT. Es hat auch Schwierigkeiten mit der Kommunikation zwischen Computern, da es ständig die Ränder seines flexiblen Netzes überprüfen muss.
• Das Ergebnis: Es ist großartig, wenn Sie hohe Präzision oder komplexe Formen benötigen, aber es ist nicht der Geschwindigkeitsmeister.

4. Der PIF-Solver (Der neue Herausforderer)

• Funktionsweise: Dies ist das „Particle-in-Fourier"-Schema. Anstatt Partikel zuerst auf ein Gitter zu malen, projiziert es sie direkt in den „Frequenzraum" (eine mathematische Darstellung von Wellen). Es ist, als würde man die Karte ganz überspringen und sich am Rhythmus der Wellen orientieren.
• Der Haken: Es erfordert spezielle Mathematik (Nicht-uniforme FFTs), um Partikel zu handhaben, die nicht perfekt ausgerichtet sind.
• Das Ergebnis: Es ist teurer (langsamer) als der FFT, aber es ist unglaublich stabil und genau. Es leidet nicht unter den „Geister"- oder „Aliasing"-Fehlern, die auftreten, wenn man versucht, ein rundes Partikel auf ein quadratisches Gitter zu passen. Es skaliert auf allen Maschinen wunderschön, was bedeutet, dass es sehr effizient schneller wird, wenn Sie mehr Leistung hinzufügen.

Die Rennstrecke (Die Supercomputer)

Die Autoren führten diese Tests auf drei verschiedenen „Strecken" (Supercomputer) mit unterschiedlichen Motoren durch:

• Alps (Schweiz): Verwendet Nvidias neueste Chips.
• LUMI (Finnland): Verwendet AMD-Chips.
• JUWELS Booster (Deutschland): Verwendet ältere Nvidia-Chips.

Das Siegerpodest

• Reine Geschwindigkeit: Der FFT-Solver gewinnt mit Abstand, aber nur wenn Ihr Problem in seine strengen Regeln (periodische Grenzen) passt und Sie nicht den spezifischen Alps-Computer verwenden, bei dem ein technischer Fehler es verlangsamt hat.
• Flexibilität: Die PCG- und FEM-Solver sind die beste Wahl, wenn Ihre Simulation Wände oder komplexe Formen hat. Sie sind langsamer, erledigen die Aufgabe aber dort, wo der FFT nicht hinkommt.
• Hohe Genauigkeit: Der PIF-Solver ist der neue Star. Obwohl er etwas länger braucht als der FFT, bietet er das beste Gleichgewicht aus Geschwindigkeit, Stabilität und Genauigkeit. Es ist wie ein Sportwagen, der etwas langsamer ist als ein Formel-1-Auto, aber die Kurven viel besser meistert und sicherer zu fahren ist.

Das Fazit

Der Artikel kommt zu dem Schluss, dass es keinen einzelnen „besten" Solver gibt.

• Wenn Sie Geschwindigkeit benötigen und einfache Grenzen haben, verwenden Sie FFT.
• Wenn Sie Flexibilität benötigen (Wände, komplexe Formen), verwenden Sie PCG oder FEM.
• Wenn Sie hohe Genauigkeit und Stabilität ohne die Fehler herkömmlicher Methoden benötigen, ist PIF eine hervorragende, skalierbare Alternative.

Die Autoren stellten auch fest, dass sie derzeit daran arbeiten, den „Partikel-Aktualisierungs"-Fehler auf dem Alps-Supercomputer zu beheben und die „Vorkonditionierung" (eine Methode zur Beschleunigung der Mathematik) für den FEM-Solver zu verbessern, um sie in Zukunft noch schneller zu machen.

Technische Zusammenfassung

Technische Zusammenfassung: Ein Vergleich massiv paralleler, leistungstransportabler Particle-in-Cell-Schemata für elektrostatische kinetische Plasmasimulationen

Problemstellung
Der Beitrag adressiert die Herausforderung, optimale numerische Schemata für elektrostatische kinetische Plasmasimulationen auszuwählen, insbesondere zur Lösung des Vlasov-Poisson-Systems, im Kontext moderner heterogener High-Performance-Computing-(HPC)-Architekturen. Da sich das Supercomputing hin zu heterogenen Systemen entwickelt, die CPUs und GPUs verschiedener Hersteller (z. B. AMD, Intel, Nvidia) kombinieren, müssen Simulationscodes sowohl massiv parallelisiert als auch leistungstransportabel sein. Die Autoren untersuchen, welche Particle-in-Cell-(PIC)-Feldlöser und alternative Schemata das beste Gleichgewicht zwischen Genauigkeit, Skalierbarkeit und Portabilität über verschiedene Hardwareplattformen hinweg bieten. Die Studie konzentriert sich auf das elektrostatische Vlasov-Poisson-System, ein gekoppeltes nichtlineares hochdimensionales PDE-System, das für die Strahlphysik und Plasmasimulationen von entscheidender Bedeutung ist.

Methodik
Die Autoren nutzen die IPPL (Independent Parallel Particle Layer)-Bibliothek, ein C++-Framework, das für leistungstransportable, dimensionsunabhängige Particle-Mesh-Methoden entwickelt wurde. IPPL nutzt Kokkos zur Hardwareabstraktion, heFFTe für FFTs und MPI für die Kommunikation zwischen den Knoten.

Die Studie bewertet vier verschiedene Schemata, die innerhalb von IPPL implementiert sind, unter Verwendung der Mini-Anwendung Landau-Dämpfung als Testfall. Die verglichenen Schemata sind:

1. FFT-Löser: Ein Pseudo-spektraler Löser, der Fast-Fourier-Transformationen verwendet und für periodische und Freiraum-Randbedingungen geeignet ist.
2. PCG-Löser: Ein matrixfreier, zweiter Ordnung präziser Finite-Differenzen-Löser mit vorkonditioniertem konjugiertem Gradienten, der Dirichlet-, Neumann- und periodische Randbedingungen handhaben kann.
3. FEM-Löser: Ein matrixfreier Finite-Elemente-Methode-Löser, der Lagrange-Basisfunktionen erster Ordnung verwendet (was eine Genauigkeit zweiter Ordnung bietet) und sowohl unstrukturierte Gitter als auch verschiedene Randbedingungen handhaben kann.
4. PIF-Schema (Particle-in-Fourier): Ein neuartiger Ansatz, der die Interpolation im Realraum vermeidet. Er projiziert Teilchenladungen direkt unter Verwendung von nicht-gleichförmigen FFTs (NUFFTs) in den Fourier-Raum, löst die Feldgleichungen spektral und interpoliert die Kräfte zurück auf die Teilchen. Dieses Verfahren zielt darauf ab, Aliasing zu eliminieren und Erhaltungseigenschaften zu verbessern.

Experimenteller Aufbau
Die Auswertung wurde auf drei unterschiedlichen Supercomputer-Architekturen durchgeführt:

• Alps (CSCS, Schweiz): 2688 Knoten mit GH200-Chips (Nvidia Grace-Hopper).
• LUMI-G (CSC, Finnland): 2978 Knoten mit AMD MI250X-GPUs.
• JUWELS Booster (Jülich, Deutschland): 936 Knoten mit Nvidia A100-GPUs.

Zwei Problemgrößen wurden für das starke Skalieren getestet:

• Fall A: $512^3$ Gitter mit 8 Teilchen pro Zelle (~1 Milliarde Teilchen).
• Fall B: $1024^3$ Gitter mit 8 Teilchen pro Zelle (~8,5 Milliarden Teilchen).

Auch schwache Skalierungsstudien wurden durchgeführt, wobei die Problemgröße proportional zur GPU-Anzahl erhöht wurde, um eine konstante Arbeitslast pro GPU aufrechtzuerhalten.

Wichtige Ergebnisse

• Absolute Leistung: Der FFT-Löser zeigte konsistent die niedrigste absolute Laufzeit über alle Architekturen hinweg, begünstigt durch die Optimierungen in der heFFTe-Bibliothek. Seine Anwendbarkeit ist jedoch auf periodische oder Freiraum-Randbedingungen beschränkt.
• Skalierbarkeit und Engpässe:
  • Auf Alps (GH200) war das starke Skalieren des FFT-Lösers durch den Kernel für die Teilchenaktualisierung begrenzt. Das Aktivieren von CUDA-IPC auf diesen Knoten erhöhte die Laufzeit der Teilchenaktualisierung, wodurch die FFT-Phase (die sehr schnell war) nicht länger der Engpass war; stattdessen wurde die Teilchenkommunikation zum dominierenden Faktor, was die Skalierungseffizienz für Fall A nach 32 GPUs auf unter 50 % verschlechterte.
  • Die PCG- und FEM-Löser, bei denen die lineare Lösung oder Streu-/Sammeloperationen die primären Engpässe darstellen, maskierten die Kosten der Teilchenaktualisierung und zeigten auf Alps eine bessere Skalierung.
  • Das PIF-Schema zeigte eine hervorragende Skalierbarkeit und hielt die Effizienz auf LUMI und JUWELS Booster bis zu 512 GPUs sowie auf Alps für die größere Problemgröße bis zu 1024 GPUs über 50 %.
• Vergleich der Löser:
  • PCG und FEM: Diese Löser waren in der absoluten Zeit etwa um eine Größenordnung langsamer als der FFT-Löser, skalierten jedoch im Kontext elektrostatischer PIC-Simulationen ähnlich. Der FEM-Löser verursachte aufgrund der für Randbedingungen erforderlichen bedingten Logik bei Matrix-Vektor-Bewertungen und der Halo-Kommunikation leicht höhere Kosten.
  • PIF: Obwohl teurer als das FFT-basierte PIC-Schema, bot PIF Ergebnisse hoher Qualität mit hervorragenden Erhaltungseigenschaften und Stabilität. Bei größeren Knotenzahlen übertraf PIF den FFT-Löser auf bestimmten Architekturen in der absoluten Zeit manchmal, bedingt durch den Engpass der Teilchenaktualisierung beim FFT.
• Vorkonditionierung: Die Studie stellte fest, dass matrixfreie Vorkonditionierung für FEM nach wie vor eine Herausforderung darstellt. Eine naive Implementierung unter Verwendung von bedingter Logik reduzierte zwar die Anzahl der CG-Iterationen, erhöhte jedoch die Laufzeit pro Iteration aufgrund der GPU-Suboptimalität bei bedingten Anweisungen.

Bedeutung und Behauptungen
Die Autoren behaupten, dass diese Arbeit eine umfassende Charakterisierung verschiedener PIC- und PIF-Schemata auf massiv parallelen, heterogenen Supercomputern liefert. Die Hauptbeiträge sind:

1. Demonstration der Portabilität: Die Studie validiert, dass die IPPL-Bibliothek leistungstransportable Particle-Mesh-Simulationen über verschiedene Hardware (AMD- und Nvidia-GPUs) hinweg erfolgreich bereitstellen kann, ohne architekturspezifische Code-Neuschreibungen zu erfordern.
2. Leitfaden zur Löserauswahl: Der Beitrag klärt die Kompromisse zwischen den Lösern auf. Während FFT bei periodischen Problemen in puncto Geschwindigkeit überlegen ist, bieten PCG und FEM die notwendige Flexibilität für komplexe Randbedingungen. PIF wird als Alternative hoher Qualität identifiziert, die Aliasing vermeidet und eine wettbewerbsfähige Skalierbarkeit bietet, was es zu einer praktikbaren Option für Simulationen macht, bei denen Erhaltung und Stabilität von größter Bedeutung sind.
3. Identifikation von Engpässen: Die Arbeit hebt hervor, dass in hochoptimierten FFT-Implementierungen auf bestimmten Architekturen (wie GH200) der Kernel für die Teilchenaktualisierung zum limitierenden Faktor werden kann, eine Nuance, die oft übersehen wird, wenn der Fokus ausschließlich auf Feldlösern liegt.

Der Beitrag schließt damit, dass die Wahl des Lösers auf die spezifischen physikalischen Einschränkungen (z. B. Randbedingungen) und die Zielhardware zugeschnitten sein sollte, wobei höhere Ordnungsschemata wie PIF moderne massiv parallele Architekturen trotz ihrer Rechenkosten voll ausschöpfen können. Als zukünftige Arbeit wird die Verbesserung der matrixfreien Vorkonditionierung für FEM zur weiteren Leistungssteigerung identifiziert.