Multi-GPU fast Fourier transforms in MATLAB (for large-scale phase-field crystal simulations)

Die Autoren stellen ein MATLAB-Framework für schnelle Fourier-Transformationen auf mehreren GPUs vor, das durch die Überwindung von Speicherbeschränkungen und die Beschleunigung spektraler Löser eine bis zu sechzigfache Leistungssteigerung gegenüber CPU-basierten Implementierungen für großskalige Phasenfeldkristall-Simulationen ermöglicht.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, ein riesiges, komplexes Puzzle zu lösen, das die Struktur von Kristallen und die Bewegung von Flüssigkeiten beschreibt. Dieses Puzzle ist so groß, dass es die Speicherkapazität eines einzelnen modernen Computers (genauer gesagt: einer einzelnen Grafikkarte oder GPU) sprengt. Genau hier setzt die Arbeit von Maik Punke und Marco Salvalaglio an.

Hier ist eine einfache Erklärung ihrer Forschung, verpackt in alltägliche Bilder:

1. Das Problem: Der überfüllte Schreibtisch

Stellen Sie sich eine Grafikkarte (GPU) wie einen sehr schnellen, aber kleinen Schreibtisch vor. Auf diesem Tisch können Sie viele Dinge gleichzeitig bearbeiten (das ist die Stärke von GPUs). Aber wenn das Puzzle (die Simulation) zu groß wird, passt es einfach nicht mehr auf den Tisch. Alles, was nicht auf den Tisch passt, muss in einen Schrank (den Arbeitsspeicher des normalen Computers) gelegt werden, was den Prozess extrem verlangsamt.

Bisher mussten Wissenschaftler entweder:

• Das Puzzle in winzige Stücke schneiden (was die Genauigkeit mindert).
• Oder einen ganzen Raum voller langsamer Schreibtische (CPU-Kerne) nutzen, was sehr lange dauert.

2. Die Lösung: Ein Team von Arbeitern

Die Autoren haben eine neue Methode entwickelt, um mehrere dieser schnellen Schreibtische (mehrere GPUs) so zu koordinieren, dass sie wie ein einziges, riesiges Team arbeiten. Sie nutzen zwei verschiedene Strategien, je nachdem, was das Puzzle ist:

Strategie A: Der "Schicht-Wechsel" (Für ein einziges riesiges Puzzle)

Stellen Sie sich vor, Sie haben ein riesiges Wandgemälde, das zu groß für einen einzelnen Tisch ist.

• Wie es funktioniert: Sie schneiden das Gemälde in waagerechte Streifen (Schichten). Jeder GPU wird ein Streifen zugewiesen.
• Die Magie: Die GPUs arbeiten zuerst an ihren eigenen Streifen. Dann tauschen sie die Ränder ihrer Streifen kurz aus (wie Nachbarn, die sich über den Zaun rufen), um das Bild zusammenzusetzen, und berechnen den nächsten Schritt.
• Das Ergebnis: Plötzlich können sie ein Puzzle bearbeiten, das viel größer ist als der Platz auf einem einzelnen Tisch. Das beschleunigt die Berechnung um das Sechsfache im Vergleich zu alten Methoden.

Strategie B: Die "Spezialisten-Mannschaft" (Für komplexe, mehrschichtige Puzzles)

Manchmal ist das Puzzle nicht nur groß, sondern besteht aus vielen verschiedenen Ebenen gleichzeitig (z. B. Dichte, Geschwindigkeit und Temperatur).

• Wie es funktioniert: Statt das Bild zu schneiden, geben sie jeder GPU eine andere Aufgabe.
  • GPU 1 kümmert sich nur um die Dichte.
  • GPU 2 nur um die Geschwindigkeit.
  • GPU 3 und 4 um andere Eigenschaften.
• Die Magie: Nach jedem kleinen Schritt tauschen sie ihre Ergebnisse blitzschnell aus, damit alle wissen, was die anderen gerade berechnet haben.
• Das Ergebnis: Dies ist wie ein Orchester, bei dem jeder Musiker sein Instrument perfekt beherrscht und gleichzeitig spielt. Bei sehr komplexen Simulationen (Multi-Physik) ist diese Methode bis zu 60-mal schneller als herkömmliche Computer.

3. Warum ist das wichtig? (Der "Kristall-Backofen")

Die Wissenschaftler nutzen diese Methode für sogenannte Phasenfeld-Kristall-Modelle.

• Die Analogie: Stellen Sie sich vor, Sie wollen beobachten, wie sich ein Kristall bildet, während er gleichzeitig wie eine Flüssigkeit fließt. Das passiert auf einer winzigen Ebene (Atome), dauert aber sehr lange (Stunden oder Tage).
• Um das zu simulieren, muss man Milliarden von kleinen Punkten berechnen. Ohne diese neue Methode wäre das entweder unmöglich (zu viel Speicher) oder würde ewig dauern (zu langsam).
• Mit ihrer Methode können sie nun riesige Kristallstrukturen und komplexe Materialveränderungen in Echtzeit simulieren. Das hilft Ingenieuren und Physikern, neue Materialien zu entwickeln, ohne jedes Mal Jahre warten zu müssen.

4. Das Besondere: Alles in "MATLAB"

Bisher waren solche schnellen, mehrstufigen Berechnungen oft nur für Experten in sehr schwer verständlichen Programmiersprachen (wie C++) verfügbar.

• Die Erleichterung: Die Autoren haben alles in MATLAB geschrieben. Das ist eine Sprache, die vielen Wissenschaftlern und Studenten bereits vertraut ist und viel einfacher zu lesen ist.
• Der Vorteil: Es ist wie ein fertiges, gut sortiertes Werkzeug-Set, das jeder sofort benutzen kann, ohne erst ein Jahr lang Programmieren lernen zu müssen. Sie haben damit die Tür für viele weitere Forscher geöffnet, die nun diese schnellen Rechenmethoden nutzen können.

Zusammenfassung

Kurz gesagt: Die Autoren haben einen cleveren Weg gefunden, mehrere Grafikkarten so zusammenzuarbeiten, dass sie gemeinsam riesige, komplexe mathematische Rätsel lösen können, die für eine einzelne Karte zu groß wären. Sie haben dafür eine einfache Anleitung (in MATLAB) erstellt, die es Wissenschaftlern ermöglicht, Materialsimulationen viel schneller und genauer durchzuführen als je zuvor.

Technische Zusammenfassung

Problemstellung

Großskalige numerische Simulationen, die auf der Fourier-Pseudospektral-Methode basieren (insbesondere für Phasenfeld-Kristall-Modelle, PFC), stoßen bei der Nutzung einzelner GPUs an ihre Grenzen.

• Speicherbeschränkung: PFC-Modelle erfordern hohe räumliche Auflösung und große periodische Domänen, um atomare Kristallordnungen auf makroskopischen Zeitskalen zu simulieren. Dies führt zu enormen Speicheranforderungen, die die Kapazität einzelner GPUs (z. B. 40–94 GiB) oft überschreiten.
• Rechenleistung: Die Dynamik dieser Modelle wird durch partielle Differentialgleichungen zehnter Ordnung beschrieben, die in jedem Zeitschritt wiederholte mehrdimensionale Fast-Fourier-Transformationen (FFTs) erfordern. Diese FFTs stellen den primären rechnerischen Engpass dar.
• Fehlende Lösungen: Bisherige Implementierungen waren entweder auf einzelne GPUs beschränkt oder nutzten CPU-basierte Parallelisierung, die langsamer ist. Zudem gab es keine allgemeine Multi-GPU-FFT-Implementierung in MATLAB, die speziell auf solche Anwendungen zugeschnitten ist.

Methodik

Die Autoren stellen ein MATLAB-basiertes Framework vor, das zwei komplementäre Strategien zur Nutzung mehrerer GPUs implementiert, um die oben genannten Engpässe zu überwinden:

1. Verteilte FFT über Domänendekomposition (Single FFT on Multiple GPUs):

   • Ansatz: Eine einzelne hochdimensionale FFT wird über mehrere GPUs verteilt.
   • Technik: Es wird eine Slab-Dekomposition (Plattenzerlegung) entlang einer Dimension (z. B. z-Richtung) verwendet.
   • Ablauf: Jede GPU führt lokale 2D-FFTs durch. Anschließend erfolgt eine Peer-to-Peer (P2P)-Kommunikation, um die Daten neu zu verteilen (Transponieren der Datenblöcke), gefolgt von einer finalen 1D-FFT entlang der verbleibenden Dimension.
   • Ziel: Ermöglicht die Bearbeitung von Problemgrößen, die den Speicher eines einzelnen Geräts übersteigen.

2. Parallele Berechnung mehrerer Felder (Multiple GPU usage for Multiphysics):

   • Ansatz: Verschiedene physikalische Felder (z. B. Dichte $\psi$ und Geschwindigkeitsfelder $v$ in hydrodynamischen PFC-Modellen) werden auf separate GPUs verteilt.
   • Technik: Jedes Gerät berechnet ein spezifisches Feld. Nach jedem Zeitschritt erfolgt eine synchronisierte Kommunikation, um die gekoppelten Felder auszutauschen.
   • Ziel: Effiziente Handhabung von Multiphysik-Modellen mit vielen gekoppelten komplexen Variablen, die gleichzeitig evolvieren müssen.

Die Implementierung nutzt MATLABs spmd (Single Program Multiple Data) und spezifische Funktionen für GPU-Kommunikation (spmdSend, spmdReceive, spmdCat), um eine zugängliche und erweiterbare Basis zu schaffen.

Wichtige Beiträge

• Erste Multi-GPU-FFT in MATLAB: Das Paper stellt die erste Implementierung von Multi-GPU-FFTs in MATLAB vor, die unabhängig von spezifischen Anwendungen ist, aber speziell für PFC-Simulationen optimiert wurde.
• Skalierbarkeit: Die Strategie ermöglicht Simulationen in 2D und 3D, die mit einzelnen GPUs unmöglich wären, da sie den verfügbaren Arbeitsspeicher (HBM) über die Summe der GPUs hinweg nutzbar macht.
• Flexibilität: Das Framework unterstützt sowohl die Aufteilung eines einzelnen großen Problems als auch die Aufteilung mehrerer gekoppelter physikalischer Felder.
• Open Source: Der Code ist unter einer MIT-Lizenz auf GitHub verfügbar, was die Reproduzierbarkeit und Weiterentwicklung fördert.

Ergebnisse

Die Leistung wurde auf HPC-Clustern der TU Dresden (NHR Center) mit NVIDIA H100 und A100 GPUs sowie einem Referenz-System mit Intel Xeon CPUs getestet.

• Geschwindigkeitssteigerung:
  • Für Standard-PFC-Simulationen wurde eine ca. sechsfache Beschleunigung im Vergleich zu einer rein CPU-basierten Implementierung (auf 100 Kernen) erzielt.
  • Für Multiphysik-Erweiterungen (hydrodynamisches PFC) wurden Beschleunigungen von bis zu sechzigfach erreicht.
• Skalierbarkeit: Die Benchmarks zeigten, dass die Methode für Gittergrößen von $750^3$ bis $1400^3$ effektiv skaliert.
• Anwendungsbeispiele:
  • 2D: Dendritisches Erstarren (demonstriert die Effizienz bei großen Domänen).
  • 3D: Polykristallines Vergröbern im hydrodynamischen PFC-Modell (demonstriert die Fähigkeit, komplexe, gekoppelte Felder zu simulieren).

Bedeutung und Fazit

Dieses Werk ist von erheblicher Bedeutung für die computergestützte Materialwissenschaft und Strömungsmechanik:

1. Überwindung von Speicherbarrieren: Es ermöglicht die Simulation von PFC-Modellen mit bisher unerreichter Größe und Auflösung, was für das Verständnis von Defekten, Korngrenzen und Mikrostrukturentwicklung entscheidend ist.
2. Demokratisierung von High-Performance Computing: Durch die Implementierung in MATLAB wird der Zugang zu hochleistungsfähigen GPU-Clustern für Forscher erleichtert, die nicht in der Lage sind, komplexe C++/CUDA-Codebasen zu warten.
3. Zukunftssicherheit: Die Strategie ist besonders gut geeignet für zukünftige Multiphysik-Modelle, die die gleichzeitige Evolution vieler gekoppelter Felder erfordern (z. B. komplexe Amplitudenmodelle).

Zusammenfassend bietet das Framework einen effizienten Weg, die Genauigkeit und Skalierbarkeit von Pseudospektral-Lösern durch die Nutzung moderner Multi-GPU-Architekturen voll auszuschöpfen.