Unified MPI Parallelization of Wave Function Methods: iCIPT2 as a Showcase

Diese Arbeit präsentiert ein vereinheitlichtes MPI-Parallelisierungsframework innerhalb der MetaWave-Plattform, das Rechenschritte in dynamisch geplanten Schleifen abstrahiert und dessen hohe Effizienz sowie Fähigkeit demonstriert, groß angelegte iCIPT2-Berechnungen für das Benchmarking komplexer chemischer Systeme wie Cyclobutadien, Benzol und Ozon durchzuführen.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, ein riesiges, unglaublich komplexes Puzzle zu lösen. In der Welt der Chemie besteht dieses Puzzle darin, genau zu bestimmen, wie sich Elektronen in einem Molekül verhalten, um dessen Energie und Eigenschaften vorherzusagen. Je genauer man sein möchte, desto mehr Puzzleteile (mathematische Konfigurationen) muss man berücksichtigen. Bei großen Molekülen wird die Anzahl der Teile so gewaltig, dass selbst die schnellsten Supercomputer der Welt Schwierigkeiten haben, sie alle in den Speicher zu passen oder die Berechnung in einer angemessenen Zeit abzuschließen.

Dieses Paper stellt eine neue Art vor, die „Arbeiter“ (Computerprozessoren) zu organisieren, um diese Puzzles schneller und effizienter zu lösen. Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

1. Das Problem: Zu viele Arbeiter, zu viel Chaos

Normalerweise, wenn Wissenschaftler Supercomputer verwenden, weisen sie spezifische Aufgaben bestimmten Computern (Nodes) zu, noch bevor die Arbeit beginnt. Das ist so, als würde ein Bauleiter 16 verschiedenen Trupps Baupläne aushändigen und sagen: „Ihr baut das Dach, ihr baut die Wände“, und ihnen dann sagen, dass sie sich für immer an diesen Plan halten sollen.

Das Problem ist, dass einige Aufgaben 10 Minuten dauern, während andere 10 Stunden dauern. Wenn der Bauleiter dies nicht im Voraus weiß, ist die Crew, die das Dach baut, schon fertig und sitzt untätig herum, während die Wand-Crew noch kämpft. Das verschwendet Zeit und Rechenleistung.

2. Die Lösung: Der „Ghost Process“-Manager

Die Autoren haben ein neues System namens MetaWave entwickelt, das wie ein intelligenter, dynamischer Manager fungiert. Anstatt feste Baupläne auszuhändigen, verwenden sie einen „Ghost Process“.

• Die Analogie: Stellen Sie sich eine Restaurantküche mit 16 Köchen (den Computer-Nodes) vor. Anstatt jedem Koch für den ganzen Abend ein bestimmtes Gericht zuzuweisen, gibt es einen „Ghost Manager“ (den Ghost Process), der an einer zentralen Station steht.
• Wie es funktioniert: Die Köche sagen dem Ghost Manager: „Ich bin frei!“ Der Ghost Manager händigt ihnen sofort die nächste verfügbare Bestellung aus einem riesigen Stapel von Aufgaben aus. Sobald ein Koch fertig ist, fragt er nach der nächsten Aufgabe.
• Das Ergebnis: Kein Koch muss jemals warten, bis er eine Aufgabe erhält, und kein Koch bleibt bei einer Aufgabe stecken, die zu lange dauert, während die anderen bereits fertig sind. Dies hält alle mit 100 % Kapazität bei der Arbeit.

3. Der „Universelle Übersetzer“ (Serialisierung)

Ein großes Problem in der Programmierung ist, dass verschiedene Computer unterschiedliche „Sprachen“ sprechen, wenn sie Daten senden. Ein Computer könnte seine Daten in einer komplexen 3D-Struktur organisieren, während das Kommunikationssystem (MPI) nur flache, einfache Listen von Zahlen versteht.

Die Autoren haben einen Universellen Übersetzer (ein Serialisierungsmodul) gebaut.

• Die Analogie: Stellen Sie sich vor, Sie versuchen, ein komplexes, zerlegtes IKEA-Regal an einen Freund zu verschicken. Sie können nicht einfach die losen Schrauben und Bretter in einen Karton werfen; sie könnten verloren gehen oder in der falschen Reihenfolge ankommen.
• Die Lösung: Die Autoren haben ein System entwickelt, das das komplexe Regal automatisch nimmt, es in einen perfekt geordneten, flachen Karton packt (Serialisierung), es versendet und es auf der anderen Seite automatisch wieder auspackt und exakt so wieder zusammensetzt, wie es war (Deserialisierung). Dies ermöglicht es ihrer komplexen Software, mit Standard-Supercomputern zu kommunizieren, ohne dass es zu Fehlern kommt.

4. Das Schaufenster: iCIPT2 (Der „Intelligente Sucher“)

Um zu beweisen, dass ihr System funktioniert, haben sie es mit einer Methode namens iCIPT2 getestet.

• Die Analogie: Stellen Sie sich vor, Sie versuchen, die beste Route durch eine Stadt mit Milliarden von Straßen zu finden. Eine „Brute-Force“-Methode prüft jede einzelne Straße, was ewig dauert. iCIPT2 ist wie ein intelligentes GPS, das zuerst nur die vielversprechendsten Straßen prüft und Sackgassen ignoriert.
• Die Innovation: Sie haben verbessert, wie dieses GPS Verbindungen zwischen Straßen (Matrix-Vektor-Produkte) findet und wie es die verbleibende Distanz (Perturbationskorrektur) unter Verwendung einer „semi-stochastischen“ Methode (einer Mischung aus exakter Berechnung und intelligentem Schätzen) schätzt.

5. Die Ergebnisse: Geschwindigkeit und Skalierbarkeit

Unter Verwendung dieses neuen „Ghost Managers“ und „Universellen Übersetzers“ erzielten sie beeindruckende Ergebnisse:

• Effizienz: Auf einem Supercomputer mit 1.024 Kernen (16 Nodes) arbeitete ihr System bei den schwierigsten Teilen der Berechnung mit einer Effizienz von 94 %. Das bedeutet, dass fast jeder einzelne Prozessor nützliche Arbeit leistete, mit sehr wenig Zeitverschwendung durch Warten.
• Neue Benchmarks: Da das System so schnell ist, konnten sie Rätsel lösen, die zuvor unmöglich waren. Sie berechneten die Energie von Benzol (einem häufigen ringförmigen Molekül) und dem Ozon-Molekül mit einer Genauigkeit, die einen neuen Standard für die wissenschaftliche Gemeinschaft setzt.
• Die Entdeckung des „Power Law“: Sie fanden ein ordentliches Muster: Während sie mehr Puzzleteile (Konfigurationen) hinzufügten, sank der Fehler in ihrer Antwort auf eine vorhersehbare, mathematische Weise (ein „Power Law“). Dies deutet darauf hin, dass sie, wenn sie weiterhin mehr Rechenleistung hinzufügen, der perfekten Antwort immer näher kommen können.

Zusammenfassung

Kurz gesagt: Die Autoren haben nicht nur einen schnelleren Rechner erfunden; sie haben einen besseren Weg erfunden, die Rechner zu organisieren. Durch die Verwendung eines dynamischen „Ghost Managers“, der Aufgaben direkt vor Ort zuweist, und eines „Universellen Übersetzers“, der Daten reibungslos zwischen Computern bewegt, haben sie es möglich gemacht, extrem schwierige Chemieprobleme zu lösen, die selbst für die besten Supercomputer zuvor zu groß waren. Sie haben dies bewiesen, indem sie die Energie-Rätsel von Cyclobutadien, Benzol und Ozon mit rekordverdächtiger Geschwindigkeit und Genauigkeit gelöst haben.

Technische Zusammenfassung

Technische Zusammenfassung: Einheitliche MPI-Parallelisierung von Wellenfunktionsmethoden

Problemstellung
Die Integration quantenchemischer Methoden mit Hochleistungsrechnen ist essenziell für die Behandlung großer Systeme mit moderater Genauigkeit oder kleiner Systeme mit hoher Genauigkeit. Während die MetaWave-Plattform zuvor eine einheitliche Implementierung nicht-relativistischer und relativistischer Wellenfunktionsmethoden mittels fortgeschrittener Template-Metaprogrammierung erreicht hat, fehlte diesen Methoden eine einheitliche, skalierbare Parallelisierungsstrategie. Bestehende Bemühungen zur massiven Parallelisierung von Wellenfunktionsmethoden (z. B. sCI, HBCI) sind typischerweise methodenspezifisch, basieren auf statischer Aufgabenplanung, die keine Übertragbarkeit besitzt, und haben Schwierigkeiten mit der Lastverteilung auf heterogenen Clustern. Darüber hinaus erfordert der Umgang mit großen Variationsräumen effiziente Algorithmen für Matrix-Vektor-Produkte (MVP) und Störungskorrekturen, die eine prohibitive Speicherauslastung und Kommunikations-Overhead vermeiden.

Methodik
Die Autoren schlagen eine einheitliche MPI-Parallelisierungsstrategie (Message Passing Interface) für Wellenfunktionsmethoden innerhalb der MetaWave-Plattform vor. Die Kernmethodik umfasst drei technische Säulen:

1. Algorithmische Abstraktion via Ghost-Prozessen:
   Jeder Rechenschritt einer Methode (z. B. Selektion, Diagonalisierung, Störung) wird als dynamisch geplanter Loop abstrahiert. Um die Lastverteilung über verteilte Knoten hinweg ohne Vorabwissen über die Kosten der Aufgaben zu erreichen, führen die Autoren einen „Ghost-Prozess“-Mechanismus ein. In einem Cluster von $N$ Knoten führen $N$ Worker-Prozesse die eigentlichen Berechnungen durch (unter Verwendung von internem OpenMP), während ein oder mehrere Ghost-Prozesse die Aufgabenwarteschlange verwalten. Der Ghost-Prozess verteilt Aufgabenpakete dynamisch an die Worker und sammelt Ergebnisse ein, wodurch die Scheduling-Logik von den Kernalgorithmen entkoppelt wird. Dies ermöglicht es, ein einzelnes MPI-Template auf verschiedene Methoden und Schritte anzuwenden.

2. Einheitliche Serialisierung/Deserialisierung:
   Um die Lücke zwischen komplexen C++-Objekten (die in MetaWave für Hamilton-Operatoren und Wellenfunktionen verwendet werden) und den flachen Datenpuffern, die für die C-basierte MPI-Schnittstelle erforderlich sind, entwickelten die Autoren ein Modul zur automatischen Serialisierung/Deserialisierung. Dieses Modul verwaltet die Registrierung von Membern, Heap-Speicher-Metadaten und generische MPI-Schnittstellen, was den nahtlosen Transfer komplexer Objekte zwischen Knoten mit minimalem Code-Änderungsaufwand ermöglicht.

3. Algorithmische Verbesserungen für große Räume (iCIPT2 Showcase):
   Die Strategie wird anhand der iterativen Konfigurationsinteraktion mit zweiter Ordnung der Störungstheorie (iCIPT2) demonstriert. Zu den wesentlichen algorithmischen Modifikationen gehören:

• Residuen-basierte Verbindungssuche: Anstatt die vollständige Hamilton-Matrix zu speichern oder Residuen on-the-fly neu zu generieren (wie bei ASCI oder HBCI), verwendet die Methode vorberechnete Erst- und Zweitordnung-Residuen, um Verbindungen zwischen Orbital-Konfigurationen (oCFGs) effizient zu identifizieren.
• On-the-Fly MVP: Eine direkte Matrix-Vektor-Produkt-Implementierung wird verwendet, um die Speicherung der dünnbesetzten Hamilton-Matrix zu vermeiden. Ein Singles-Raum ($S$) wird eingeführt, um Single- und Double-Verbindungen separat innerhalb eines einzigen Loops zu generieren, wodurch eine globale Deduplizierung vermieden wird.
• Semi-stochastische ENPT2: Für extrem große Variationsräume, in denen das Speichern des gesamten Raums unmöglich ist, wird ein modifizierter semi-stochastischer Schätzer eingesetzt. Der Raum wird in einen Generator ($P_m$), der auf jedem Knoten gespeichert ist, und ein Komplement ($P_s$) unterteilt. Die Korrektur wird als deterministischer Teil für $P_m$ und als stochastischer Teil für die Differenz berechnet, wobei ein spezifischer unverzerrter Schätzer verwendet wird, um die Varianz zu reduzieren.

Wesentliche Beiträge

• Einheitliches MPI-Template: Die Arbeit präsentiert ein allgemeines MPI-Algorithmus-Template, das bestehende OpenMP-parallele Codeteile mit minimalen Modifikationen in eine hybride MPI-OpenMP-Version konvertiert. Dieses Template basiert auf dem Ghost-Prozess-Mechanismus für dynamisches Scheduling und globale Reduktion.
• Ghost-Prozess-Architektur: Ein leichtgewichtiger, effektiver Mechanismus für die Lastverteilung zwischen Knoten, der sich an heterogene Umgebungen anpasst, ohne dass eine präzise Kostenschätzung erforderlich ist.
• Skalierbare iCIPT2-Implementierung: Die Integration von residuen-basierter Verbindungssuche und semi-stochastischer Störungstheorie ermöglicht es iCIPT2, Variationsräume mit zehntausenden Konfigurationszustandsfunktionen (CSFs) und First-Order Interacting Spaces (FOIS) mit $\sim 10^{13}$ CSFs zu handhaben.
• Datenmanagement: Eine robuste Serialisierungsschicht, die den Transfer komplexer C++-Datenstrukturen in einer verteilten Speicherumgebung ermöglicht.

Ergebnisse
Die Autoren validierten das Framework mittels iCIPT2 für Systeme einschließlich Cyclobutadien, Benzol und Ozon unter Verwendung von bis zu 16 Knoten (1024 Kerne).

• Parallele Effizienz: Der Perturbationsschritt erreichte eine parallele Effizienz von 94 %, und die gesamte Berechnung erreichte 89 % auf 16 Knoten. Dies übertrifft statische Scheduling-Ansätze (z. B. erreichte HBCI eine Gesamt-Effizienz von 81 % auf 16 Knoten) deutlich.
• Benchmarking:
  • Cyclobutadien: Die Automerisierungshürde wurde mit 8,91 kcal/mol berechnet, was in exzellenter Übereinstimmung mit dem CCSDTQ-Benchmark (8,93 kcal/mol) steht.
  • Benzol: Die Grundzustandsenergien wurden für cc-pVDZ- und cc-pVTZ-Basissätze berechnet. Die extrapolierte Korrelationsenergie für cc-pVTZ lag bei etwa -1034,0 mEh, was konsistent mit AFQMC-Ergebnissen ist und unter den CCSD(T)-Schätzungen liegt.
  • Ozon: Reaktionsbarrieren und Energiedifferenzen für verschiedene stationäre Punkte stimmten nach der Extrapolation zum vollständigen Basissatz (CBS) innerhalb von 0,02 eV mit NN-LAVA-Ergebnissen überein.
• Skalierungsgesetz: Die Analyse des Energiefehlers ($\Delta E$) gegenüber der Anzahl der CSFs ($N_{CSF}$) offenbarte eine Potenzgesetz-Beziehung ($\Delta E \propto N_{CSF}^{\alpha}$). Die Skalierungsexponenten variierten je nach System und Basissatz (z. B. -0,24 und -0,18 für Benzol mit cc-pVDZ bzw. cc-pVTZ), was darauf hindeutet, dass iCIPT2 zwar langsamer konvergiert als einige auf neuronalen Netzen basierende Ansätze (wie NN-LAVA), aber einen systematischen Weg zur Genauigkeit bietet.

Bedeutung und Ansprüche
Das Paper behauptet, dass diese Arbeit einen einheitlichen, skalierbaren Rahmen für die Parallelisierung von Wellenfunktionsmethoden schafft und die Einschränkungen methodenspezifischer Parallelisierungsstrategien überwindet. Durch die Abstraktion von Rechenschritten in dynamisch geplante Loops ermöglichen die Autoren die Erweiterung bestehender OpenMP-Codes auf großskalige verteilte Systeme mit minimalem Aufwand. Die erfolgreiche Anwendung auf iCIPT2 zeigt, dass große Active-Space-Berechnungen, die zuvor aufgrund von Speicher- und Skalierbarkeitsbeschränkungen unzugänglich waren, nun machbar sind. Die Autoren merken an, dass die aktuelle Implementierung den CI-Vektor auf jedem Knoten repliziert (ein Speicherengpass ist), das einheitliche Template jedoch darauf ausgelegt ist, zukünftige Entwicklungen wie die über Knoten hinweg verteilte Verteilung von Vektoren zu erleichtern, um die Speicherbeschränkungen vollständig aufzuheben. Die Arbeit hebt zudem die Nützlichkeit der Potenzgesetz-Skalierung der iCIPT2-Fehler hervor, die eine vorhersagbare Metrik für die Konvergenz in groß angelegten Berechnungen liefert.