Unified MPI Parallelization of Wave Function Methods: iCIPT2 as a Showcase

Dit artikel presenteert een verenigd MPI-parallellisatieframework binnen het MetaWave-platform dat computationele stappen abstraheert naar dynamisch gescheduleerde lussen, waarmee de hoge efficiëntie en het vermogen wordt aangetoond om grootschalige iCIPT2-berekeningen uit te voeren voor het benchmarken van complexe chemische systemen zoals cyclobutadieen, benzeen en ozon.

De kern

Stel je voor dat je probeert een enorme, ongelooflijk complexe puzzel op te lossen. In de wereld van de chemie is die puzzel het uitzoeken van precies hoe elektronen zich in een molecuul gedragen om de energie en eigenschappen ervan te voorspellen. Hoe nauwkeuriger je wilt zijn, hoe meer puzzelstukjes (mathematische configuraties) je moet overwegen. Voor grote moleculen wordt het aantal stukjes zo groot dat zelfs de snelste supercomputers ter wereld moeite hebben om ze allemaal in het geheugen te passen of de berekening in een redelijke tijd te voltooien.

Dit artikel introduceert een nieuwe manier om de "werkers" (computerprocessors) te organiseren om deze puzzels sneller en efficiënter op te lossen. Hier is de uitsplitsing met behulp van eenvoudige analogieën:

1. Het Probleem: Te Veel Werkers, Te Veel Chaos

Normaal gesproken, wanneer wetenschappers supercomputers gebruiken, wijzen ze specifieke taken toe aan specifieke computers (nodes) voordat het werk begint. Dit is als een bouwvoorman die blauwdrukken uitdeelt aan 16 verschillende ploegen en zegt: "Jij bouwt het dak, jij bouwt de muren," en hen dan vertelt zich voor altijd aan dat plan te houden.

Het probleem is dat sommige taken 10 minuten duren, terwijl andere 10 uur duren. Als de voorman dit niet van tevoren weet, is de ploeg die het dak bouwt vroeg klaar en zit te wachten, terwijl de muurploeg nog aan het worstelen is. Dit verspilt tijd en rekenkracht.

2. De Oplossing: De "Ghost Process" Manager

De auteurs hebben een nieuw systeem ontwikkeld genaamd MetaWave dat werkt als een slimme, dynamische manager. In plaats van vaste blauwdrukken uit te delen, gebruiken ze een "Ghost Process."

• De Analogie: Stel je een keuken in een restaurant voor met 16 chefs (de computer nodes). In plaats van elke chef voor de hele avond een specifiek gerecht toe te wijzen, is er één "Ghost Manager" (de Ghost Process) die bij een centraal station staat.
• Hoe het werkt: De chefs zeggen tegen de Ghost Manager: "Ik ben vrij!" De Ghost Manager overhandigt hen onmiddellijk de volgende beschikbare bestelling uit een enorme stapel taken. Zodra een chef klaar is, vragen ze om de volgende taak.
• Het Resultaat: Geen enkele chef zit ooit stil te wachten op een taak, en geen enkele chef zit vast aan een taak die te lang duurt terwijl anderen klaar zijn. Dit houdt iedereen op 100% capaciteit aan het werk.

3. De "Universele Vertaler" (Serialisatie)

Een groot hoofdpijndossier in programmeren is dat verschillende computers verschillende "talen" spreken wanneer ze gegevens verzenden. De ene computer organiseert zijn gegevens misschien in een complexe 3D-structuur, terwijl het communicatiesysteem (MPI) alleen platte, eenvoudige lijsten met getallen begrijpt.

De auteurs hebben een Universele Vertaler gebouwd (een serialisatiemodule).

• De Analogie: Stel je voor dat je een complex, uit elkaar gehaald IKEA-rek probeert te versturen naar een vriend. Je kunt niet zomaar losse schroeven en planken in een doos gooien; ze kunnen verloren gaan of in de verkeerde volgorde aankomen.
• De Oplossing: De auteurs hebben een systeem ontwikkeld dat automatisch het complexe rek pakt, het in een perfect geordende, platte doos verpakt (serialisatie), verzendt, en vervolgens automatisch weer uitpakt en het rek precies zoals het was weer in elkaar zet (deserialisatie). Dit stelt hun complexe software in staat om met standaard supercomputers te communiceren zonder dat het misgaat.

4. De Showcase: iCIPT2 (De "Slimme Zoeker")

Om te bewijzen dat hun systeem werkt, hebben ze het getest op een methode genaamd iCIPT2.

• De Analogie: Stel je voor dat je de beste route door een stad met miljarden straten probeert te vinden. Een "brute force"-methode controleert elke enkele straat, wat eeuwen duurt. iCIPT2 is als een slimme GPS die eerst alleen de meest veelbelovende straten controleert en doodlopende wegen negeert.
• De Innovatie: Ze hebben verbeterd hoe deze GPS verbindingen tussen straten vindt (matrix-vector producten) en hoe het de resterende afstand inschat (perturbatiecorrectie) met behulp van een "semi-stochastische" methode (een mix van exacte berekening en slimme gokken).

5. De Resultaten: Snelheid en Schaal

Met behulp van deze nieuwe "Ghost Manager" en "Universele Vertaler" hebben ze indrukwekkende resultaten behaald:

• Efficiëntie: Op een supercomputer met 1.024 kernen (16 nodes), werkte hun systeem met 94% efficiëntie voor de moeilijkste delen van de berekening. Dit betekent dat bijna elke processor nuttig werk deed, met zeer weinig verloren tijd door wachten.
• Nieuwe Benchmarks: Omdat het systeem zo snel is, konden ze puzzels oplossen die voorheen onmogelijk waren. Ze berekenden de energie van benzeen (een veelvoorkomend ringvormig molecuul) en het ozonmolecuul met een nauwkeurigheid die een nieuwe standaard zet voor de wetenschappelijke gemeenschap.
• De "Power Law" Ontdekking: Ze vonden een net patroon: naarmate ze meer puzzelstukjes (configuraties) toevoegden, daalde de fout in hun antwoord op een voorspelbare, wiskundige manier (een "power law"). Dit suggereert dat als ze blijven rekenkracht toevoegen, ze steeds dichter bij het perfecte antwoord kunnen komen.

Samenvatting

Kortom, de auteurs hebben niet alleen een snellere rekenmachine uitgevonden; ze hebben een betere manier uitgevonden om de rekenmachines te organiseren. Door een dynamische "Ghost Manager" te gebruiken om taken on-the-fly toe te wijzen en een "Universele Vertaler" om gegevens soepel tussen computers te verplaatsen, hebben ze het mogelijk gemaakt om extreem moeilijke chemische problemen op te lossen die voorheen te groot waren voor zelfs de beste supercomputers. Ze bewezen dit door de energiepuzzels van cyclobutadieen, benzeen en ozon op te lossen met een recordbrekende snelheid en nauwkeurigheid.

Technische samenvatting

Technische Samenvatting: Unified MPI-parallellisatie van golffunctiemethoden

Probleemstelling
De integratie van kwantumchemische methoden met high-performance computing is essentieel voor het behandelen van grote systemen met matige nauwkeurigheid of kleine systemen met hoge nauwkeurigheid. Hoewel het MetaWave-platform eerder een uniforme implementatie van niet-relativistische en relativistische golffunctiemethoden bereikte met behulp van geavanceerde template metaprogrammering, ontbraken deze methoden een uniforme, schaalbare parallellisatiestrategie. Bestaande inspanningen voor massale parallellisatie van golffunctiemethoden (bijv. sCI, HBCI) zijn doorgaans methode-specifiek, vertrouwen op statische taakplanning die niet overdraagbaar is en worstelt met load balancing op heterogene clusters. Bovendien vereist het afhandelen van grote variationele ruimtes efficiënte algoritmen voor matrix-vector producten (MVP) en perturbatiecorrecties die excessief geheugengebruik en communicatie-overhead vermijden.

Methodologie
De auteurs stellen een uniforme Message Passing Interface (MPI) parallellisatiestrategie voor voor golffunctiemethoden binnen het MetaWave-platform voor. De kernmethodologie bestaat uit drie belangrijke technische pijlers:

1. Algoritmische Abstractie via Ghost-processen:
   Elke computationele stap van een methode (bijv. selectie, diagonalisatie, perturbatie) wordt geabstraheerd als een dynamisch gescheduled loop. Om load balancing te bereiken over gedistribueerde nodes zonder voorafgaande kennis van de kosten van taken, introduceren de auteurs een "ghost process"-mechanisme. In een cluster van $N$ nodes voeren $N$ worker-processen de werkelijke berekeningen uit (met gebruik van OpenMP intern), terwijl één of meer ghost-processen de taakwachtrij beheren. Het ghost-proces verdeelt chunks van taken dynamisch naar workers en verzamelt resultaten, waardoor de scheduling-logica wordt gescheiden van de kernalgoritmen. Dit maakt het mogelijk om een enkele MPI-template toe te passen op verschillende methoden en stappen.

2. Uniforme Serialisatie/Deserialisatie:
   Om de kloof te overbruggen tussen complexe C++ objecten (gebruikt in MetaWave voor Hamiltonians en golffuncties) en de platte databuffers die vereist zijn door de C-gebaseerde MPI-interface, hebben de auteurs een automatische serialisatie/deserialisatie-module ontwikkeld. Deze module handelt lidmaatschapregistratie, heapgeheugenmetadata en generieke MPI-interfaces af, wat de naadloze overdracht van complexe objecten tussen nodes mogelijk maakt met minimale code-modificatie.

3. Algoritmische Verbeteringen voor Grote Ruimtes (iCIPT2 Showcase):
   De strategie wordt gedemonstreerd met behulp van de iteratieve Configuration Interaction met tweede-orde perturbatiecorrectie (iCIPT2) methode. Belangrijke algoritmische modificaties omvatten:

   • Residue-gebaseerde Connectie-zoekopdracht: In plaats van de volledige Hamiltonian-matrix op te slaan of residues on-the-fly te regenereren (zoals bij ASCI of HBCI), gebruikt de methode vooraf berekende eerste- en tweede-orde residues om verbindingen tussen orbitale configuraties (oCFGs) efficiënt te identificeren.
   • On-the-Fly MVP: Een directe matrix-vector product implementatie wordt gebruikt, waardoor de opslag van de ijle (sparse) Hamiltonian-matrix wordt vermeden. Een singles ruimte ($S$) wordt geïntroduceerd om single en double verbindingen apart binnen een enkele loop te genereren, waardoor globale deduplicatie wordt vermeden.
   • Semi-stochastische ENPT2: Voor extreem grote variationele ruimtes waar het opslaan van de volledige ruimte onmogelijk is, wordt een gemodificeerde semi-stochastische estimator gebruikt. De ruimte wordt gepartitioneerd in een generator ($P_m$) die op elke node wordt opgeslagen en een complement ($P_s$). De correctie wordt berekend als een deterministisch deel voor $P_m$ en een stochastisch deel voor het verschil, waarbij een specifieke unbiased estimator wordt gebruikt om de variantie te verlagen.

Belangrijkste Bijdragen

• Uniforme MPI-Template: Het artikel presenteert een algemene MPI-algoritme template die bestaande OpenMP-geparallelliseerde code omzet naar een hybride MPI-OpenMP versie met minimale aanpassingen. Deze template vertrouwt op het ghost-proces mechanisme voor dynamische scheduling en globale reductie.
• Ghost Process Architectuur: Een lichtgewicht, effectief mechanisme voor inter-node load balancing dat zich aanpast aan heterogene omgevingen zonder dat precieze kosteninschatting vereist is.
• Schaalbare iCIPT2 Implementatie: De integratie van residue-gebaseerde connectie-zoekopdrachten en semi-stochastische perturbatietheorie stelt iCIPT2 in staat om variatieruimtes met tientallen miljoenen Configuration State Functions (CSFs) en First-Order Interacting Spaces (FOIS) met $\sim 10^{13}$ CSFs te behandelen.
• Data Beheer: Een robuuste serialisatielaag die de overdracht van complexe C++ datastructuren in een gedistribueerde geheugenomgeving mogelijk maakt.

Resultaten
De auteurs valideerden het framework met behulp van iCIPT2 op systemen inclusief cyclobutadieen, benzeen en ozon, gebruikmakend van maximaal 16 nodes (1024 cores).

• Parallel Efficiëntie: De perturbatie-stap bereikte 94% parallelle efficiëntie, en de volledige berekening bereikte 89% op 16 nodes. Dit presteert aanzienlijk beter dan statische scheduling-benaderingen (bijv. HBCI bereikte 81% totale efficiëntie op 16 nodes).
• Benchmarking:
  • Cyclobutadieen: De automerisatiebarrière werd berekend als 8.91 kcal/mol, wat in uitstekende overeenstemming is met de CCSDTQ benchmark (8.93 kcal/mol).
  • Benzeen: Grondtoestandsenergieën werden berekend voor cc-pVDZ en cc-pVTZ basissets. De geëxtrapoleerde correlatie-energie voor cc-pVTZ werd gevonden als ongeveer -1034.0 mEh, consistent met AFQMC-resultaten en lager dan de CCSD(T) schattingen.
  • Ozon: Reactiebarrières en energieverschillen voor diverse stationaire punten kwamen overeen met NN-LAVA resultaten binnen 0 0.02 eV na extrapolatie naar de complete basis set (CBS) limiet.
• Scaling Law: Analyse van de energie-fout ($\Delta E$) versus het aantal CSFs ($N_{CSF}$) onthulde een power-law relatie ($\Delta E \propto N_{CSF}^{\alpha}$). De scaling exponenten varieerden per systeem en basisset (bijv. -0.24 en -0.18 voor benzeen met cc-pVDZ en cc-pVTZ respectievelijk), wat aangeeft dat hoewel iCIPT2 langzamer convergeert dan sommige neural-network-gebaseerde benaderingen (zoals NN-LAVA), het een systematisch pad naar nauwkeurigheid biedt.

Betekenis en Claims
Het artikel claimt dat dit werk een uniforme, schaalbare framework vestigt voor het parallelliseren van golffunctiemethoden, waarmee de beperkingen van methode-specifieke parallellisatiestrategieën worden overwonnen. Door computationele stappen te abstraheren in dynamisch gescheduled loops, maken de auteurs het mogelijk om bestaande OpenMP-codes met minimale inspanning uit te breiden naar grootschalige gedistribueerde systemen. De succesvolle toepassing op iCIPT2 demonstreert dat grote active space berekeningen, die voorheen ontoegankelijk waren vanwege geheugen- en schaalbaarheidsbeperkingen, nu haalbaar zijn. De auteurs merken op dat hoewel de huidige implementatie de CI-vector op elke node repliceert (een geheugenbottleneck), de uniforme template is ontworpen om toekomstige ontwikkelingen te faciliteren, zoals cross-node distributie van vectoren, om de geheugenbeperkingen volledig weg te nemen. Het werk benadrukt ook het nut van de power-law scaling van iCIPT2-fouten, wat een voorspelbare metriek biedt voor convergentie in grootschalige berekeningen.