A Unified Heterogeneous Implementation of Numerical Atomic Orbitals-Based Real-Time TDDFT within the ABACUS Package

Dit artikel introduceert een geünificeerd heterogeen rekenkader in de ABACUS-pakket voor real-time TDDFT op basis van numerieke atoomorbitalen, dat door middel van gecoördineerde abstractielagen aanzienlijke snelheidswinst biedt op GPU's en schaalbaarheid over meerdere GPU's mogelijk maakt voor grootschalige simulaties van ultrafast elektronendynamica.

De kern

De Super-Snelheidsauto voor Atomaire Simulaties: Een Uitleg van het Nieuwe ABACUS-Project

Stel je voor dat je een film wilt maken over hoe atomen dansen en reageren op licht, maar dan op een tijdschaal die zo snel is dat een seconde voor hen een eeuwigheid lijkt. Dit noemen wetenschappers "Real-Time TDDFT". Het is als het filmen van een danspartij van elektronen, maar in plaats van een camera, gebruiken ze supercomputers.

Deze nieuwe paper beschrijft hoe een team van onderzoekers (voornamelijk van de Universiteit van Peking en USTC) een nieuwe, razendsnelle manier heeft bedacht om deze dans te simuleren, specifiek binnen de software ABACUS.

Hier is de uitleg, vertaald naar alledaags taalgebruik met een paar creatieve vergelijkingen:

1. Het Probleem: De "Verkeersopstopping" in de Computer

Vroeger deden deze simulaties alsof ze op een oude, trage fiets reden. De software was geschreven voor gewone processors (CPU's), die goed zijn in het doen van één ding na het ander, maar niet zo snel als ze nodig hebben voor deze enorme rekenklus.

Bovendien was er een specifiek probleem: om de interactie met licht (zoals een laserpuls) nauwkeurig te berekenen, moesten ze een bepaalde wiskundige methode gebruiken (de "snelheidsmaatstaf" of velocity gauge). Dit was als proberen een auto te besturen terwijl je blinddoek op hebt en tegelijkertijd een ingewikkeld puzzel oplost. Het kostte enorm veel tijd en vertraagde de hele simulatie.

2. De Oplossing: Een Nieuwe "Super-Motor" (GPU's)

De onderzoekers hebben de software herschreven om gebruik te maken van GPU's (de krachtige videokaarten die je ook in gaming-computers vindt).

• De Analogie: Stel je voor dat een CPU een meester-bakker is die één taart perfect maakt, maar langzaam. Een GPU is een fabriek met duizenden bakkers die tegelijkertijd duizenden taarten bakken. Voor de enorme rekenklus van atomaire simulaties is die fabriek ideaal.

3. De Drie-Lagen Architectuur: Het Bouwplan

Om dit te laten werken, hebben ze een slim bouwsysteem ontworpen met drie lagen, zoals een hoogwaardig restaurant:

• Lage 1: De Klant (De Gebruiker):
  Dit is wat jij ziet. Je geeft de software de ingrediënten (atoomsoorten, structuur) en vraagt om een maaltijd (een simulatie van lichtabsorptie of ladingverplaatsing). De gebruiker hoeft niet te weten hoe de oven werkt.
• Lage 2: De Chef-kok (De Algorithmes):
  Dit is de logica. De chef weet wat er moet gebeuren: "Bereken eerst de krachten, dan beweeg de atomen, dan bereken de nieuwe energie." Maar de chef hoeft niet te weten welke oven hij gebruikt.
• Lage 3: De Keuken (De Hardware):
  Dit is het nieuwe, slimme gedeelte. De onderzoekers hebben een universele vertaler gebouwd. Of de keuken nu een gasfornuis (CPU) of een elektrische inductieplaat (GPU) heeft, de vertaler zorgt ervoor dat de chef dezelfde instructies kan geven. De software "weet" niet of hij op een Intel-chip of een NVIDIA-kaart draait; het werkt gewoon even snel op beide.

4. De Grote Doorbraak: De "Sferische Integratie"

Hier komt het meest creatieve deel.
In de oude methode (de "snelheidsmaatstaf") was het berekenen van bepaalde krachten als het proberen te meten van de regen op een bolvormige bal terwijl de bal rolt. Het was extreem moeilijk en duurde lang.

De onderzoekers hebben een speciale GPU-methode bedacht voor dit specifieke probleem.

• De Analogie: Stel je voor dat je duizenden kleine regendruppels moet tellen op een bol. De oude computer deed dit één voor één, heel langzaam. De nieuwe GPU-methode doet dit alsof je een gigantisch net over de bol trekt en alle druppels in één keer vangt.
• Het Resultaat: Deze specifieke stap is 12 keer sneller geworden! Dit betekent dat de "blinddoek" van de snelheidsmaatstaf is verwijderd. Wetenschappers kunnen nu kiezen voor de meest nauwkeurige methode zonder bang te hoeven zijn dat de computer vastloopt.

5. De Prestaties: Van Fiets naar Formule 1

Hoe snel is het nu echt?

• Snelheid: Op één enkele krachtige GPU (een NVIDIA A800) is de software 3 tot 4 keer sneller dan een hele server met 56 gewone processors.
• Schaalbaarheid: Als je 40 van deze GPU's samenwerkt (als een heel leger van bakkers), kunnen ze systemen simuleren met meer dan 1700 atomen. De software verliest nauwelijks snelheid als je meer machines toevoegt (76% efficiëntie), wat betekent dat het perfect schaalbaar is voor de toekomst.

Waarom is dit belangrijk?

Vroeger duurde het dagen om te simuleren hoe een materiaal reageert op een laserpuls. Nu kan dit in uren of minuten.
Dit opent de deur voor het ontwerpen van nieuwe materialen voor zonnecellen, snellere elektronica en het begrijpen van hoe licht en materie op het allerkleinste niveau samenwerken. Het is alsof we van een landkaart met een schaal van 1:100.000 zijn gegaan naar een Google Earth die in real-time werkt.

Kortom: De onderzoekers hebben een brug gebouwd tussen de complexe wiskunde van atomen en de enorme rekenkracht van moderne videokaarten, waardoor wetenschappers nu kunnen kijken naar de snelste dansjes in het universum, zonder te hoeven wachten.

Technische samenvatting

Probleemstelling

Real-time tijdsafhankelijke dichtheidsfunctionaaltheorie (RT-TDDFT) is een cruciale methode voor het simuleren van geëxciteerde elektronische dynamica en licht-materie-interacties op ultra-snelle tijdschalen (femtoseconden tot attoseconden). Hoewel grafische verwerkingseenheden (GPU's) de rekenkracht voor wetenschappelijke toepassingen aanzienlijk hebben verhoogd, blijven er significante uitdagingen bestaan voor RT-TDDFT-implementaties die gebaseerd zijn op numerieke atomaire orbitalen (NAO's):

1. Gebrek aan GPU-acceleratie voor NAO's: Bestaande GPU-versnelling focust voornamelijk op grondtoestanden (KSDFT) of lineaire respons (LR-TDDFT), terwijl real-time dynamica vaak onderbelicht blijft, vooral voor methoden met gelokaliseerde basissets.
2. Rekenkundige knelpunten in de snelheidsgauge: Bij periodieke systemen wordt vaak de snelheidsgauge (velocity gauge) gebruikt. In NAO-basissets introduceert deze gauge echter een positie-afhankelijke fasefactor in de niet-lokale pseudopotentialen. Dit vernietigt de efficiënte twee-centrum integraalstructuur en vereist dure numerieke integratie op een driedimensionale rooster, wat een groot rekenkundig obstakel vormt.
3. Moeilijkheden bij heterogene programmering: Het ontwikkelen van GPU-code vereist vaak expliciet geheugenbeheer en architectuurspecifieke optimalisaties, wat de onderhoudbaarheid en portabiliteit van de software beperkt. Er is behoefte aan een hardware-onafhankelijk raamwerk dat fysieke algoritmen ontkoppelt van de onderliggende hardware.

Methodologie

De auteurs hebben een unificerend heterogeen rekenkader geïmplementeerd binnen de open-source software ABACUS. Dit kader bestaat uit drie gecoöpteerde abstractielagen die de fysica scheiden van de hardware-implementatie:

1. Unificerende Data Containers (Tensor):

   • Een polymorfe Tensor-klasse die multidimensionale arrays (zoals Hamiltonian- en overlap-matrices) beheert.
   • Het abstracte geheugenbeheer (RAII-principe) en de apparaataffiniteit (CPU vs. GPU/DCU) zodat ontwikkelaars hardware-onafhankelijke kernels kunnen schrijven.
   • Ondersteuning voor diverse acceleratoren, waaronder NVIDIA GPUs, AMD GPUs en Hygon DCUs.

2. Unificerende Lineaire Algebra Operators:

   • Een laag die standaard lineaire algebra-routines (zoals gemm, getrf, getrs) encapsuleert.
   • Deze laag schakelt automatisch tussen CPU-libs (BLAS/LAPACK) en GPU-libs (cuBLAS/cuSOLVER), wat numerieke consistentie garandeert over verschillende platformen.

3. Unificerende Grid-Integratie Interfaces:

   • Uniforme Grid: Voor standaard grootheden (elektronendichtheid, lokale potentialen) wordt een module (Gint) gebruikt die batch-bewerkingen op GPUs uitvoert om efficiëntie te maximaliseren.
   • Sferische Grid-Integratie (Kernbijdrage): Om het knelpunt van de snelheidsgauge op te lossen, hebben de auteurs een speciaal GPU-versnelde integratieschema ontwikkeld voor de niet-lokale pseudopotentialen. In plaats van een uniform rooster, worden atoomgecentreerde sferische roosters (Lebedev-Laikov voor hoek, Gauss-Legendre voor radiaal) gebruikt.
   • GPU-Optimalisatie: De implementatie gebruikt een "atom-level batching" strategie en warp-level primitieven voor reducties, waardoor redundantie wordt verwijderd en de parallelle efficiëntie op de GPU wordt gemaximaliseerd.

De RT-TDDFT-workflow omvat het propageren van golffuncties (via Crank-Nicolson, Taylor-expansie of ETRS methoden), het construeren van de Hamiltoniaan, en Ehrenfest-dynamica voor de ionen-elektronen koppeling.

Belangrijkste Bijdragen

• Eerste volledige heterogene RT-TDDFT-implementatie voor NAO's: Een werkend framework dat zowel CPU als GPU ondersteunt binnen ABACUS.
• Oplossing voor de "Velocity Gauge Penalty": De ontwikkeling van een gespecialiseerde GPU-kernel voor sferische integratie elimineert de rekenkundige strafe die normaal gepaard gaat met de snelheidsgauge in NAO-methoden.
• Hardware-onafhankelijkheid: Een ontwerp dat fysieke algoritmen ontkoppelt van hardware-specifieke details, waardoor de code portabel is voor toekomstige acceleratoren zonder de kernlogica te hoeven herschrijven.
• Multi-GPU Schaalbaarheid: Implementatie van een gedistribueerde lineaire solver (gebaseerd op QR-factorisatie in plaats van LU om beperkingen van bibliotheken te omzeilen) voor sterke schaling over meerdere GPU's.

Resultaten

De methode is gevalideerd en getest op een reeks systemen, variërend van moleculen (Anthraaceen) tot periodieke vaste stoffen (Silicium, h-BN).

1. Fysische Validatie:

   • De resultaten tonen uitstekende overeenstemming met bestaande benchmarks (zoals DGDFT, CP2K, Qbox, SIESTA) voor optische absorptiespectra en diëlektrische functies.
   • De implementatie bevestigt theoretische verwachtingen over gauge-invariantie en lost het probleem van de lage-frequentie divergentie op in de snelheidsgauge voor periodieke systemen door gebruik te maken van de hybride gauge of de geoptimaliseerde GPU-sferische integratie.

2. Prestatie-analyse (Enkele GPU vs. CPU):

   • Op een enkele NVIDIA A800 GPU wordt een 3x tot 4x snelheidswinst behaald ten opzichte van een volledig benutte dual-socket CPU-node (56 cores).
   • De kritieke sferische integratie-kernel (voor de snelheidsgauge) toont een snelheidswinst van meer dan 12x ten opzichte van de geoptimaliseerde CPU-basislijn, waardoor de snelheidsgauge nu even efficiënt is als de hybride gauge.
   • De golffunctie-propagatie (evolve_k) wordt ongeveer 6-7x sneller uitgevoerd op de GPU.

3. Sterke Schaling (Multi-GPU):

   • Tests met systemen tot 1728 atomen over 40 GPU's tonen een parallelle efficiëntie van ongeveer 76%.
   • De schaling wordt gedreven door de lineaire algebra-routines; de grid-integratie modules vertonen een sub-lineaire schaling door communicatie-overhead, maar dit heeft weinig invloed op de totale rekentijd omdat deze modules minder dominant zijn geworden door de versnelling van de propagatie.

Betekenis en Toekomstperspectief

Dit werk vestigt een hoogpresterend, portabel platform voor grootschalige ab-initio simulaties van ultra-snelle elektronische dynamica. Door de rekenkundige barrières van de snelheidsgauge in NAO-methoden weg te nemen, kunnen onderzoekers nu flexibeler kiezen tussen differente gauge-opties zonder in te leveren op rekenkracht.

De modulariteit van het framework maakt het mogelijk om de code aan te passen aan nieuwe hardware (zoals AMD of Hygon) en toekomstige algoritmen. Toekomstige ontwikkelingen richten zich op het uitbreiden van de multi-device ondersteuning naar andere acceleratoren en het integreren van gemengde precisie-rekenen (mixed-precision) om nog grotere prestaties te halen op moderne Tensor Core-architecturen. Dit maakt ABACUS tot een krachtige tool voor het bestuderen van niet-evenwichtsverschijnselen in complexe materialen.