Multi-GPU Quantum Circuit Simulation and the Impact of Network Performance

Dit artikel introduceert MPI in de QED-C-benchmarks om de prestaties van multi-GPU quantumcircuit-simulaties te evalueren en toont aan dat verbeteringen in interconnect-technologie (met meer dan 16x versnelling) een grotere impact hebben op de oplossingstijd dan alleen de evolutie van GPU-architectuur.

De kern

De Superkracht van Quantum: Hoe Snelheid en Netwerken de Toekomst Veranderen

Stel je voor dat je een gigantische puzzel moet oplossen. Een puzzel met zoveel stukjes dat het onmogelijk is om ze allemaal op je bureau (je computer) te leggen. Dit is wat er gebeurt bij het simuleren van een quantumcomputer. Een quantumcomputer werkt met "qubits", die niet alleen 0 of 1 zijn, maar allebei tegelijk. Om dit op een gewone computer na te bootsen, heb je een enorme hoeveelheid geheugen nodig.

Hier is wat dit paper vertelt, vertaald naar begrijpelijke taal:

1. Het Probleem: De "Geheugen-Explosie"

Elke keer als je een qubit toevoegt aan je simulatie, verdubbelt de ruimte die je nodig hebt.

• Analogie: Stel je hebt een kamer (je computergeheugen). Met 1 qubit heb je één kastje nodig. Met 2 qubits heb je twee kastjes. Maar met 30 qubits heb je zo veel kastjes nodig dat je hele huis vol zit. Met 40 qubits heb je een heel magazijn nodig.
• De oplossing: Omdat één computer niet groot genoeg is, gebruiken wetenschappers veel computers tegelijk (meerdere GPU's, de krachtige processors die ook in gaming-computers zitten). Ze verspreiden de puzzelstukjes over deze computers.

2. De Nieuwe Held: Het Netwerk (De Snelweg)

Als je de puzzelstukjes over verschillende computers verspreidt, moeten die computers voortdurend met elkaar praten om te weten waar de stukjes zijn.

• Het oude probleem: Vroeger was de "snelweg" tussen deze computers (het netwerk) erg smal en traag. De computers moesten wachten tot de data aankwam. Het was alsof je een vrachtwagen met puzzelstukjes probeerde te sturen via een smal fietspad. De computers stonden stil en wachten.
• De nieuwe revolutie: De auteurs van dit paper hebben getest met de allernieuwste technologie van NVIDIA, genaamd NVL72. Dit is als het bouwen van een supersnel, breed autospoor (een "snelweg") die rechtstreeks alle computers met elkaar verbindt, zonder dat ze eerst via de "hoofdstraat" (de CPU) hoeven te gaan.

3. Wat hebben ze ontdekt? (De Verbluffende Resultaten)

Ze hebben gekeken naar twee dingen:

1. Hoe sneller de computers zelf worden: De nieuwe GPU's (de "hersenen") zijn ongeveer 4,5 keer sneller dan de oude generaties. Dat is al indrukwekkend.
2. Hoe sneller de verbindingen worden: Maar het echte wonder zit in het netwerk. Door de nieuwe "supersnelweg" (MNNVL) tussen de computers, is de totale simulatie meer dan 16 keer sneller geworden dan met de oude systemen.

De les: Het maakt niet uit hoe snel je auto (de GPU) is; als je vastzit in een file op een smal fietspad (het oude netwerk), kom je niet verder. Als je een supersnelweg krijgt, kun je je snelheid echt benutten.

4. Hoe hebben ze dit gemeten?

Ze hebben een soort "testbaan" (benchmarks) gebruikt met drie verschillende soorten puzzels:

• QPE: Een standaard quantum-test.
• HamLib: Een simulatie van atomen die met elkaar interageren (als een ketting van mensen die elkaars hand vasthouden). Hier was de verbinding minder belangrijk omdat de mensen dicht bij elkaar zaten.
• Random Circuits: Een chaotische puzzel waar iedereen met iedereen moet praten. Hier was het snelle netwerk het allerbelangrijkst.

Ze zagen dat bij de chaotische puzzels de nieuwe "supersnelweg" (MNNVL) een enorm verschil maakte. Zonder deze snelweg moest de computer wachten op data, en dat kostte veel tijd.

5. Waarom is dit belangrijk voor ons?

Je vraagt je misschien af: "Waarom moet ik hierover lezen als ik geen quantumcomputer heb?"

• Ontwikkeling: We kunnen nog geen echte, grote quantumcomputers bouwen die foutloos werken. Dus moeten we ze eerst op gewone computers simuleren om te zien of het werkt.
• Toekomst: Zonder deze snelle simulaties kunnen we geen nieuwe medicijnen ontwerpen, geen betere batterijen maken of complexe chemische reacties begrijpen die quantumcomputers in de toekomst kunnen oplossen.
• De weg vooruit: Dit paper laat zien dat we niet alleen betere computers nodig hebben, maar vooral beter verbindingen tussen die computers. De toekomst van quantumrekenen ligt in het bouwen van deze "supersnelwegen".

Kortom:
De auteurs hebben laten zien dat door slimme software en de nieuwste "supersnelwegen" tussen computers, we quantum-simulaties 16 keer sneller kunnen laten draaien. Het is alsof je van een fiets op een fietspad bent gegaan naar een Formule 1-auto op een racecircuit. De motor (de GPU) is al snel, maar de weg (het netwerk) maakt het verschil tussen "langzaam rijden" en "recordbreken".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Multi-GPU Quantum Circuit Simulation and the Impact of Network Performance" in het Nederlands.

Probleemstelling

De klassieke simulatie van quantumalgoritmen is berucht om zijn enorme resource-eisen, die exponentieel toenemen met het aantal qubits. Hoewel GPU-versnelling de standaard is geworden voor simulatie (vaak met een snelheidswinst van 2-3 ordes van grootte ten opzichte van CPU's), stoten single-GPU-oplossingen snel tegen hun geheugengrenzen aan (ongeveer 34 qubits voor 128 GB VRAM). Om grotere systemen te simuleren, is multi-GPU-distributie noodzakelijk.

Het centrale probleem is dat bij het verdelen van de toestandvector (state vector) over meerdere GPU's en knooppunten, de communicatie tussen de GPU's een kritieke bottleneck wordt. De prestaties worden vaak beperkt door de bandbreedte en latentie van het netwerk (interconnect) in plaats van door de rekenkracht van de GPU's zelf. Bestaande benchmarks waren vaak beperkt tot single-node of gebruikten verouderde communicatiepaden, waardoor de impact van nieuwe, high-bandwidth interconnects (zoals NVLink over meerdere knooppunten) niet goed in kaart werd gebracht.

Methodologie

De auteurs hebben een robuuste benchmark-suite ontwikkeld en geïmplementeerd om de prestaties van multi-GPU quantumcircuit-simulatie te evalueren:

1. Benchmark Suite: Er is ondersteuning voor MPI (Message Passing Interface) toegevoegd aan de QED-C Application-Oriented Benchmarks. Dit maakt gedistribueerde evaluatie op HPC-systemen mogelijk.
   • QPE (Quantum Phase Estimation): Een fundamenteel algoritme met regelmatige schaalbaarheid.
   • HamLib (Transverse-field Ising Model): Een fysiek betekenisvol model met een ladder-achtige structuur die minder communicatie vereist.
   • RCS (Random Circuit Sampling): Onregelmatige circuits met willekeurige connectiviteit om het algemeenste geval te testen.
2. Software Stack: De simulaties zijn uitgevoerd met CUDA-Q en de cuQuantum bibliotheek (NVIDIA), die state-vector simulatie ondersteunt. Er zijn verschillende API's getest:
   • CUDA-aware MPI: Hoogniveau-bibliotheken waarbij MPI direct GPU-geheugen kan benaderen.
   • Low-level API's: Geoptimaliseerde implementaties via de VMM API (Virtual Memory Management) en NVSHMEM/NCCL voor directe peer-to-peer communicatie zonder buffering.
3. Hardware Systemen: De studie vergelijkt verschillende generaties GPU's en netwerktopologieën:
   • Ampere (A100): Via PCIe en NVLink 3.
   • Hopper (H100): Via PCIe 5.0.
   • Blackwell (GB200): Het "Genesis"-systeem met NVL72 (72 GPU's verbonden via NVLink 5 over meerdere knooppunten, ook wel MNNVL genoemd).
   • Perlmutter (NERSC): Een vergelijkbaar systeem met HPE Slingshot 11-netwerk als baseline.
4. Profiling: De auteurs hebben gebruikgemaakt van perf om het percentage van de simulatietijd dat besteed wordt aan MPI-communicatie te meten, en hebben geanalyseerd hoe dit de totale "time-to-solution" beïnvloedt.

Belangrijkste Bijdragen

• Integratie van MPI in QED-C: Het introduceren van MPI-ondersteuning in de QED-C framework, wat gestandaardiseerde benchmarking op gedistribueerde HPC-systemen mogelijk maakt.
• Evaluatie van MNNVL: Dit is een van de eerste gedetailleerde analyses van de NVIDIA Grace Blackwell NVL72 architectuur, die als eerste product high-bandwidth GPU-specialized interconnects (NVLink) uitbreidt over meerdere knooppunten (Multi-Node NVL).
• Vergelijking van Communicatie-API's: Het tonen van het significante prestatievoordeel van low-level API's (VMM/NVSHMEM) ten opzichte van standaard CUDA-aware MPI, vooral bij hoge GPU-aantallen.
• Kwantificering van Netwerkimpact: Het demonstreren dat verbeteringen in netwerktopologie een grotere impact hebben op de totale simulatiesnelheid dan verbeteringen in de GPU-architectuur zelf.

Resultaten

De resultaten tonen een dramatisch verschil in prestaties afhankelijk van de gebruikte interconnect:

• GPU-generatie vs. Netwerk:
  • De overgang van Ampere naar Hopper en Blackwell resulteerde in een snelheidswinst van ongeveer 4,5x voor single-GPU simulaties.
  • De overgang van oudere multi-node systemen (Perlmutter/InfiniBand) naar het nieuwe Genesis-systeem (MNNVL) resulteerde in een snelheidswinst van meer dan 16x voor multi-GPU simulaties.
• Impact van MNNVL:
  • Bij het gebruik van MNNVL (NVLink over meerdere knooppunten) waren de simulaties 2,8x tot 4,1x sneller dan bij gebruik van InfiniBand (IB) voor weak-scaling.
  • Voor strong-scaling was de winst 2,7x tot 3,6x.
  • Het uitschakelen van RDMA (Remote Direct Memory Access) tussen GPU en NIC leidde tot een prestatieverlies van 13% tot 68%, wat aantoont dat RDMA essentieel is.
• API-prestaties:
  • Implementaties met de low-level VMM API (CUDA-fabric memory) presteerden aanzienlijk beter dan CUDA-aware MPI. Bijvoorbeeld, voor QPE met strong-scaling was de low-level API 1,11x tot 1,41x sneller.
  • De parallelle efficiëntie bleef stabiel (67-73%) tot 64 GPU's bij gebruik van MNNVL, terwijl deze bij InfiniBand sterk daalde bij het overschrijden van de node-grens.
• Bottleneck-analyse: Profiling toonde aan dat bij InfiniBand-systemen tot 78% van de tijd werd besteed aan communicatie (MPI). Bij MNNVL is dit percentage lager, maar blijft de bandbreedte van het netwerk de limiterende factor ten opzichte van het lokale GPU-geheugen (HBM3e).

Betekenis en Conclusie

Dit werk onderstreept dat voor de toekomst van quantumcomputing-simulatie, netwerkinfrastructuur even belangrijk is als rekenkracht. Hoewel GPU-ontwikkeling (van Ampere naar Blackwell) aanzienlijke snelheidswinsten biedt, is de introductie van high-bandwidth, coherent interconnects over meerdere knooppunten (zoals MNNVL) de doorslaggevende factor om grotere qubit-aantallen (39+ qubits) in redelijke tijd te simuleren.

De studie concludeert dat:

1. MNNVL een doorbraak is voor state-vector simulatie, omdat het de bisection-bandwidth van het systeem drastisch verhoogt.
2. Softwareontwikkelaars en systeemarchitecten moeten low-level API's en RDMA actief gebruiken om de volledige potentie van deze hardware te benutten.
3. De combinatie van geavanceerde hardware (Grace/Blackwell) en geoptimaliseerde algoritmen (zoals gate fusion en geavanceerde communicatiepatronen) essentieel is om de weg te effenen voor de simulatie van fouttolerante quantumcomputers in de toekomst.

Kortom, de "time-to-solution" voor quantum simulaties wordt niet langer primair bepaald door de snelheid van de GPU, maar door de snelheid waarmee data tussen deze GPU's kan worden uitgewisseld.