Scalable Construction of Spiking Neural Networks using up to thousands of GPUs

Dit artikel presenteert een nieuwe MPI-gebaseerde methode voor het construeren en simuleren van grootschalige spiking neurale netwerken op multi-GPU-clusters en exascale supercomputers, waarbij efficiënte schaalbaarheid voor complexe corticale modellen wordt aangetoond door geoptimaliseerde lokale connectiviteit en strategieën voor uitwisseling van spikes.

De kern

Stel je voor dat je probeert het menselijk brein op een computer te simuleren. Het brein is een enorme stad van ongeveer 86 miljard neuronen, waarbij elk neuron een huis is dat elke seconde duizenden andere huizen kleine elektrische "tekstberichten" (zogenaamde spikes) stuurt. Om dit te simuleren, heb je een supercomputer nodig met duizenden grafische kaarten (GPU's) die samenwerken.

Het probleem is dat deze GPU's als eilanden zijn. Ze zijn snel, maar ze praten niet gemakkelijk met elkaar. Als één eiland een bericht naar een ander wil sturen, moet de "postbode" (het communicatiesysteem) heen en weer rennen, wat alles vertraagt.

Dit artikel introduceert een nieuwe, veel snellere manier om de kaart van deze verbindingen voor de simulatie begint te bouwen, zodat de GPU's de simulatie kunnen uitvoeren zonder in de file te raken.

Hier is hoe ze dit deden, eenvoudig uitgelegd:

1. De Oude Manier: De Kaart Bouwen op het Vasteland

Vroeger, toen wetenschappers een breinnetwerk wilden simuleren, bouwden ze eerst de "verbindingenkaart" op de trage, centrale computer (de CPU). Vervolgens moesten ze deze enorme kaart kopiëren naar de snelle GPU's.

• De Analogie: Stel je voor dat je een enorm feest organiseert. Bij de oude methode schreef je op een papiertje in de keuken (CPU) de naam van elke gast en wie ze kennen, en rende je dan naar elke kamer (GPU) om hen een kopie van de lijst te geven. Dit kostte alleen al veel tijd om klaar te zijn.

2. De Nieuwe Manier: De Kaart Bouwen Binnenshuis

De auteurs ontwikkelden een nieuwe methode waarbij elke GPU direct in zijn eigen geheugen zijn eigen deel van de verbindingenkaart bouwt, zonder te wachten op de centrale computer.

• De Analogie: Nu, in plaats van de lijst in de keuken te schrijven, heeft elke kamer zijn eigen notitieblok. Zodra het feest begint, schrijven de gasten in elke kamer direct op wie ze kennen. Er is geen heen-en-weer rennen naar de keuken nodig.
• Het Resultaat: Deze "aan boord" bouw is meer dan 10 keer sneller dan de oude manier. In één test duurde het bouwen van het netwerk 55 seconden in plaats van bijna 12 minuten.

3. Twee Manieren om Berichten te Sturen

Zodra de kaart is gebouwd, moeten de GPU's tijdens de simulatie de "tekstberichten" (spikes) uitwisselen. Het artikel testte twee verschillende strategieën hiervoor, afhankelijk van hoe het netwerk is georganiseerd:

• Strategie A: Het Directe Telefoongesprek (Punt-tot-Punt)

  • Hoe het werkt: Als een neuron in GPU #1 met een specifiek neuron in GPU #2 moet praten, belt het die specifieke GPU direct.
  • Ideaal voor: Netwerken waar verbindingen ongelijkmatig of specifiek zijn (zoals een echt brein waar sommige gebieden veel met elkaar praten, maar niet met iedereen).
  • De Claim van het Artikel: Ze gebruikten dit voor een model van de visuele cortex van een aap (32 verschillende gebieden). Het werkte perfect, wat bewijst dat de nieuwe kaartbouwmethode compatibel is met complexe, realistische breinstructuren.

• Strategie B: De Groepschat (Collectieve Communicatie)

  • Hoe het werkt: In plaats van individuen te bellen, schreeuwt een GPU zijn berichten naar een hele groep GPU's tegelijk. Iedereen in de groep hoort de schreeuw en controleert of het bericht voor hen is.
  • Ideaal voor: Enorme, willekeurige netwerken waar iedereen met iedereen praat (zoals een gebalanceerde menigte).
  • De Claim van het Artikel: Ze testten dit op een enorm "gebalanceerd netwerk" dat oploopt tot 1.024 GPU's. Dit is een enorm aantal grafische kaarten dat samenwerkt. Ze toonden aan dat zelfs met zoveel kaarten, het systeem soepel opschalt zonder vast te lopen.

4. De "Geheugenniveaus"-Truc

GPU's hebben veel geheugen, maar niet oneindig. Het opslaan van de verbindingenkaarten voor miljarden neuronen neemt veel ruimte in beslag.

• De Analogie: Stel je voor dat je een klein bureau hebt (GPU-geheugen) en een enorm magazijn (CPU-geheugen).
• De Oplossing: De auteurs creëerden vier "niveaus" van organisatie.
  • Niveau 0: Houd de kaarten in het magazijn (CPU) en haal alleen wat je nodig hebt naar het bureau. Dit bespaart bureauruimte, maar het ophalen is trager.
  • Niveau 3: Vul het bureau met alles. Dit is het snelst, maar vereist een groter bureau.
• De Claim van het Artikel: Ze toonden aan dat ze door het juiste niveau te kiezen, simulaties konden uitvoeren op de Leonardo Booster-supercomputer (met 4.096 GPU's) en zelfs voorspelden dat de komende JUPITER-supercomputer een netwerk met 230 miljoen neuronen en 2,5 biljoen synapsen zou kunnen simuleren. Dat is ongeveer de grootte van de menselijke cortex!

Samenvatting van Wat Ze Bereikten

• Snelheid: Ze maakten de "opzet"-fase van breinsimulaties 10 keer sneller door het netwerk direct op de grafische kaarten te bouwen.
• Schaal: Ze bewezen dat dit werkt op tot 1.024 GPU's tegelijk.
• Flexibiliteit: Ze toonden twee verschillende manieren om communicatie te verwerken (directe gesprekken versus groepschats), zodat wetenschappers de beste methode kunnen kiezen voor hun specifieke breinmodel.
• Toekomstbestendig: Hun methoden zijn ontworpen om te werken op de volgende generatie "Exascale"-supercomputers, die krachtig genoeg zullen zijn om een volledig menselijk brein te simuleren met details op het niveau van individuele synapsen.

Kortom, ze hebben niet alleen de simulatie sneller laten lopen; ze hebben een beter "wegennet" voor de data gebouwd, zodat de supercomputer niet in de file raakt voordat de race zelfs maar begint.

Technische samenvatting

Technische Samenvatting: Schaalbare Constructie van Spikende Neurale Netwerken met Tot Duizenden GPU's

Probleemstelling

Het simuleren van grootschalige Spikende Neurale Netwerken (SNN's) op de schaal van de menselijke cerebrale cortex presenteert twee primaire uitdagingen: aanzienlijke geheugeneisen voor individuele neuronen en synapsen, en de noodzaak van hoge verwerkingssnelheden om dynamica met sub-millisecond precisie op te lossen. Hoewel High-Performance Computing (HPC)-systemen uitgerust met duizenden GPU's de benodigde rekenkracht bieden, heeft bestaande op GPU gebaseerde simulatiesoftware nog niet aangetoond dat het kan schalen naar volledige rekencentraclusters terwijl het voldoet aan de infrastructuur- en nauwkeurigheidsvereisten van computationele neurowetenschap.

Een specifiek knelpunt in gedistribueerde simulaties van grote punt-neuronnetwerken is de communicatie van spikes tussen verschillende knooppunten van een rekencentracluster. Eerdere benaderingen, zoals Digital Brain of GeNN, missen ofwel informatie over individuele synapsen of zijn beperkt tot uitvoering op een enkele GPU. Bovendien vertrouwen traditionele op CPU gebaseerde simulatoren zoals NEST op een round-robin verdeling van neuronen en collectieve communicatie, wat homogene netwerkstructuren veronderstelt en faalt in het benutten van de topologische en ruimtelijke heterogeniteit van biologische hersenen. Hoewel NEST GPU enkele van deze problemen heeft aangepakt, berustte de initiële netwerkconstructie op het overdragen van data van CPU naar GPU-geheugen, en waren methoden voor dynamische constructie eerder beperkt tot simulaties op een enkele GPU.

Methodologie

Dit werk presenteert een nieuwe, geheugenefficiënte methode voor het construeren en simuleren van grootschalige SNN's direct op multi-GPU-systemen met behulp van de Message Passing Interface (MPI). De kerninnovatie ligt in het uitvoeren van netwerkconstructie volledig binnen het GPU-geheugen ("onboard") zonder inter-procescommunicatie tijdens de constructiefase.

Kernalgoritme

De methode onderscheidt tussen lokale verbindingen (neuronen binnen hetzelfde MPI-proces) en externe verbindingen (neuronen over verschillende processen).

1. Onafhankelijke Constructie: Elk MPI-proces bouwt onafhankelijk zijn deel van het netwerk. Het creëert lokale connectiviteit en bereidt datastructuren voor externe verbindingen voor zonder te communiceren met andere processen.
2. Proxy-Representaties: Voor externe verbindingen gebruikt de methode "beeldneuronen" (proxies) in doelprocessen. Dit zijn virtuele representaties van bronneuronen die zich in andere MPI-ranks bevinden.
3. Communicatiekaarten: Het algoritme instantieert aaneengesloten communicatiekaarten in het GPU-geheugen om spikes efficiënt te routeren. Deze kaarten koppelen de index van een bronneuron in een bronrank aan de index van zijn beeldneuron in een doelrank.
4. Communicatieschema's: Het framework ondersteunt twee MPI-communicatiemodi, selecteerbaar door de gebruiker op basis van netwerkarchitectuur:
   • Punt-tot-punt: Gebruikt directe communicatie tussen twee processen. Het is geoptimaliseerd voor netwerken met ongelijke verdelingen van neuronen of synapsen (bijvoorbeeld het Multi-Area Model). Het maakt gebruik van specifieke mappingsstructuren $(R_{\tau,\sigma}, L_{\tau,\sigma})$ en sequenties $(T, P)$ om spikes te routeren.
   • Collectief: Gebruikt groepsgebaseerde communicatie (bijvoorbeeld MPI_Allgather). Dit is voordelig voor gebalanceerde netwerken met homogene communicatiepayloads. Het maakt gebruik van groepspecifieke indexarrays en hostarrays om spike-routing over meerdere processen gelijktijdig te beheren.

GPU-Geheugenoptimalisatie

Om GPU-geheugengebruik en simulatiesnelheid in evenwicht te brengen, hebben de auteurs vier GPU-Geheugenniveaus (GML's) geïmplementeerd:

• Niveau 0: Externe verbindingskaarten en verbindingsaantallen worden opgeslagen in CPU-geheugen.
• Niveau 1: Vergelijkbaar met Niveau 0, maar gaat ervan uit dat alle bronneuronen afbeeldingen hebben in doelprocessen, waardoor controles op daadwerkelijk gebruik worden vermeden (snellere constructie, mogelijk hogere geheugenverspilling).
• Niveau 2: Kaarten en verbindingsindices worden opgeslagen in GPU-geheugen; verbindingsaantallen worden onderweg berekend. Dit is het standaardniveau.
• Niveau 3: Alle datastructuren, inclusief verbindingsaantallen, worden opgeslagen in GPU-geheugen, waardoor CPU-GPU-dataoverdracht wordt geminimaliseerd ten koste van hoger GPU-geheugengebruik.

Geëvalueerde Modellen

1. Multi-Area Model (MAM): Een biologisch gedetailleerd model van 32 visie-gerelateerde gebieden van de macaqueschors ($4,13 \times 10^6$ neuronen, $24,2 \times 10^9$ synapsen). Dit model vertoont complexe, hiërarchische connectiviteit en werd gesimuleerd met punt-tot-punt-communicatie.
2. Schaalbaar Gebalanceerd Netwerk: Een willekeurig netwerk van excitatoire en inhibitoire neuronen met vaste in-degraad-connectiviteit, ontworpen om de prestaties bij zwakke schaling te beoordelen. Dit model werd gesimuleerd met collectieve communicatie op tot 1.024 GPU's.

Belangrijkste Resultaten

Prestaties Netwerkconstructie

De "onboard" GPU-constructiemethode toonde aanzienlijke snelheidswinsten aan in vergelijking met de eerdere "offboard" (op CPU gebaseerde) aanpak:

• MAM-simulatie: De tijd voor netwerkconstructie daalde van 686,0 s (offboard) naar 55,5 s (onboard), een 12,4x snelheidswinst.
  • Lokale verbindingscreatie zag een 20x snelheidswinst.
  • Externe verbindingscreatie zag een 9x snelheidswinst.
  • Neuron/apparaat-creatie en simulatievoorbereiding zagen snelheidswinsten van respectievelijk 350x en 50x.
• Schaalbaar Gebalanceerd Netwerk: De methode slaagde erin netwerken tot 230,4 miljoen neuronen en 2,59 biljoen synapsen te construeren over 1.024 GPU's (256 knooppunten).

State Propagatie en Schaling

• MAM: De tijd voor state propagatie (gemeten als Real-Time Factor) bleef vergelijkbaar tussen offboard- en onboard-versies (ongeveer 15–16), wat aangeeft dat de constructieoptimalisatie geen negatieve impact had op de simulatiedynamica.
• Gebalanceerd Netwerk: Het systeem toonde zwakke schaling tot 1.024 GPU's.
  • Geheugenefficiëntie: GPU-Geheugenniveau 0 stelde simulaties in staat om 4.096 knooppunten te bereiken zonder de geheugenlimieten van NVIDIA A100 GPU's (64 GB) te overschrijden. Hogere geheugenniveaus (2 en 3) boden snellere constructie- en simulatiesnelheden, maar bereikten de geheugenlimiet bij lagere knooppuntaantallen (ongeveer 3.072 knooppunten voor Niveau 3).
  • Prestaties: Het uitschakelen van spike-opname in het gebalanceerde netwerk verlaagde de tijd voor state propagatie met ongeveer 20%.

Validatie

De nieuwe constructiemethode werd gevalideerd tegen de vorige offboard-versie en de op CPU gebaseerde NEST-simulator. Ondanks veranderingen in sequenties voor willekeurige getallengeneratie als gevolg van het nieuwe algoritme, bleven de statistische eigenschappen van de spikende activiteit (vuurfrequenties, coëfficiënt van variatie van inter-spike-intervallen en paarsgewijze Pearson-correlaties) behouden, wat de biologische validiteit van de simulatie bevestigt.

Betekenis en Claims

Het artikel claimt dat dit werk de eerste op GPU gebaseerde SNN-simulatiesoftware biedt die kan schalen naar volledige rekencentraclusters (tot duizenden GPU's) terwijl het informatie over individuele synapsen opslaat. De primaire bijdragen zijn:

1. Schaalbare Constructie: Een nieuw algoritme dat netwerkconnectiviteit direct in GPU-geheugen bouwt, waardoor de bottleneck van CPU-GPU-overdracht wordt geëlimineerd en MPI-communicatie tijdens de constructiefase wordt vermeden.
2. Flexibiliteit: Ondersteuning voor zowel punt-tot-punt- als collectieve MPI-communicatie, waardoor aanpassing mogelijk is aan verschillende netwerktopologieën (hiërarchisch versus willekeurig/gebalanceerd).
3. Exascale-bereidheid: De auteurs extrapoleren dat hun aanpak netwerken van $2 \times 10^{10}$ neuronen en $10^{14}$ synapsen zou kunnen simuleren op de komende JUPITER exascale supercomputer. Deze schaal benadert de connectiviteit van de menselijke cortex terwijl individuele synapsresolutie wordt behouden.
4. Efficiëntie: Door geheugengebruik te optimaliseren via het GML-systeem, maakt de methode de simulatie van grotere netwerken op bestaande hardware mogelijk (bijvoorbeeld het MAM passen op 8 GPU's in plaats van 32) en biedt het een pad om het volledige vermogen van toekomstige exascale-systemen te benutten.

De auteurs concluderen dat deze aanpak het kritieke knelpunt van spike-communicatie in gedistribueerde simulaties aanpakt en NEST GPU vestigt als een referentieplatform voor grootschalige, biologisch gedetailleerde neurale simulaties op moderne HPC-architecturen.