Breaking the Exascale Barrier for the Electronic Structure Problem in Ab-Initio Molecular Dynamics

Om te begrijpen hoe materie zich op haar meest fundamentele niveau gedraagt, wenden wetenschappers zich vaak tot een techniek genaamd ab-initio moleculaire dynamica. Deze benadering probeert de beweging van atomen in moleculen, oppervlakken of vaste stoffen te simuleren door de krachten te berekenen die hen duwen en trekken. In tegenstelling tot oudere methoden die vertrouwen op vereenvoudigde, empirische regels, lost deze techniek het complexe kwantummechanische probleem van elektronen direct op. Het behandelt de elektronen niet als een vage achtergrond, maar als de primaire actoren wiens gedrag bepaalt hoe atomen met elkaar interageren. Hoewel dit een zeer nauwkeurig beeld geeft van chemische reacties en materiaaleigenschappen, brengt het een hoge prijs met zich mee: de benodigde rekenkracht groeit zo snel met de omvang van het systeem dat het simuleren van grote, realistische structuren lang als onmogelijk werd beschouwd. Decennialang waren onderzoekers gedwongen om minuscule fragmenten van materie te bestuderen, zonder het volledige beeld te kunnen zien van hoe miljarden atomen samen bewegen in een levende cel of een complex materiaal.

Een team onderzoekers van de Universiteit van Paderborn in Duitsland heeft nu deze barrière doorbroken door een manier te demonstreren om elektronische structuren te simuleren voor systemen die bestaan uit wel 83 miljoen atomen. Door een methode bekend als de niet-orthogonale lokale submatrix-techniek aan te passen en deze te draaien op een massieve supercomputer uitgerust met duizenden gespecialiseerde grafische processoren, bereikten zij een constante rekensnelheid van meer dan 1,1 exaflops. Dit betekent dat het systeem meer dan één quintiljoen zwevende-kommagetaloperaties per seconde uitvoerde, een mijlpaal die deze specifieke wetenschappelijke toepassing tot de allereerste maakt die de "exaschaal"-grens heeft doorbroken. De onderzoekers voerden niet enkel een simulatie uit; ze ontwierpen een nieuwe manier om het wiskundige werk te organiseren, zodat de hardware op bijna 80 procent van zijn maximale theoretische capaciteit kon werken. Hun werk bewijst dat het met de juiste algoritmische aanpassingen mogelijk is om het kwantumgedrag van volledige eiwitten in oplossing te berekenen, wat de deur opent naar het bestuderen van biologische machinerie en complexe materialen met ongekende precisie.

De kernuitdaging in deze simulaties is dat telkens wanneer een atoom beweegt, zelfs met een fractie, de gehele elektronische structuur van het systeem opnieuw berekend moet worden om de nieuwe krachten te bepalen die op dat atoom inwerken. In traditionele benaderingen wordt deze herberekening onhoudbaar traag naarmate het aantal atomen toeneemt. De onderzoekers maakten gebruik van een methode die het enorme wiskundige probleem opbreekt in kleinere, beheersbare stukken die submatrices worden genoemd. In plaats van te proberen de vergelijking voor het hele systeem in één keer op te lossen, isoleert de computer kleine secties van de data, lost deze onafhankelijk op en voegt de resultaten vervolgens weer samen. Deze "lokale" benadering voorkomt de noodzaak voor constante communicatie tussen verschillende delen van de computer, wat meestal de flessenhals vormt bij grootschalige simulaties. Het team paste deze methode toe op een specifiek biologisch doelwit: het spike-eiwit van het SARS-CoV-2-virus, de structuur die het virus gebruikt om zich aan menselijke cellen te hechten. Ze simuleerden het eiwit verankerd in een lipidenlaag en omgeven door water, waarbij ze een systeem creëerden met ongeveer 1,7 miljoen atomen voor hun initiële tests, en schaalden dit vervolgens op naar een raster van deze eiwitten om een totaal van 83 miljoen atomen te bereiken.

Om dit niveau van prestatie te bereiken, moesten de onderzoekers verder gaan dan alleen het gebruiken van meer computers; ze moesten fundamenteel heroverwegen hoe de software met de hardware communiceert. De supercomputer die zij gebruikten, gevestigd bij het National Energy Research Scientific Computing Center, is uitgerust met 4.400 NVIDIA A100 graphics processing units. Deze chips zijn ontworpen om enorme hoeveelheden parallelle berekeningen te verwerken, maar zijn het meest efficiënt wanneer ze werken met grote, dichte blokken data. De oorspronkelijke versie van het algoritme creëerde submatrices die vaak te klein waren om het volledige vermogen van deze chips te benutten. Het team introduceerde een nieuwe heuristiek, of een set regels voor besluitvorming, die meerdere kolommen van data combineerde tot grotere submatrices voordat ze werden verwerkt. Deze aanpassing was niet slechts een kleine verbetering; het was een strategische verschuiving gebaseerd op de specifieke prestatiekenmerken van de grafische processoren. Door te meten hoe snel de chips matrices van verschillende groottes konden vermenigvuldigen, optimaliseerden de onderzoekers de groepering van data om ervoor te zorgen dat de hardware op zijn piekprestaties werkte. Deze modificatie stelde het systeem in staat om een prestatieniveau te handhaven dat voorheen onbereikbaar werd geacht voor dit type berekening.

De resultaten van deze inspanning werden gemeten door de simulatie te draaien op een raster van spike-eiwitten, waardoor effectief een virtuele omgeving met 83 miljoen atomen werd gecreëerd. Het team volgde de tijd die nodig was om elke stap van de berekening te voltooien en het totale aantal uitgevoerde wiskundige operaties. Ze ontdekten dat het systeem consistent een snelheid leverde tussen de 1,106 en 1,127 exaflops, waarbij ongeveer 80 procent van de theoretische piekprestatie van de hardware werd behouden. Dit is een aanzienlijke prestatie, omdat high-performance computersystemen vaak moeite hebben om een hoge efficiëntie te behouden wanneer ze opschalen naar duizenden processoren; gewoonlijk daalt de efficiëntie naarmate de communicatieoverhead toeneemt. In dit geval betekende het lokale karakter van de methode dat de processoren bijna al hun tijd besteedden aan het rekenen in plaats van aan het wachten op data. De onderzoekers verifieerden dat de nauwkeurigheid van de simulatie hoog bleef, wat garandeerde dat de snelheidswinst niet ten koste ging van de wetenschappelijke validiteit.

Deze doorbraak gaat niet alleen over het simuleren van een virus; het vertegenwoordigt een nieuwe capaciteit voor de computationele wetenschap. Het vermogen om elektronische structuren te modelleren voor systemen met tientallen miljoenen atomen betekent dat wetenschappers nu fenomenen kunnen bestuderen die voorheen buiten bereik lagen, zoals het gedrag van grote biomoleculen in hun natuurlijke, waterige omgevingen of de eigenschappen van complexe materialen onder spanning. De methode is veelzijdig genoeg om te worden toegepast op elk probleem dat vereist een wiskundige functie te evalueren voor een grote, ijle (sparse) set data, en niet alleen op moleculaire dynamica. Door aan te tonen dat exaschaal-prestaties haalbaar zijn voor een echte wetenschappelijke toepassing, hebben de onderzoekers een blauwdruk gegeven voor toekomstige high-performance computing. Ze hebben aangetoond dat het, door algoritmisch ontwerp af te stemmen op hardwarecapaciteiten, mogelijk is om problemen op te lossen die ooit als te groot werden beschouwd om te berekenen, waardoor de kwantummechanische wereld van atomen en elektronen in een scherper focus komt te staan voor de studie van het leven en materie.