🤖 machine learning

Prediction of Runtime Parameters of Parallel Chemistry Applications via Active and Generative Learning

Dit artikel presenteert een machine learning-framework dat actieve en generatieve leerprocessen combineert met gradient boosted regression trees om runtime-parameters voor schaalbare parallelle chemische berekeningen nauwkeurig te voorspellen, waarbij een bijna perfecte nauwkeurigheid wordt bereikt en een hoge prestatie behouden blijft, zelfs met aanzienlijk minder trainingsgegevens.

Oorspronkelijke auteurs: Tanzila Tabassum, Omer Subasi, Ajay Panyala, Epiya Ebiapia, Gerald Baumgartner, Erdal Mutlu, P Sadayappan, Karol Kowalski

Gepubliceerd 2026-06-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tanzila Tabassum, Omer Subasi, Ajay Panyala, Epiya Ebiapia, Gerald Baumgartner, Erdal Mutlu, P Sadayappan, Karol Kowalski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de perfecte taart probeert te bakken, maar je hebt geen recept. Je weet dat de tijd die het bakken kost afhangt van drie dingen: hoe groot de taart is (probleemomvang), hoeveel ovens je gebruikt (aantal nodes) en hoe je het beslag in de bakvormen verdeelt (tile size).

Als je het fout raadt, bak je de taart aan of verspil je uren aan oventijd. In de wereld van supercomputers betekent "de taart aanbranden" het verspillen van miljoenen dollars aan elektriciteit en computertijd. Dit artikel gaat over het leren van een computer om een meesterbakker te worden die precies kan voorspellen hoe lang een "taart" (een complexe chemische berekening genaamd CCSD) zal duren om te bakken, zodat wetenschappers niet hoeven te gokken.

Hier is het verhaal van hoe ze het deden, met behulp van eenvoudige analogieën:

1. Het Probleem: Het dure gokspelletje

Supercomputers zijn als enorme, hightech keukens. Wetenschappers gebruiken ze om te simuleren hoe moleculen met elkaar interageren. Maar deze simulaties zijn ongelooflijk duur om uit te voeren.

Het Dilemma: Voordat een wetenschapper een simulatie start, moet hij de instellingen kiezen. Als hij de verkeerde instellingen kiest, draait de computer misschien 10 uur terwijl het in 2 uur klaar had kunnen zijn.
Het Doel: De onderzoekers wilden een "glazen bol" (een Machine Learning-model) bouwen dat naar een probleem kan kijken en zeggen: "Als je 50 ovens gebruikt en deze specifieke indeling, dan duurt het precies 42 minuten."

2. De Glazen Bol: Verschillende "Ziener" testen

Het team testte veel verschillende soorten "zieners" (Machine Learning-algoritmen) om te zien welke het beste de tijd kon voorspellen. Ze testten zaken zoals:

Polynomiale Regressie: Zoals het proberen te tekenen van een vloeiende curve door een paar verspreide punten.
Beslissingsbomen (Decision Trees): Zoals een stroomdiagram van "Als dit, dan dat"-vragen.
Gradient Boosting: Dit is de winnaar. Stel je een team van detectives voor. De eerste detective doet een gok. De tweede detective kijelt waar de eerste fout zat en probeert dat te herstellen. De derde detective herstelt de fouten van de tweede, enzovoort. Aan het einde is het team ongelooflijk nauwkeurig.

Het Resultaat: Het "Gradient Boosting"-team was het beste. Wanneer ze over veel historische data beschikten (zoals een volledig kookboek met eerdere baktijden), waren ze bijna perfect en voorspelden ze de tijd met 99,9% nauwkeurigheid.

3. De Uitdaging: Wat als je geen kookboek hebt?

Hier is de crux: supercomputertijd is zo duur dat wetenschappers vaak niet genoeg historische data hebben om een perfect model te trainen. Ze hebben misschien slechts een paar recepten (datapunten), maar moeten duizend verschillende taarten bakken.

Om dit op te lossen, gebruikten de onderzoekers twee slimme trucs:

Truc A: De "Slimme Proever" (Active Learning)

Stel je voor dat je een chef bent die een nieuwe keuken probeert te leren kennen, maar je kunt maar 20 gerechten van de 1.000 proeven.

Willekeurig Proeven: Je kiest gewoon 20 gerechten op willekeurige basis. Je mist misschien de belangrijkste smaken.
Slim Proeven (Active Learning): Je vraagt aan je computer: "Welke 20 gerechten zullen mij het meeste leren?"
- Onzekerheidssteekproef (Uncertainty Sampling): De computer zegt: "Ik ben erg in de war over deze specifieke gerechten. Laten we deze proeven zodat ik kan leren."
- Commissie-onenigheid (Committee Disagreement): Stel je een panel van chefs voor. Als ze het allemaal eens zijn over een gerecht, sla je het over. Als ze fel over een gerecht discussiëren, proef je dat juist wel, omdat het een geheim bevat waar ze het niet over eens kunnen worden.

Het Resultaat: Door deze "Slimme Proever"-aanpak te gebruiken, konden de onderzoekers een zeer nauwkeurig model bouwen met slechts 20–25% van de data die ze normaal gesproken nodig zouden hebben. Ze bespaarden een enorme hoeveelheid geld en tijd.

Truc B: De "Verbeeldingsmachine" (Generative Learning)

Stel je voor dat je slechts 10 foto's van een landschap hebt, maar je moet een robot trainen om het hele terrein te herkennen.

De Oplossing: Je gebruikt een "Verbeeldingsmachine" (Generatieve AI) om 20 nieuwe, nepfoto's te maken die precies lijken op de echte foto's. Dit zijn geen echte foto's, maar ze volgen dezelfde regels (de wolken staan op de juiste plek, de bomen zien er echt uit).
De onderzoekers gebruikten twee soorten verbeeldingen:
- Gaussian Copula: Een statistische machine die begrijpt hoe variabelen met elkaar samenhangen (bijv. "Als de taart groter is, duurt het meestal langer").
- CTGAN: Een complexere neurale netwerk die met rommelige, gemengde data kan omgaan.

Het Resultaat: Deze machines creëerden "synthetische" data die het model hielpen sneller te leren. De paper merkt echter op dat het verzinnen van data soms een beetje "ruis" of verwarring kan introduceren, waardoor de "Slimme Proever" (Active Learning) vaak de meer betrouwbare methode was.

4. De Twee Grote Vragen die ze Beantwoordden

De onderzoekers testten hun glazen bol op twee specifieke vragen die wetenschappers dagelijks stellen:

De "Snelste Route" Vraag (Shortest-Time Question):
- Vraag: "Ik heb een groot probleem. Welke instellingen zorgen ervoor dat ik het resultaat in de kortst mogelijke tijd krijg?"
- Antwoord: Het model identificeerde succesvol de snelste instellingen en suggereerde vaak om meer computers (nodes) te gebruiken om de boel te versnellen, zelfs als dat meer kost.
De "Budget" Vraag (Budget Question):
- Vraag: "Ik heb slechts $500 aan computertijd. Welke problemen kan ik daadwerkelijk oplossen?"
- Antwoord: Het model vond succesvol instellingen die binnen het budget pasten, waarbij het vaak suggereerde om minder computers te gebruiken om het geld verder te rekken, zelfs als dat iets langer duurt.

5. Het Eindoordeel

De paper concludeert dat wetenschappers door deze Machine Learning-trucs te gebruiken, niet langer tijd en geld hoeven te verspillen aan het gokken hoe ze hun supercomputer-taken moeten uitvoeren.

Als ze veel data hebben, werkt een eenvoudig "Gradient Boosting"-model perfect.
Als ze heel weinig data hebben, kan de "Slimme Proever" (Active Learning) de computer leren met slechts een fractie van de gebruikelijke experimenten.

Kortom, ze hebben een hulpmiddel gebouwd dat wetenschappers helpt om te stoppen met gokken en te beginnen met weten, waardoor ze de wereld van supercomputing behoeden voor het aanbranden van hun "taarten" en het verspillen van hun "ovens".

Technische Samenvatting: Voorspelling van Runtime-parameters van Parallelle Chemie-applicaties via Actief en Generatief Leren

Probleemstelling
Grootschalige elektronische structurberekeningen, specifiek Coupled-Cluster met Singles en Doubles (CCSD), leggen een aanzienlijke computationele druk op supercomputersystemen. De executietijd van deze massaal parallelle applicaties hangt af van complexe interacties tussen de probleemgrootte (aantal moleculaire orbitalen), de doelhardware-architectuur en runtime-instellingen zoals het aantal nodes en de tile-grootte. Het identificeren van optimale configuraties via trial-and-error is onpraktisch vanwege de hoge kosten van verspilde node-uren onder beperkte resource-allocaties. Hoewel theoretische schaleringswetten en empirische heuristieken bestaan, falen deze vaak in het accuraat voorspellen van werkelijke runtimes of optimale configuraties door communicatie-overhead, load imbalance en heterogene hardware-effecten. Het artikel adresseert de behoefte aan nauwkeurige runtime-voorspellingsmodellen om gebruikers te ondersteunen in twee primaire besluitvormingsscenario's: de Shortest-Time Question (STQ), die zoekt naar de configuratie die de executietijd minimaliseert voor een gegeven probleemgrootte, en de Budget Question (BQ), die configuraties identificeert die voldoen aan specifieke resource-beperkingen (bijv. node-uren of tijdlimieten). Een kritieke uitdaging is de schaarste aan historische runtime-data, aangezien het verzamelen van voldoende metingen van dure supercomputer-runs vaak onhaalbaar is.

Methodologie
De auteurs stellen een machine learning-framework voor dat supervised learning combineert met actieve en generatieve leerstrategieën om data-schaarste aan te pakken.

Baseline Supervised Learning: De studie evalueert een reeks regressiemodellen, waaronder Polynomial Regression, Kernel Ridge Regression, Decision Trees, Random Forests, Gradient Boosted Trees (GB), Ada Boosting Trees, Gaussian Processes (GPs), Bayesian Ridge Regression en Support Vector Regression. Hyperparameter-tuning wordt uitgevoerd met behulp van Grid Search, Random Search en Bayesian Optimization. De modellen worden getraind op runtime-data verzameld van CCSD-executies op drie Department of Energy (DOE) supercomputers: Aurora (ALCF), Frontier (OLCF) en Perlmutter (NERSC).
Actief Leren: Om het gebrek aan grote trainingsdatasets te mitigeren, maken de auteurs gebruik van actief leren om de meest informatieve configuraties voor testruns te selecteren. Twee query-strategieën worden geïmplementeerd:
- Uncertainty Sampling (US): Gebruikt een Gaussian Process-model om datapunten te query'en waar de onzekerheid van de modelvoorspelling (variantie) het hoogst is.
- Query-by-Committee (QC): Gebruikt een ensemble van Gradient Boosting-modellen om punten te query'en waar de commissieleden de grootste onenigheid vertonen.
  Het proces voegt deze geselecteerde punten iteratief toe aan de trainingsset om de modelaccuratesse met minder gelabelde samples te verbeteren.
Generatief Leren: Om de schaarse datasets verder aan te vullen, maken de auteurs gebruik van generatieve modellen om plausibele datapunten te synthetiseren die de statistische eigenschappen van de originele data behouden. Twee synthesizers worden vergeleken:
- Gaussian Copula: Een statistische methode die de afhankelijkheden tussen variabelen modelleert door data te transformeren naar een Gaussische ruimte.
- Conditional Tabular Generative Adversarial Networks (CTGAN): Een deep learning-benadering ontworpen voor gemengde typen tabulaire data, in staat om discrete en continue variabelen en ongebalanceerde distributies te verwerken.

Belangrijkste Bijdragen

Ontwikkeling van High-Performance Voorspellende Modellen: De studie implementeert en evalueert een uitgebreid scala aan ML-modellen voor het voorspellen van CCSD runtime-parameters. Het identificeert Gradient Boosting als de meest accurate en robuuste voorspeller over alle drie de geteste supercomputing-platformen, waarbij hoge $R^2$ -scores en een lage Mean Absolute Percentage Error (MAPE) worden behaald wanneer er voldoende data beschikbaar is.
Integratie van Actief en Generatief Leren: Het artikel demonstreert de effectiviteit van het gebruik van actief en generatief leren om data-schaarste te overwinnen. Het toont aan dat accurate runtime-voorspellingsmodellen getraind kunnen worden met slechts 20–25% van de oorspronkelijke datasetgrootte door strategisch informatieve samples te selecteren of data aan te vullen met synthetische punten.
Uitgebreide Cross-Platform Evaluatie: Het framework wordt rigoureus geëvalueerd met behulp van real-world performance-data van drie vooraanstaande DOE supercomputers (Aurora, Frontier, Perlmutter), waarbij zowel de STQ- als de BQ-doelstellingen worden geadresseerd.

Resultaten

Baseline Performance: Op de volledige datasets bereikte het Gradient Boosting-model een uitzonderlijke accuratesse. Voor de STQ op Aurora bereikte het een MAPE van 0,023 en een $R^2$ van 0,999. Voor de BQ behaalde het een MAPE van 0,12 en een $R^2$ van 0,979. Vergelijkbare hoge prestaties werden waargenomen op Frontier en Perlmutter.
Efficiëntie van Actief Leren: Met behulp van actief leren bereikten de modellen een MAPE van ongeveer 0,2 met slechts 20–25% van de oorspronkelijke dataset. Specifiek op Aurora werd een MAPE van 0,2 bereikt met 450 datapunten (25% van de dataset), wat verbeterde naar 0,1 met ongeveer 550 punten. De Uncertainty Sampling-strategie presteerde over het algemeen beter dan Query-by-Committee op Aurora, terwijl QC beter presteerde op Frontier en Perlmutter voor bepaalde doelstellingen.
Impact van Generatief Leren: Generatief leren toonde bescheiden verbeteringen in prestaties, met name voor de MAPE, wanneer synthetische data werd toegevoegd. De auteurs merken echter op dat synthetische data instabiliteit in het leerproces kan introduceren, vooral bij kleinere basisdatasets. De Gaussian Copula-synthesizer was aanzienlijk sneller te fitten dan CTGAN (ongeveer 160x), hoewel de sampling-tijden vergelijkbaar waren.
Statistische Analyse: De studie analyseerde het gemiddelde, de variantie en de standaarddeviatie van de runtimes in geselecteerde batches. Actieve leerstrategieën (US en QC) bleken aanvankelijk configuraties te selecteren met hogere runtimes en grotere variantie (waar modelonzekerheid of onenigheid het hoogst is) voordat ze convergeerden naar meer homogene batches met lagere runtimes naarmate het model leerde.

Significantie
Het artikel beweert dat de benadering een praktisch framework biedt voor het verminderen van de last van parameterselectie in grootschalige kwantumchemische simulaties. Door accurate runtime-voorspellingen mogelijk te maken met aanzienlijk minder dure supercomputer-runs, faciliteert de methodologie een efficiënter gebruik van resources, snellere configuratie-tuning en verbeterde besluitvorming door gebruikers met betrekking tot computationele budgetten. Het werk benadrukt dat hoewel traditionele supervised learning zeer effectief is met overvloedige data, actieve en generatieve leerstrategieën levensvatbare alternatieven zijn voor scenario's waarin datacollectie wordt beperkt door kosten en tijd.