Benchmarking BEAGLE to find optimal parameters for BEAST X

Deze studie benchmarkt de integratie van de BEAGLE-bibliotheek in BEAST X om optimale hardware-instellingen voor GPU's en CPU's te bepalen, waardoor de rekentijd voor Bayesiaanse fylogenetische analyses aanzienlijk kan worden verkort.

De kern

De Snelheidsrace van Virus-Verhalen: Hoe je de perfecte computer-instellingen vindt

Stel je voor dat je een enorm complex raadsel probeert op te lossen: je wilt weten hoe het Dengue-virus zich door de tijd heeft ontwikkeld, waar het vandaan komt en hoe snel het verandert. Wetenschappers doen dit met een programma genaamd BEAST. Dit programma is als een super-intelligente detective die duizenden mogelijke stambomen (familieboomen) van het virus doorzoekt om de meest waarschijnlijke geschiedenis te vinden.

Maar er is een probleem: deze detective is extreem traag. Het rekenwerk om te bepalen of een stamboom klopt, kost zo veel tijd dat het soms dagen duurt.

Hier komt BEAGLE in beeld. BEAGLE is als een team van superkrachtige hulpen (computers) die de detective helpen. Ze kunnen rekenen op gewone processors (CPU's) of op speciale, razendsnelle grafische kaarten (GPU's), zoals die in gaming-computers zitten.

De vraag die de auteurs van dit onderzoek stellen, is simpel maar cruciaal: "Hoe verdelen we het werk het slimst?" Moeten we alles op de gewone processors laten doen? Of moeten we de krachtige GPU's gebruiken? En hoeveel van die hulpen moeten we tegelijkertijd inzetten?

De Experimenten: Een Race met Dengue-Virussen

De onderzoekers hebben twee soorten tests gedaan om het antwoord te vinden:

1. De Realiteitstest: Ze gebruikten echte, echte data van het Dengue-virus (DENV). Dit virus heeft een vrij klein genoom (zijn 'blauwdruk').

   • Het resultaat: Voor dit kleine virus was het gebruik van de krachtige GPU's eigenlijk te veel van het goede. Het was alsof je een Formule 1-auto (de GPU) gebruikt om naar de supermarkt te gaan; je verbruikt veel brandstof en de auto is te groot voor de smalle straatjes.
   • De beste strategie: Voor dit kleine virus was het snelst om het werk te verdelen over veel gewone computerkernen (threads), net zoals een team van fietskoeriers die elk een klein stukje van de stad afleggen, in plaats van één gigantische vrachtwagen.

2. De Simulatie-test: Ze maakten nep-data aan om te kijken wat er gebeurt als het virus veel groter wordt (meer 'site patterns', oftewel meer unieke stukjes in het DNA).

   • Het resultaat: Hier veranderde het spel. Zodra het virus groot genoeg werd (meer dan ongeveer 860 unieke stukjes), werd de Formule 1-auto (de GPU) plotseling de winnaar. De GPU kon het grote werk veel sneller afhandelen dan het team fietskoeriers.
   • De grens: Als je twee GPU's tegelijk gebruikt, helpt dat alleen maar als het virus enorm is (meer dan 25.000 stukjes). Voor kleinere taken is één GPU al snel genoeg; twee GPU's zijn dan als twee vrachtwagens die in de file staan: ze kosten meer geld en stoten meer uit, maar zijn niet sneller.

De Belangrijkste Lessen (In Simpel Woorden)

De onderzoekers hebben een paar simpele regels gevonden die wetenschappers kunnen gebruiken om tijd en geld te besparen:

• Kleine taken (zoals Dengue): Gebruik geen GPU. Verdeel het werk over zoveel mogelijk gewone computerkernen. Dit is goedkoper en sneller.
• Grote taken: Gebruik één GPU. Dit versnelt het proces enorm (bijna twee keer zo snel).
• Te veel is te veel: Als je te veel computerkernen tegelijk gebruikt, wordt het juist trager (net als te veel mensen die in een kleine kamer proberen te werken; ze lopen elkaar in de weg).
• Milieu en Geld: Omdat het gebruik van zware computers veel stroom kost en een grote 'koolstofvoetafdruk' heeft, is het belangrijk om de juiste tool te kiezen. Een verkeerde keuze betekent dat je onnodig veel energie verbruikt voor een taak die je ook op een simpele manier had kunnen doen.

Conclusie

Kortom: Er is geen "één oplossing voor alles". Als je een virus bestudeert, moet je eerst kijken hoe groot en complex het is.

• Is het klein? Gebruik een team van fietskoeriers (CPU-threads).
• Is het groot? Huur dan één Formule 1-auto (GPU).
• Is het gigantisch? Dan kun je overwegen om een tweede auto te huren, maar alleen als het echt nodig is.

Door deze slimme keuzes te maken, kunnen wetenschappers hun onderzoek sneller afronden, minder geld uitgeven en de planeet een beetje helpen.

Technische samenvatting

Probleemstelling

Bayesiaanse fylogenetische analyses, zoals uitgevoerd met de software BEAST X, zijn berucht om hun hoge rekenintensiteit. De grootste bottleneck in deze analyses is het berekenen van de waarschijnlijkheid (likelihood) van Felsenstein, een noodzakelijke stap om de posterior-verdeling te verkennen via Markov Chain Monte Carlo (MCMC). Hoewel de BEAGLE-bibliotheek is ontwikkeld om deze berekeningen te versnellen door gebruik te maken van parallelle verwerking op GPUs, multicore CPUs en SSE-vectorisatie, ontbreekt het aan actuele richtlijnen voor de optimale hardware-toewijzing.

Bestaande benchmarks (zoals die van CIPRES) dateren van meer dan tien jaar terug (BEAST 1.6.1) en focusten op kosteneffectiviteit in plaats van pure snelheid. Bovendien is het onduidelijk wanneer het gebruik van GPUs rendabel is, vooral bij virale genoomdata (zoals Dengue-virus) die vaak worden gepartitioneerd en een relatief klein aantal "site patterns" (unieke kolommen in de sequentiealignering) hebben. Een verkeerde resource-toewijzing kan leiden tot langere draaitijden en onnodige ecologische voetafdrukken.

Methodologie

De auteurs voerden een uitgebreide benchmark uit om de optimale BEAGLE-configuratie voor BEAST X te bepalen.

• Data:
  • Real-world data: Een geselecteerde dataset van 376 complete Dengue-virus (DENV) genoomsequenties. Deze werden gefilterd op menselijke gastheren, volledigheid en annotatie van de 11 genetische regio's (10 genen + 2K fragment). De dataset werd opgesplitst in twee benchmarks, elk met 30 monsters per serotype (DENV1-4).
  • Gesimuleerde data: Sequences gegenereerd met Seq-Gen om het aantal site patterns gecontroleerd te variëren en de impact hiervan op de snelheid te meten.
• Software en Hardware:
  • Software: BEAST X v1.10.5 (beta) met BEAGLE v4.0.1. Het HKY + Γ4 substitutiemodel en een relaxed molecular clock werden gebruikt.
  • Hardware: AMD EPYC 7552 48-Core processors en Nvidia A40 GPUs in het HPC-faciliteit van het Institut Pasteur.
• Experimenteel Opzet:
  • Verschillende configuraties werden getest met variaties in: aantal CPU-threads (-threads), aantal GPUs (-beagle_GPU), aantal BEAGLE-instanties per partitie (-beagle_instances) en SSE-vectorisatie.
  • Tests omvatten zowel gepartitioneerde (per gen) als niet-gepartitioneerde datasets.
  • Gesimuleerde data werd gebruikt om de drempelwaarden voor site patterns te bepalen waarbij GPUs efficiënter worden dan CPU's.

Belangrijkste Bijdragen

1. Huidige Richtlijnen: Het bieden van up-to-date prestatie-richtlijnen voor BEAST X v1.10.5 op moderne hardware (Nvidia A40, AMD EPYC), in tegenstelling tot verouderde benchmarks.
2. Site Pattern Drempel: Het kwantificeren van het kritieke aantal site patterns waarbij de overstap van CPU naar GPU rendabel wordt.
3. Partitie-Optimalisatie: Het inzichtelijk maken van het gedrag van BEAGLE bij gepartitioneerde datasets, waar het aantal site patterns per partitie vaak laag is.
4. Meerdere GPU's: Het evalueren van de meerwaarde van het gebruik van twee GPUs versus één GPU.

Resultaten

De resultaten tonen aanzienlijke verschillen in draaitijd afhankelijk van de configuratie:

• Niet-gepartitioneerde Data (Volledige dataset):
  • Het gebruik van één GPU resulteerde in een bijna tweevoudige versnelling ten opzichte van CPU-only runs.
  • Het gebruik van twee GPUs was echter langzamer dan het gebruik van één enkele GPU.
  • Voor CPU-only runs verbeterde de prestatie bij het verhogen van threads van 6 naar 11, maar verdere verhoging naar 16 threads leidde tot verslechtering (diminishing returns).
• Gepartitioneerde Data:
  • Bij gepartitioneerde datasets (waar het aantal site patterns per partitie laag is, tussen 40 en 1300) waren GPU-runs meer dan twee keer zo traag als multi-threaded CPU-runs.
  • De snelste configuratie was het toewijzen van één thread per partitie.
• Gesimuleerde Data (Drempelwaarden):
  • Voor een Nvidia A40 kaart is de overstap naar GPU pas aan te raden bij meer dan 860 site patterns.
  • Onder deze drempel zijn CPU-runs (met multi-threading) sneller.
  • Bij ongeveer 25.000 site patterns begint het gebruik van een tweede GPU een kleine versnelling te bieden, maar deze winst is vaak niet groot genoeg om de extra kosten (financieel en ecologisch) te rechtvaardigen.

Betekenis en Conclusie

Dit onderzoek benadrukt dat er geen "universele" optimale configuratie bestaat voor BEAST X. De beste instelling hangt sterk af van de dataset-kenmerken, met name het aantal site patterns en de mate van partitie.

• Praktische Implicatie: Voor virale genoomstudies (zoals DENV) met gepartitioneerde data is het gebruik van GPUs vaak contraproductief; multi-threading op CPU's is hier superieur. Voor grotere, niet-gepartitioneerde datasets of datasets met veel site patterns, is één GPU de meest efficiënte keuze.
• Duurzaamheid: Door de juiste hardware te kiezen, kunnen onderzoekers aanzienlijke tijd besparen en de ecologische voetafdruk van hun berekeningen verminderen.
• Toekomst: De auteurs suggereren dat voor complexe modellen of zeer grote datasets verdere tests nodig zijn om de exacte drempel voor multi-GPU gebruik te bepalen, maar voor de huidige standaardvirale surveillance is één GPU of CPU-only (afhankelijk van partitie) de aanbevolen strategie.