Open-source, Hardware-Independent GPU Acceleration for Scalable Nanopore Basecalling with Slorado and Openfish

Dit artikel introduceert Openfish en Slorado, twee open-source tools die hardware-onafhankelijke GPU-versnelling mogelijk maken voor nanopore-basecalling, waardoor de afhankelijkheid van proprietaire NVIDIA-hardware wordt doorbroken en schaalbaarheid op diverse systemen wordt verbeterd zonder in te leveren op nauwkeurigheid.

De kern

De "Vertaalrobot" voor DNA: Hoe Slorado en Openfish de poort openen

Stel je voor dat je een gigantische bibliotheek hebt vol met boeken, maar de tekst is niet geschreven in woorden, maar in een reeks elektrische piepjes en piepjes. Dit is wat er gebeurt bij Nanopore-sequencing: een moderne manier om je DNA te lezen. De machine leest de stroompiepjes, maar om die piepjes om te zetten in leesbare letters (A, T, C, G) – wat we basecalling noemen – heb je een slimme vertaler nodig.

Tot nu toe was die vertaler een beetje een "gesloten club".

Het Probleem: De Sleutel die alleen bij één slot past

De huidige standaard-vertaler, genaamd Dorado (gemaakt door Oxford Nanopore), werkt fantastisch snel. Maar er zit een addertje onder het gras: de snelste versie van deze vertaler gebruikt een geheimzinnig, gesloten stukje software genaamd Koi.

• De Analogie: Stel je voor dat Dorado een super-snelle auto is. Maar om hem te starten, heb je een heel specifiek, duur sleuteltje nodig dat alleen werkt in auto's met een NVIDIA-motor. Als je een andere motor hebt (zoals AMD, of een goedkope laptop), of als je in een land woont waar die specifieke auto's niet verkocht worden, kun je de auto niet starten. Je zit vast in de garage.
• Het gevolg: Wetenschappers kunnen hun DNA-gegevens niet snel verwerken tenzij ze dure, specifieke hardware hebben. Dit maakt onderzoek duur en onbereikbaar voor veel mensen.

De Oplossing: Slorado en Openfish

De auteurs van dit paper hebben een nieuwe oplossing bedacht: Openfish en Slorado.

1. Openfish (De Nieuwe Motor): Dit is een open-source stukje software dat de "vertaal-taak" (het decoderen) overneemt. In plaats van de gegevens van de snelle grafische kaart (GPU) naar de trage processor (CPU) te slepen – wat als het slepen van een vrachtwagen door een tunnel is – doet Openfish het werk direct op de kaart zelf.

   • Het resultaat: Het is net zo snel als de geheime Koi-motor, maar het is gratis, openbaar en werkt op elke moderne grafische kaart, of dat nu een dure NVIDIA is, een AMD-kaart, of zelfs een kleine chip in een draagbaar apparaat.

2. Slorado (De Nieuwe Auto): Dit is het complete pakketje dat Openfish gebruikt. Het is een volledig open-source alternatief voor Dorado.

   • De Analogie: Als Dorado een dure, exclusieve raceauto is die alleen op een specifiek circuit mag rijden, dan is Slorado een robuuste, betrouwbare terreinwagen. Hij rijdt net zo snel op het circuit, maar hij kan ook door modder, over zand en in de stad. Je kunt hem overal mee naartoe nemen.

Wat hebben ze bewezen?

De onderzoekers hebben getest of hun nieuwe systeem echt werkt:

• Snelheid: Op dure supercomputers is Slorado net zo snel als Dorado.
• Nieuwe Hardware: Voor het eerst konden ze DNA-gegevens verwerken op AMD-chips (die Dorado normaal gesproken negeert).
• Draagbaarheid: Ze lieten zien dat het zelfs werkt op een gewone laptop of een klein apparaatje (zoals een NVIDIA Jetson), wat perfect is voor onderzoekers die veldwerk doen in de jungle of in afgelegen gebieden.
• Live Vertaling: Ze konden zelfs de gegevens "live" vertalen terwijl de machine nog aan het meten was, zonder achter te blijven.

Waarom is dit belangrijk?

Voorheen was het vertalen van DNA-gegevens een privilege voor de rijken met de duurste hardware. Met Slorado en Openfish wordt de poort opengegooid.

• Voor de wetenschap: Meer mensen kunnen meedoen, goedkoper en sneller.
• Voor de toekomst: Als er nieuwe, nog snellere chips komen (van Intel, Apple, of andere fabrikanten), hoeft men niet te wachten tot de fabrikant van Dorado ze ondersteunt. De open-source gemeenschap kan het zelf aanpassen.

Kortom: Ze hebben de sleutel gemaakt die bij elk slot past, zodat iedereen, overal ter wereld, zijn DNA-gegevens snel en gratis kan vertalen. Geen gesloten deuren meer, maar een open weg voor de toekomst van genetica.

Technische samenvatting

Probleemstelling

Nanopore-sequencing is een veelgebruikte technologie in de genomica, waarbij ruwe elektrische signalen worden vertaald naar nucleotidesequenties via een proces genaamd "basecalling". De huidige state-of-the-art basecaller van Oxford Nanopore Technologies (ONT), genaamd Dorado, is weliswaar open-source, maar afhankelijk van een gesloten, proprietary bibliotheek genaamd Koi.

De kernproblemen zijn:

1. Hardware Lock-in: De Koi-bibliotheek bevat geoptimaliseerde kernels die uitsluitend werken op specifieke NVIDIA GPU's. Zonder Koi daalt de prestatie van Dorado drastisch (tot onpraktische niveaus) omdat het decoderen dan op de CPU moet gebeuren.
2. Data-overdracht als bottleneck: In de standaard Dorado-workflow (zonder Koi) moeten de scores van het neurale netwerk van de GPU naar de CPU worden overgebracht om daar te worden gedecodeerd. Deze data-overdracht (CPU-GPU transfer) vormt een enorme bottleneck, wat zorgt voor een vertraging van meer dan 14x ten opzichte van de geoptimaliseerde versie.
3. Beperkte toegankelijkheid: Dit beperkt hoogwaardige basecalling tot dure, specifieke NVIDIA-hardware en sluit andere platformen uit, zoals AMD GPU's, Apple Silicon (waar prestaties onpraktisch zijn) en embedded apparaten. Dit belemmert reproduceerbaarheid en de toepassing van nanopore-technologie in gedecentraliseerde omgevingen.

Methodologie

De auteurs hebben een volledig open-source oplossing ontwikkeld bestaande uit twee componenten: Openfish en Slorado.

1. Openfish (De Decodering-bibliotheek):

   • Dit is een GPU-versnelde bibliotheek voor het decoderen van basecalling-modellen (CRF-CTC decoding).
   • GPU-Optimalisatie: In plaats van data naar de CPU te sturen, voert Openfish de beam-search-algoritme direct op de GPU uit. Hierdoor wordt de kostbare CPU-GPU data-overdracht volledig geëlimineerd.
   • Hardware-onafhankelijkheid: De code is geschreven in zowel CUDA C (voor NVIDIA) als HIP C (voor AMD), waardoor het werkt op beide GPU-architecturen.
   • Implementatie: De beam-search wordt parallel uitgevoerd door duizenden GPU-threads. In tegenstelling tot de sequentiële CPU-versie, worden mogelijke statietransities parallel gescoord. Het gebruik van gedeeld geheugen (Shared Memory) op de GPU minimaliseert de toegang tot het langzamere globale geheugen.

2. Slorado (Het Framework):

   • Een volledig open-source basecalling-framework dat Openfish integreert.
   • Input: Slorado leest invoer in het BLOW5 (binair SLOW5) formaat, in plaats van het native POD5-formaat van ONT, wat vaak een bottleneck is in high-performance clusters.
   • Architectuur: Het ondersteunt zowel LSTM-modellen (voor FAST en HAC) als Transformer-modellen (voor SUP) met dezelfde nauwkeurigheid als Dorado.
   • Compatibiliteit: Het is ontworpen om te werken op een breed scala aan hardware, van datacenter-servers tot consumer-grade desktops en embedded edge-apparaten.

Belangrijkste Resultaten

De prestaties van Slorado/Openfish zijn uitgebreid getest op diverse hardware-platforms en vergeleken met Dorado:

• Prestaties vs. Dorado (zonder Koi): Zonder de gesloten Koi-bibliotheek is Dorado onbruikbaar traag. Openfish herstelt de snelheid tot een niveau dat vergelijkbaar is met Dorado met Koi (slechts ~6% trager in gemiddelde tests).
• NVIDIA Hardware: Op NVIDIA A100 en H200 GPU's bereikt Slorado vergelijkbare snelheden als Dorado voor FAST en HAC-modellen. Voor SUP-modellen is Dorado nog steeds 2-3x sneller door diepgaande optimalisaties, maar Slorado is nog steeds praktisch bruikbaar.
• AMD Hardware (Kernprestatie): Slorado werkt succesvol op AMD Instinct MI250X en MI300X GPU's, waar Dorado helemaal niet ondersteund wordt.
  • Op een node met 8x AMD MI300X bereikte Slorado een snelheid van 2196 gigabases/day voor FAST-modellen.
  • Dit maakt het mogelijk om bestaande HPC-resources (zoals de Pawsey supercomputer in Australië) die geen NVIDIA GPU's hebben, te gebruiken voor nanopore-basecalling.
• Schalbaarheid: Slorado schaalde bijna lineair met het aantal GPU's (van 1 tot 8) binnen een node en toonde ook effectieve multi-node parallelisatie.
• Live Basecalling: Op een enkele consumer-grade AMD RX 7900 XTX GPU (onder de $1000) kon Slorado de sequentierate van een PromethION-flowcell in real-time bijhouden.
• Nauwkeurigheid: De nauwkeurigheid (gemeten als median identity score) van Slorado is statistisch gelijk aan die van Dorado voor DNA en RNA basecalling. Kleine variaties zijn toe te schrijven aan floating-point precisieverschillen, niet aan algoritmische fouten.
• Edge Computing: Slorado slaagde erin om basecalling uit te voeren op een NVIDIA Jetson AGX Xavier en een geïntegreerde AMD 760M GPU, apparaten waarop Dorado faalt of niet wordt ondersteund.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Eliminatie van Hardware Lock-in: Door Openfish en Slorado wordt de afhankelijkheid van de proprietary Koi-bibliotheek en specifieke NVIDIA-hardware doorbroken. Dit democratiseert toegang tot state-of-the-art basecalling.
2. Open Source Transparantie: De volledige stack is open-source, wat reproduceerbaarheid, community-gedreven innovatie en transparantie in de algoritmen mogelijk maakt.
3. Uitbreiding van het Hardware-ecosysteem: Het werk opent de deur voor het gebruik van AMD GPU's, Intel GPU's (toekomstige potentie) en Apple Silicon voor hoogwaardige basecalling.
4. Toekomstige Toepassingen: Het framework biedt een basis voor toekomstige uitbreidingen, zoals het detecteren van chemische modificaties in DNA/RNA en het toepassen op andere parallelle architecturen zoals FPGA's voor lagere latentie en energieverbruik.

Conclusie:
Slorado en Openfish vertegenwoordigen een doorbraak in de nanopore-genomica door hoogwaardige basecalling toegankelijk te maken voor een breed scala aan hardwareplatforms zonder in te leveren op snelheid of nauwkeurigheid. Dit maakt gedecentraliseerde, kosteneffectieve en reproduceerbare genomische analyse mogelijk, los van de beperkingen van gesloten software-ecosystemen.