NYX: Format-aware, learned compression across omics file types

Het artikel introduceert NYX, een systeem voor formatbewuste, geleerde compressie dat diverse genomische bestandsformaten efficiënt comprimeert door hun structuur te benutten, waardoor het zowel sneller is dan bestandspecifieke compressoren en een gelijkwaardige of betere compressieverhouding behaalt.

De kern

Stel je voor dat je een enorme bibliotheek hebt vol met biologische gegevens. Denk aan de instructies voor het bouwen van een mens, de mutaties in DNA, of de activiteit van miljoenen cellen. Deze gegevens groeien zo snel dat de bibliotheken (de servers) bijna barsten. Op dit moment worden deze bestanden opgeslagen als een lange, saaie rij bytes, alsof je een heel boek in een plastic zak stopt zonder de pagina's te ordenen. Dat is inefficiënt en kost veel ruimte.

Deze paper introduceert NYX, een slimme nieuwe manier om deze biologische bestanden in te pakken. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Alles-in-één" Zak

Stel je voor dat je een grote verhuiskist moet vullen. De meeste verhuizers (de huidige standaard-compressieprogramma's zoals gzip) gooien gewoon alles in de kist: losse schoenen, boeken, borden en kleding, allemaal door elkaar. Ze proberen het zo strak mogelijk te stoppen, maar omdat ze niet weten wat ze precies hebben, blijven er veel luchtkussentjes over. Ze behandelen een DNA-bestand alsof het een willekeurige stroom van letters is, terwijl het eigenlijk een heel gestructureerd verhaal is.

2. De Oplossing: NYX, de Slimme Verpakker

NYX is als een super-verhuizer die precies weet wat er in de kist zit. In plaats van alles door elkaar te gooien, kijkt NYX eerst naar het type bestand (is het een FASTQ, VCF, of H5AD bestand?) en begrijpt de structuur ervan.

• De Voorbereiding (Preprocessing): NYX pakt het boek uit de plastic zak en legt de pagina's netjes op een rij. Het sorteert de informatie: alle "A's", "C's", "G's" en "T's" (de bouwstenen van DNA) komen bij elkaar, en herhalende patronen worden herkend.
• Het Leren (Training): Net als een meester-verpakker die een nieuwe kist moet vullen, "leert" NYX eerst aan de hand van een klein voorbeeld hoe dit specifieke type bestand eruitziet. Het maakt een blauwdruk (een plan) van hoe de beste verpakking eruit moet zien.
• Het Inpakken: Vervolgens wordt het bestand ingepakt volgens dit slimme plan. Omdat NYX weet waar de herhalingen zitten, kan het veel meer weglaten zonder informatie te verliezen.

3. Waarom is dit zo cool?

In de paper vergelijken ze NYX met andere methoden:

• Beter dan de standaard: Waar de oude methoden (zoals gzip of xz) de kist slechts halfvol krijgen, krijgt NYX hem bijna helemaal vol. Ze zeggen dat NYX op sommige bestanden tot 53% meer ruimte bespaart dan de beste bestaande methoden.
• Sneller dan de specialisten: Er waren al speciale verpakkers voor bepaalde soorten bestanden (zoals Genozip voor DNA), maar die waren vaak traag of moeilijk te onderhouden. NYX is net zo goed (of beter) in het inpakken, maar werkt veel sneller. Het is alsof je een Formule 1-auto hebt die net zo goed is als een racewagen voor een specifiek circuit, maar die ook op een normale weg razendsnel kan rijden.
• Veelzijdig: NYX werkt voor zes verschillende soorten biologische bestanden (van DNA-sequentie tot cel-matrices). Je hebt dus niet meer één tool voor DNA, één voor RNA en één voor varianten; één tool doet het allemaal.

4. Het Resultaat: Een Kleinere Kist, Snellere Verhuizing

Door NYX te gebruiken:

1. Bespaar je geld: Je hebt minder harde schijven nodig om al die data op te slaan.
2. Versnel je werk: Het overzetten van deze bestanden via internet gaat veel sneller omdat ze kleiner zijn.
3. Geen verlies: Het is "verliesloos". Als je de kist weer uitpakt, is het boek precies hetzelfde als toen je het erin stopte, letterlijk tot op de laatste komma.

Conclusie

NYX is als een slimme, leerzame robot die biologische data niet als een rommelige hoop ziet, maar als een gestructureerd verhaal. Door de regels van dat verhaal te begrijpen, kan hij het verhaal veel compacter maken dan wie dan ook, zonder dat er woorden verloren gaan. Dit helpt wetenschappers om sneller ontdekkingen te doen, omdat ze minder tijd kwijt zijn aan het wachten op het laden van bestanden en meer tijd hebben om te zoeken naar het antwoord op ziektes.

Technische samenvatting

Probleemstelling

De biomedische onderzoekslandschap wordt geconfronteerd met een enorme toename aan genomische data door verbeterde sequentiertechnologieën. Alleen al het NCBI Sequence Read Archive (SRA) bevat meer dan 47 petabyte aan data. Deze data bestaan uit diverse bestandsformaten zoals FASTA, FASTQ, VCF, WIG, H5AD en BED.

Het huidige probleem is tweeledig:

1. Algemene compressie is inefficiënt: De meeste onderzoekers vertrouwen op algemene compressie-tools zoals gzip, xz of zstd. Deze tools behandelen bio-informatiebestanden als ongestructureerde byte-stromen en missen de rijke biologische structuur (zoals beperkte symbolen-alphabeten, reverse-complement symmetrie, en herhalende patronen). Dit resulteert in suboptimale compressieverhoudingen.
2. Specifieke tools zijn gefragmenteerd: Hoewel er domeinspecifieke tools bestaan (zoals Genozip), zijn deze vaak beperkt tot één bestandsformaat, vereisen ze gespecialiseerde expertise, en kampen ze met een hoog onderhoudsbeslag. Veel tools worden niet meer bijgewerkt, wat leidt tot een gebrek aan onderhoudbaarheid en schaalbaarheid.

Er is een dringende behoefte aan een geïntegreerd systeem dat de gestructureerde aard van omics-data benut, hoge compressieverhoudingen levert, en tegelijkertijd snel en verliesvrij is.

Methodologie: Het NYX-systeem

NYX is een compressiesysteem dat bewust is van bestandsformaten ("format-aware") en gebaseerd is op het open-source OpenZL-framework. Het systeem volgt een drie-trapsproces voor elk ondersteund formaat:

1. Preprocessing (Voorbewerking):

   • Ruwe bestanden worden omgezet in omkeerbare, kolom-georiënteerde of binaire lay-outs.
   • Dit proces onthult redundantie in de data zonder informatie te verliezen, waardoor de data beter geschikt wordt voor compressie.

2. Offline Training (Leren):

   • NYX gebruikt OpenZL's schema-gedreven training om entropiemodellen te leren die specifiek zijn voor het bestandsformaat.
   • Het systeem analyseert een beperkt steekproef van de data om een geoptimaliseerde "compressieplan" (Plan) te genereren.
   • NYX vs. NYX Super:
     • NYX: Getraind op een ander bestand dan het doelbestand (algemene scenario).
     • NYX Super: Getraind op een structureel vergelijkbaar bestand binnen een grote corpus (bijv. VCF-bestanden met identieke kolommen). Dit levert extra compressiewinst op, maar vereist ongeveer 10 minuten extra setup-tijd.

3. Parallelle Compressie:

   • De data wordt opgedeeld in chunks voor parallelle compressie.
   • Het systeem gebruikt een zelfbeschrijvend wire-formaat dat het compressieplan in elke frame opslaat, wat een universele decoder mogelijk maakt.
   • Een round-trip validatiestap zorgt voor een byte-voor-byte reconstructie van het originele bestand.

NYX ondersteunt de volgende formaten: FASTA, FASTQ, VCF, WIG, H5AD en BED.

Belangrijkste Bijdragen

• Unificatie: NYX biedt een enkel, verenigd framework voor meerdere omics-formaten, in plaats van gefragmenteerde, formaatspecifieke tools.
• Learned Compression: Door gebruik te maken van machine learning (via OpenZL) om entropiemodellen te leren, past het systeem zich dynamisch aan de structuur van de data aan, in plaats van statische algoritmen te gebruiken.
• Snelheid en Efficiëntie: Het systeem combineert hoge compressieverhoudingen met hoge doorvoersnelheden (throughput), wat essentieel is voor grote datasets.
• Open Source & Uitbreidbaarheid: Gebaseerd op OpenZL, wat de maintainability en uitbreidbaarheid naar nieuwe data-modi (zoals MAF of SAM in de toekomst) garandeert.

Resultaten

De auteurs hebben NYX getest op representatieve datasets en vergeleken met algemene tools (gzip, xz, zstd, 7z) en gespecialiseerde tools (Genozip, SPRING, NAF).

• Compressieverhouding (Ratio):

  • NYX presteert aanzienlijk beter dan algemene compressoren. Bijvoorbeeld:
    • BED: 6,84x (NYX) vs 4,47x (xz).
    • VCF: 171,00x (NYX) vs 138,36x (xz).
    • FASTQ: 8,45x (NYX) vs 6,21x (xz).
  • In vergelijking met de beste gespecialiseerde tools (zoals Genozip) behoudt NYX vergelijkbare of betere compressieverhoudingen.

• Snelheid (Throughput):

  • Compressie: NYX is aanzienlijk sneller dan hoge-ratio tools zoals xz en 7z.
  • Decompressie: NYX decodeert sneller dan alle geteste tools.
    • Bijvoorbeeld bij FASTA: 27,01x sneller dan xz.
    • Bij FASTQ: 60,6% sneller dan Genozip.
  • De decompressiesnelheid omvat ook de post-processing om het originele bestandsformaat exact te herstellen.

• Trade-off: In grafieken die compressieverhouding tegen doorvoer uitzetten, bevindt NYX zich consequent in de "beste" regio (rechtsboven), wat betekent dat het zowel hoge compressie als hoge snelheid biedt.

Betekenis en Toekomstperspectief

NYX adresseert een kritieke knelpunt in de bio-informatische infrastructuur: de kosten en complexiteit van het opslaan en overdragen van enorme datasets.

• Kostenefficiëntie: Door hogere compressieverhoudingen kunnen opslag- en transmissiekosten aanzienlijk worden verlaagd voor grote repositories.
• Versnelling van onderzoek: Snellere decompressie en efficiëntere data-overdracht versnellen downstream analyses en data-delen.
• Onderhoudbaarheid: Een gemeenschappelijk framework vermindert de last van het onderhouden van tientallen losse tools.

Beperkingen:

• De decompressie vereist een post-processing stap die CPU-resources kan belasten in omgevingen met beperkte rekenkracht.
• Prestaties kunnen variëren binnen subtypes van hetzelfde formaat (bijv. verschillende VCF-structuren).

Toekomstplannen:
De auteurs plannen om NYX uit te breiden naar uitlijningsformaten (SAM, MAF) en andere omics-data. Er wordt ook gewerkt aan specifieke versies voor genoom- en proteoomdatasets, en een licentiemodel voor zowel academisch als commercieel gebruik. De software zal beschikbaar komen via nyx-labs.io.