Evaluating genome assemblies with HMM-Flagger

HMM-Flagger is een referentievrij hulpmiddel dat op basis van read-coverage en een Hidden Markov Model structurele fouten in haplotype-opgeloste genoomassemblages detecteert en zo de kwaliteit van menselijke genoomassemblages, zoals die van het Human Pangenome Reference Consortium, effectief kan valideren.

De kern

Stel je voor dat je een gigantische, complexe instructiehandleiding voor het bouwen van een menselijk lichaam probeert te schrijven. Deze handleiding is je genoom. In het verleden waren deze handleidingen vaak onleesbaar, met veel bladzijden die ontbraken of waar zinnen dubbel waren overgeschreven. Dankzij nieuwe technologieën (zoals PacBio en Oxford Nanopore) kunnen we nu deze handleidingen veel beter schrijven, maar het blijft een enorme puzzel.

De vraag is: Hoe weten we of de handleiding die we hebben geschreven wel klopt?

Dit is waar het nieuwe gereedschap HMM-Flagger om de hoek komt kijken. Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Gedrukte" Handleiding

Wanneer wetenschappers een genoom assembleren (samenvoegen), gebruiken ze duizenden korte stukjes DNA-sequenties als bouwstenen. Soms maken ze fouten:

• Verdubbeling: Ze schrijven een hoofdstuk twee keer neer terwijl het maar één keer moet zijn (alsof je een recept voor pannenkoeken twee keer in het boek plakt).
• Ineenstorting: Ze vergeten een hoofdstuk helemaal, of schrijven twee verschillende hoofdstukken als één samengevoegd stuk (alsof je twee verschillende recepten in één zin samenvoegt).
• Fouten: Er staan rare letters in de tekst die niet horen.

Oude methoden om dit te controleren waren als het vergelijken van jouw handleiding met een "perfecte" handleiding van iemand anders. Maar dat werkt niet goed, want iedereen is uniek! Als jouw handleiding anders is dan de "perfecte" versie, denkt de computer dat jij een fout hebt gemaakt, terwijl jij misschien gewoon een unieke eigenschap hebt.

2. De Oplossing: HMM-Flagger (De "Drukdichtheids-Controleur")

HMM-Flagger werkt anders. Het vergelijkt jouw handleiding niet met een ander boek, maar kijkt naar hoe vaak de bouwstenen (de DNA-sequenties) op bepaalde plekken worden gebruikt.

Stel je voor dat je een drukke stad hebt en je wilt weten of een gebouw wel klopt.

• Als je een normaal gebouw (een correct stuk DNA) hebt, lopen er precies de juiste hoeveelheid mensen (lees: DNA-sequenties) langs.
• Als je een verdubbeling hebt gemaakt (een fout), dan lopen er plotseling dubbel zoveel mensen langs dat stukje, omdat ze denken dat er twee gebouwen zijn.
• Als je een ineenstorting hebt (een ander type fout), dan lopen er niemand of heel weinig mensen langs, omdat het gebouw in de handleiding ontbreekt of te klein is.

HMM-Flagger is als een slimme verkeersagent die overal in de stad staat. Hij telt de mensen:

• "Te veel mensen hier? Dat is een verdubbeling (fout!)."
• "Te weinig mensen hier? Dat is een ineenstorting (fout!)."
• "Normaal aantal? Dan is het goed."

3. De Slimme "Goocheltruc": De HMM

Het speciale aan HMM-Flagger is dat het niet alleen naar één plek kijkt, maar naar het geheel. Het gebruikt een wiskundig model (een Hidden Markov Model) dat werkt als een detective die context begrijpt.

Stel je voor dat je een verhaal leest. Als je op pagina 10 ziet dat er ineens 100 keer hetzelfde woord staat, is dat raar. Maar als je kijkt naar pagina 9 en 11, en daar staat het woord normaal, dan weet de detective: "Aha, op pagina 10 is er iets misgegaan."

HMM-Flagger doet hetzelfde. Het kijkt niet alleen naar het aantal mensen op één plek, maar ook naar wat er net daarvoor en daarna gebeurt. Het weet ook dat sommige gebieden in de stad (zoals de "centromeren", de middelpunten van chromosomen) van nature drukker of rustiger zijn. Het past zijn tellingen daarop aan, zodat hij niet per ongeluk een drukke wijk als een fout bestempelt.

4. Wat hebben ze ontdekt?

De auteurs hebben dit gereedschap getest op de nieuwste, beste handleidingen van de mens (de HPRC-projecten).

• Resultaat: Ze zagen dat de nieuwste versie van de handleiding (Release 2) veel minder fouten had dan de oude versie (Release 1). De "verkeersagent" zag veel minder verkeerde drukte.
• Grote ontdekking: Ze vonden fouten in heel moeilijke gebieden, zoals bij de NOTCH2NL-genen. Dit zijn gebieden die lijken op een spiegelbeeld van elkaar, waardoor het heel makkelijk is om ze door elkaar te halen. HMM-Flagger kon zien welke handleidingen hier fouten hadden en welke niet. Ze ontdekten zelfs nieuwe variaties in deze genen die we nog nooit hadden gezien!

Samenvattend

HMM-Flagger is een slimme, zelfstandige controleur die niet hoeft te weten hoe een "perfect" mens eruit moet zien. Hij kijkt gewoon naar de drukte (de hoeveelheid data) op elke plek in het genoom.

• Te druk? -> Verdubbeling (fout).
• Te stil? -> Ineenstorting (fout).
• Netjes? -> Alles goed.

Dit helpt wetenschappers om de "handleiding van het leven" steeds nauwkeuriger en betrouwbaarder te maken, wat essentieel is voor het begrijpen van ziekten en onze eigen biologie.

Technische samenvatting

Probleemstelling

Hoewel recente vooruitgangen in lang-lezen sequencing-technologieën (zoals PacBio HiFi en Oxford Nanopore) de mogelijkheid hebben gecreëerd om haplotype-opgeloste en bijna telomeer-tot-telomeer genoomassemblages te maken, blijven bepaalde regio's, zoals sterk repetitieve gebieden en segmentale duplicaties, moeilijk te assembleren. Bestaande methoden voor het detecteren van assemblagefouten hebben beperkingen:

• Referentie-gebaseerde methoden verwarren vaak echte genomische variaties met assemblagefouten, tenzij een "waarheids"-assemblage van hetzelfde monster beschikbaar is (wat zelden het geval is).
• K-mer-gebaseerde methoden (zoals Merqury) zijn beperkt in hun prestaties in repetitieve regio's vanwege hun afhankelijkheid van korte k-mers.
• Bestaande tools voor coverage-analyse (zoals Flagger en NucFlag) gebruiken vaak vaste drempelwaarden of behandelen vensters onafhankelijk van elkaar, wat leidt tot een gebrek aan robuustheid bij variërende sequencing-diepten en een beperkte resolutie voor korte fouten.

Methodologie: HMM-Flagger

HMM-Flagger is een referentie-vrij hulpmiddel dat is ontworpen om structurele fouten in haplotype-opgeloste genoomassemblages te detecteren op basis van de dekking (coverage) van gemapte reads. De kern van de methode bestaat uit de volgende componenten:

1. Hidden Markov Model (HMM):

   • Het model verdeelt het genoom in vaste vensters (16kb voor HiFi en ONT-R10, 8kb voor ONT-R9).
   • Het classificeert elk venster in één van vier toestanden:
     • Erroneous (Err): Gebieden met zeer lage dekking (mogelijke fouten).
     • Duplicated (Dup): Valse duplicaties (dekking lager dan verwacht voor een diploïde regio, vaak geassocieerd met lage mapping quality).
     • Collapsed (Col): Ineenstorting van regio's (dekking hoger dan verwacht, vaak geassocieerd met hoge mapping quality).
     • Haploid (Hap): Correct geassembleerde regio's.
   • De emissiedichtheden worden gemodelleerd met Gaussische Mixture Models (GMM) voor de meeste toestanden en een afgeknotte exponentiële verdeling voor de 'Erroneous'-toestand.

2. Gaussisch Autoregressief Proces (GARP):

   • Om de aanname van onafhankelijkheid tussen opeenvolgende vensters te corrigeren (aangezien reads meerdere vensters kunnen overspannen), is het HMM verrijkt met een GARP.
   • De verwachte dekking in een venster hangt af van een lineaire combinatie van de vorige observatie en een constante term. Dit maakt het model robuuster tegen lokale fluctuaties in dekking.

3. Parameter Schatting en Optimalisatie:

   • Parameters worden geschat met het Expectation-Maximization (EM) algoritme.
   • Hyperparameters (specifiek de factoren in de GARP-matrix) worden geoptimaliseerd via Bayesian Optimization. Hiervoor werden synthetische misassemblages gegenereerd in de HG002-T2T-v1.1 referentie met een tool genaamd Falsifier.
   • De tool maakt gebruik van mapping quality (MAPQ) om overgangen tussen toestanden te beperken (bijv. alleen toestaan naar 'Dup' als de fractie van reads met lage MAPQ hoog is).

4. Aanpassingen voor Biases:

   • Contig-einden: Correctie voor dekking-dalingen aan het einde van contigs door mappers die korte aligneringen verwerpen.
   • Satelliet-biases: Onafhankelijke parameterschatting voor bekende repetitieve gebieden (zoals centromere satellieten) waar platform-specifieke dekking-biases voorkomen (bijv. PacBio vs. ONT).
   • Zelf-homologie filtering: Een extra stap die self-homology mappings gebruikt om valse positieven te filteren en een conservatieve set voorspellingen te genereren.

Belangrijkste Bijdragen

• Referentie-vrije detectie: HMM-Flagger biedt een robuuste manier om assemblagefouten te vinden zonder een perfecte referentie nodig te hebben.
• Geavanceerde Modellering: De integratie van een HMM met GARP en MAPQ-gebaseerde overgangsbeperkingen verbetert de nauwkeurigheid aanzienlijk ten opzichte van eerdere tools zoals Flagger en NucFlag.
• Platform-onafhankelijkheid: De tool werkt effectief met zowel PacBio HiFi als Oxford Nanopore (R9 en R10) data.
• Validatie van complexe regio's: De tool is specifiek succesvol in het detecteren van fouten in moeilijk te assembleren gebieden, zoals centromeren en genfamilies zoals NOTCH2NL.

Resultaten

• Benchmarking op synthetische data:
  • Op synthetische misassemblages (3,32% fouten) bereikte HMM-Flagger een F1-score van 78,4% met HiFi-data, vergeleken met 58,9% voor de oude Flagger-versie en 57,5% voor NucFlag.
  • De tool toonde hoge robuustheid bij het verlagen van de sequencing-diepte van 40x naar 20x.
  • De recall neemt toe met de grootte van de misassemblage; grote blokken (>320kb) werden met 96,58% recall gedetecteerd.
• Toepassing op HG002-assemblages:
  • HMM-Flagger identificeerde grote misassemblages in zes recente HG002-assemblages, waaronder valse duplicaties en ineenstortingen in satelliet-gebieden.
  • Het onderscheidde tussen structurele fouten en base-level discrepanties (bijv. bij een PECAT-assemblage gebaseerd op ONT-Duplex data).
• Evaluatie van HPRC Releases:
  • Toepassing op de Human Pangenome Reference Consortium (HPRC) data toonde een aanzienlijke verbetering van Release 1 naar Release 2.
  • Het onbetrouwbaarheidspercentage daalde van 0,94% (Release 1) naar 0,38% (Release 2) op basis van HiFi-mappings.
  • Valse duplicaties verbeterden het meest (van 0,62% naar 0,22%).
• NOTCH2NL Validatie:
  • De tool werd gebruikt om de complexe NOTCH2NL-gengroep te valideren. Het bevestigde de correctheid van 98% van de assemblages in Release 2 (tegenover 73% in Release 1).
  • Het identificeerde drie nieuwe haplotype-configuraties (H12, H13, H14) en voorkwam het verkeerd classificeren van foutieve assemblages als geldige structurele varianten.

Significantie

HMM-Flagger is een cruciale stap voorwaarts in de genoomassemblage-validatie. Het biedt een geautomatiseerde, schaalbare en nauwkeurige methode om de kwaliteit van haplotype-opgeloste genoomassemblages te beoordelen, vooral in de meest uitdagende delen van het genoom. De tool speelt een directe rol in het verbeteren van de kwaliteit van grote initiatieven zoals het Human Pangenome Reference Consortium (HPRC) en helpt bij het voorkomen van valse associaties tussen assemblagefouten en ziekterisico's. Door de nauwkeurigheid van assemblages in complexe regio's te garanderen, draagt het bij aan een betrouwbaardere basis voor genetisch onderzoek en klinische toepassingen.