AnnotateMissense: a genome-wide annotation and benchmarking framework for missense pathogenicity prediction

Technische Samenvatting: AnnotateMissense

Probleemstelling
De interpretatie van missense-varianten blijft een aanzienlijke uitdaging in de genomica, omdat pathogeniciteit wordt bepaald door heterogene, deels overlappende bewijslagen. Deze omvatten populatiefrequentie, evolutionaire conservering, transcriptcontext, ernst van aminozuursubstituties, eerdere pathogeniciteitspredictoren en kenmerken afgeleid van proteïne-taalmodellen. Hoewel individuele computationele hulpmiddelen bestaan, ontbreekt het aan reproduceerbare workflows die deze diverse bronnen op genoomschaal integreren, hun bijdragen systematisch benchmarken en toegankelijke outputs bieden voor vervolgonderzoek. Bovendien wordt de integratie van deze bronnen bemoeilijkt door verschillen in scorerichting, dekking en potentiële data-circulariteit, vooral wanneer predictoren zijn getraind op klinische databases zoals ClinVar of HGMD.

Methodologie
De auteurs presenteren AnnotateMissense, een schaalbaar framework voor genoomwijde annotatie, kenmerkenintegratie, benchmarking en voorspelling. De workflow verwerkt 90.643.830 hg38 missense-single-nucleotide-varianten afgeleid van dbNSFP v5.1.

• Kenmerkenintegratie: Het framework integreert een 303-kenmerkenruimte bestaande uit:

  • ANNOVAR-gebaseerde gen-, regio- en filterannotaties.
  • dbNSFP-transcript- en proteïnebeschrijvingen.
  • AlphaMissense-scores en ESM-afgeleide kenmerken (proteïne-taalmodellen).
  • Conserveringsmetrieken (bijv. PhyloP, GERP++).
  • Populatiefrequentievariabelen (bijv. gnomAD).
  • Gevestigde pathogeniciteitspredictoren (bijv. SIFT, PolyPhen-2, REVEL, CADD).
  • Gestructureerde biologische kenmerken (bijv. fysisch-chemische veranderingen van aminozuren, codonsamenstelling, BLOSUM62-scores).
  • Directe ClinVar-velden die bedoeld zijn voor voorspelling, werden uitgesloten om targetlekkage te minimaliseren.

• Benchmarking en Modelbeoordeling:

  • Dataset: Een supervised benchmark werd opgebouwd met 132.714 ClinVar-gelabelde missense-varianten (76.804 pathogeen/waarschijnlijk pathogeen; 55.910 goedaardig/waarschijnlijk goedaardig). Variant met onzekere betekenis of conflicterende labels werden uitgesloten.
  • Modellen: Meerdere machine learning-modellen (XGBoost, Random Forest, FLAML AutoML) en deep learning-modellen (TabNet, PyTorch DNN, TensorFlow DNN) werden geëvalueerd met behulp van gestratificeerde vijf-voudige cross-validatie.
  • Metrieken: De primaire metriek was de Matthews Correlation Coefficient (MCC), aangevuld met ROC-AUC, nauwkeurigheid en F1-score.
  • Ablatiestudies: Om de bijdrage van kenmerken te beoordelen en circulariteit te controleren, testten de auteurs beperkte kenmerkensets:
    • Naïeve kenmerken: Alleen conservering en functionele annotaties.
    • Locatie-gerichte kenmerken: Lokale sequentie en functionele context.
    • Circulariteitsgecontroleerd: Uitsluiting van eerdere predictoren, populatiefrequenties of tools die zijn getraind op klinische databases (ClinVar/HGMD).
    • Uitsluiting proteïne-modellen: Verwijdering van AlphaMissense- en ESM-kenmerken.

• Validatie:

  • Temporale Validatie: Het model werd getest op nieuw waargenomen pathogene/goedaardige varianten in een nieuwere ClinVar-release die afwezig waren in de trainingsset.
  • Biologische Gebruiksscenario's: Analyse van Variant van Onzekere Betekenis (VUS) gestratificeerd op gnomAD missense-constraint Z-scores en paarsgewijze discordantie-analyse tegenover gevestigde predictoren.

Belangrijkste Resultaten

• Prestaties: De volledige 303-kenmerken benchmark-set bereikte de hoogste prestaties met XGBoost, met een gemiddelde MCC van 0,9411 en ROC-AUC van 0,9950 over de cross-validatie-vouwen.
• Kenmerkenbelang: Beperkte kenmerkensets presteerden aanzienlijk slechter. De naïeve kenmerkenset (41 kenmerken) bereikte een beste MCC van 0,4989, en de locatie-gerichte set (56 kenmerken) bereikte 0,5113.
• Ablatie-inzichten:
  • Het verwijderen van eerdere pathogeniciteitspredictoren en populatiefrequentie-metrieken (Dataset 5) verlaagde de beste MCC naar 0,7582.
  • Het verwijderen van kenmerken afgeleid van tools die zijn getraind op klinische databases (Dataset 6) resulteerde in een vergelijkbare vermindering (MCC 0,7326).
  • Het uitsluiten van AlphaMissense- en ESM-afgeleide kenmerken alleen (Dataset 7) had een minimaal effect (MCC 0,9409), wat suggereert dat deze kenmerken in deze specifieke configuratie geen onafhankelijk signaal boden buiten de bredere annotatieset.
• Temporale Validatie: Op 298.353 nieuw waargenomen varianten bereikte het model een MCC van 0,7613, een nauwkeurigheid van 0,8798 en een F1-score van 0,8750.
• Biologische Bruikbaarheid: VUS in missense-intolerante genen (gnomAD Z-score > 3) kregen significant hogere voorspelde pathogeniciteitscores (gemiddeld 0,631) dan die in tolerante genen (gemiddeld 0,548).
• Discordantie-analyse: AnnotateMissense toonde brede overeenstemming met gevestigde predictoren, maar bood complementaire classificaties voor een subset van varianten. Opvallend was dat AnnotateMissense bij discordante varianten met ESM1v in 67,9% van de gevallen overeenkwam met ClinVar-labels.

Betekenis en Claims
De auteurs positioneren AnnotateMissense als een schaalbaar annotatie-, benchmark- en onderzoeks-prioriteringsframework, waarbij expliciet wordt gesteld dat het geen zelfstandig klinisch classificatiesysteem is.

• Integratie is cruciaal: De belangrijkste bevinding is dat een hoogpresterende missense-classificatie vereist dat heterogene bewijsbronnen worden geïntegreerd. Modellen die zijn getraind op de volledige multi-bron kenmerkenset presteerden aanzienlijk beter dan die welke uitsluitend leunden op conservering, functionele annotatie of lokale sequentiekenmerken.
• Transparantie en Reproduceerbaarheid: Het framework biedt een transparante methode voor het kwantificeren van bijdragen van kenmerkensets en het beheersen van circulariteit in benchmarking.
• Beschikbaarheid van Bronnen: De auteurs hebben de broncode, workflow-scripts en de volledige genoomwijde voorspellingsoutputs (90.643.830 varianten) vrijgegeven als publiek onderzoeksresource via GitHub en Zenodo.
• Klinische Voorbehoud: Het artikel benadrukt dat voorspellingen moeten worden geïnterpreteerd als prioriteringsscores voor onderzoek, benchmarking en varianttriage. Klinische interpretatie vereist deskundige review en integratie met ziektecontext, overerving, segregatie en functioneel bewijs, in overeenstemming met de huidige klinische richtlijnen.