Benchmarking 80 binary phenotypes from the openSNP dataset using deep learning algorithms and polygenic risk score tools

Dit artikel presenteert een benchmark van 80 fenotypes uit de openSNP-dataset, waarbij machine learning-algoritmes voor 44 fenotypes beter presteerden dan polygenische risicoscores, terwijl laatstgenoemde voor 36 fenotypes superieur bleek.

De kern

Hier is een uitleg van het onderzoek in eenvoudig Nederlands, met behulp van een paar creatieve vergelijkingen om het begrijpelijk te maken.

De Grote DNA-Wedstrijd: Wie voorspelt het beste?

Stel je voor dat je DNA een enorme, ingewikkelde recept is. Dit recept bevat duizenden kleine instructies (we noemen ze SNPs) die bepalen hoe je eruitziet, welke ziektes je misschien krijgt, of zelfs of je van het rijden met een motor houdt.

De vraag die deze onderzoekers zich stelden, was simpel: Welke "chef-kok" (computerprogramma) is het beste in het voorspellen van het eindresultaat (je kenmerken) op basis van dit recept?

Ze keken naar 80 verschillende kenmerken (zoals diabetes, migraine, of of je een dubbelgewricht hebt) en lieten drie soorten koks strijden:

1. De Traditionele Koks (PRS-tools): Dit zijn de oude, bewezen methoden. Ze kijken naar de recepten van duizenden anderen, tellen op hoeveel "risico-ingredienten" iemand heeft en geven een score. Het is als een simpele som: meer slechte ingrediënten = meer kans op een slecht gerecht.
2. De Slimme Leerlingen (Machine Learning): Dit zijn slimme algoritmen die patronen leren herkennen. Ze kijken niet alleen naar het aantal ingrediënten, maar ook naar hoe ze samensmelten.
3. De Super-Slimme Leerlingen (Deep Learning): Dit zijn de "meesters" van de kunst. Ze zijn net als een zeer ervaren kok die duizenden kookboeken heeft gelezen en complexe, verborgen relaties tussen ingrediënten ziet die anderen missen. Ze kunnen bijvoorbeeld zien dat "ingrediënt A" alleen gevaarlijk is als "ingrediënt B" ook aanwezig is.

Wat deden ze precies?

De onderzoekers gebruikten een openbare database genaamd openSNP. Dit is een soort "publieke keuken" waar mensen hun eigen DNA-resultaten en hun persoonlijke kenmerken hebben gedeeld.

• De Opdracht: Ze namen 80 verschillende kenmerken (van ernstige ziektes tot simpele voorkeuren zoals "houd je van vis?").
• De Test: Ze lieten elke "chef" (elk computerprogramma) 80 keer koken. Ze probeerden honderden variaties van de recepten (door verschillende hoeveelheden ingrediënten te kiezen) om te zien welke combinatie het beste werkte.
• De Score: Ze keken niet alleen of de voorspelling goed was, maar hoe betrouwbaar. Ze gebruikten een score van 0 tot 100 (de AUC-score). Hoe hoger, hoe beter de kok het gerecht voorspelde.

De Uitslag: Wie wint er?

Het resultaat was verrassend en niet eenduidig. Het hangt af van wat je probeert te voorspellen!

• Voor 36 kenmerken wonnen de "Traditionele Koks" (PRS-tools):
  Bij zaken als botdichtheid of rusteloze benen werkt de simpele "tel-methode" het beste. Het is alsof je een taart maakt: als je te veel suiker gebruikt, wordt hij te zoet. Het is een rechttoe-rechtaan relatie. De oude methoden zijn hier snel en accuraat.

• Voor 44 kenmerken wonnen de "Super-Slimme Leerlingen" (Machine/Deep Learning):
  Bij complexe zaken zoals diabetes, huidproblemen (zoals eczeem) of migraine waren de geavanceerde algoritmen beter. Hier werken de ingrediënten op een ingewikkelde manier samen. De slimme koks konden zien: "Ah, deze specifieke combinatie van genen veroorzaakt het probleem, niet alleen het aantal."

De winnaars in het kort:

• De beste "traditionele" methode was PLINK.
• De beste "slimme" methode was XGBoost (een machine learning tool).
• De beste "super-slimme" methode was ANN (een type kunstmatig zenuwstelsel).

Een belangrijke les: Niet alles is genetica

Het onderzoek leerde ook iets heel belangrijks over de "recepten" van het leven.
Bij sommige kenmerken, zoals "houd je van vissen?" of "houd je van sport?", faalden alle koks. De voorspellingen waren slecht.

Waarom?
Omdat deze voorkeuren vaak niet door je DNA worden bepaald, maar door je omgeving en je keuzes. Je genen zeggen niet of je van motorrijden houdt; dat leer je door ervaring. De computer kon dit niet voorspellen omdat het simpelweg niet in het recept (DNA) staat.

Waarom is dit belangrijk?

Dit onderzoek is als een testkeuken voor de toekomst van de geneeskunde.

• Het laat zien dat we niet altijd de duurste, meest complexe computer nodig hebben. Soms werkt de simpele methode beter.
• Het laat zien dat voor complexe ziektes we de "Super-Slimme Leerlingen" nodig hebben om betere voorspellingen te doen.
• Het helpt artsen om te begrijpen welke tools ze moeten gebruiken voor welke ziekte, zodat ze patiënten sneller en nauwkeuriger kunnen helpen.

Kort samengevat:
De onderzoekers hebben laten zien dat er geen "one-size-fits-all" oplossing is. Voor sommige dingen is een simpele rekenmachine genoeg, maar voor andere, ingewikkelde dingen heb je een supercomputer nodig. En voor sommige dingen (zoals je favoriete sport) moet je gewoon naar de persoon zelf kijken, want dat staat niet in je DNA.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Benchmarking 80 binary phenotypes from the openSNP dataset using deep learning algorithms and polygenic risk score tools", geschreven in het Nederlands.

Titel: Benchmarking van 80 binaire fenotypen uit de openSNP-dataset met diep leeralgoritmen en polygenische risicoscore-tools

1. Probleemstelling

Het voorspellen van genotype-fenotype relaties is cruciaal voor het identificeren van ziekteveroorzakende single nucleotide polymorfismen (SNP's) en voor precisiegeneeskunde. Hoewel er verschillende methoden bestaan voor deze voorspelling, waaronder Genoomwide Associatiestudies (GWAS), Polygenische Risicoscores (PRS), computationele modellering en machine learning (ML), is het vaak onduidelijk welke methode het beste presteert voor specifieke fenotypen, vooral bij datasets met beperkte steekproefomvang.

De auteurs richten zich op de openSNP-dataset, een publiek beschikbare crowdsourced database met genotypen en fenotypen. Een uitdaging bij deze dataset is de beperkte steekproefgrootte per fenotype, de afwezigheid van gedetailleerde demografische gegevens (zoals geslacht en populatie-achtergrond), en de heterogeniteit van de data (afkomstig van Direct-to-Consumer tests zoals 23andMe). Het doel van dit onderzoek is om een uitgebreide benchmark uit te voeren om te bepalen of geavanceerde ML/DL-methoden of traditionele PRS-tools superieur zijn voor case-control classificatie op basis van deze beperkte data.

2. Methodologie

De studie volgde een gestructureerde workflow om 80 binaire fenotypen te analyseren:

• Dataverwerking en Kwaliteitscontrole:

  • Uit de openSNP-dataset werden 101 fenotypen geselecteerd, waarna na handmatige zuivering en transformatie (het uniformeren van inconsistentie waarden naar 'Case', 'Control' of 'Unknown') 80 binaire fenotypen overbleven.
  • Genotype-bestanden (in 23andMe/AncestryDNA-formaat) werden geconverteerd naar Plink-formaat (.bed, .bim, .fam).
  • Kwaliteitscontrole (QC) omvatte het verwijderen van duplicaten, het filteren op minor allele frequency (MAF > 0.01), Hardy-Weinberg-evenwicht (p > 1e-6), en genotype-afwezigheid (< 0.7).
  • De data werd opgesplitst in een trainingsset (80%) en een testset (20%) via stratified 5-fold cross-validatie.

• Machine Learning (ML) en Deep Learning (DL) Pipelines:

  • Feature Selectie: Voor ML/DL werd gebruikgemaakt van p-waarde thresholding op de trainingsdata (via GWAS) om het aantal SNP's te reduceren. Er werden subdatasets gegenereerd met 50, 100, 200, 500, 1000, 5000 en 10.000 SNP's.
  • Algoritmen:
    • ML: 29 klassieke algoritmen (o.a. XGBoost, Random Forest, SVM, SGD, MLP) uit de scikit-learn bibliotheek, met standaard hyperparameters.
    • DL: 80 varianten van 4 basisarchitecturen: Artificial Neural Networks (ANN), GRU, LSTM en Bidirectional LSTM (BILSTM). De architectuur bestond uit vijf lagen met een aantal neuronen gebaseerd op de vierkantswortel van het aantal SNP's ($S$). Hyperparameters zoals Dropout (0.2, 0.5), Optimizer (Adam), Batch size (1, 5) en Epochs (50, 200) werden gevarieerd.

• Polygenische Risicoscore (PRS) Pipelines:

  • Drie tools werden gebruikt: PLINK, PRSice2 en Lassosum.
  • Voor elke tool werden GWAS-summary statistieken gegenereerd vanuit de trainingsdata.
  • Er werd een uitgebreide grid search uitgevoerd met 675 verschillende combinaties van clumping en pruning parameters (window size, shift size, LD-threshold, p-waarde threshold, etc.) om de optimale instellingen per fenotype te vinden.
  • PRS-scores werden genormaliseerd (Min-Max) en getransformeerd naar binaire waarden (0/1) met een drempel van 0.5 voor evaluatie.

• Evaluatie:

  • De prestaties werden gemeten aan de hand van de Area Under the Curve (AUC) van de Receiver Operating Characteristic (ROC) curve, vanwege de vaak onbalans in de datasets.

3. Belangrijkste Bijdragen

• Uitgebreide Benchmark: Dit is een van de eerste studies die systematisch 80 fenotypen analyseert met een enorme reeks aan methoden: 29 ML-algoritmen, 80 DL-varianten en 3 PRS-tools met 675 parametercombinaties.
• Vergelijking van Methodologieën: De studie unificeert de stappen voor PRS en ML/DL pipelines, waardoor een eerlijke vergelijking mogelijk is voor case-control classificatie.
• Inzicht in Fenotype-Complexiteit: Het onderzoek toont aan dat de optimale methode sterk afhankelijk is van het specifieke fenotype. Sommige fenotypen vereisen een beperkt aantal SNP's (simpel), terwijl andere duizenden SNP's nodig hebben (complex).
• Open Science: Alle code, scripts voor data-transformatie en de resultaten zijn openbaar beschikbaar via GitHub, wat reproduceerbaarheid garandeert.

4. Resultaten

De analyse leverde de volgende kernresultaten op:

• Overkoepelende Prestaties:
  • ML/DL presteerde beter voor 44 van de 80 fenotypen.
  • PRS-tools presteerden beter voor 36 fenotypen.
• Beste Algoritmen per Categorie:
  • Machine Learning: XGBoost was de beste ML-algoritme, presterend voor 11 fenotypen (o.a. Type 2 Diabetes, Eczema, Hypertensie).
  • Deep Learning: ANN (Artificial Neural Network) was de beste DL-architectuur, presterend voor 26 fenotypen. Recurrente netwerken (LSTM/GRU) deden het goed voor specifieke fenotypen zoals Restless Leg Syndrome en Misophonia.
  • PRS Tools: PLINK was de beste PRS-tool, presterend voor 25 fenotypen. PRSice presteerde over het algemeen het slechtst, waarschijnlijk omdat het geen rekening houdt met ontbrekende genotype-data in de dataset.
• Specifieke Observaties:
  • Fenotypen met een complexe genetische architectuur (zoals Migraine en Depression) vereisten vaak duizenden SNP's voor optimale ML-prestaties.
  • Fenotypen met een eenvoudiger genetisch signaal (zoals Dyscalculia en Inflammation) deden het goed met een beperkt aantal SNP's.
  • Voor fenotypen met weinig genetische correlatie (bijv. hobby's zoals "motorfietsen" of "vissen") waren de prestaties van alle modellen laag, wat suggereert dat omgevingsfactoren hier een grotere rol spelen.
• Hyperparameters: De beste resultaten werden vaak behaald met specifieke combinaties, zoals Dropout=0.2, Optimizer=Adam, Batch size=1 en 50 epochs voor DL, en specifieke clumping/pruning instellingen voor PLINK.

5. Betekenis en Conclusie

De studie concludeert dat er geen "one-size-fits-all" oplossing is voor genotype-fenotype voorspelling. De keuze tussen ML/DL en PRS hangt af van de datakwaliteit, de hoeveelheid data en de onderliggende genetische complexiteit van het fenotype.

• Aanbevelingen: Voor onderzoekers wordt geadviseerd om eerst ANN (met een 5-laags architectuur) en XGBoost te testen, en als baseline PLINK met standaard clumping/pruning parameters.
• Beperkingen: De studie erkent de beperkingen van de openSNP-dataset, zoals de afwezigheid van geslachts- en populatie-informatie, wat kan leiden tot populatiestructurering en valse associaties.
• Toekomstperspectief: Ondanks de beperkte datasetgrootte, tonen de resultaten aan dat geavanceerde algoritmen (vooral ML/DL) nuttig kunnen zijn voor onderzochte populaties met beperkte data, wat waardevol is voor de ontwikkeling van precisiegeneeskunde. De studie biedt een blauwdruk voor het toepassen van transfer learning en brute-force hyperparameter-optimalisatie in situaties met schaarse data.

Kortom, dit werk biedt een waardevol kompas voor wetenschappers die genotype-fenotype relaties willen modelleren, en benadrukt dat de keuze van het model en de parameters kritisch is voor succesvolle voorspelling.