Ancestry-specific performance of variant effect predictors in clinical variant classification

Hoewel de prestaties van variant-effectpredictoren afhankelijk zijn van de genetische afkomst en allelfrequentie, tonen de auteurs aan dat deze modellen na stratificatie vergelijkbare nauwkeurigheid vertonen over verschillende bevolkingsgroepen, wat hun verantwoorde inzet ondersteunt in de klinische genetica.

De kern

De Kernboodschap: Is de "Genetische GPS" eerlijk voor iedereen?

Stel je voor dat je een GPS hebt die je helpt een verkeerde afslag op een weg te herkennen. In de medische wereld zijn deze GPS-systemen computerprogramma's die kijken naar je DNA. Ze proberen te voorspellen of een kleine foutje in je genetische code (een 'variant') gevaarlijk is (ziektemakend) of onschuldig.

De vraag die de auteurs van dit onderzoek stellen, is: Werkt deze GPS even goed voor mensen uit verschillende delen van de wereld?

In het verleden zijn veel van deze GPS-systemen getraind met data van mensen uit Europa. Het was alsof je een auto had die perfect werkt op de snelwegen van Nederland, maar misschien minder goed op de smalle weggetjes van Afrika of Azië. De onderzoekers wilden weten: Zijn deze tools voor iedereen even betrouwbaar, of maken ze meer fouten bij bepaalde groepen?

Het Probleem: Verschillende "Wegen" in ons DNA

Om dit te onderzoeken, keken de onderzoekers naar een enorme database met DNA van bijna 426.000 mensen uit het VK (de UK Biobank). Ze verdeelden deze mensen in groepen op basis van hun afkomst: Europees, Afrikaans, Aziatisch, etc.

Ze ontdekten twee belangrijke dingen over de "wegen" in ons DNA:

1. Het aantal foutjes verschilt: Mensen met Afrikaanse afkomst hebben gemiddeld meer genetische variatie (meer verschillende "weggetjes") dan mensen met Europese afkomst. Het is alsof je in een stad woont waar elke straat anders is, vergeleken met een stad waar alle straten bijna hetzelfde zijn.
2. De "zeldzaamheid" is anders: In sommige groepen zijn bepaalde foutjes zeldzamer dan in andere.

Dit is belangrijk omdat de computerprogramma's vaak kijken naar hoe "zeldzaam" een foutje is. Als een foutje heel zeldzaam is, denken ze vaak: "Oh, dit moet wel gevaarlijk zijn!" Maar als je niet goed weet hoe zeldzaam iets is in een specifieke groep, kan de GPS verkeerd navigeren.

De Oplossing: De "Verkeersdichtheid" controleren

De onderzoekers ontdekten dat de schijnbare ongelijkheid vaak kwam door een valstrik: de frequentie van de foutjes.

• De Analogie: Stel je voor dat je kijkt naar ongelukken op snelwegen. Als je alleen kijkt naar een drukke snelweg (veel auto's = veel zeldzame foutjes in een grote populatie), zie je meer ongelukken dan op een rustige landweg. Als je niet kijkt naar het verkeer, denk je misschien dat de landweg veiliger is, terwijl het alleen maar rustiger is.
• Wat ze deden: De onderzoekers keken niet naar alle foutjes door elkaar. Ze groepeerden ze eerst op basis van hoe vaak ze voorkomen (de frequentie). Ze vergeleken alleen "zeldzame foutjes" met "zeldzame foutjes", en "iets minder zeldzame" met "iets minder zeldzame".

Het Resultaat: De GPS werkt overal even goed!

Toen ze deze "verkeersdichtheid" (de frequentie) in rekening brachten, gebeurde er iets verrassends:

• De computerprogramma's maakten evenveel fouten bij mensen uit Europa als bij mensen uit Afrika, Azië of het Midden-Oosten.
• Het aantal mensen dat een "gevaarlijk" foutje in hun DNA heeft, bleek overal ter wereld ongeveer hetzelfde te zijn. Of je nu uit Londen, Lagos of Tokio komt: je hebt ongeveer evenveel kans op een ernstig genetisch probleem.

De onderzoekers concludeerden dat de tools die we nu gebruiken om ziektes te diagnosticeren, eerlijk en betrouwbaar zijn voor iedereen, zolang we maar goed kijken naar hoe vaak een foutje voorkomt.

Waarom is dit belangrijk?

Vroeger was er angst dat deze medische tools "racistisch" zouden zijn of dat ze mensen uit niet-Europese landen minder goed zouden helpen. Dit onderzoek zegt: Geen zorgen.

Als artsen deze computerprogramma's gebruiken om te bepalen of iemand een zeldzame ziekte heeft, kunnen ze dat met vertrouwen doen voor patiënten uit elke culturele achtergrond. De technologie is klaar om wereldwijd te worden ingezet om mensen gezond te houden, zolang we maar blijven opletten voor de details (zoals de frequentie van de foutjes).

Kort samengevat:
De "genetische GPS" is niet voorkeur voor één groep. Hij werkt overal even goed, mits we hem de juiste kaart geven (de frequentie van de foutjes). We kunnen deze tools dus veilig gebruiken om diagnoses te stellen voor mensen van alle afkomst.

Technische samenvatting

Probleemstelling

Het voorspellen van de effecten van genetische varianten en het beoordelen van de prestaties van deze voorspellers zijn cruciale taken in de genomische geneeskunde. Hoewel goed gekalibreerde variant-effectvoorspellers (zoals REVEL, MutPred2 en AlphaMissense) betrouwbaar kunnen worden gebruikt als bewijs voor de pathogeniciteit van missense-varianten, bestaat er een groot risico op bias. De meeste voorspellers zijn getraind of gekalibreerd op data die niet voldoende representatief is voor alle genetische afstammingsgroepen (ancestries). Dit roept vragen op over de verantwoordelijke inzet van deze tools in de klinische diagnose van zeldzame Mendeliaanse aandoeningen, aangezien ongelijkheid in prestaties kan leiden tot verkeerde classificaties bij niet-Europese populaties. Bestaande studies tonen aan dat polygenische risicoscores (PRS) vaak slecht vertaalbaar zijn naar niet-Europese genomen, maar er is weinig onderzoek gedaan naar de afstammings-specifieke prestaties van variant-effectvoorspellers.

Methodologie

De auteurs voerden een uitgebreide analyse uit met behulp van data van 425.978 exoom-gesequencede deelnemers uit de UK Biobank, aangevuld met variantdata van gnomAD, ClinVar en HGMD.

1. Populatie en Data:

   • De studie omvatte zes genetische afstammingsgroepen: Europees (EUR), Afrikaans (AFR), Centraal/Zuid-Aziatisch (CSA), Oost-Aziatisch (EAS), Gemengd Amerikaans (AMR) en Midden-Oosters (MID).
   • Er werd gefocust op een gecureerde set van 4.780 ziekte-geassocieerde genen, naast alle eiwitcoderende genen.
   • Varianten werden gedefinieerd als "zeldzaam" met een allelfrequentie (AF) < 1%.

2. Analyse van Variabelen:

   • De auteurs onderzochten het aantal heterozygote zeldzame missense- en synonieme varianten per persoon per afstammingsgroep.
   • Ze analyseerden de verdeling van allelfrequenties en evolutionaire conservatie (gemeten via GERP++-scores) voor deze varianten.

3. Evaluatie van Voorspellers:

   • Drie primaire voorspellers werden getest: REVEL, MutPred2 en AlphaMissense.
   • Voorspellingen werden gekoppeld aan de ACMG/AMP-richtlijnen voor variantclassificatie. Varianten werden ingedeeld op basis van bewijskracht (PP3 voor pathogeen, BP4 voor benign) met niveaus van "ondersteunend", "matig" en "sterk".
   • De prestaties werden gemeten aan de hand van de Area Under the Curve (AUC) van de Receiver Operating Characteristic (ROC) voor bekende pathogene en benign varianten uit ClinVar en HGMD.

4. Statistische Correctie:

   • Een cruciale stap was het stratificeren van de analyse op basis van allelfrequentie. De auteurs onderzochten of verschillen in prestaties echt te maken hadden met afstamming of met confounding factoren zoals het aantal varianten per individu en de frequentieverdeling.
   • Er werd gebruikgemaakt van bootstrapping (1.000 iteraties) om statistische significantie te bepalen.

Belangrijkste Bijdragen

1. Identificatie van Confounders: De studie toont aan dat het verwachte aantal zeldzame varianten in een individu's genoom en de verdeling van hun allelfrequenties de belangrijkste confounders zijn bij het evalueren van prestaties over verschillende afstammingsgroepen heen.
2. Inverse Correlatie: Er werd een inverse correlatie gevonden tussen de nauwkeurigheid van een voorspeller en de allelfrequentie van de zeldzame variant. Hoe zeldzamer de variant, hoe beter de voorspellers presteren.
3. Stratificatie als Oplossing: De auteurs tonen aan dat wanneer men analyseert binnen specifieke frequentie-bins, de prestaties van gevestigde methoden vergelijkbaar zijn over de belangrijkste afstammingsgroepen. Dit weerlegt de hypothese dat de tools inherent bias hebben ten opzichte van bepaalde populaties.
4. Klinische Validatie: De studie levert bewijs dat deze modellen, ondanks imperfecties in de trainingsdata, betrouwbaar kunnen worden ingezet voor klinische variantclassificatie in diverse populaties, mits de analyse correct wordt gestratificeerd.

Resultaten

• Variatie in Variabelen: Individuen van Afrikaanse afkomst hebben het hoogste aantal zeldzame heterozygote missense-varianten (gemiddeld 161 per persoon), gevolgd door Centraal/Zuid-Aziatische en Oost-Aziatische groepen. Europese individuen hebben het laagste aantal (94).
• Evolutionaire Conservatie: De positie van zeldzame varianten in Europese populaties vertoont de hoogste mate van evolutionaire conservatie (hoge GERP++-scores), terwijl Afrikaanse populaties de laagste gemiddelde conservatie tonen. Dit komt overeen met het hogere aantal varianten in Afrikaanse populaties.
• Bewijskracht (ACMG/AMP):
  • Het aantal varianten met PP3-sterk bewijs (pathogeen) is consistent over alle groepen (ongeveer 1,6 tot 1,8 varianten per persoon in ziekte-geassocieerde genen).
  • Het aantal varianten met BP4-bewijs (benign) varieert sterk en volgt de totale last van zeldzame missense-varianten per populatie.
  • Individuen van Afrikaanse afkomst hebben het hoogste aantal "Varianten van Onzekere Betekenis" (VUS), voornamelijk door het hogere aantal varianten dat niet in de PP3/BP4-categorieën valt.
• Prestatie (AUC):
  • Wanneer alle varianten zonder stratificatie worden geanalyseerd, lijken er grote verschillen in prestatie te zijn tussen Europese en niet-Europese groepen (Simpson's paradox).
  • Cruciaal: Wanneer de analyse wordt gestratificeerd op allelfrequentie, zijn er geen statistisch significante verschillen in AUC tussen de afstammingsgroepen (na correctie voor meervoudig toetsen). De tools presteren dus even goed voor zeldzame varianten in elke populatie.

Betekenis en Conclusie

De studie concludeert dat de schijnbare bias in variant-effectvoorspellers vaak het gevolg is van demografische verschillen in de populatie (zoals het aantal zeldzame varianten en hun frequentie) en niet van een inherente tekortkoming van de algoritmen zelf.

• Klinische Implicatie: De resultaten ondersteunen de brede inzet van deze computergestuurde modellen in de genetische diagnose en gerelateerde toepassingen, ongeacht de genetische afstamming van de patiënt.
• Aanbeveling: Voor een eerlijke evaluatie en toepassing is het essentieel om prestaties te analyseren binnen frequentie-bins. Het negeren van allelfrequentie leidt tot misleidende conclusies over bias.
• Toekomst: Hoewel de tools betrouwbaar zijn, blijft het belangrijk om de representativiteit van trainingsdata te verbeteren en de VUS-ratio's in ondervertegenwoordigde populaties te verlagen, mogelijk door uitbreiding van functionele data (zoals deep mutational scanning).

Kortom, de paper biedt een technisch onderbouwd argument dat variant-effectvoorspellers, wanneer correct geïnterpreteerd rekening houdend met allelfrequentie, eerlijk en betrouwbaar zijn voor een diverse wereldbevolking.