Statistical uncertainty explains the poor agreement in polygenic scoring for type 2 diabetes

Dit onderzoek toont aan dat de slechte overeenkomst tussen verschillende polygenische scores voor type 2-diabetes volledig wordt verklaard door statistische onzekerheid, en benadrukt dat het opnemen van onzekerheidsmaten de betrouwbaarheid en klinische bruikbaarheid van deze voorspellingen aanzienlijk verbetert.

De kern

Titel: Waarom verschillende 'genetische voorspellingen' voor diabetes soms tegenstrijdig zijn (en wat we eraan kunnen doen)

Stel je voor dat je naar een dokter gaat en drie verschillende voorspellers vraagt: "Zal ik ooit diabetes krijgen?"

• Voorspeller A zegt: "Ja, je zit in de top 2% risico!"
• Voorspeller B zegt: "Nee, je risico is laag."
• Voorspeller C zegt: "Misschien, maar ik weet het niet zeker."

Dit is precies het probleem waar artsen en onderzoekers mee worstelen bij Polygene Scores (PGS). Dit zijn rekenmodellen die op basis van je DNA proberen te voorspellen of je een ziekte zoals type 2 diabetes kunt krijgen. Het probleem is dat verschillende modellen vaak heel verschillende antwoorden geven voor dezelfde persoon. Dat maakt het lastig om te beslissen wie er echt behandeld moet worden.

Deze nieuwe studie van onderzoekers van de Universiteit van Pennsylvania legt uit waarom dit gebeurt en biedt een slimme oplossing.

De Metafoor: Het Weerbericht

Stel je voor dat je een weerbericht bekijkt.

• Model 1 zegt: "Morgen is de temperatuur 20 graden."
• Model 2 zegt: "Morgen is de temperatuur 22 graden."
• Model 3 zegt: "Morgen is de temperatuur 18 graden."

Je vraagt je af: "Welke is waar?"

In het verleden dachten onderzoekers dat de modellen zelf fout waren of dat ze iets anders zagen. Maar deze studie zegt: "Nee, de modellen zijn niet per se fout. Het probleem is dat ze geen 'onzekerheidsmarge' tonen."

Het is alsof Model 1 zegt: "Het wordt 20 graden" (zonder meer info), terwijl Model 2 eigenlijk bedoelt: "Het wordt 20 graden, maar het kan ook 18 of 22 zijn." Als je alleen kijkt naar het getal "20", lijkt het alsof ze het oneens zijn. Maar als je kijkt naar de onzekerheid (de marge), zie je dat ze eigenlijk allemaal in dezelfde buurt zitten.

Wat hebben de onderzoekers ontdekt?

1. Het is statistische ruis, geen chaos:
   De verschillen tussen de verschillende diabetes-modellen komen niet doordat ze fundamenteel anders werken, maar door kleine statistische onzekerheden in hoe ze de genen wegen. Het is als een weegschaal die soms 1 gram meer of minder aangeeft. Voor de meeste mensen is dit niet erg, maar voor iemand die precies op de rand van de "risico-groep" zit, maakt dat 1 gram het verschil tussen "ja" en "nee".

2. De oplossing: Kijk naar het vertrouwen (Confidence):
   De onderzoekers hebben een manier bedacht om te meten hoe zeker een model is.

   • Hoge zekerheid: Het model zegt: "Ik weet het bijna zeker dat je risico hoog is." (Bijvoorbeeld: 95% kans dat je boven de drempel zit).
   • Lage zekerheid: Het model zegt: "Je zit net boven de drempel, maar het kan ook net onder zitten." (Bijvoorbeeld: 55% kans).

   Wat bleek? Mensen bij wie het model hoog vertrouwen had, kregen van alle andere modellen ook een hoog risico. Ze waren het dus allemaal eens! Mensen met laag vertrouwen kregen wisselende antwoorden van de verschillende modellen.

3. De praktijk:
   Als je alleen kijkt naar het gemiddelde risico (het punt), mis je de nuance. Als je kijkt naar de zekerheid, kun je beter bepalen wie echt een hoog risico heeft. Mensen met een "hoog vertrouwen" in hun hoge risico bleken ook daadwerkelijk vaker diabetes te ontwikkelen dan mensen die net boven de drempel zaten maar met lage zekerheid.

Een belangrijk kanttekening: Niet voor iedereen even goed

De studie waarschuwt ook voor een eerlijkheidsprobleem.
De modellen werken het beste voor mensen met een Europese afkomst. Voor mensen met een Afrikaanse afkomst is de onzekerheid veel groter. De "weegschaal" is hier minder nauwkeijk.
Dit betekent dat mensen met een Afrikaanse afkomst vaker in de "lage zekerheid" groep terechtkomen. Als we alleen kijken naar mensen met "hoge zekerheid", missen we dus veel mensen uit minderheidsgroepen die wel degelijk risico lopen. Dit kan de gezondheidskloof vergroten als we dit niet oppassen.

Samenvatting in één zin

De verwarring tussen verschillende genetische voorspellingen voor diabetes komt niet doordat de modellen slecht zijn, maar doordat we niet keken naar hun onzekerheid; als we die onzekerheid meenemen, zien we dat de modellen voor de mensen met het hoogste risico eigenlijk allemaal hetzelfde zeggen.

Wat betekent dit voor de toekomst?
In plaats van te zeggen "Je hebt een hoog risico", zouden artsen in de toekomst misschien kunnen zeggen: "Je hebt een hoog risico, en we zijn er 95% zeker van dat dit klopt." Dat maakt het veel makkelijker om de juiste mensen te helpen, zonder onnodig te alarmeren of mensen te negeren.

Technische samenvatting

Probleemstelling

Polygenische scores (PGS) zijn een veelbelovend hulpmiddel voor het voorspellen van genetische risico's op ziekten, zoals type 2 diabetes (T2D). Een kritieke beperking bij de klinische implementatie is echter de slechte overeenkomst (concordantie) tussen verschillende PGS voor hetzelfde individu. Individuen die door de ene PGS als "hoog risico" worden geclassificeerd, kunnen door een andere PGS als "laag risico" worden ingeschat. Deze discrepantie op individueel niveau ondermijnt de interpretatie en bruikbaarheid van PGS in de kliniek. Het is tot nu toe onduidelijk waarom deze onenigheid bestaat en of deze kan worden opgelost.

Methodologie

De auteurs onderzochten of statistische onzekerheid in de schatting van PGS de oorzaak is van deze discrepanties.

• Data: De studie gebruikte data van het All of Us Research Program (AoU, v7 release, N=223.015 deelnemers) en het Penn Medicine Biobank (PMBB) voor replicatie. De analyse richtte zich primair op individuen met een genetische achtergrond vergelijkbaar met Europese populaties (EUR-like), maar werd ook uitgebreid naar andere populatiegroepen (AFR-like, AMR-like).
• PGS Constructie:
  • Er werden nieuwe PGS berekend voor T2D, BMI en coronaire hartziekte (CHD) met behulp van PRS-CS (en PRS-CSx voor multi-ancestry T2D) en de grootste beschikbare GWAS-meta-analyses.
  • Er werden 57 gepubliceerde T2D-PGS uit de PGScatalog geselecteerd.
  • Om eerlijke vergelijkingen te maken, werden alleen de gepubliceerde scores geselecteerd die populatieniveau-achtige nauwkeurigheid (AUC) hadden binnen een Region of Practical Equivalence (ROPE) van ±0,02 ten opzichte van de nieuwe referentie-PGS.
• Onzekerheidschatting:
  • De auteurs benutten de Bayesiaanse aard van PRS-CS om posteriore verdelingen van variant-effecten te extraheren (via MCMC-steekproeven).
  • Hieruit werd voor elk individu een voorspelbaar bereik (predicted range) of credible interval afgeleid voor hun PGS.
  • Ze definieerden "PGS high risk confidence" als de kans dat het volledige credible interval van een individu boven de risicodrempel ligt.
• Validatie:
  • De empirische spreiding (variabiliteit tussen de verschillende gepubliceerde PGS) werd vergeleken met de voorspelde onzekerheid (credible interval) van de nieuwe PGS.
  • De stabiliteit van risicoclassificatie werd gemeten: hoe vaak werd een individu door andere scores ook als hoog risico bestempeld?
  • Longitudinale analyses werden uitgevoerd om te kijken of "hoge zekerheid" correleerde met een hogere incidentie van T2D.

Belangrijkste Bijdragen

1. Oorzaak van Discrepantie: Het artikel toont aan dat de slechte overeenkomst tussen verschillende PGS voor T2D volledig wordt verklaard door statistische onzekerheid in de schatting van de PGS-weights. De variabiliteit tussen verschillende scores kan worden benaderd door het credible interval van slechts één score.
2. Nieuwe Stratificatiestrategie: De auteurs introduceren een methode om individuen te stratificeren op basis van hun risico-zekerheid (confidence), in plaats van alleen op het punt-estimation (point estimate).
3. Klinische Relevantie: Ze tonen aan dat individuen met een hoge zekerheid (hoge confidence) dat ze een hoog risico hebben, een veel hogere overeenkomst vertonen met andere PGS en een significant hoger risico lopen om T2D te ontwikkelen dan individuen die alleen op basis van het punt-estimation als hoog risico worden geselecteerd.

Resultaten

• Verklaring van Onenigheid: Er werd een sterke correlatie gevonden tussen de empirische spreiding van 5 gepubliceerde T2D-PGS en de voorspelde onzekerheid van de nieuwe T2DGGI-EUR PGS (helling = 0,96). Dit bevestigt dat de variatie tussen scores voornamelijk statistisch ruis is.
• Risicostabiliteit:
  • Van de individuen in de top 2% van de T2DGGI-EUR score met hoge zekerheid (>95% kans dat de score boven de drempel ligt), werd gemiddeld 89% ook door de andere vijf scores als hoog risico geclassificeerd.
  • In tegenstelling hiermee hadden individuen met medium zekerheid (50-75%) slechts een stabiliteit van 38,5%.
• Voorspellende Waarde: Individuen met hoge zekerheid hadden een hogere cumulatieve incidentie van T2D (33,1%) vergeleken met medium-hoge (26,5%) en medium zekerheidsgroepen (23,7%). Ze vertoonden ook een jongere leeftijd bij ziektebegin en een hogere absolute kans op het ontwikkelen van T2D.
• Populatieverschillen: De methode werkt goed voor EUR-like populaties, maar vertoont minder goede kalibratie voor AFR-like (Afrikaanse) populaties. AFR-like individuen hebben grotere onzekerheid in hun PGS, waardoor er minder individuen in de "hoge zekerheid" categorie terechtkomen. Dit benadrukt een risico op het vergroten van gezondheidsongelijkheid.
• Generaliseerbaarheid: De bevindingen werden gerepliceerd voor BMI (helling = 1,0) en CHD. Voor CHD was de kalibratie echter slechter (helling = 0,71), wat waarschijnlijk te wijten is aan een groter percentage "missing heritability" in CHD-GWAS.

Significantie en Conclusie

De studie biedt een fundamentele oplossing voor een groot obstakel in de implementatie van PGS: de onzekerheid op individueel niveau. In plaats van te proberen meerdere scores te combineren of te kiezen voor de "beste" score, stelt de auteurs voor om onzekerheidsmetingen (credible intervals) te rapporteren en te gebruiken voor risicoselectie.

• Klinische Implicatie: Door individuen te selecteren op basis van hoge zekerheid, kunnen artsen een groep patiënten identificeren met robuuste genetische risicoschattingen, wat de betrouwbaarheid van PGS in de kliniek verhoogt.
• Beperkingen: De studie wijst op het risico van gezondheidsongelijkheid, aangezien populaties die ondervertegenwoordigd zijn in GWAS-studies (zoals niet-Europese groepen) grotere onzekerheid hebben en daardoor minder vaak in de "hoge zekerheid" categorie terechtkomen.
• Toekomst: Er is meer werk nodig om te onderzoeken hoe clinicians en patiënten deze onzekerheidsmetingen interpreteren en hoe deze kunnen worden geïntegreerd in klinische beslissingsondersteuningssystemen.

Kortom, de paper concludeert dat het erkennen en kwantificeren van statistische onzekerheid in PGS essentieel is om de discrepanties tussen scores op te lossen en de klinische nuttigheid van genetische risicoprofielen te maximaliseren.