Validating folding energy estimates as a method for variant interpretation

Dit artikel toont aan dat, ondanks gemiddelde correlatiecoëfficiënten, FoldX-energieschattingen een waardevol hulpmiddel zijn voor de interpretatie van genetische varianten doordat een duidelijke lineaire relatie met experimentele resultaten bestaat en door het identificeren van uitschieters en het aggregeren van schattingen uit verschillende structuren de voorspellende nauwkeurigheid kan worden verbeterd.

De kern

🧬 De "Foutencontrole" voor ons DNA: Waarom sommige mutaties ziekte veroorzaken

Stel je voor dat ons DNA een enorme, complexe bouwtekening is voor de machinekamer van ons lichaam. In die machinekamer draaien duizenden kleine onderdelen, de eiwitten. Deze eiwitten moeten perfect gevouwen zijn om te werken, net als een origami-zwaan die perfect gevouwen moet zijn om te kunnen vliegen.

Soms maakt de bouwtekening een foutje: een lettertje in het DNA is verkeerd. Dit heet een mutatie. Vaak weten we niet of dit foutje erger is dan een kleine kras op een auto (onbelangrijk) of of het de motor volledig laat exploderen (een dodelijke ziekte). Dit noemen we "varianten van onzekere betekenis".

De onderzoekers in dit artikel hebben een manier bedacht om te voorspellen of zo'n foutje de "origami-zwaan" (het eiwit) kapot maakt.

🛠️ De Probeerder: FoldX

Om te zien of een eiwit nog goed werkt, gebruiken wetenschappers een computerprogramma genaamd FoldX.

• De Vergelijking: Denk aan FoldX als een virtuele proefpersoon. Je geeft het programma een eiwit en zegt: "Wat gebeurt er als ik hier een stukje vervang?" Het programma berekent dan hoeveel energie het kost om het eiwit weer in elkaar te zetten.
• Het Probleem: In het verleden was het antwoord van deze "proefpersoon" soms wisselvallig. Soms zei hij: "Niks aan de hand!" en soms: "Ramp!" terwijl het in het echt ergens tussenin zat. Wetenschappers twijfelden daarom of ze het programma konden vertrouwen.

🔍 De Grote Experiment

De auteurs van dit artikel hebben een enorme test gedaan. Ze keken naar een gigantische dataset van duizenden experimenten die al eerder door anderen waren gedaan (een "mega-scale" studie). Ze lieten hun computerprogramma (FoldX) alle mogelijke foutjes in zeven verschillende eiwitten voorspellen en vergeleken dit met de echte resultaten uit het laboratorium.

Wat vonden ze?

1. De "Slechte Appels" verstoren het beeld

Eerst zagen ze dat de voorspellingen niet perfect overeenkwamen met de realiteit (de correlatie was maar matig). Maar toen ze de grafieken goed bekeken, zagen ze iets interessants:

• De Analogie: Stel je voor dat je de lengte van mensen meet. Als je één reus van 3 meter en één dwerg van 50 cm toevoegt aan een groep van volwassenen, lijkt de gemiddelde lengte heel raar.
• De Bevinding: De meeste voorspellingen zaten precies op de juiste lijn. Maar er waren een paar specifieke plekken in het eiwit waar het programma steeds de fout maakte. Deze "slechte appels" trokken de hele statistiek naar beneden. Als je die eruit haalt, klopt het beeld perfect!

2. Kijk naar meerdere foto's (Structuren)

Eiwitten zijn niet statisch; ze bewegen. Soms hebben we van één eiwit verschillende "foto's" (structuren) uit de database.

• De Analogie: Het is alsof je een auto van verschillende kanten fotografeert. Van de ene kant lijkt de bumper beschadigd, van de andere kant niet.
• De Oplossing: De onderzoekers ontdekten dat als je de voorspelling van alle foto's van dat eiwit neemt en er een gemiddelde van maakt, de voorspelling veel betrouwbaarder wordt. Het is alsof je een gemiddelde maakt van alle foto's om de echte staat van de auto te bepalen.

3. Waarom faalt het soms? (De "Strakke Knoop")

Waarom faalde het programma dan op die specifieke plekken?

• De Analogie: Sommige delen van een eiwit zijn als een strakke knoop in een touw. Als je daar aan trekt of iets verandert, is het heel moeilijk om de knoop weer netjes te maken. De computer probeert de knoop te "repareren" (in de computerwereld: energie minimaliseren), maar faalt vaak omdat de knoop te complex is.
• De Bevinding: De fouten gebeurden bijna altijd op plekken die erg strak en stijf in het eiwit zaten. De computer kon die strakke plekken niet goed simuleren. Maar nu weten ze dit, kunnen ze die resultaten als "onzeker" markeren.

💡 Wat betekent dit voor ons?

1. Betrouwbaarder diagnose: Artsen en genetici kunnen nu met meer vertrouwen zeggen of een mutatie gevaarlijk is. Ze weten dat als het programma een extreme voorspelling doet op een "strakke knoop", ze het resultaat moeten dubbelchecken.
2. Geen paniek om de statistieken: Het feit dat de correlatie niet 100% was, lag niet aan het programma zelf, maar aan een paar lastige uitzonderingen. Als je die weet te filteren, werkt het programma uitstekend.
3. Toekomstige genezing: Door te begrijpen waarom een eiwit mislukt (bijvoorbeeld door te vouwen), kunnen wetenschappers in de toekomst medicijnen ontwerpen die helpen om die eiwitten toch stabiel te houden.

Conclusie in één zin

De onderzoekers hebben bewezen dat de computerprogramma's die voorspellen of eiwitten kapot gaan door mutaties, eigenlijk heel goed werken, zolang je weet dat ze soms vastlopen op een paar specifieke, lastige plekken in het eiwit. Door die plekken te herkennen en te middelen over verschillende modellen, krijgen we een heel betrouwbaar hulpmiddel om ziektes te begrijpen.

Technische samenvatting

Probleemstelling

De interpretatie van varianten met onzekere betekenis (VUS) blijft een grote uitdaging in genomische analyses. Hoewel statistische modellen pathogeniciteit kunnen voorspellen, bieden ze geen inzicht in de biofysische mechanismen van mutaties en zijn de trainingsdata vaak vertekend door bias in de beschikbare datasets.
Een veelvoorkomend mechanisme voor het verlies van gen- of domeinactiviteit is eiwitmisfolding, wat verantwoordelijk is voor ongeveer twee derde van ziekteverwekkende varianten. Het voorspellen van de stabiliteit van eiwitten (via de verandering in vrije energie, $\Delta\Delta G$) is echter lastig. De nauwkeurigheid van energievoorspellingen wordt vaak in twijfel getrokken vanwege:

• Zeer variërende correlatiecoëfficiënten tussen verschillende studies en eiwitten.
• De onbekende impact van alternatieve eiwitstructuren op de voorspellingen.
• Het gebrek aan schaalbare methoden om grote datasets van mutaties te valideren.

Methodologie

De auteurs hebben een systematische analyse uitgevoerd van een "mega-scale" dataset van experimentele eiwitstabiliteitsmetingen (van Tsuboyama et al., 2023), die meer dan 1000 goed gevalideerde substituties omvat in zeven eiwitten met experimenteel bepaalde structuren.

De aanpak omvatte:

1. Geautomatiseerde Pipeline (Mutein): Een volledig geautomatiseerde pipeline gebaseerd op FoldX werd ontwikkeld om $\Delta\Delta G$-waarden te berekenen voor alle mogelijke mutaties.
   • De pipeline haalde alle PDB-structuren op via de UniProt API en AlphaFold-modellen.
   • Voor elke structuur werd FoldX RepairPDB vijf keer uitgevoerd om sterische botsingen te minimaliseren.
   • FoldX PositionScan werd uitgevoerd op elke residu in de relevante ketens voor alle mogelijke aminozuursubstituties.
2. Gen-uitlijning: Een multi-stap uitlijningsprocedure werd gebruikt om PDB-structuren te aligneren met de canonieke UniProt-sequentie, rekening houdend met constructverschillen, loop-excisies en natuurlijke varianten. Een thermodynamische cyclus werd toegepast om energieën te normaliseren ten opzichte van dezelfde referentiesequentie.
3. Statistische Analyse:
   • Analyse van de verdeling van voorspellingen over meerdere structuren voor één mutatie (Hartigan's dip test, D'Agostino-Pearson test).
   • Identificatie van outliers (mutaties met voorspellingen > 2 standaardafwijkingen van de lijn van beste passing).
   • Gebruik van Elastisch Netwerk Modellen (ENM) om te onderzoeken of outliers correleren met strak geconstraineerde residuen (hoge frequentie trillingen).
   • Vergelijking van correlaties tussen voorspellingen en experimentele data, zowel per eiwit als geaggregeerd.

Belangrijkste Bijdragen

• Ontmaskering van de "Outlier"-effect: De auteurs tonen aan dat lage correlatiecoëfficiënten vaak worden veroorzaakt door een klein aantal slecht voorspelde residuen (outliers), terwijl de overige mutaties een duidelijke lineaire relatie vertonen.
• Validatie van Aggregatie: Het gebruik van de mediaan van $\Delta\Delta G$-voorspellingen over meerdere structuren (in plaats van een enkele structuur of gemiddelde) verbetert de voorspellende nauwkeurigheid aanzienlijk.
• Identificatie van Probleemresiduen: Het is mogelijk om problematische residuen empirisch (via hoge variantie in voorspellingen) en theoretisch (via elastische netwerkmodellen die strakke structurele beperkingen aangeven) te identificeren.
• Schaalbare Validatie: De studie valideert FoldX op een schaal die voorheen onmogelijk was, bewijzend dat het instrument geschikt is voor computergestuurde saturatie-screens.

Resultaten

• Correlatieverbetering: Voor drie intensief bestudeerde eiwitten (PIN1, FYN, Spg) was de initiële Pearson-correlatie tussen voorspelling en experiment matig (0,30–0,31). Na het verwijderen van outliers en het gebruik van de mediaan over structuren, steeg de correlatie aanzienlijk (bijv. PIN1 van 0,30 naar 0,61; Spg naar 0,72).
• Oorsprong van Outliers:
  • Outliers zijn vaak geassocieerd met residuen in strakke, goed geordende structurele gebieden (zoals de WW-domeinen van PIN1), waar FoldX moeite heeft met het opnieuw inpakken (repacking) na mutatie.
  • Deze residuen vertonen een hoge variantie in $\Delta\Delta G$-waarden tussen verschillende structuren.
  • Elastische netwerkmodellen konden deze problematische residuen voorspellen met een AUC van 0,75 tot 0,86, afhankelijk van het eiwit.
• Aminozuurspecificiteit: Bij Spg bleken outliers voornamelijk veroorzaakt te worden door substituties naar bulkige aromatische aminozuren (Tyrosine, Fenylalanine) en Histidine.
• Schaalbaarheid: Bij uitbreiding naar een dataset van ~200 eiwitten (waarvan 58 voldoende data hadden) benaderde de correlatie van de geaggregeerde mediaan-voorspellingen de bovengrens van experimentele reproduceerbaarheid ($r \approx 0,75$).
• Grenzen: Hoewel FoldX uitstekend presteert binnen één eiwit (relatieve stabiliteit), is de absolute schaal van $\Delta\Delta G$-waarden tussen verschillende eiwitten niet consistent (globale Spearman-correlatie $r=0,45$).

Significantie en Conclusie

De studie biedt een robuust kader voor het gebruik van FoldX in de variantinterpretatie:

1. Betrouwbaarheid: FoldX is een geldig instrument voor het voorspellen van misfolding-energieën, mits de voorspellingen worden geaggregeerd over meerdere structuren en outliers worden gefilterd.
2. Kwaliteitscontrole: Het is mogelijk om vooraf "laag-vertrouwde" voorspellingen te flaggen op basis van de variantie tussen structuren of de locatie in de eiwitstructuur (strakke gebieden).
3. Toepassing: De methode ondersteunt computergestuurde saturatie-screens voor het analyseren van varianten in klinische en kankerstudies.
4. Toekomstperspectief: De auteurs suggereren dat toekomstige verbeteringen kunnen worden bereikt door het integreren van eiwitdynamica (bijv. via CONCOORD of BioEmu) om het probleem van slecht inpakken na mutatie op te lossen, en door het verzamelen van voorgecalculeerde databases van misfolding-energieën als aanvulling op bestaande pathogeniciteitscores.

Samenvattend weerlegt dit werk de mythe dat FoldX onbetrouwbaar is door aan te tonen dat de schijnbare lage correlaties vaak worden veroorzaakt door een kleine subset van moeilijk te voorspellen mutaties, en biedt het een praktische strategie om deze beperkingen te overwinnen.