Evaluating FoldX5.1 for MAVISp Stability Data Collection

De studie concludeert dat de overstap van FoldX5 naar FoldX5.1 voor de MAVISp-stabiliteitsanalyse veilig is vanwege de hoge overeenkomst in voorspellingen, en dat de database daarom deze nieuwe versie zal adopteren met een overgangsperiode en nieuwe metadata.

De kern

Hoe een software-update de toekomst van onze gen-kaart veilig maakt

Stel je voor dat MAVISp een enorme, digitale atlas is. Maar in plaats van steden en wegen, bevat deze atlas de blauwdrukken van duizenden eiwitten in ons lichaam. Deze eiwitten zijn als de machines van ons lichaam: ze bouwen cellen, vechten tegen ziektes en houden ons in leven. Soms maken deze machines een kleine fout in hun bouwplaatje (een 'mutatie'), wat kan leiden tot ziektes zoals kanker.

De onderzoekers van dit artikel willen weten: Is deze fout gevaarlijk? Zet het de machine stil of maakt hij het juist sterker?

Om dit te beantwoorden, gebruiken ze een rekenmachine genaamd FoldX. Deze software doet een schatting: "Als je dit stukje van de machine vervangt, wordt de machine dan instabiel?"

Het dilemma: Oude of nieuwe versie?

De onderzoekers hadden een probleem. De software FoldX kreeg een update: van versie 5 naar versie 5.1.

• Versie 5 is de oude, vertrouwde versie die ze al jaren gebruiken.
• Versie 5.1 is de nieuwe versie. Hij is slimmer, kijkt beter naar bepaalde interacties (zoals hoe aromatische moleculen tegen elkaar aan 'plakken') en is nauwkeuriger.

De vraag was: Moeten we nu alles wat we al hebben in onze atlas opnieuw laten berekenen met de nieuwe versie?
Dat zou zijn alsof je een hele bibliotheek van 500.000 boeken opnieuw moet laten typen omdat je een nieuw type schrijfmachine hebt gekocht. Dat kost jaren tijd en kostte veel geld. Maar als je de oude en nieuwe versie door elkaar gebruikt, zijn de resultaten misschien niet vergelijkbaar.

De test: Een proef met 119 eiwitten

De onderzoekers besloten het uit te proberen. Ze namen 119 verschillende eiwitten en lieten ze door beide versies van de software berekenen. In totaal keken ze naar bijna 540.000 mogelijke foutjes.

Wat ontdekten ze?

1. Het is bijna hetzelfde: Voor 99% van de gevallen gaf de nieuwe versie (5.1) precies hetzelfde antwoord als de oude versie (5). De resultaten liepen hand in hand. Het was alsof je twee verschillende navigatiesystemen gebruikt: ze geven bijna dezelfde route aan.
2. De uitzonderingen: Er waren slechts drie eiwitten (NUPR1, TSC1 en TMEM127) waar de software het niet eens werd.
   • Waarom? Bij twee van deze eiwitten was de basisinformatie (het 3D-model) niet erg betrouwbaar. Het was alsof je probeert een auto te repareren terwijl je de blauwdrukken in de mist probeert te lezen. De nieuwe software zag de onzekerheid en gaf een ander advies dan de oude.
   • Bij het derde eiwit (een membraaneiwit) was de software gewoon even moeilijk te gebruiken, omdat dit type eiwit lastig is om te modelleren.
3. Geen grote verschuiving: De nieuwe software maakte de resultaten niet plotseling allemaal "positiever" of "negatiever". Het was geen radicale herziening, maar een verfijning.

De oplossing: Een geleidelijke overgang

Omdat de nieuwe software zo goed werkt en de verschillen klein en begrijpelijk zijn, hebben de onderzoekers een slim plan bedacht:

• Geen volledige herbouw: Ze gaan niet alles opnieuw berekenen. Dat zou te lang duren.
• De "Tussenperiode":
  • De oude gegevens in de atlas blijven staan met het label "Berekend met FoldX 5".
  • Alle nieuwe gegevens die vanaf nu worden toegevoegd, worden berekend met de slimme FoldX 5.1.
  • Als een oud item later een jaarlijkse update krijgt, wordt het dan ook omgezet naar de nieuwe versie.
• Transparantie: Ze plakken een duidelijk etiket op elke gegevensregel: "Dit is berekend met versie X". Zo weet iedereen precies welke "rekenmachine" er is gebruikt.

Conclusie

Dit onderzoek is als het testen van een nieuwe motor in een auto. Je hebt ontdekt dat de nieuwe motor (FoldX 5.1) net zo goed rijdt als de oude, maar een beetje zuiniger is en beter presteert in bepaalde situaties. Je hoeft niet je hele garage leeg te maken en alle auto's opnieuw te bouwen. Je kunt gewoon de nieuwe motor in de nieuwe auto's plaatsen en de oude auto's gewoon blijven rijden tot het moment dat ze toch al een grote beurt nodig hebben.

Zo kan de MAVISp-database sneller groeien en slimmer worden, zonder dat we jarenlang vastzitten aan het herberekenen van oude data.

Technische samenvatting

Probleemstelling

De MAVISp-database (Multi-layered Assessment of VarIants by Structure for proteins) is een structureel raamwerk voor het interpreteren van missense-varianten, waarbij voorspellingen van proteïnestabiliteit een kerncomponent vormen. Deze voorspellingen worden momenteel gegenereerd met behulp van de software FoldX5. De auteurs staan voor een klassiek dilemma bij database-curatie: hoe moet men omgaan met software-updates (in dit geval de overstap van FoldX5 naar FoldX5.1) zonder de consistentie van bestaande data te compromitteren?
FoldX5.1 introduceert belangrijke updates in de krachtenveldparameters, zoals verbeterde termen voor $\pi$-stapeling, pH-afhankelijkheid, aromatische interacties, helix-bijdragen en solvatatie. De centrale vraag is of deze nieuwe versie direct kan worden geadopteerd voor toekomstige datacollectie zonder dat dit leidt tot significante discrepanties met historische data, of dat een volledige herberekening van alle bestaande entries noodzakelijk is.

Methodologie

De auteurs hebben een uitgebreide validatiestudie uitgevoerd om de compatibiliteit tussen FoldX5 en FoldX5.1 te beoordelen binnen de MAVISp-workflow (specifiek de "simple mode" voor high-throughput datacollectie).

• Dataset: De studie omvatte 119 representatieve eiwitten uit de MAVISp-database, geselecteerd op basis van hun driedimensionale vouwing om een heterogene steekproef te garanderen.
• Aantal varianten: Er werden 539.809 gedeelde varianten geanalyseerd die in beide datasets aanwezig waren.
• Analyse:
  • Kwantitatieve overeenkomst: Vergelijking van de voorspelde veranderingen in vouwingsvrije energie ($\Delta\Delta G$) met behulp van de Pearson-correlatiecoëfficiënt en de gemiddelde absolute fout (MAE).
  • Kwalitatieve overeenkomst: Classificatie van varianten in drie categorieën (neutraal, stabiliserend, destabiliserend) op basis van een drempelwaarde van $\pm 3,0$ kcal/mol. De overeenkomst werd gemeten met de Cohen's $\kappa$-coëfficiënt en nauwkeurigheid.
  • Uitzonderingsanalyse: Voor eiwitten met lage overeenkomst werden aanvullende analyses uitgevoerd, waaronder het vergelijken van AlphaFold2 pLDDT-waarden (betrouwbaarheid van het structuurmodel) en het onderzoeken van specifieke aminozuursubstituties (bijv. naar aromatische residuen of proline).
  • Structuurkwaliteit: Er werd gekeken naar RMSD-waarden tussen de gebruikte AlphaFold-modellen en de invloed van membraaneiwitten of disordere gebieden.

Belangrijkste Resultaten

1. Algemene hoge overeenkomst: Er werd een sterke correlatie gevonden tussen de twee versies.

   • De globale Pearson-correlatie was 0,956.
   • De gemiddelde Pearson-correlatie per eiwit was 0,933 ($\pm 0,077$).
   • De gemiddelde Cohen's $\kappa$ was 0,814 ($\pm 0,092$).
   • De gemiddelde absolute fout bedroeg slechts 0,52 kcal/mol.

2. Identificatie van uitzonderingen: Drie eiwitten toonden een aanzienlijk lagere overeenkomst en werden als "outliers" geïdentificeerd: NUPR1, TSC1 en TMEM127.

   • Oorzaak bij NUPR1 en TSC1: De discrepanties waren geconcentreerd op posities met een lage AlphaFold2 pLDDT-waarde (onder de 70), wat wijst op onzekerheid in de input-structuur. Bij NUPR1 waren de twee gebruikte modellen bovendien structureel verschillend (RMSD 3,78 Å) ondanks vergelijkbare pLDDT-profielen.
   • Oorzaak bij TMEM127: Dit is een membraaneiwit. De lage overeenkomst wordt waarschijnlijk veroorzaakt door de bekende moeilijkheid om algemene structurele $\Delta\Delta G$-predictoren toe te passen op membraaneiwitten, hoewel de gebruikte modellen zeer vergelijkbaar waren.

3. Aard van de verschillen:

   • Er was geen systematische bias tussen de versies. De gemiddelde verschuivingen in $\Delta\Delta G$ waren minimaal (tussen -0,8 en -0,04 kcal/mol).
   • De grootste verschillen kwamen voor bij substituties naar aromatische residuen (door de geüpdatete $\pi$-stapelingstermen in FoldX5.1) en proline (mogelijk gerelateerd aan aangepaste helix- en waterstofbruggenparameters).
   • FoldX5.1 voorspelde vaak minder destabiliserende effecten voor deze specifieke varianten dan FoldX5.

Belangrijkste Bijdragen

• Validatie van FoldX5.1: Het artikel biedt empirisch bewijs dat FoldX5.1 een betrouwbare opvolger is voor FoldX5 binnen de MAVISp-workflow, zonder dat de resultaten fundamenteel veranderen voor de meerderheid van de eiwitten.
• Strategisch migratieplan: De auteurs stellen een gefaseerde migratiestrategie voor in plaats van een volledige, tijdrovende herberekening van de bestaande database.
  • Bestaande entries behouden hun FoldX5-annotaties tot hun geplande jaarlijkse update.
  • Nieuwe of bijgewerkte entries worden direct verwerkt met FoldX5.1.
• Transparantie: Er wordt voorgesteld om de gebruikte FoldX-versie als nieuwe metadata-annotatie in de database op te nemen om de reproduceerbaarheid en interpretatie te waarborgen.

Significantie

De studie is van groot belang voor de bio-informatica en de curatie van variantendatabases. Het toont aan dat methodologische verbeteringen (zoals in FoldX5.1) geïntegreerd kunnen worden zonder de continuïteit van de database te verstoren. De conclusie is dat een gefaseerde overgang de beste balans biedt tussen het benutten van verbeterde krachtenvelden en het behoud van data-integriteit.

De bevindingen onderstrepen ook het belang van het monitoren van de kwaliteit van de input-structuren (zoals AlphaFold2 pLDDT-waarden); discrepanties tussen softwareversies treden voornamelijk op bij structureel onzekere gebieden, wat een waarschuwing is voor gebruikers om bij dergelijke gevallen extra voorzichtig te zijn. De studie bevestigt dat MAVISp klaar is voor de adoptie van FoldX5.1 voor toekomstige datacollectie.