Benchmarking Deep Learning Predictions of Mutation-Induced Fold Switching

Probleemstelling
Hoewel deep learning-modellen zoals AlphaFold2 en AlphaFold3 de voorspelling van eiwitstructuren hebben gerevolutioneerd, blijft hun vermogen om de effecten van puntmutaties op conformationele dynamiek te voorspellen onduidelijk. Specifiek is het onbekend of deze modellen de mutatie-geïnduceerde vouwingsschakeling (fold switching) in metamorfe eiwitten — eiwitten die in staat zijn twee verschillende, stabiele en goed geordende vouwen aan te nemen — accuraat kunnen voorspellen. Eerdere benchmarks suggereren dat AlphaFold alternatieve toestanden in minder dan een kwart van de bekende fold-switching eiwitten vastlegt en moeite heeft met het modelleren van de structurele impact van puntmutaties. Deze studie adresseert de kloof in het begrip van hoe huidige deep learning- en fysische methoden presteren wanneer zij de taak krijgen om te voorspellen hoe specifieke residu-substituties het evenwicht tussen gevouwen toestanden en ongevouwen toestanden veranderen.

Methodologie
De auteurs hebben een systematische, door NMR gekarakteriseerde benchmark-dataset geconstrueerd met behulp van het GA/GB-model fold-switching systeem. Ze voerden scanning-mutagenese uit op drie cruciale posities (L45 in GA98, T25 in GB98, en L20 in GB98-T25I), waarbij alle 19 mogelijke aminozuursubstituties voor elke site werden gegenereerd (60 varianten in totaal).

• Experimentele Karakterisering: De vouwtoestand-populaties (3α, 4β+α, en ongevouwen) voor alle 60 wild-type en variant eiwitten werden gemeten met behulp van 2D 1H-15N HSQC NMR spectroscopie.
• Computationele Evaluatie: De auteurs evalueerden een panel van deep learning en fysische algoritmen tegenover deze experimentele data. De deep learning suite omvatte AlphaFold2, AlphaFold3, AF-Cluster, AFSample2, CF-random, ESMFold2, ESM3, en Boltz-1x. Inverse folding methoden (ProteinMPNN, ESM-IF1, Frame2Seq) en een fysisch gebaseerd Rosetta ΔΔG protocol werden eveneens beoordeeld.
• Analyse-metrieken: Modeloutputs (1.000 modellen per mutant) werden geclassificeerd door TM-align tegen referentiestructuren. Prestaties werden gekwantificeerd met behulp van RV-coëfficiënten (multivariabele correlatie tussen voorspelde en experimentele staatsproporties) en Brier-scores (staat-classificatiefout). Daarnaast werden voorspellingen gecorreleerd met onafhankelijke MegaScale thermostabiliteit (ΔΔG) metingen.
• Uitgebreide Systemen: De methoden werden verder getest op mutanten van de Sa1 en KaiB metamorfe systemen om de generaliseerbaarheid te beoordelen.

Belangrijkste Bijdragen

1. Nieuwe Benchmark Dataset: De studie biedt een kwantitatieve, door NMR afgeleide benchmark van 60 puntmutanten over drie kritieke posities in het GA/GB systeem, waarbij de specifieke effecten op de 3α, 4β+α, en ongevouwen toestand-populaties worden gedetailleerd.
2. Systematische Algoritme Beoordeling: Het artikel biedt een vergelijkende evaluatie van state-of-the-art deep learning structuur-voorspellers, inverse folding tools, en fysisch gebaseerde scoring functies, specifiek voor mutatie-geïnduceerde fold switching.
3. Analyse van de Recycling Stap: De auteurs onderzochten de impact van AlphaFold2's recycling stappen op de fold voorspelling, waarbij zij ontdekten dat de bias naar de 3α vouw het sterkst is bij 0 recycling stappen en afneemt naarmate recycling toeneemt.
4. Thermodynamische Correlatie: De studie correleert modeloutput-distributies met experimentele thermostabiliteit data (ΔΔG) om te bepalen of de modellen de magnitude van de destabilisatie veroorzaakt door mutaties vastleggen.

Resultaten

• Positie-afhankelijke Prestaties: Voorspellende prestaties varieerden significant per residu positie. Voor residu 45 (GA98) vertoonden AlphaFold2 en AFSample2 de hoogste correlatie met experimentele data (RV coëfficiënten van respectievelijk 0.49 en 0.48). In contrast hiermee was de prestatie voor residuen 20 en 25 over het algemeen slecht, waarbij de meeste methoden RV coëfficiënten onder de 0.2 vertoonden.
• Bias en Sensitiviteit: Alle methoden vertoonden een bias naar de 3α vouw. Echter, voor residu 45 demonstreerde AlphaFold2 een verrassend vermogen om te differentiëren tussen mutanten die de 3α vouw stabiliseren, de 4β+α vouw, of leiden tot ontvouwing. Specifiek nam de proportie 4β+α modellen toe voor de 45Y mutant, die experimenteel switcht naar de 4β+α staat.
• Recycling Dynamiek: Zonder recycling voorspelde AlphaFold2 92.5% van de modellen als 3α, ongeacht de ware staat. Naarmate de aantal recycling stappen toenam (tot 20), nam de proportie 3α modellen af, en verbeterde het vermogen van het model om tussen mutant groepen te differentiëren, met name voor ongevouwen mutanten.
• Inverse Folding en Fysische Methoden: Inverse folding methoden en Rosetta vertoonden beperkte discriminerende kracht. Hoewel Rosetta enige destabiliserende effecten voor residu 45 kon voorspellen, slaagde het er niet in om consistent disruptieve effecten voor residuen 20 en 25 te identificeren. Inverse folding log-waarschijnlijkheden vertoonden enige correlatie met ΔΔG voor specifieke residu-site combinaties, maar misten algemene voorspellende kracht over alle sites.
• Thermostabiliteit Correlatie: De proportie ongevouwen modellen van AlphaFold2 correleerde sterk met experimentele ΔΔG waarden voor de residu 4 even de 45 mutanten (r = 0.89), wat suggereert dat het model de magnitude van destabilisatie op deze site vastlegt. Deze correlatie was afwezig voor residuen 20 en 25.
• Generaliseerbaarheid: Wanneer toegepast op de Sa1 en KaiB systemen, faalden de meeste methoden (behalve AFSample2) om mutatie-geïnduceerde verschuivingen in de staat-evenwichten te vatten, waarbij zij uitsluitend de dominante staat of ongevouwen modellen voorspelden.

Betekenis
Het artikel concludeert dat huidige deep learning modellen een gedeeltelijke, positie-afhankelijke sensitiviteit vertonen voor mutatie-geïnduceerde fold switching. Hoewel AlphaFold2 een beperkt maar significant vermogen vertoont om de effecten van puntmutaties op de staat-voorkeur te vatten — met name bij residu 45 van het GA/GB systeem — worstelt het over het algemeen met andere posities en systemen. De auteurs stellen dat deze sensitiviteit mogelijk voortkomt uit de geleerde energie functie van het model of training data biases (bijv. de conservatie van tyrosine op positie 45 in natuurlijke GB domeinen) in plaats van een fundamenteel begrip van de complexe energielandschappen van metamorfe eiwitten.

De studie benadrukt dat hoewel deze tools nog niet volledig betrouwbaar zijn voor het ontwerpen of voorspellen van complexe fold-switching gedragingen, zij een mate van fysisch inzicht bezitten die verdere investigatie rechtvaardigt. De auteurs suggereren dat toekomstige verbeteringen mogelijk expliciete incorporatie van thermodynamische data, NMR structuren (die ondervertegenwoordigd zijn in trainingssets), of hybride benaderingen vereisen die deep learning combineren met enhanced sampling moleculaire dynamica. De gepresenteerde GA/GB mutant dataset dient als een kritische, experimenteel gefundeerde testset voor het ontwikkelen en evalueren van dergelijke toekomstige benaderingen.