Adversarial Sequence Mutations in AlphaFold andESMFold Reveal Nonphysical StructuralInvariance, Confidence Failures, and Concerns forProtein Design

Een systematische evaluatie toont aan dat AlphaFold 3 en ESMFold vaak onrealistische structurele invariantie vertonen bij sequentiemutaties en onbetrouwbare betrouwbaarheidsmetingen gebruiken, wat suggereert dat deze modellen meer afhankelijk zijn van opgeslagen sjablonen dan van fundamentele biofysische principes, met ernstige gevolgen voor hun toepassing in eiwitontwerp en geneesmiddelenontwikkeling.

De kern

Stel je voor dat AlphaFold een super-super slimme architect is die al miljoenen foto's van gebouwen heeft gezien. Als je hem een nieuwe tekening geeft, kan hij met verbazingwekkende precisie voorspellen hoe dat gebouw eruit zou zien, zelfs als je hem nog nooit hebt gezien. Sinds 2021 is deze 'architect' de wereldberoemde held geworden in de biologie. Wetenschappers gebruiken hem om medicijnen te ontwerpen en nieuwe eiwitten te bouwen.

Maar deze nieuwe studie stelt een heel belangrijke vraag: Is deze architect echt slim, of is hij gewoon een meester in het kopiëren van zijn oude fotoalbums?

De onderzoekers wilden weten of AlphaFold 3 (de nieuwste versie) echt begrijpt waarom een gebouw stabiel is, of dat hij gewoon patronen uit zijn trainingsboekje herhaalt. Om dit te testen, deden ze iets wat je normaal gesproken nooit zou doen: ze begonnen het gebouw opzettelijk kapot te maken.

De "Sloop-Test"

Stel je voor dat je een Lego-kasteel hebt.

1. De punt-mutatie: Je verwisselt 40% van de Lego-blokjes. Je pakt de stevige, kleine blokjes uit het midden en vervangt ze door grote, zware, plakkerige blokjes. In het echte leven zou dit kasteel instorten.
2. De verwijdering: Je haalt 10% van de blokjes er gewoon uit, vooral uit het hart van het kasteel.

Wat deed AlphaFold?
Het bleef het kasteel tekenen exact zoals het er eerst uitzag. Alsof de architect blinddoek op had en zei: "Ik ken dit ontwerp, het is een kasteel, dus ik teken gewoon weer een kasteel," terwijl er halverwege de bouw een enorm gat in het fundament zat.

Zelfs bij eiwitten die in de natuur bekend staan om hun "vormwisseling" (eiwitten die hun vorm veranderen als je ze aanpakt), bleef AlphaFold stug vasthouden aan de oude vorm. Het was alsof de architect weigerde te zien dat het gebouw eigenlijk in elkaar zakte.

Het Vertrouwensprobleem

Er is nog een vreemd ding: AlphaFold heeft een "zelfvertrouwen-meter". Als hij denkt dat zijn voorspelling goed is, geeft hij een hoge score.
In deze test gaf de architect zelfs een perfecte score terwijl hij een onmogelijk, instabiel gebouw tekende. Het was alsof hij zei: "Ik ben 100% zeker dat dit een stabiel kasteel is," terwijl het eigenlijk een puinhoop was.

De studie ontdekte dat dit zelfvertrouwen niet echt gebaseerd is op fysieke logica (is dit gebouw stabiel?), maar op hoeveel oude foto's hij in zijn hoofd had. Als er een oude foto van een soortgelijk gebouw in zijn trainingsboekje stond, was hij superzeker. Als er geen foto was, twijfelde hij meer. Hij kijkt dus meer naar zijn archief dan naar de wetten van de natuur.

De concurrent: ESMFold

De onderzoekers vergeleken AlphaFold met een andere AI, genaamd ESMFold. Deze werkt anders; hij heeft geen grote fotoalbums nodig, maar leert door te lezen (net als een taalmodel).
Toen ze dezelfde "sloop-test" deden met ESMFold, reageerde hij anders. Als je 20% van de blokjes verwisselde, zag ESMFold dat het kasteel niet meer leek op het origineel. Hij tekende een ander gebouw. Hij was dus gevoeliger voor de veranderingen. Hij leek meer te begrijpen dat als je de basis verandert, het hele gebouw anders moet worden.

Wat betekent dit voor ons?

Dit is geen reden om te panikeren. AlphaFold is nog steeds een wonder van technologie en heeft de biologie veranderd. Maar deze studie is een belangrijke waarschuwing:

• Voor medicijnontwerp: Als je een nieuwe drug ontwerpt die een eiwit moet veranderen, en je vertrouwt blind op AlphaFold, kan het zijn dat de AI je een onmogelijk eiwit laat zien dat in de praktijk niet bestaat.
• Voor nieuwe ontwerpen: Als je een eiwit wilt bouwen dat nog nooit in de natuur heeft bestaan, moet je oppassen. De AI probeert misschien gewoon iets te tekenen dat op iets anders lijkt dat hij al kent, in plaats van een echt nieuw, stabiel ontwerp te maken.

De kernboodschap:
AlphaFold is een briljante imitator, maar misschien nog niet een volledig begrijper. Hij is geweldig in het voorspellen van wat we al kennen, maar hij kan moeite hebben om te begrijpen wat er gebeurt als we de regels van de natuur op hun kop zetten. Voor de toekomst moeten we dus niet blindelings op zijn "zelfvertrouwen" vertrouwen, maar altijd controleren of zijn creaties ook echt fysiek mogelijk zijn.

Technische samenvatting

Probleemstelling

AlphaFold heeft de structurele biologie getransformeerd door nauwkeurige voorspellingen van eiwitstructuren te leveren op basis van aminozuurreeksen. Echter, het blijft onduidelijk of deze modellen de onderliggende biofysische principes van eiwitvouwing hebben geleerd, of dat ze voornamelijk vertrouwen op patroonherkenning en template-matching (vergelijking met bekende structuren in de trainingsset).

Deze onderscheiding is cruciaal voor toepassingen die buiten de trainingscontext vallen, zoals de novo eiwitontwerp, drugontwikkeling en het modelleren van mutaties. Als AlphaFold slechts "uit het hoofd leert" (memoriseert) in plaats van redeneren, dan zullen afgeleide tools en workflows die hierop bouwen kwetsbaar zijn voor fouten bij sequenties die sterk afwijken van de natuur of bij mutaties die structurele instabiliteit veroorzaken. Er is behoefte aan een rigorose evaluatie om te bepalen of het model reageert op biologisch plausibele veranderingen in de sequentie.

Methodologie

De auteurs voerden een systematische adversariële evaluatie uit om de robuustheid en het redeneervermogen van AlphaFold 3 te testen. De kern van de methodologie bestond uit:

1. Datasets:

   • Een dataset van 200 eiwitten, verdeeld over vier categorieën: monomeer-nieuw, monomeer-geheel, multimeer-nieuw en multimeer-geheel. "Nieuw" betekent geen homologie (>30%) met de trainingsset, "geheel" betekent wel.
   • Een specifiek dataset van 15 experimenteel gevalideerde "fold-switching" eiwitten (eiwitten die bekend staan om het aannemen van alternatieve conformaties bij mutaties).

2. Mutatiestrategieën:

   • Puntmutaties: Sequenties werden gemuteerd op drempels van 5%, 10%, 20%, 40% en 70%. De mutaties waren opzettelijk deleterius (schadelijk), bijvoorbeeld door kleine hydrofobe residuen te vervangen door grote polaire residuen, met een bias naar het centrum van het eiwit (de kern).
   • Deletiemutaties: Residuen werden verwijderd op drempels van 1%, 3%, 5% en 10%. Deleties zijn biofysisch gezien veel destructiever dan puntmutaties.
   • Mutaties waren cumulatief opgebouwd en toegepast op homomere complexen (identieke mutaties in alle ketens) en heteromere complexen (onafhankelijke mutaties).

3. Vergelijkende Analyse:

   • Vergelijking met ESMFold, een model gebaseerd op taalkundige modellen (Protein Language Models) dat geen Multiple Sequence Alignments (MSA) gebruikt en geen templates nodig heeft.
   • Vergelijking van vertrouwensmetrieken (confidence metrics) tussen AlphaFold 2 en AlphaFold 3.

4. Evaluatiemetrieken:

   • TM-score: Voor globale structurele gelijkenis (waarde ≥ 0,5 duidt op dezelfde vouwing).
   • DockQ: Voor de nauwkeurigheid van eiwit-eiwit interfaces.
   • AlphaFold Ranking Score: De interne betrouwbaarheidsscore van het model.
   • FoldSeek: Gebruikt om de beschikbaarheid van structurele templates in de trainingsset te kwantificeren en te correleren met de voorspelde betrouwbaarheid.

Belangrijkste Bijdragen en Resultaten

1. Non-fysische Structurele Invariantie

Het meest opvallende resultaat is dat AlphaFold 3 structureel invariant blijft onder extreme mutaties:

• Puntmutaties: Voorspelde structuren bleven grotendeels ongewijzigd (TM-score ≥ 0,5) tot 40% van de residuen waren gemuteerd, zelfs met opzettelijk destabiliserende substituties. Bij 70% mutatie bleef de globale vouwing vaak nog steeds herkenbaar.
• Deleties: Zelfs bij 10% deletie (wat in de natuur zou leiden tot instorting van de structuur) behielden monomere eiwitten hun voorspelde globale vouwing.
• Fold-switching eiwitten: Zelfs bij eiwitten die experimenteel bekend staan om van vouwing te veranderen bij specifieke mutaties, voorspelde AlphaFold 3 geen structurele verandering. Het model "ignoreerde" de mutaties die biologisch gezien een conformatiewisseling zouden moeten veroorzaken.

2. Betrouwbaarheid van Vertrouwensmetrieken (Confidence Metrics)

De interne betrouwbaarheidsscores van AlphaFold 3 bleken onbetrouwbaar:

• De ranking score daalde slechts langzaam naarmate de mutaties toenamen. Zelfs bij 20% mutatie (waar het model duidelijk fout zou moeten zijn) bleef de score vaak boven de drempel voor "hoog vertrouwen" (0,6).
• Selectie van beste structuur: Wanneer vijf kandidaat-structuren worden gegenereerd, selecteert AlphaFold 3 slechts in 25% van de gevallen de meest accurate structuur (gebaseerd op TM-score/DockQ). AlphaFold 2 doet dit in maximaal 35%.
• Correlatie met Templates: De betrouwbaarheidsscore correleerde sterk met de structurele gelijkenis van de beste template in de trainingsset (gemeten via FoldSeek), maar niet met de sequentie-identiteit. Dit suggereert dat de "onzekerheid" van het model meer wordt bepaald door de beschikbaarheid van een trainings-template dan door een biofysische analyse van de inputsequentie.

3. Vergelijking met ESMFold

ESMFold vertoonde een grotere gevoeligheid voor mutaties dan AlphaFold 3:

• Bij puntmutaties daalde de structurele nauwkeurigheid van ESMFold veel sneller dan die van AlphaFold 3.
• Hoewel ESMFold in absolute nauwkeurigheid vaak lager scoort dan AlphaFold 3, reageert het realistischer op sequentieveranderingen. Dit suggereert dat ESMFold beter de koppeling tussen sequentie en structuur heeft geleerd via zijn taak van "masked language modeling", terwijl AlphaFold 3 mogelijk te veel leunt op memoriseerde templates.

Significantie en Implicaties

De bevindingen van dit onderzoek hebben diepgaande gevolgen voor het veld van de computationele biologie:

1. Beperkingen in Eiwitontwerp: Als AlphaFold 3 voornamelijk templates memoreert in plaats van biofysische redenering toepast, dan zijn workflows voor de novo eiwitontwerp (zoals RFdiffusion of ProteinMPNN die op AlphaFold vertrouwen) kwetsbaar. Ze kunnen sequenties genereren die er in silico goed uitzien, maar in vitro niet vouwen of functioneren omdat het model niet reageert op destabiliserende mutaties.
2. Drugontdekking en Binding: Voor toepassingen zoals het voorspellen van bindingsaffiniteit of het modelleren van mutaties in ziekteverwekkers, kan het model falen omdat het de structurele gevolgen van mutaties onderschat.
3. Interpretatie van Vertrouwen: Gebruikers kunnen niet blindelings vertrouwen op de AlphaFold ranking score. Een hoge score betekent niet noodzakelijk dat de structuur correct is voor een specifieke mutatie; het kan slechts betekenen dat er een vergelijkbare template in de trainingsset bestaat.
4. Toekomstige Richtingen: Het onderzoek suggereert dat toekomstige modellen moeten worden getraind op datasets die destabiliserende mutanten en misfolded eiwitten bevatten, en dat expliciete biofysische priors (zoals energiefuncties) moeten worden geïntegreerd om de afhankelijkheid van templates te verminderen.

Conclusie:
AlphaFold 3 is een revolutionair instrument, maar dit onderzoek onthult een fundamenteel gebrek aan gevoeligheid voor sequentievariatie en een overmatige afhankelijkheid van trainingsdata. Het model lijkt eerder een "interpolatie-machine" te zijn binnen de trainingsdistributie dan een universele biofysische simulator. Voor toepassingen die vereisen dat het model reageert op extreme mutaties of nieuwe eiwitfamilies, moet voorzichtigheid worden betracht en moeten de voorspellingen kritisch worden gevalideerd.