Adversarial Sequence Mutations in AlphaFold andESMFold Reveal Nonphysical StructuralInvariance, Confidence Failures, and Concerns forProtein Design

Cette étude démontre que les prédictions structurelles d'AlphaFold 3 restent étonnamment invariables face à des mutations adverses et que ses métriques de confiance sont peu fiables, suggérant que le modèle s'appuie davantage sur la mémorisation de modèles que sur un raisonnement biophysique, ce qui soulève des inquiétudes quant à son utilisation pour la conception de protéines et la découverte de médicaments.

L'essentiel

🍳 Le Chef AlphaFold : Un génie qui copie trop ?

Imaginez qu'AlphaFold soit un super-chef en cuisine moléculaire. Depuis quelques années, ce chef est capable de regarder une liste d'ingrédients (la séquence d'acides aminés d'une protéine) et de prédire exactement à quoi ressemblera le plat fini (la structure 3D de la protéine) avec une précision incroyable. Il a révolutionné la science, aidant à créer de nouveaux médicaments et à comprendre la vie.

Mais les auteurs de cette étude se sont posé une question cruciale : Ce chef a-t-il vraiment appris les règles de la cuisine (la physique), ou se contente-t-il de copier des recettes qu'il a déjà vues dans son livre de cuisine (sa base de données d'entraînement) ?

Pour tester cela, ils ont joué au "jeu du sabotage" avec ce chef.

🧪 L'Expérience : Le "Sabotage" de la Recette

Les chercheurs ont pris 200 recettes (protéines) et ont commencé à les modifier de manière extrême, comme si un petit-fils espiègle avait gâché les ingrédients :

1. Le Sabotage par Remplacement (Mutations ponctuelles) : Ils ont remplacé jusqu'à 40 % des ingrédients par d'autres totalement inadaptés (par exemple, remplacer un ingrédient gras par un ingrédient très aqueux au cœur du plat).
2. Le Sabotage par Suppression (Deletions) : Ils ont carrément retiré jusqu'à 10 % des ingrédients, comme si on arrachait des morceaux du gâteau.

Le résultat choquant :
Même après ces modifications catastrophiques, le chef AlphaFold a continué à dessiner exactement le même plat qu'avant !

• Même si la recette était devenue méconnaissable.
• Même si, dans la réalité, un tel plat s'effondrerait ou changerait complètement de forme.
• Même pour des protéines connues pour changer de forme (comme des caméléons), le chef a insisté pour dire : "Non, ça reste la même forme !"

C'est comme si vous demandiez à un architecte de dessiner une maison en remplaçant les murs de brique par du coton et en supprimant les fondations, et que l'architecte vous répondait : "Pas de problème, c'est toujours la même maison, regardez le plan !"

🤖 Le Problème de la Confiance : "Je suis sûr à 100 %"

Le pire, c'est que le chef est extrêmement confiant.
Même quand il a dessiné un plat impossible, son indicateur de confiance (un petit score qu'il affiche) restait très élevé. Il disait : "Je suis sûr à 90 % que c'est la bonne forme !" alors qu'en réalité, il avait oublié de changer le dessin.

Les chercheurs ont découvert que cette confiance ne vient pas d'une vraie compréhension de la physique, mais de la mémoire. Si le chef voit une recette qui ressemble un peu à quelque chose qu'il a déjà vu dans son livre de cuisine, il se dit : "Ah, je connais ça !" et il sort le vieux dessin, même si les ingrédients ont changé.

🆚 La Comparaison avec ESMFold : Le Chef "Intuitif"

Pour voir si c'était un problème de tous les chefs IA, ils ont comparé AlphaFold avec un autre chef, ESMFold.

• AlphaFold : Continue de dessiner le même plat, même si les ingrédients sont totalement différents. Il est "rigide".
• ESMFold : Lui, il réagit mieux. Quand on change les ingrédients, son dessin change aussi. Il semble mieux comprendre que "si je change les ingrédients, le plat doit changer".

Cela suggère qu'ESMFold a peut-être appris à mieux comprendre la logique de la cuisine, tandis qu'AlphaFold a trop appris par cœur.

⚠️ Pourquoi est-ce important pour nous ?

Si vous utilisez ce chef pour créer de nouveaux médicaments ou concevoir de nouvelles protéines (comme des enzymes pour nettoyer la pollution), vous risquez gros :

• Vous pourriez demander au chef de concevoir un médicament qui ne fonctionne pas, car il vous a donné un dessin basé sur une ancienne recette et non sur la nouvelle chimie.
• Les outils qui utilisent AlphaFold pour aider les scientifiques pourraient hériter de ces erreurs.

🎯 La Conclusion en une phrase

AlphaFold est un outil miraculeux, mais il est parfois trop attaché à ses anciennes recettes. Il ne comprend pas toujours que changer les ingrédients change la structure du plat. Les scientifiques doivent donc faire très attention et ne pas faire confiance aveuglément à ses prédictions, surtout quand on modifie beaucoup les protéines.

En résumé : AlphaFold est un excellent photocopieur de structures existantes, mais il n'est pas encore un véritable architecte capable de comprendre la physique du monde réel.

Résumé technique

Titre

Mutations de séquences adverses dans AlphaFold et ESMFold : Invariance structurale non physique, défaillances de confiance et préoccupations pour la conception de protéines.

1. Problématique

L'intégration massive d'AlphaFold (en particulier la version 3) dans la biologie structurale et la conception de protéines soulève une question fondamentale : ces modèles ont-ils appris les principes biophysiques généraux reliant la séquence à la structure, ou se contentent-ils d'un appariement de motifs basé sur des modèles (template matching) issus de leur ensemble d'entraînement ?

Si les modèles reposent sur la mémorisation de structures d'entraînement, ils pourraient échouer à généraliser à des séquences nouvelles, à des mutations délétères ou à des protéines présentant une plasticité conformationnelle (changement de repliement). Cette distinction est critique pour des applications comme la découverte de médicaments, la conception de protéines et la prédiction de l'effet des mutations, où la capacité du modèle à raisonner sur les conséquences physiques d'une modification de séquence est essentielle.

2. Méthodologie

Les auteurs ont mené une évaluation systématique et adversaire pour tester la robustesse d'AlphaFold 3 et la comparer à ESMFold.

• Jeu de données :
  • 200 protéines réparties en quatre catégories : monomères/oligomères et "novelles" (sans homologie >30% avec l'ensemble d'entraînement) ou "similaires".
  • 15 protéines à changement de repliement (fold-switching) validées expérimentalement, connues pour adopter des conformations alternatives en réponse à des mutations spécifiques.
• Stratégies de mutation :
  • Mutations ponctuelles (Point Mutations) : Remplacement de résidus jusqu'à 5 %, 10 %, 20 %, 40 % et 70 % de la séquence. Les mutations ont été conçues pour être maximalement délétères (ex: substitution de résidus hydrophobes centraux par des résidus polaires) et biaisées vers le cœur de la protéine.
  • Mutations par délétion : Suppression de 1 %, 3 %, 5 % et 10 % des résidus, également biaisées vers le cœur structural.
• Protocole expérimental :
  • Exclusion des modèles de templates (templates) pour AlphaFold 3 afin d'isoler la capacité du modèle à raisonner sur la séquence seule.
  • Comparaison des structures prédites après mutation avec la structure de référence (non mutée) en utilisant le TM-score (similarité globale du repliement) et le DockQ (précision des interfaces).
  • Analyse des métriques de confiance internes (ranking scores, pTM, ipTM).
  • Comparaison avec ESMFold, un modèle basé sur les modèles de langage protéique (sans MSA explicite), pour évaluer si l'invariance est spécifique à AlphaFold.
  • Analyse de corrélation entre les scores de confiance d'AlphaFold 3 et la disponibilité de templates structuraux dans la base de données PDB (via FoldSeek).

3. Contributions Clés

• Preuve d'invariance structurale non physique : Démonstration que AlphaFold 3 prédit la même structure globale même lorsque jusqu'à 40 % des résidus sont mutés de manière délétère ou que 10 % sont supprimés.
• Échec sur les protéines à changement de repliement : Le modèle échoue à prédire les changements conformationnels attendus pour les protéines connues pour changer de repliement, produisant des structures invariants alors que la biologie exige une réponse dynamique.
• Fiabilité des métriques de confiance : Mise en évidence que les scores de confiance d'AlphaFold 3 sont peu corrélés à la qualité réelle de la prédiction (sélectionnant la meilleure structure seulement ~25-35 % du temps) et sont fortement biaisés par la disponibilité de templates structuraux dans l'ensemble d'entraînement.
• Comparaison avec ESMFold : Identification que ESMFold est plus sensible aux mutations, suggérant une meilleure capture du couplage séquence-structure, bien qu'il soit moins précis globalement.

4. Résultats Principaux

A. Invariance aux Mutations Adverses

• AlphaFold 3 : Les structures prédites restent remarquablement stables. Même avec 40 % de mutations ponctuelles, le TM-score moyen reste supérieur à 0,5 (seuil indiquant un même repliement) pour les monomères. Pour les protéines à changement de repliement, le modèle ne détecte aucune divergence structurelle significative malgré des mutations ciblant spécifiquement les régions de transition.
• Métriques de confiance : Les scores de confiance (ranking scores) diminuent très lentement. Même à 20 % de mutations (où la protéine est structurellement compromise), le modèle reste "confiant" (score > 0,6).
• Délétions : Même avec 10 % de délétions (perturbation majeure), la majorité des monomères conservent leur repliement global prédit.

B. Comparaison AlphaFold 3 vs ESMFold

• ESMFold montre une sensibilité accrue aux mutations ponctuelles. Sa précision (par rapport à sa propre prédiction initiale) chute rapidement entre 20 % et 40 % de mutations, contrairement à AlphaFold 3 qui décline de manière graduelle.
• Cela suggère qu'ESMFold, entraîné par masquage de langage, a internalisé certaines statistiques évolutives et contraintes de substitution, tandis qu'AlphaFold 3 semble s'appuyer sur des templates mémorisés qui persistent même lorsque la séquence diverge physiquement.

C. Fiabilité des Métriques de Confiance

• Dans un test sur 100 protéines (sans templates), AlphaFold 3 ne sélectionne la structure la plus précise (par rapport à la structure expérimentale) que 25 % du temps (contre 35 % pour AlphaFold 2).
• Corrélation avec les Templates : Le score de confiance d'AlphaFold 3 est fortement corrélé à la similarité structurale avec le meilleur template disponible dans le PDB (avant la date de coupure de l'entraînement), et non à la qualité intrinsèque de la prédiction biophysique. Cela indique que l'incertitude du modèle reflète la disponibilité de données d'entraînement plutôt qu'une véritable évaluation de la physique du système.

5. Signification et Implications

• Limites pour la conception de protéines : Les pipelines de conception de protéines (ex: RFdiffusion, ProteinMPNN) qui utilisent AlphaFold comme fonction de perte ou de validation risquent de générer des séquences qui semblent bien repliées in silico mais qui échouent in vitro car le modèle ne détecte pas les instabilités induites par les mutations.
• Découverte de médicaments : La confiance excessive du modèle dans des scénarios de mutations délétères ou de complexes non naturels peut conduire à l'exclusion de candidats prometteurs ou à la poursuite de cibles non viables.
• Nature des modèles : Ces résultats suggèrent que les modèles actuels, malgré leur précision impressionnante, opèrent principalement par interpolation dans la distribution d'entraînement et mémorisation de templates, plutôt que par un raisonnement biophysique fondamental.
• Recommandations : Il est crucial de ne pas considérer les prédictions d'AlphaFold comme des vérités absolues, surtout pour les séquences éloignées de la distribution naturelle ou pour les applications nécessitant une sensibilité fine aux variations de séquence. L'intégration de contraintes biophysiques explicites et l'entraînement sur des données incluant des mutants déstabilisés sont nécessaires pour la prochaine génération de modèles.

En conclusion, bien qu'AlphaFold 3 représente une avancée majeure, cette étude révèle une invariance structurelle non physique et une confiance mal calibrée qui limitent sa fiabilité pour les tâches de conception et d'ingénierie de protéines en dehors des cas standards.