🧬 biology

Protein Folding with Neural Ordinary Differential Equations

Ce papier propose une formulation des Neural ODE à profondeur continue de l'architecture Evoformer qui réduit considérablement les coûts de calcul et l'utilisation de la mémoire tout en maintenant la capacité de prédire des structures protéiques plausibles, offrant ainsi une alternative légère et adaptative aux modèles d'apprentissage profond traditionnels comme AlphaFold.

Auteurs originaux : Arielle Sanford, Shuo Sun, Christian B. Mendl

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Arielle Sanford, Shuo Sun, Christian B. Mendl

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de plier une grue d'origami complexe à partir d'une seule feuille de papier. Dans le monde de la biologie, les protéines sont comme ces feuilles de papier, mais elles sont constituées de longues chaînes d'acides aminés qui doivent se tordre et se tourner pour adopter des formes 3D spécifiques afin de fonctionner. Si elles se plient mal, elles ne fonctionnent pas.

Pendant longtemps, la « référence absolue » pour prédire comment ces protéines se plient a été un système appelé AlphaFold. Considérez AlphaFold comme un maître de l'origami qui utilise un manuel d'instructions massif, étape par étape. Pour obtenir la forme finale correcte, cet artiste doit passer par 48 étapes distinctes (appelées « blocs »). À chaque étape, il examine le papier, effectue un tout petit ajustement, et le transmet à l'étape suivante. Lorsqu'il a terminé les 48 étapes, le papier est parfaitement plié.

Cependant, il y a un piège : parcourir 48 étapes est lent et nécessite beaucoup d'énergie (puissance de calcul). C'est comme devoir monter un escalier de 48 étages, une marche à la fois, en s'arrêtant pour consulter votre carte à chaque palier.

La Nouvelle Idée : Un Glissement Doux à la Place des Marches

Les auteurs de cet article, Arielle Sanford, Shuo Sun et Christian B. Mendl, se sont posé une question simple : Et si nous n'avions pas à nous arrêter à chaque étape ? Et si nous pouvions simplement glisser le long d'une rampe lisse ?

Ils se sont inspirés d'un concept mathématique appelé Équations Différentielles Ordinaires Neurales (Neural ODEs). En termes simples, au lieu de traiter le processus de repliement comme une série de 48 sauts séparés et rigides (étapes discrètes), ils l'ont modélisé comme un flux continu.

Imaginez la différence entre :

L'Ancienne Méthode (AlphaFold) : Monter 48 marches distinctes d'un escalier. Vous devez vous souvenir exactement où vous étiez à la marche 1, à la marche 2, jusqu'à la marche 48. Cela occupe beaucoup d'espace mental (mémoire) et de temps.
La Nouvelle Méthode (Neural ODE Evoformer) : Glisser le long d'un toboggan lisse et courbe. Vous ne vous arrêtez pas à des points spécifiques ; vous coulez simplement du haut vers le bas. Parce que vous ne vous arrêtez pas pour « sauvegarder » votre position à chaque centimètre, vous n'avez pas besoin de vous souvenir autant.

Comment Ils Ont Procédé

Les chercheurs ont construit une nouvelle version du « moteur » d'AlphaFold (l'Evoformer) qui agit comme ce toboggan lisse.

Le Moteur : Au lieu de 48 ensembles d'instructions différents, ils ont utilisé un seul ensemble d'instructions qui change légèrement au fur et à mesure qu'il s'écoule dans le temps.
Le Résultat : Ils ont remplacé l'escalier de 48 marches par une seule fonction mathématique continue.

Ce Qu'ils Ont Découvert

Ils ont testé ce nouveau « toboggan » contre l'original « escalier » en utilisant un ensemble de données de protéines. Voici ce qui s'est produit :

C'est Beaucoup Plus Rapide et Moins Cher : Le nouveau modèle était incroyablement efficace. Alors que l'AlphaFold original prenait environ 65 secondes pour prédire la forme d'une protéine, le nouveau modèle l'a fait en environ 5 secondes. C'est plus de 10 fois plus rapide.
Cela Économise la Mémoire : Parce que le modèle s'écoule de manière continue, il n'a pas besoin de stocker la « capture d'écran » de chaque étape. Cela signifie qu'il peut fonctionner sur une carte graphique (GPU) standard et unique que l'on pourrait trouver dans un PC de jeu, plutôt que de nécessiter un superordinateur massif.
L'Entraînement a été un Jeu d'Enfant : L'AlphaFold original a nécessité 11 jours de calcul ininterrompu sur des centaines de puces puissantes pour apprendre. Ce nouveau modèle a appris la même tâche en seulement 17,5 heures sur un seul ordinateur modeste.
La Qualité : Le nouveau modèle n'est pas encore parfait. C'est comme un bon apprenti origamiste. Il obtient la vue d'ensemble correcte — il plie correctement les principaux « bras » et « jambes » (appelés hélices alpha) et comprend la forme générale. Cependant, il éprouve parfois des difficultés avec les détails minuscules et complexes, comme les boucles et les torsions serrées, que le maître des 48 étapes original obtient correctement.

La Conclusion

Cet article ne prétend pas avoir résolu complètement le repliement des protéines ou d'être prêt pour une utilisation médicale immédiate. Au lieu de cela, il offre une preuve de concept.

Il montre que nous pouvons échanger un peu de précision contre un gain énorme en vitesse et en efficacité. En transformant un processus rigide de 48 étapes en un flux continu et lisse, les chercheurs ont prouvé que nous pouvons créer des outils puissants de repliement des protéines qui sont légers, rapides et peuvent fonctionner sur du matériel courant. C'est une démonstration que parfois, glisser le long d'une rampe lisse est un bien meilleur moyen d'arriver en bas que d'escalader un échelle de 48 marches.

Résumé technique : Repliement des protéines avec des équations différentielles ordinaires neuronales

Énoncé du problème

Les récentes percées dans la prédiction de la structure des protéines, illustrées par AlphaFold 2 et 3, reposent sur des architectures de réseaux neuronaux profonds comme l'Evoformer pour capturer des contraintes spatiales et évolutives complexes. L'Evoformer se compose de 48 blocs empilés, sans partage de poids, qui raffinent itérativement les représentations de l'alignement de séquences multiples (MSA) et des paires de résidus. Bien que très précis, cette architecture engendre des coûts computationnels substantiels lors de l'entraînement et de l'inférence en raison de sa profondeur et de sa discrétisation rigide par couches. De plus, la profondeur fixe limite la capacité à arbitrer dynamiquement entre le temps d'exécution et la précision. Ce travail répond au besoin d'une alternative plus efficace, légère et interprétable, qui préserve les capacités de représentation fondamentales de l'Evoformer tout en réduisant les exigences en ressources.

Méthodologie

Les auteurs proposent une formulation à profondeur continue de l'Evoformer utilisant des équations différentielles ordinaires neuronales (Neural ODE). Au lieu d'empiler 48 blocs discrets, le modèle paramétrise la dérivée de l'état caché comme une fonction continue du temps (profondeur) et l'intègre à l'aide d'un solveur numérique d'ODE.

Conception de l'architecture

L'Evoformer Neural ODE proposé remplace la pile discrète par un unique champ vectoriel partagé $f(m, z, t, \theta)$ qui régit l'évolution des représentations MSA ( $m$ ) et de paires ( $z$ ) sur une variable de profondeur continue $t$ .

Construction du champ vectoriel : La fonction approxime la transformation cumulative d'un seul bloc Evoformer. Elle calcule un passage complet de mises à jour de style Evoformer pour générer des états intermédiaires $(m', z')$ , puis calcule la différence $(m'-m, z'-z)$ .
Gating dépendant du temps : Pour assurer une évolution fluide, les différences sont mises à l'échelle par des fonctions de gating apprises $\sigma_m(t)$ et $\sigma_z(t)$ , implémentées via un MLP peu profond sur la variable scalaire de profondeur $t$ . L'ODE résultante est :
$\frac{d(m, z)}{dt} = (\sigma_m(t) \cdot (m' - m), \sigma_z(t) \cdot (z' - z))$
Opérations simplifiées : Pour réduire la surcharge mémoire et permettre l'intégration, l'architecture simplifie plusieurs composants par rapport à AlphaFold original :
- Omission des modules d'attention triangulaire (entrant/sortant).
- Utilisation de projections QKV directes sans softmax par blocs ou noyaux fusionnés.
- Un produit extérieur de rang réduit au lieu du produit extérieur complet.
- Une approximation symétrique pour les mises à jour triangulaires.
- Un MLP basique à deux couches pour les transitions de paires.
Efficacité mémoire : Le modèle utilise la méthode de sensibilité adjointe pour la rétropropagation, permettant un coût mémoire constant par rapport à la profondeur, car les activations intermédiaires n'ont pas besoin d'être stockées lors du passage avant.

Stratégie d'entraînement

Le modèle a été entraîné en utilisant OpenFold comme référence pour générer des trajectoires de vérité terrain.

Jeu de données : 500 monomères de protéines (370 après filtrage par longueur) pour l'entraînement, avec 50 protéines de validation et 50 de test. Les entrées comprenaient les séquences primaires, les MSA (regroupées jusqu'à un maximum de 64 séquences) et des modèles structuraux issus de PDB70.
Entraînement en deux phases :
1. Phase préliminaire : Supervisée sur des représentations intermédiaires échantillonnées aux blocs 0, 8, 16, 24, 32, 40 et 48 de l'Evoformer OpenFold pour capturer la dynamique d'évolution incrémentale.
2. Phase principale : Supervisée uniquement sur les points de terminaison (entrée du bloc 1 vs sortie du bloc 48) pour apprendre la trajectoire de transformation complète.
Configuration : Le modèle utilisait une dimension cachée de 64 (uniforme pour les flux MSA et de paires, comparé à 384/128 dans AlphaFold) et le solveur classique de Runge-Kutta d'ordre quatre (RK4). L'entraînement a été effectué sur un seul GPU NVIDIA Quadro P4000 pendant 17,5 heures.

Résultats clés

Efficacité computationnelle

Les tests sur 50 protéines de test (21 à 852 résidus) ont démontré des améliorations significatives de vitesse :

Temps d'exécution : L'Evoformer Neural ODE a moyenné 4,85 secondes par protéine, contre 65,06 secondes pour l'Evoformer OpenFold standard (une accélération >7x par résidu).
Mise à l'échelle : Le modèle Neural ODE a présenté une mise à l'échelle linéaire avec la longueur de la séquence ( $temps \approx 0,0046 \times résidus$ ), tandis qu'OpenFold montrait une mise à l'échelle quadratique ( $temps \approx 0,0006 \times résidus^2$ ). Cela suggère que l'approche à profondeur continue est particulièrement avantageuse pour les protéines longues.

Précision structurelle

L'inspection visuelle des structures prédites pour les protéines 1fv5, 4epq et 1ujs a révélé :

Points forts : Le modèle capture de manière fiable les éléments de structure secondaire, en particulier les hélices $\alpha$ , et reflète la topologie globale majeure de la protéine.
Limites : Le modèle ne reproduit pas entièrement la précision de l'architecture originale à 48 blocs. Des écarts sont perceptibles dans les détails fins, spécifiquement dans les régions de boucle et l'empilement global.
Comparaison : Malgré ces écarts, le modèle basé sur les ODE a produit des structures plus organisées avec une confiance plus élevée qu'un modèle OpenFold tronqué à 24 blocs.

Importance et revendications

L'article présente ce travail comme une preuve de concept pour les modèles à profondeur continue dans la modélisation biomoléculaire. Les auteurs affirment que :

Faisabilité : Un modèle en temps continu peut approximer l'effet cumulatif de 48 blocs Evoformer discrets, validant l'hypothèse que les raffinements incrémentaux peuvent être modélisés comme un système dynamique fluide.
Efficacité des ressources : L'approche atteint des prédictions structurelles raisonnables avec drastiquement moins de ressources (17,5 heures sur un seul GPU) par rapport aux clusters de calcul massifs (centaines de TPU) requis pour l'entraînement original d'AlphaFold.
Flexibilité : L'utilisation de solveurs ODE adaptatifs introduit un compromis principiel entre le temps d'exécution et la précision, une flexibilité absente dans les architectures à profondeur fixe.
Interprétabilité : La formulation offre une alternative légère et théoriquement interprétable aux architectures empilées profondes, ouvrant de nouvelles directions pour des cadres de prédiction de structure protéique efficaces.

Les auteurs notent explicitement que, bien que le modèle actuel ne corresponde pas à la pleine précision d'AlphaFold, il démontre que les approximations à profondeur continue peuvent représenter efficacement les comportements de modèles à grande échelle avec une empreinte computationnelle considérablement réduite. Des travaux futurs sont suggérés pour inclure de plus grands regroupements MSA, des dimensions cachées accrues, des solveurs adaptatifs et des longueurs de séquences illimitées afin de réduire davantage l'écart de performance.