DCFold: Efficient Protein Structure Generation with Single Forward Pass

Résumé Technique : DCFold – Génération efficace de structures protéiques en un seul passage avant

Énoncé du problème
Bien qu'AlphaFold3 (AF3) ait établi un nouvel état de l'art pour la prédiction de structures protéiques et la génération de complexes biomoléculaires en utilisant une architecture de diffusion basée sur tous les atomes, son déploiement pratique est entravé par des coûts de calcul élevés. AF3 repose sur un recyclage itératif du Pairformer et un échantillonnage de diffusion multi-étapes, entraînant des temps d'inférence mesurés en minutes pour les longues séquences. Cette latence limite son utilité dans les applications en aval à haut débit telles que le criblage virtuel et la conception de protéines (par exemple, l'hallucination de liants). Les tentatives existantes pour atténuer ce problème, telles que la réduction manuelle des itérations de recyclage, sacrifient la précision au profit de l'efficacité. De plus, les modèles de cohérence standard (CM), qui visent à accélérer la diffusion en réduisant le nombre d'étapes d'échantillonnage, rencontrent des défis majeurs lorsqu'ils sont appliqués aux structures protéiques : (1) ils supposent des données de dimension fixe et utilisent la distance euclidienne pour l'appariement des pas de temps, ce qui ne permet pas de gérer les séquences protéiques de longueur variable et conduit à un entraînement instable ; et (2) ils ne résolvent pas la surcharge itérative du module Pairformer.

Méthodologie
Les auteurs proposent DCFold, un modèle génératif en une seule étape qui atteint une précision équivalente à celle d'AlphaFold3 grâce à un cadre d'entraînement à Cohérence Duale. Ce cadre adresse les deux principaux goulots d'étranglement d'AF3 : le processus de diffusion et le recyclage du Pairformer.

1. Cadre de Cohérence Duale :

   • Cohérence de Diffusion : Le modèle impose une cohérence entre la sortie en une seule étape et la trajectoire multi-étapes du module de diffusion. Un échantillonneur en une étape est stabilisé en désactivant l'injection de bruit stochastique et en normalisant les tailles d'étape. L'objectif d'entraînement minimise l'erreur quadratique moyenne (MSE) entre la prédiction du modèle au pas de temps $t$ et un pas de temps de référence $r$.
   • Cohérence du Pairformer : Pour éliminer la surcharge itérative du Pairformer, les auteurs introduisent une fonction de perte de cohérence cyclique. Puisque le Pairformer met à jour les représentations internes de manière itérative, un seul passage avant contient intrinsèquement des représentations correspondant à différentes profondeurs de cycle. Le modèle est entraîné pour minimiser la MSE entre les représentations aux cycles adjacents ($z_i$ vs $z_{i+1}$), distillant efficacement le raffinement multi-cycle en un seul passage avant.

2. Appariement Géodésique Temporel (TGM) :
   Pour résoudre l'instabilité de l'application des modèles de cohérence aux séquences protéiques de longueur variable, les auteurs introduisent le TGM. Contrairement aux planificateurs conventionnels qui apparient les pas de temps sur la base d'intervalles euclidiens fixes, le TGM apparie les pas de temps sur la base de leur distance géodésique sur la variété de l'information temporelle.

   • La méthode définit une métrique temporelle utilisant l'Information de Fisher ($I(t)$), qui mesure le taux de changement de la distribution le long de la trajectoire de diffusion.
   • La distance géodésique $d_g(t, r)$ est calculée comme l'intégrale de $\sqrt{I(\tau)}$.
   • Le TGM garantit que les paires d'entraînement $(t, r)$ maintiennent une distance géodésique constante par rapport aux progrès de l'entraînement. Cela adapte le curriculum à la dimensionalité des données (longueur de séquence), empêchant la « disparité d'information » qui provoque l'effondrement de l'entraînement dans les séquences longues.

Contributions Clés

• Architecture DCFold : Un prédicteur en une seule étape qui élimine la surcharge itérative à la fois de l'échantillonneur de diffusion et du recyclage du Pairformer, permettant des vitesses d'inférence comparables à AlphaFold2 tout en maintenant la précision d'AlphaFold3.
• Entraînement à Cohérence Duale : Un cadre novateur qui impose conjointement la cohérence à travers le module de diffusion et le Pairformer, permettant une inférence unifiée en un seul passage avant.
• Appariement Géodésique Temporel (TGM) : Un mécanisme de planification fondé sur des principes pour la distillation de cohérence dans les données de longueur variable. En utilisant l'Information de Fisher pour définir une métrique riemannienne sur la variété temporelle, le TGM stabilise la dynamique d'entraînement et prévient l'effondrement des poids dans les tâches de modélisation protéique de haute dimension et de longueur variable.
• Applicabilité en Aval : La méthode permet une inférence entièrement différentiable en une seule étape, la rendant adaptée aux tâches d'optimisation basées sur le gradient comme l'hallucination de liants, qui étaient auparavant difficiles avec les modèles itératifs multi-étapes.

Résultats Expérimentaux
Les auteurs ont évalué DCFold sur des benchmarks de prédiction de structures et de conception de liants :

• Prédiction de Structure (Posebusters V2 & PDB Récent) : DCFold atteint une précision comparable au modèle complet AlphaFold3. Sur le benchmark Posebusters V2, il atteint un taux de réussite RMSD < 2 Å de 78,6 % (meilleur cas) et 71,43 % (pire cas), correspondant étroitement aux performances d'AlphaFold3 tout en étant 15 fois plus rapide (temps d'inférence moyen réduit de 133,3 s à 8,9 s).
• Qualité de la Distribution : DCFold remodèle la distribution de sortie, améliorant significativement le RMSD et les taux de réussite dans les pires cas par rapport à l'ODE de base d'AF3 (une seule étape, sans distillation), indiquant des prédictions plus fiables et stables.
• Conception de Liants : Dans les tâches d'hallucination de liants (en utilisant des cibles telles que IL2-Rα, TrkA, H3), DCFold surpasse la référence BindCraft basée sur AF2 en termes de taux de réussite in silico. Par exemple, sur la cible H3, DCFold a atteint un taux de réussite de 23 % sous contraintes basées sur la physique, contre 16 % pour BindCraft.
• Études d'Ablation : Les expériences confirment que la Cohérence de Diffusion et la Cohérence du Pairformer contribuent tous deux à la performance. Le TGM s'avère supérieur à d'autres bases de cohérence (CD, sCM, ECM) sur les tâches protéiques, ECM échouant à s'entraîner efficacement sur les longues séquences en raison de la variance du gradient.

Signification et Revendications
L'article revendique que DCFold comble avec succès le fossé entre l'efficacité d'AlphaFold2 et la précision d'AlphaFold3. En compressant l'architecture itérative en un seul passage avant sans sacrifier la fidélité prédictive, DCFold permet une conception et un criblage de protéines évolutifs et à haut débit. L'introduction du TGM fournit une solution généralisable pour l'application de modèles de cohérence à des données séquentielles de longueur variable, adressant une limitation fondamentale des méthodes d'accélération précédentes basées sur la cohérence. Les auteurs positionnent DCFold comme un modèle fondamental capable de soutenir diverses applications en aval, y compris le criblage virtuel et la conception de protéines différentiable, qui étaient auparavant limitées par la surcharge de calcul des modèles de diffusion itératifs.