Résumé Technique : FlexRibbon

Problématique

Les modèles de fondation protéiques (PFM) ont progressé rapidement mais s'inscrivent généralement dans deux paradigmes dominants aux limitations distinctes. Les modèles de langage basés sur les séquences (ex. : ESM-2, ProtT5) capturent la sémantique des séquences à grande échelle mais manquent de pertinence physique et d'informations géométriques tridimensionnelles, ce qui limite leur capacité à modéliser la base structurelle de la fonction protéique. À l'inverse, les prédicteurs basés sur les MSA (ex. : AlphaFold 2/3) atteignent une grande précision en exploitant les couplages évolutifs, mais dépendent fortement des séquences homologues. Cette dépendance les rend moins fiables dans les régimes présentant des alignements de séquences clairsemés, des régions hautement mutées ou des interfaces flexibles (telles que les boucles CDR des anticorps et les régions intrinsèquement désordonnées). De plus, les modèles joints existants traitent souvent la structure comme un signal auxiliaire plutôt que de la modéliser de manière bidirectionnelle, ou souffrent de goulots d'étranglement de mémoire lorsqu'ils tentent un apprentissage structurel complet à l'échelle atomique parallèlement à la sémantique de la séquence.

Méthodologie

FlexRibion est un modèle de protéine préentraîné de 3 milliards de paramètres conçu pour apprendre conjointement des séquences d'acides aminés et des structures tridimensionnelles sans nécessiter d'alignements de séquences multiples (MSA).

1. Stratégie de Préentraînement

L'innovation centrale est un objectif de préentraînement unifié qui combine la Modélisation de Langage Masqué (MLM) avec la Diffusion de Débruitage. Cela permet un apprentissage séquence-structure bidirectionnel :

• Modélisation de Langage Masqué Informée par la Structure (SIMLM) : Le modèle intègre le bruit de diffusion dans les représentations structurelles lors de la récupération de la séquence. Il emploie trois modes d'entraînement : (1) Séquence-vers-Structure (diffusion standard), (2) Perturbation Couplée (masquage des résidus et ajout de bruit à leurs structures locales), et (3) Perturbation Globale de Masquage de Séquence (masquage des résidus tout en appliquant du bruit à toutes les structures). Cela encourage l'apprentissage robuste de la relation bidirectionnelle entre l'identité de la séquence et la conformation 3D.
• Préentraînement par Diffusion : Le modèle utilise un processus de diffusion à variance explosive pour débruiter les coordonnées des atomes lourds. Il impose l'invariance rotationnelle via l'augmentation de données (rotations SO(3) aléatoires) plutôt que par des architectures équivariantes lourdes, et supprime la liberté de translation en centrant les structures sur leur centre de masse.

2. Architecture

FlexRibbon utilise une architecture hiérarchique à trois étapes pour équilibrer efficacité et expressivité :

• Module de Séquence : Un encodeur Transformer qui intègre conjointement les résidus protéiques et les atomes de petites molécules. Il incorpore des caractéristiques de liaison covalente 2D via une projection apprise, permettant au modèle de récupérer les motifs de liaison à partir des identités atomiques.
• Module de Structure à Granularité Grossière : Un Transformer de Diffusion (DiT) qui débruite les coordonnées au niveau des résidus pour les protéines et au niveau des atomes pour les petites molécules, conditionné par les plongements de séquence.
• Module de Structure All-Atom : Un second DiT qui affine les sorties à granularité grossière en une résolution complète de tous les atomes. Il utilise des biais d'attention apprenables pour les liaisons covalentes afin d'assurer la validité chimique, réconciliant le contexte global des résidus avec les interactions atomiques détaillées.

3. Entraînement et Fonctions de Perte

L'objectif d'entraînement intègre quatre composantes :

• Perte de Diffusion ($L_{MSE}$) : Perte de débruitage pour la reconstruction structurelle.
• Perte MLM ($L_{MLM}$) : Récupération de séquence via la prédiction de résidus masqués.
• Perte de Distance ($L_{Dist}$) : Régularise les distances inter-résidus prédites pour maintenir une géométrie tertiaire réaliste.
• Perte Smooth-lDDT ($L_{smooth-lDDT}$) : Aligne l'entraînement avec les métriques de précision géométrique locale.
• Pondération Adaptative : Une perte de diffusion pondérée par la confiance ajuste les contributions en fonction des poids sigmoïdes dérivés de la pLDDT, réduisant le bruit provenant des régions à faible confiance (ex. : structures prédites par AlphaFold 2) tout en accentuant les signaux fiables.

L'entraînement se déroule en trois étapes progressives (A, B, C) augmentant la longueur de la séquence (384 $\to$ 768 $\to$ 1024 résidus) et introduisant le MLM et l'entraînement de la tête de confiance dans les étapes ultérieures.

Contributions Clés

1. Stratégie de Préentraînement Novatrice : FlexRibbon unifie la prédiction et la conception de structures protéiques en combinant le MLM avec le débruitage par diffusion, apprenant une cartographie bidirectionnelle séquence-structure plutôt qu'une cartographie unidirectionnelle séquence-vers-structure.
2. Modélisation Hiérarchique : Il introduit une stratégie qui équilibre la capacité scalable entre les représentations de séquence et de structure, surmontant les goulots d'étranglement de mémoire des modèles précédents à pleine résolution atomique et permettant un apprentissage structurel à grande échelle efficace.
3. Capacité de Co-conception : Le modèle permet la co-conception de la séquence et de la structure des protéines, excellant particulièrement dans les régions flexibles et hautement mutées (ex. : boucles CDR d'anticorps/nanocorps) où les méthodes basées sur les MSA peinent.
4. Généralisation Large : Il démontre des gains constants à travers 12 tâches diverses, montrant que le préentraînement séquence-structure se transfère largement au-delà du simple repliement des protéines.

Résultats Expérimentaux

FlexRibbon a été évalué sur trois familles de tâches : la prédiction/conception d'interfaces flexibles, la prédiction d'interactions intermoléculaires et la prédiction de la fonction protéique.

• Interfaces Flexibles : Sur la prédiction d'interface anticorps-antigène et nanocorps-antigène (SAb23H2), FlexRibson a atteint des taux de succès de 61,3 % (antigène-anticorps) et 51,1 % (antigène-nanocorps), surpassant IgGM de 14,6 % et 7,1 % respectivement. Pour la prédiction d'interface protéine-peptide (FoldBench), il a atteint un taux de succès de 91,4 %, dépassant AlphaFold 3 et PepGLAD.
• Conception d'Anticorps/Nanocorps : FlexRibbon a obtenu une récupération d'acides aminés (AAR) de 41,4 % pour les anticorps et de 21,8 % pour les nanocorps, avec des taux de succès respectifs de 46,0 % et 43,7 %, surpassant les bases de référence comme dyMEAN et IgGM.
• Interactions Intermoléculaires :
  • Docking : Sur le benchmark PoseBusters V1, FlexRibbon a atteint un taux de succès de 71,82 % (random-1) et 78,70 % (oracle), atteignant la parité avec les méthodes basées sur les MSA comme AlphaFold 3 et surpassant nettement les bases de référence à séquence unique.
  • Changement de Conformation : Dans la prédiction de changement de conformation induit par un ligand, FlexRibbon a obtenu un score TM-ens de 0,889 (zero-shot), s'améliorant de 0,038 par rapport à ESMDiff.
  • Affinité de Liaison : Sur CASF-2016, FlexRibbon a obtenu le meilleur RMSE (1,150) et la meilleure corrélation de Pearson (0,848) parmi les bases de référence comparées.
• Prédiction de Fonction : Dans les tâches Gene Ontology (GO) et Enzyme Commission (EC), FlexRibbon a obtenu des scores F1 de 0,891 (EC), 0,539 (GO-BP), 0,694 (GO-MF) et 0,560 (GO-CC), surpassant les bases de référence de type séquence seule ou hybrides.
• Prédiction de Structure : Sur CASP15, FlexRibbon a atteint un TM-score de 0,703, surpassant ESMFold et ESM3.
• Estimation de Confiance : Les scores pTM prédits par le modèle ont montré une forte corrélation (R = 0,89) avec les scores TM observés sur CASP15.

Signification et Revendications

L'article affirme que FlexRibbon établit un nouveau niveau de performance (state-of-the-art) à travers 12 tâches diverses, avec des gains particulièrement marqués dans les contextes riches en mutations où les méthodes basées sur les MSA échouent souvent. Les auteurs soutiennent que les résultats soulignent les avantages constants du préentraînement conjoint séquence-structure, démontrant qu'une telle approche permet la co-conception de la séquence et de la structure, et capture les conformations flexibles critiques pour la fonction biologique. En modélisant avec succès les dépendances bidirectionnelles sans dépendre des MSA, FlexRibbon est présenté comme un modèle de fondation polyvalent qui étend les bénéfices de la modélisation protéique au-delà du repliement vers des tâches complexes de conception et de prédiction d'interaction.