🤖 machine learning

SE(3)-MeanFlow: Few-Step Protein Backbone Generation on Lie Groups

Le papier introduit SE(3)-MeanFlow, un cadre génératif à quelques étapes qui étend MeanFlow à la géométrie des groupes de Lie pour la conception de squelettes protéiques, atteignant une génération de haute qualité avec nettement moins d'étapes d'échantillonnage que les modèles de diffusion ou de flow-matching existants en utilisant des cibles d'entraînement sous forme fermée et un objectif spécialisé alpha-Flow SE(3).

Auteurs originaux : Yikun Bai, Binghang Lu, Yikai Liu, Elaheh Akbari, Soheil Kolouri, Linxuan Wang, Ping He, Shuchan Wang, Ruqi Zhang, Guang Lin

Publié 2026-07-31

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yikun Bai, Binghang Lu, Yikai Liu, Elaheh Akbari, Soheil Kolouri, Linxuan Wang, Ping He, Shuchan Wang, Ruqi Zhang, Guang Lin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un architecte essayant de construire une nouvelle sorte de machine vivante à partir de minuscules briques Lego flexibles. Ces machines sont appelées protéines, et elles sont les forces motrices de la vie, agissant comme tout, des usines chimiques aux soldats du système immunitaire. Pour construire une nouvelle machine à partir de zéro, on ne se contente pas d'empiler des briques au hasard ; il faut les disposer en une forme 3D spécifique, comme un origami de grue complexe. Si la forme est incorrecte, la machine ne fonctionnera pas. Pendant des décennies, les scientifiques ont tenté d'apprendre aux ordinateurs à concevoir ces origamis de grues, mais il y a un piège : l'ordinateur doit déterminer comment faire pivoter et tourner chaque brique dans l'espace 3D, ce qui est une danse mathématique complexe.

Le problème devient encore plus difficile lorsque vous voulez que l'ordinateur soit rapide. Les méthodes actuelles sont comme un film au ralenti où l'ordinateur prend des centaines de petites étapes pour déterminer la pose finale de la protéine. C'est précis, mais c'est trop lent pour concevoir des millions de nouvelles protéines à la fois, ce dont les médecins et les entreprises pharmaceutiques ont besoin pour combattre rapidement les maladies. La mathématique derrière cela implique un type spécial de géométrie appelé « groupes de Lie », ce qui semble effrayant mais n'est qu'une façon sophistiquée de décrire comment les objets tournent et se déplacent sans enfreindre les règles de l'espace 3D. Considérez cela comme la différence entre faire glisser une voiture miniature sur une table plate (facile) et faire rouler une balle sur la surface d'un globe (plus difficile, car la surface est courbe).

Ce document présente un nouveau tour appelé SE(3)-MeanFlow qui agit comme un bouton « avance rapide » pour concevoir ces formes de protéines. Au lieu de prendre des centaines de petites étapes prudentes pour déterminer la pose finale de la protéine, cette nouvelle méthode apprend à prédire la vitesse et la direction moyennes de l'ensemble du voyage en un seul ou quelques grands bonds. C'est comme apprendre à un GPS non seulement à indiquer la vitesse à votre emplacement actuel, mais aussi à calculer la vitesse moyenne de tout le trajet afin que vous puissiez sauter directement à la destination. Les auteurs montrent qu'en utilisant cette approche de « vitesse moyenne » spécifiquement adaptée à la géométrie courbe des rotations de protéines, ils peuvent générer des conceptions de protéines de haute qualité en seulement 10 ou 20 étapes, alors que les anciennes méthodes en nécessitaient 100 ou plus. Ils n'ont pas seulement deviné que cela fonctionnerait ; ils ont testé cela sur un ensemble massif de données de structures de protéines réelles et ont découvert que leur méthode rapide produisait des conceptions tout aussi solides et fonctionnelles que les méthodes lentes, prouvant qu'il n'est pas nécessaire de faire le voyage panoramique pour obtenir un bon résultat.

La Grande Idée : Du Ralenti à l'Avance Rapide

Dans le monde de la conception de protéines générées par ordinateur, l'objectif est de créer de nouvelles formes que la nature n'a pas encore vues. Pour ce faire, les modèles d'IA agissent comme des sculpteurs, partant d'un bloc de bruit et taillant lentement jusqu'à ce qu'une structure de squelette de protéine parfaite émerge. Pendant longtemps, les meilleurs sculpteurs ont utilisé une technique appelée « diffusion » ou « flow matching ». Imaginez essayer de marcher de votre maison jusqu'au parc en faisant 500 petits pas prudents. Vous devez vérifier votre direction à chaque étape pour vous assurer de ne pas vous égarer. Cela fonctionne bien, mais cela prend un temps infini si vous devez visiter un million de parcs.

Les auteurs de ce document ont posé une question simple : Pouvons-nous faire de plus grands pas sans nous perdre ?

Ils ont examiné une idée plus récente appelée MeanFlow, qui a été initialement conçue pour des espaces plats et simples (comme une feuille de papier plate). L'idée centrale de MeanFlow est de cesser de demander : « Dans quelle direction dois-je aller maintenant ? » et de commencer à demander : « Quelle était la vitesse et la direction moyennes dont j'avais besoin pour aller du point A au point B ? » Si vous connaissez la vitesse moyenne pour tout le voyage, vous pouvez parcourir la distance en une seule grande enjambée plutôt qu'en 500 petits pas.

Cependant, les protéines ne vivent pas sur une feuille de papier plate. Elles vivent sur une surface courbe et torsadée où la rotation est délicate. Si vous essayez d'appliquer la version sur papier plat de MeanFlow aux protéines, les mathématiques se brisent car la « moyenne » de deux rotations n'est pas une simple moyenne ; elle dépend de l'ordre dans lequel vous les effectuez. C'est ici que la principale percée de ce document intervient.

La Recette Secrète : Le Raccourci des Groupes de Lie

Les auteurs ont réalisé que les rotations des protéines appartiennent à une famille mathématique spéciale appelée groupes de Lie (spécifiquement $SE(3)$). Ils ont trouvé un moyen de calculer la « vitesse moyenne » pour ces rotations sans avoir besoin de faire les calculs lourds et lents qui ralentissent habituellement les choses.

Pensez-y de cette façon : si vous faites tourner une toupie, calculer la rotation moyenne sur quelques secondes est difficile si vous essayez de la mesurer seconde par seconde. Mais si vous avez une formule spéciale qui vous indique la « rotation totale » basée sur l'endroit où la toupie a commencé et l'endroit où elle a fini, vous pouvez sauter la partie intermédiaire entièrement. Les auteurs ont dérivé une nouvelle formule qui agit comme ce raccourci. Ils ont prouvé qu'en travaillant dans un espace mathématique spécifique (l'« algèbre de Lie »), ils pouvaient obtenir une réponse claire et sous forme fermée pour la vitesse moyenne. Cela signifie que l'ordinateur n'a pas besoin de simuler tout le voyage étape par étape pour connaître la réponse ; il peut simplement calculer la moyenne directement.

Ce Qu'Ils Ont Découvert : La Vitesse Sans le Sacrifice

L'équipe a testé leur nouveau modèle SE(3)-MeanFlow contre les meilleures méthodes existantes. Ils ont organisé un défi : générer des squelettes de protéines en utilisant différents nombres d'étapes, d'un mode lent de 100 étapes jusqu'à un mode ultra-rapide de 10 étapes.

Voici ce qu'ils ont découvert :

Le Gain de Vitesse : Leur modèle pouvait générer des protéines de haute qualité en seulement 10 à 20 étapes. En revanche, les anciennes méthodes plus lentes avaient besoin de 100 étapes pour obtenir des résultats similaires. Lorsque les auteurs ont forcé les anciennes méthodes à ne prendre que 20 étapes, la qualité des protéines a considérablement chuté.
La Qualité Reste Élevée : Même avec ces énormes augmentations de vitesse, les protéines générées par SE(3)-MeanFlow étaient toujours « concevables ». Cela signifie que si vous les imprimiez et essayiez de les construire, elles se replieraient en la forme correcte. En fait, à 20 étapes, leur modèle avait un taux de réussite de 86,7 %, tandis que le concurrent le plus proche n'était qu'à 80,6 %.
Le Compromis : Il y a un petit coût. Les protéines générées par la méthode super rapide étaient légèrement moins diverses (ce qui signifie qu'elles se ressemblaient un peu plus entre elles) que celles fabriquées par les méthodes lentes et prudentes. Cependant, les auteurs suggèrent que c'est un prix minime à payer pour pouvoir générer des millions de conceptions dans le temps qu'il fallait auparavant pour en générer quelques milliers.

Pourquoi Cela Importe

Il ne s'agit pas seulement d'un tour mathématique ; c'est un outil pratique pour l'avenir de la médecine. La découverte de médicaments nécessite souvent de générer des millions de structures de protéines candidates pour trouver celle qui pourrait combattre un virus ou une cellule cancéreuse. Si un ordinateur prend 100 étapes pour fabriquer une conception, il pourrait prendre des jours pour trouver un bon candidat. S'il peut le faire en 10 étapes, la même recherche pourrait être effectuée en quelques heures.

Les auteurs suggèrent qu'en utilisant cette approche de « vitesse moyenne », nous pouvons enfin faire de la conception de protéines à haut débit une réalité. Ils n'ont pas seulement simulé cela sur un ordinateur ; ils ont entraîné le modèle sur un ensemble de données réel de plus de 3 600 protéines et l'ont testé rigoureusement. Bien qu'ils notent que leur méthode est encore en cours de perfectionnement (notamment concernant la diversité), les résultats suggèrent que nous sommes sur le point de pouvoir concevoir des protéines vitales à une vitesse qui correspond à l'urgence des défis de santé mondiale.

En bref, ce document montre qu'en comprenant un peu mieux la géométrie de la rotation, nous pouvons cesser de faire des petits pas et commencer à sprinter vers de nouvelles percées médicales.

Résumé technique : SE(3)-MeanFlow

Énoncé du problème

La modélisation générative des squelettes protéiques est cruciale pour la conception de novo de protéines possédant des propriétés structurelles et fonctionnelles prescrites. Bien que les modèles de diffusion et de flow-matching existants (par exemple, FrameDiff, RFDiffusion, FoldFlow) aient atteint une génération de haute qualité sur l'espace des cadres protéiques, $SE(3)^N$ , ils souffrent d'un goulot d'étranglement important lors de l'inférence. Les méthodes actuelles nécessitent l'intégration numérique d'une équation différentielle ordinaire (ODE) sur des centaines d'étapes (typiquement 100 à 500 évaluations de la fonction réseau, ou NFE) pour garantir la précision. Sur le groupe de Lie $SE(3)$, chaque étape implique l'évaluation du réseau et l'application de la carte exponentielle du groupe de Lie, ce qui rend l'inférence coûteuse en calcul et inadaptée aux pipelines de découverte de médicaments à haut débit qui nécessitent des millions de structures candidates.

Bien que la génération en quelques étapes ait été explorée dans l'espace euclidien à l'aide de modèles de cohérence (Consistency Models) ou de distillation progressive, ces approches nécessitent souvent des enseignants pré-entraînés ou des curriculums d'entraînement complexes. MeanFlow, une méthode récente pour les espaces euclidiens, offre une alternative autonome en modélisant la vitesse moyenne d'une trajectoire plutôt que la vitesse instantanée, permettant ainsi une génération en une seule étape sans distillation. Cependant, l'extension naïve de MeanFlow au manifold courbe de $SE(3)$ est mal posée car les vitesses à différents points le long d'une trajectoire résident dans des espaces tangents différents, nécessant un transport parallèle pour le calcul de la moyenne.

Méthodologie

Les auteurs proposent SE(3)-MeanFlow, un cadre de génération en quelques étapes spécifiquement conçu pour la géométrie de Lie des cadres protéiques. La méthode exploite la décomposition $SE(3) \cong SO(3) \times \mathbb{R}^3$ pour dériver des cibles d'entraînement sans simulation directement dans l'algèbre de Lie $\mathfrak{so}(3)$ et l'espace euclidien $\mathbb{R}^3$ , évitant ainsi le besoin de transport parallèle.

Contributions théoriques centrales

Identité MeanFlow basée sur l'intégration : Les auteurs définissent la vitesse moyenne sur un intervalle $[s, t]$ $[s, t]$ via une exponentielle ordonnée dans le temps. En dérivant cette définition, ils établissent une identité sous forme fermée reliant la vitesse moyenne, la dérivée de sa trajectoire et la vitesse instantanée.
- Pour les rotations, cette identité implique le Jacobien à droite $J$ de $SO(3)$, qui rend compte de la nature non commutative du groupe.
- L'objectif d'entraînement résultant permet au modèle d'apprendre la vitesse moyenne $u(s, t, x_t)$ en utilisant uniquement la vitesse instantanée comme supervision, sans nécessiter l'intégration complète de la trajectoire pendant l'entraînement.
Cibles en forme fermée : Contra irement aux approches générales de Riemannian MeanFlow qui reposent sur le transport parallèle, SE(3)-MeanFlow dérive des identités de vitesse moyenne en forme fermée dans $\mathfrak{so}(3)$ et $\mathbb{R}^3$ . Cela élimine le coût computationnel et l'instabilité numérique associés au transport parallèle.

Cadre d'entraînement pratique

Pour traiter l'instabilité numérique, particulièrement lorsque $t \to 0$ (où les facteurs $1/t$ dans la perte peuvent amplifier les erreurs), les auteurs introduisent un curriculum d'entraînement stable :

Warm-up $\alpha$ -Flow : Un objectif sans JVP (produit jacobien-vecteur) basé sur une construction à deux segments est utilisé comme étape de warm-up. Cet objectif remplace la cible différentielle par une cible de cohérence qui évite de dériver à travers la dérivée de la trajectoire, stabilisant ainsi la phase initiale d'entraînement.
Small- $t$ Stabilized MeanFlow : Après le warm-up, l'entraînement passe à une perte de MeanFlow différentielle. Les auteurs implémentent des techniques de stabilisation numérique, incluant des variables auxiliaires pour absorber les facteurs $1/t$ et une reparamétrisation pour les petits $t$ , garantissant un entraînement robuste même avec une réduction agressive des étapes.
Rectification (Post-entraînement) : Une étape de rectification (self-reflow) est appliquée pour redresser davantage les chemins de transport, améliorant ainsi les performances dans le régime de quelques étapes.

Architecture

Le modèle utilise l'architecture ReQFlow (un réseau d'Attention par Point Invariant) avec des modifications minimales :

Un plongement (embedding) à deux temps partagé pour les entrées $(s, t)$ .
Des portes AdaLN-Zero par bloc pour conditionner les mises à jour rigides sur l'intervalle de temps.
La taille du modèle est d'environ 16,8 M de paramètres, ce qui est nettement plus petit que les bases concurrentes de Riemannian MeanFlow (437 M de paramètres).

Contributions clés

Dérivation théorique : L'article fournit une dérivation rigoureuse de l'identité MeanFlow sur $SE(3)$, établissant des objectifs de vitesse moyenne en forme fermée dans l'algèbre de Lie sans transport parallèle.
Algorithmes d'entraînement stables : L'introduction du warm-up $\alpha$ -Flow et des techniques de stabilisation pour les petits $t$ rend la génération en quelques étapes fiable pour les squelettes protéiques, répondant à la fragilité numérique des cibles différentielles sur les manifolds.
Performance dans le régime de quelques étapes : La méthode atteint un état de l'art en termes de designabilité avec un nombre d'étapes d'échantillonnage considérablement réduit par rapport aux bases de référence de flow-matching.

Résultats expérimentaux

La méthode a été évaluée sur le jeu de données SCOPe (3 673 squelettes protéiques, longueurs 60–128) contre des bases de référence incluant FrameFlow, QFlow, ReQFlow et Riemannian MeanFlow (RMF).

Designabilité : SE(3)-MeanFlow égale ou dépasse la designabilité (fraction de squelettes avec scRMSD < 2Å) des bases de référence qui utilisent 5 à 10 fois plus d'étapes d'échantillonnage.
- À 20 étapes, SE(3)-MeanFlow atteint une fraction designable de 0,867, surpassant RMF (0,806) et QFlow (0,778).
- À 10 étapes, la version rectifiée (RecSE3MF) maintient une fraction designable de 0,894, nettement supérieure à ReQFlow (0,837).
Efficacité : La méthode réduit le budget d'échantillonnage de centaines d'étapes à seulement 10–20 étapes tout en maintenant une haute qualité structurelle.
Diversité et nouveauté : Il existe un compromis modeste en matière de diversité (scores TM par paires plus élevés) par rapport aux bases de référence axées sur la couverture, mais la méthode préserve les statistiques de structure secondaire stables (fractions d'hélices/brins) et la validité C $\alpha$ à travers les différents nombres d'étapes.
Études d'ablation : Des expériences contrôlées sur un benchmark synthétique $SO(3)^2$ confirment que la paramétrisation de la vitesse moyenne est le principal moteur du succès en quelques étapes, plutôt que l'architecture du réseau ou les stratégies de couplage.

Signification et affirmations

L'article affirme que SE(3)-MeanFlow repousse la frontière designabilité–efficacité dans la génération de protéines. En exploitant la structure algébrique spécifique de $SE(3)$ en tant que groupe de Lie, les auteurs démontrent qu'il est possible de dériver des cibles d'entraînement sans simulation permettant une génération de haute qualité avec une fraction du coût de calcul requis par les méthodes existantes.

Les auteurs soulignent que leur approche est autonome, ne nécessitant ni enseignant pré-entraîné ni distillation complexe, et qu'elle est évolutive (utilisant un modèle plus petit que les méthodes Riemannian concurrentes). Bien qu'ils reconnaissent une réduction modeste de la diversité par rapport à certaines bases de référence, ils soutiennent que la capacité de générer des structures designables en 10–20 étapes rend la méthode particulièrement précieuse pour les applications à haut débit où des millions de candidats doivent être examinés. Le travail suggère que les directions futures incluent l'extension de la méthode à la génération conditionnelle et au scaffolding de motifs, ainsi que la progression vers une génération en une seule étape réelle.