🤖 machine learning

Riemannian MeanFlow

Ce papier présente Riemannian MeanFlow (RMF), un cadre qui apprend des cartes de flux directes sur des variétés pour permettre une modélisation générative de haute qualité avec jusqu'à 10 fois moins d'évaluations de fonctions que les modèles de diffusion ou de flux traditionnels, tout en facilitant également une conception guidée par la récompense efficace.

Auteurs originaux : Dongyeop Woo, Marta Skreta, Seonghyun Park, Kirill Neklyudov, Sungsoo Ahn

Publié 2026-05-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dongyeop Woo, Marta Skreta, Seonghyun Park, Kirill Neklyudov, Sungsoo Ahn

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot de concevoir de nouvelles protéines ou des séquences d'ADN. Ce ne sont pas de simples listes de lettres ou de chiffres ; ce sont des structures 3D complexes soumises à des règles strictes, comme un puzzle où chaque pièce doit s'adapter parfaitement dans une forme géométrique spécifique.

Dans le monde de l'IA, les modèles de « Diffusion » et de « Flow » sont comme des artistes qui transforment lentement une masse de bruit en un chef-d'œuvre parfait. Habituellement, ils y parviennent en effectuant des centaines de petits pas minutieux, vérifiant leur travail à chaque étape pour s'assurer de ne pas dévier du chemin.

Le Problème : La Marche Lente
L'article met en évidence un goulot d'étranglement majeur : effectuer des centaines d'étapes est incroyablement lent et coûteux. C'est comme essayer de traverser une pièce en faisant 100 petits pas prudents alors qu'on pourrait simplement la traverser d'un pas en une ou deux foulées. Pour les scientifiques qui doivent concevoir des milliers de molécules, cette lenteur est rédhibitoire.

La Solution : Riemannian MeanFlow (RMF)
Les auteurs présentent une nouvelle méthode appelée Riemannian MeanFlow (RMF). Imaginez qu'il s'agit d'enseigner au robot à « voir tout le chemin » d'un seul coup, plutôt que de ne voir que l'étape suivante.

Voici comment ils l'ont fait, en utilisant quelques analogies du quotidien :

1. Le Raccourci de la « Vitesse Moyenne »

Imaginez que vous conduisez de la Ville A à la Ville B.

L'Ancienne Méthode (Diffusion/Flow) : Vous conduisez lentement, vérifiant votre GPS chaque seconde et ajustant constamment votre volant. C'est précis, mais cela prend une éternité.
La Nouvelle Méthode (RMF) : Au lieu de vérifier chaque seconde, vous calculez la vitesse moyenne et la direction nécessaires pour aller de A à B en une seule fois. Vous n'avez pas besoin de vous arrêter pour vérifier ; vous conduisez tout le trajet basé sur ce seul calcul.

L'article démontre mathématiquement qu'il est possible d'apprendre cette « vitesse moyenne » directement sur les formes géométriques complexes (variétés) où résident ces molécules, sans avoir besoin de faire des centaines de petits pas.

2. Trois Façons de Décrire le Voyage

Les auteurs ont découvert trois façons différentes de décrire cette « vitesse moyenne » qui sont toutes mathématiquement équivalentes. C'est comme décrire un voyage routier sous trois perspectives différentes :

La Vue Eulérienne : Observer la route depuis un point fixe (comme une caméra sur un poteau) et voir comment le trafic défile devant vous.
La Vue Lagrangienne : Être assis à l'intérieur de la voiture et ressentir comment la vitesse change au fur et à mesure que vous conduisez.
La Vue Semigroupe : Découper le trajet en deux parties (de A à B, puis de B à C) et réaliser que le chemin direct de A à C n'est que la combinaison de ces deux parties.

L'article montre que l'utilisation de ces perspectives permet à l'IA d'apprendre directement le saut « en une étape ».

3. L'Astuce du « Stop-Gradient »

Entraîner ces modèles, c'est comme essayer d'équilibrer une pile d'assiettes tout en jonglant. Si vous essayez de calculer comment chaque petit changement affecte le résultat final, les mathématiques deviennent si lourdes que l'ordinateur plante (ou manque de mémoire).
Les auteurs utilisent une astuce ingénieuse appelée « stop-gradient ». Imaginez que vous enseignez à un élève. Au lieu de lui faire recalculer toute l'histoire de la façon dont il a obtenu une réponse à chaque fois qu'il se trompe, vous lui dites simplement : « Voici la bonne réponse, maintenant faites simplement correspondre votre prochaine hypothèse à celle-ci. » Cela empêche l'ordinateur d'être submergé par des mathématiques complexes, rendant l'entraînement plus rapide et plus stable.

4. Prédire la Destination, Pas la Vitesse

La plupart des modèles tentent de prédire la vitesse à chaque instant. Le RMF tente de prédire directement la destination (le point final sur la carte).

Analogie : Au lieu de dire à un conducteur : « Tournez à gauche à 5 mph, puis à droite à 10 mph », vous dites simplement : « Conduisez jusqu'à ce que vous voyiez la Grande Grange Rouge. »
Cette approche fonctionne beaucoup mieux pour les données de haute dimension (comme les longues séquences d'ADN ou les grandes protéines) et permet au modèle d'utiliser des logiciels existants conçus pour ces formes sans avoir besoin d'être réécrit.

Ce Qu'ils Ont Réalisé

L'article a testé cette méthode sur deux tâches scientifiques réelles :

Conception de Promoteurs d'ADN : Ce sont comme des « boutons de démarrage » pour les gènes. La nouvelle méthode a créé des séquences d'ADN de haute qualité en une seule étape, aussi bonnes que les anciennes méthodes qui prenaient 100 étapes.
Conception d'Échafaudages de Protéines : Ce sont les squelettes des protéines. La nouvelle méthode pouvait générer des structures protéiques valides en 1 à 5 étapes, alors que les méthodes précédentes s'effondraient ou échouaient complètement lorsqu'on leur demandait de le faire aussi rapidement.

Le Conclusion
L'article affirme qu'en comprenant la géométrie des données et en utilisant ces raccourcis de « vitesse moyenne », ils peuvent générer des structures biologiques complexes 10 fois plus vite (nécessitant 10 fois moins de calculs informatiques) sans perdre en qualité. Cela rend possible l'utilisation de l'IA pour une conception scientifique rapide et itérative, où les chercheurs peuvent tester rapidement des milliers d'idées au lieu d'attendre des heures pour un seul résultat.

Résumé Technique : MeanFlow Riemannien

Énoncé du Problème

Les modèles de diffusion et de flux sont devenus le paradigme dominant pour la modélisation générative sur les variétés riemanniennes, avec des applications réussies dans des tâches telles que la génération d'échafaudages de protéines et la conception de séquences d'ADN. Cependant, ces méthodes nécessitent généralement de dizaines à des centaines d'évaluations de réseaux de neurones (évaluations de fonctions, ou NFE) lors de l'inférence pour intégrer numériquement des équations différentielles ordinaires (EDO) ou des équations différentielles stochastiques (EDS). Cette charge de calcul crée un goulot d'étranglement, en particulier dans les pipelines de conception scientifique où les modèles génératifs servent de mécanismes de proposition au sein de boucles itératives pour l'optimisation guidée par les propriétés. Bien que des techniques de génération en peu d'étapes, telles que les modèles de cohérence et l'apprentissage de cartes de flux, aient été explorées dans des contextes euclidiens, elles restent sous-explorées et souvent instables dans des contextes de variétés riemanniennes de haute dimension.

Méthodologie : MeanFlow Riemannien (RMF)

Les auteurs introduisent le MeanFlow Riemannien (RMF), un cadre conçu pour apprendre des cartes de flux directement sur les variétés, permettant une génération de haute qualité en aussi peu qu'un seul passage avant. Le cœur de la méthodologie consiste à dériver et à utiliser trois caractérisations équivalentes de la vitesse moyenne sur la variété, qui relient la carte de flux entre des instants arbitraires $s$ et $t$ .

1. Fondements Théoriques

Le cadre définit la vitesse moyenne $u_{s,t}$ comme la vitesse constante qui, si elle était maintenue le long d'une géodésique de $x_s$ à $x_t$ sur la durée $t-s$ , transporterait correctement le point. Les auteurs dérivent trois identités qui servent de base aux objectifs d'entraînement :

Identité Eulérienne : Dérivée en différentiant la relation définissante par rapport au temps source $s$ . Elle relie la vitesse moyenne à la dérivée covariante du champ de vitesse le long de la courbe intégrale et à la dérivée de l'application logarithmique.
Identité Lagrangienne : Dérivée en différentiant par rapport au temps cible $t$ . Elle relie la vitesse moyenne à la différentielle de l'application logarithmique appliquée à la vitesse instantanée et à la dérivée partielle par rapport au temps de la vitesse moyenne.
Identité de Semi-groupe : Une condition algébrique dérivée de la propriété de semi-groupe des cartes de flux ( $\Phi_{r,t} \circ \Phi_{s,r} = \Phi_{s,t}$ ). Elle impose une cohérence entre le flux direct de $s$ à $t$ et la composition des flux via un temps intermédiaire $r$ .

2. Objectifs d'Entraînement et Stabilisation

Les auteurs convertissent ces identités en objectifs de régression. Un choix de conception critique est le placement de l'opérateur stop-gradient. Contrairement aux travaux antérieurs (par exemple, les Cartes de Flux Généralisées) qui appliquent partiellement le stop-gradient, le RMF applique le stop-gradient à l'ensemble de la cible de régression. Cette formulation :

Élimine le besoin d'évaluer des dérivées d'ordre supérieur (par exemple, des gradients à travers des produits vecteur-Jacobien) lors de la rétropropagation.
Réduit l'utilisation de la mémoire d'environ 2 $\times$ .
Améliore la stabilité de l'entraînement dans des contextes de haute dimension.

Pour remédier aux difficultés d'optimisation en haute dimension, l'article propose plusieurs techniques de stabilisation :

Échantillonnage Temporel : Paires de temps ordonnées ( $s \le t$ ) pour les objectifs Eulériens et de Semi-groupe, et paires non ordonnées pour les objectifs Lagrangiens.
Pondération Adaptative de la Perte : Répondre la perte en fonction de l'amplitude de la cible de régression pour gérer la forte variance des termes dépendant des dérivées.
Contrôle de la Dérivée Temporelle : Utilisation d'encodages temporels basse fréquence pour borner l'amplitude des dérivées temporelles dans la sortie du réseau.

3. Paramétrisation

L'article évalue trois schémas de paramétrisation pour la vitesse moyenne :

Prédiction $v$ : Prédiction du vecteur tangent (vitesse).
Prédiction $x_t$ : Prédiction directe du point d'arrivée.
Prédiction $x_1$ : Prédiction du point d'arrivée de la trajectoire à $t=1$ étant donné l'état actuel et l'intervalle de temps.
Les auteurs constatent que la prédiction $x_1$ est la plus robuste pour les variétés de haute dimension. Elle est compatible avec les architectures scientifiques existantes (par exemple, celles sortant des repères SE(3) pour les protéines) et s'adapte bien à des dimensions allant jusqu'à $D=2048$ , tandis que la prédiction $x_t$ échoue et que la prédiction $v$ se dégrade à mesure que la dimension augmente.

4. Inférence Guidée par la Récompense

Le cadre prend en charge la génération guidée par la récompense sans réentraînement du modèle. En tirant parti de la capacité de la carte de flux à prédire les états terminaux à partir d'étapes intermédiaires, les auteurs proposent une stratégie de regard en avant de la récompense (reward look-ahead). Au lieu d'utiliser le gradient de la récompense à l'état bruité courant $x_t$ , ils utilisent le gradient au point d'arrivée prédit $\Phi_{t,1}(x_t)$ . Cette approche s'avère plus efficace pour orienter les générations vers des objectifs spécifiques.

Résultats Clés

Les auteurs valident le RMF sur deux tâches biologiques : Conception de Promoteurs d'ADN (séquences sur un simplexe dans $\mathbb{R}^{1024 \times 4}$ ) et Génération d'Échafaudages de Protéines (sur $SE(3)^N$ avec $N$ allant jusqu'à 128).

Efficacité : Le RMF atteint une qualité d'échantillon comparable aux références multi-étapes de l'état de l'art (par exemple, Fisher FM, FrameFlow, FrameDiff) tout en nécessitant jusqu'à 10 $\times$ moins d'évaluations de fonctions.
- Dans la génération d'échafaudages de protéines, le RMF atteint 82 % de conception à 5 étapes et 35 % à 1 étape, alors que les références chutent brutalement ou s'effondrent complètement dans ces régimes à peu d'étapes.
- Dans la conception d'ADN, les variantes du RMF égalisent les performances en 100 étapes de Fisher FM avec seulement 1 étape.
Stabilité : Les techniques de stabilisation proposées (spécifiquement la combinaison des objectifs de Semi-groupe et de la prédiction $x_1$ ) permettent un entraînement stable dans des espaces de haute dimension où d'autres méthodes de cartes de flux (comme GFM) échouent à converger ou produisent des échantillons à fort taux d'erreur.
Guidage par Récompense : L'inférence guidée par la récompense utilisant la stratégie de regard en avant $x_1$ améliore considérablement l'alignement avec les profils régulateurs cibles (ADN) et les compositions de structures secondaires (protéines) par rapport à un guidage naïf ou à une génération non guidée.

Signification et Revendications

L'article revendique établir une fondation théorique rigoureuse et des directives pratiques pour l'échantillonnage rapide sur les variétés riemanniennes. Sa signification réside dans :

Combler le Fossé : Il étend les capacités de génération en peu d'étapes des espaces euclidiens aux variétés riemanniennes complexes et de haute dimension, une étape cruciale pour les applications scientifiques.
Évolutivité : En dérivant des identités qui évitent les dérivées d'ordre supérieur et en utilisant la prédiction $x_1$ , la méthode s'adapte à des dimensions ( $D \approx 2000$ ) et des longueurs de séquences précédemment inaccessibles aux modèles génératifs de variétés en peu d'étapes.
Efficacité dans les Flux de Travail Scientifiques : La réduction du coût d'inférence (jusqu'à 10 $\times$ ) rend les modèles génératifs plus viables en tant que mécanismes de proposition dans des boucles de conception scientifique itératives, telles que l'optimisation guidée par les propriétés pour la découverte de médicaments ou la biologie synthétique.
Regard en Avant de la Récompense : Il démontre que les cartes de flux permettent une conception guidée par la récompense efficace en prédisant les états terminaux à partir d'étapes intermédiaires, une capacité qui n'avait pas été démontrée précédemment sur les variétés.

Les auteurs positionnent le RMF non pas comme un remplacement de toute la modélisation générative, mais comme un cadre spécialisé permettant une génération efficace et de haute qualité dans des domaines scientifiques contraints géométriquement où le coût de calcul est un facteur limitant.