🤖 machine learning

Few-Step Boltzmann Generators via Scalable Likelihood Flow Maps

Cet article introduit SCALLOP, une méthode de distillation de vraisemblance scalable et exempte de Hutchinson pour les modèles génératifs basés sur le flux, qui réduit considérablement la variance et le temps d'entraînement tout en atteignant une inférence jusqu'à 10 fois plus rapide par rapport aux bases de référence existantes comme F2D2.

Auteurs originaux : RuiKang OuYang, Hanlin Yu, Xinyue Ai, Yutong He, Nicholas M. Boffi, Pradeep Ravikumar, Jose Miguel Hernandez-Lobato, Max Simchowitz, Benjamin Kurt Miller, Omar Chehab

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : RuiKang OuYang, Hanlin Yu, Xinyue Ai, Yutong He, Nicholas M. Boffi, Pradeep Ravikumar, Jose Miguel Hernandez-Lobato, Max Simchowitz, Benjamin Kurt Miller, Omar Chehab

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire la météo. Vous avez un modèle informatique super intelligent qui peut vous dire exactement à quoi ressemblera le ciel demain (l'échantillon). Mais vous devez aussi savoir quelle est la probabilité que ce motif météorologique particulier se produise réellement (la vraisemblance).

Dans le monde de l'intelligence artificielle, créer un modèle capable de faire les deux — générer des images de haute qualité ou des structures moléculaires et vous dire exactement quelle est leur probabilité — est incroyablement difficile. Habituellement, vous devez choisir : soit vous obtenez de superbes images mais vous ne pouvez pas calculer les probabilités, soit vous pouvez calculer les probabilités mais les images sont floues ou les calculs prennent un temps infini.

Cet article présente une nouvelle méthode appelée SCALLOP (Scalable Likelihood distillation of flOw maPs) pour résoudre ce problème. Voici comment cela fonctionne, en utilisant des analogies simples :

Le Problème : Le « Embouteillage » Mathématique

Imaginez une rivière coulant d'un lac calme (bruit aléatoire) vers une ville complexe (données réelles comme des molécules ou des visages).

Les anciennes méthodes : Pour savoir quelle quantité d'eau s'écoule en un point donné (la vraisemblance), les scientifiques devaient arrêter la rivière, mesurer chaque goutte, et effectuer des calculs complexes. C'était comme essayer de compter chaque voiture dans un embouteillage en arrêtant chacune d'entre elles. C'était lent, et ils devaient souvent deviner, ce qui entraînait des erreurs sauvages (variance élevée).
Le raccourci « Hutchinson » : Les tentatives précédentes pour accélérer ce processus consistaient à prendre un échantillon aléatoire de voitures pour deviner le trafic total. Mais c'était comme essayer de deviner le nombre total de voitures dans une ville en interrogeant seulement trois personnes dans la rue. Parfois, cela fonctionnait, mais souvent la supposition était totalement erronée, rendant le processus d'entraînement instable et bruité.

La Solution : Le « GPS et le Compteur de Vitesse » de SCALLOP

Les auteurs ont construit un nouveau système qui agit comme une voiture équipée d'un GPS intégré et d'un compteur de vitesse parfait qui n'a jamais besoin d'arrêter le moteur pour vérifier la vitesse.

La Carte de Flux (Le GPS) : Ils utilisent une « Carte de Flux » (Flow Map), qui est une carte précalculée indiquant à l'IA comment passer du bruit aléatoire à une image ou une molécule réelle en seulement quelques étapes (comme prendre une autoroute directe plutôt que des routes de campagne sinueuses).
La Vraisemblance (Le Compteur de Vitesse) : La partie délicate consiste à connaître la « probabilité » (la lecture du compteur de vitesse) en même temps.
- L'ancienne méthode : Pour obtenir cette lecture, les anciens modèles (comme F2D2) devaient utiliser cette méthode de « supposition aléatoire » (l'estimateur de Hutchinson), qui était bruyante et lente.
- La méthode SCALLOP : Les auteurs ont réalisé qu'ils pouvaient utiliser une astuce mathématique (la divergence conditionnelle par appariement ou Conditional Divergence Matching) pour calculer la probabilité directement sans deviner. Au lieu d'essayer de compter les voitures en les arrêtant, ils observent le flux de la rivière elle-même. Ils ont dérivé une formule qui permet au modèle de « voir » la probabilité au fur et à mesure qu'elle se déplace, sans avoir besoin de s'arrêter pour effectuer des calculs lourds.

Pourquoi est-ce une avancée majeure ?

L'article affirme que SCALLOP est une mise à niveau majeure sur trois points :

C'est plus fluide (Moins de bruit) : Comme il ne repose pas sur des suppositions aléatoires, le processus d'entraînement est beaucoup plus stable. Imaginez conduire une voiture où le compteur de vitesse sautait sauvagement auparavant ; SCALOP rend l'aiguille stable. Cela signifie que le modèle apprend plus vite et de manière plus fiable.
C'est plus rapide : Les anciennes méthodes étaient comme conduire une voiture qui devait s'arrêter à chaque feu rouge pour consulter une carte. SCALLOP traverse tout droit. L'article montre qu'il est 10 fois plus rapide que les meilleures méthodes existantes pour la science moléculaire et 100 fois plus rapide que certains de ses concurrents.
Cela fonctionne partout : Ils ont testé le modèle sur deux choses très différentes :
1. Molécules : Ils l'ont utilisé pour simuler le repliement des protéines (comme les peptides d'Alanine). C'est crucial pour la découverte de médicaments, car les scientifiques ont besoin de savoir non seulement à quoi ressemble une molécule, mais aussi quelle est la probabilité qu'elle existe sous cette forme. SCALLOP a fait cela mieux et plus vite que l'état de l'art actuel.
2. Images : Ils ont également testé la génération de visages (jeu de données CelebA). Il a produit des images de haute qualité et des estimations de probabilité précises, prouvant que la méthode fonctionne pour des données générales, et pas seulement pour la science.

L'essentiel à retenir

Considérez SCALLOP comme un nouveau moteur pour les générateurs d'IA. Avant, si vous vouliez connaître les « chances » d'une image ou d'une molécule générée, vous deviez payer une taxe énorme en temps et en précision. SCALLOP supprime cette taxe. Il permet à l'IA de générer des données complexes (comme des molécules 3D ou des visages) et de vous dire exactement quelle est leur probabilité, le tout en une seule passe, rapide et stable.

En bref : C'est une façon plus rapide, plus précise et moins « bruyante » d'apprendre à l'IA à créer des choses et à comprendre la probabilité que ces choses existent.

Résumé Technique : Générateurs de Boltzmann à peu d'étapes via des Cartes de Flux de Vraisemblance Scalables (SCALLOP)

Énoncé du Problème

Les avancées récentes dans la modélisation générative basée sur le flux ont permis une génération d'échantillons de haute qualité avec peu d'évaluations de fonction (NFE). Cependant, l'estimation de la vraisemblance du modèle (densité d'échantillon) reste un goulot d'étranglement. Les approches existantes sont confrontées à un compromis :

Architectures Restrictives : Les flux de normalisation garantissent un calcul exact de la vraisemblance via la formule de changement de variables, mais imposent des contraintes architecturales (par exemple, des couches inversibles) qui limitent l'expressivité, particulièrement dans les domaines possédant des symétries comme la modélisation moléculaire.
Estimateurs à Haute Variance : Les Flux de Normalisation Continus (CNF) et leurs homologues distillés (par exemple, les Flow Maps) offrent une plus grande expressivité mais nécessitent l'intégration de la divergence du champ de vitesse. Cela est typiquement estimé en utilisant l'estimateur de trace de Hutchinson, ce qui introduit une variance substantielle et nécessite des budgets de calcul qui passent mal à l'échelle avec la dimensionnalité.
Limitations de la Distillation : Des méthodes récentes comme F2D2 (Ai et al., 2026) tentent de distiller à la fois l'échantillonnage et la vraisemblance en quelques étapes, mais reposent toujours sur des estimateurs de divergence basés sur Hutchinson pendant l'entraînement, héritant ainsi de leur haute variance et de leur surcharge de calcul.

Par conséquent, il existe un manque de méthodes scalables et à faible variance pour estimer les vraisemblances de modèles génératifs expressifs à peu d'étapes, entravant leur application en tant que générateurs de Boltzmann pour l'estimation de l'énergie libre et l'échantillonnage amélioré dans les domaines scientifiques.

Méthodologie : SCALLOP

Les auteurs proposent SCAlable LikeLihood distillation of flOw maPs (SCALLOP), un cadre qui s'appuie sur le modèle de carte de flux de vraisemblance F2D2 mais remplace l'objectif d'entraînement basé sur Hutchinson par une alternative vectorisée et scalable.

1. Cartes de Flux de Vraisemblance (Likelihood Flow Maps)

SCALLOP utilise une carte de flux de vraisemblance $\Psi$ , un opérateur qui mappe conjointement un état $x_t$ à un instant $t$ vers un état $x_s$ à un instant $s$ ainsi que le changement de log-densité associé. Il est paramétré comme suit :
$\Psi_\theta(x_t, t, s) = \begin{bmatrix} x_t \\ 0 \end{bmatrix} + (s-t) \begin{bmatrix} u_\theta(x_t, t, s) \\ D_\theta(x_t, t, s) \end{bmatrix}$
où $u_\theta$ prédit la vitesse et $D_\theta$ prédit la divergence (changement de log-densité).

2. Appariement de Divergence Conditionnelle (CDM)

L'innovation centrale est de remplacer l'estimateur de trace de Hutchinson par un Appariement de Divergence Conditionnelle (CDM).

Dérivation : En utilisant la règle de la chaîne sur le log-densité le long de la trajectoire de flux ( $dt \log p_t(x_t) = \nabla \log p_t(x_t) \cdot v_t(x_t) + \partial_t \log p_t(x_t)$ ), les auteurs reformulent le terme de divergence.
Mécanisme : En se conditionnant sur le point de donnée cible $x_1$ (dans un cadre d'interpolation linéaire $x_t = (1-t)x_0 + tx_1$ ), la distribution conditionnelle $p_t(x_t|x_1)$ devient traitable (Gaussienne). Cela permet d'exprimer la divergence sans opérateurs de divergence explicites ou estimateurs de trace stochastiques.
Objectif : L'objectif CDM minimise la différence entre la divergence prédite $D_\theta$ et un terme dérivé du champ de vitesse connu et des scores conditionnels, contournant ainsi totalement le besoin de l'estimateur de Hutchinson.

3. Appariement de Divergence Vectorisé

Pour améliorer davantage l'efficacité, les auteurs introduisent l'Appariement de Divergence Vectorisé (CDM-v).

Au lieu de prédire la divergence scalaire $\nabla \cdot v_t$ , le réseau prédit le vecteur des entrées diagonales de la Jacobienne, $\text{diag}(\nabla v_t)$ .
Cela transforme la cible d'apprentissage d'un signal scalaire en un signal vectoriel, ce qui est plus efficace en termes de données et permet une formulation entièrement vectorisée.
L'analyse théorique montre que la minimisation de la perte vectorisée est équivalente à la minimisation de la perte d'appariement de divergence standard à une constante près.

4. Entraînement et Architecture

Architecture : SCALLOP utilise un backbone de type Diffusion Transformer (DiT) avec des couches d'encodage partagées et des têtes de lecture séparées pour la vitesse de l'échantillon et le changement de log-densité vectorisé.
Symétrie : Pour les systèmes moléculaires, l'architecture impose l'équivariance SE(3) pour la vitesse et l'invariance SE(3) pour le changement de log-densité (via la sommation de la sortie vectorielle).
Stabilisation : Pour gérer les singularités à $t=1$ , les échantillons $t$ sont tirés de $[0, 1-\epsilon]$ et une pondération linéaire est appliquée au terme d'appariement de la divergence.

Principales Contributions

Objectif d'Entraînement Scalable : SCALLOP introduit un objectif de distillation de vraisemblance vectorisé et sans Hutchinson (CDM-v) qui réduit considérablement la variance d'entraînement et le coût de calcul par rapport à F2D2.
Supériorité Empirique : SCALLOP démontre des améliorations substantielles par rapport à F2D2, réduisant la variance d'entraînement jusqu'à 100 $\times$ , convergeant plus rapidement et atteignant de meilleures performances sur l'ensemble de test.
Efficacité d'Inférence : Dans les domaines moléculaires, SCALLOP atteint une vitesse d'inférence jusqu'à 10 $\times$ supérieure aux flux de normalisation et 100 $\times$ supérieure à FALCON, tout en maintenant une qualité d'échantillonnage compétitive ou supérieure.
Généralisabilité : La méthode est validée sur des jeux de données d'images de haute dimension (CelebA-64), montrant une estimation précise de la vraisemblance et des dynamiques d'entraînement stables par rapport à F2D2.

Résultats

Systèmes Moléculaires (Générateurs de Boltzmann)

Évalué sur des systèmes d'Alanine Dipeptide (ALA-2) à Hexapeptide (ALA-6) :

Performance : SCALLOP surpasse systématiquement F2D2 sur tous les indicateurs (Taille d'Échantillon Effective, Wasserstein-2 de l'Énergie, Wasserstein-2 de l'Angle de Torsion). Il atteint des performances compétitives avec l'état de l'art FALCON et FALCON-A.
Stabilité : Les gradients d'entraînement pour SCALLOP présentent une variance nettement plus faible et un rapport signal sur bruit (SNR) plus élevé par rapport à F2D2.
Vitesse : SCALLOP supporte de grands lots ( $10^4$ ) lors de l'inférence, alors que FALCON nécessite des tailles de lots très restreintes en raison des coûts de calcul de la Jacobienne. SCALLOP est 10 $\times$ plus rapide que les flux de normalisation et 100 $\times$ plus rapide que FALCON.

Génération d'Images (CelebA-64)

SCALLOP atteint des Bits Par Dimension (BPD) et un Fréchet Inception Distance (FID) comparables à F2D2 de 1 à 8 étapes d'Euler.
Il réduit systématiquement l'erreur BPD par échantillon par rapport à F2D2.
Le calcul de la perte est 16,9 % plus rapide (83,1 % du temps de calcul de F2D2) avec des dynamiques d'entraînement plus stables.

Signification et Revendications

L'article affirme que SCALLOP résout le compromis de longue date entre l'expressivité et l'évaluation de la vraisemblance traitable dans les modèles génératifs à peu d'étapes. En éliminant l'estimateur de trace de Hutchinson, SCALLOP permet l'entraînement de cartes de flux de vraisemblance hautement expressives avec une faible variance et une grande scalabilité.

Les auteurs positionnent SCALLOP comme une solution pratique pour les applications scientifiques nécessitant des générateurs de Boltzmann, où l'estimation précise de la vraisemblance est cruciale pour les calculs d'énergie libre et l'échantillonnage amélioré. Ils notent que bien que SCALLOP puisse théoriquement générer des échantillons en 1 étape, il utilise pratiquement $\sim$ 10 étapes pour les tâches de haute dimension. La méthode repose sur l'hypothèse que le champ de vitesse est bien appris, et l'écart théorique concernant le biais introduit par cette hypothèse reste non quantifié. Néanmoins, les résultats empiriques démontrent que SCALLOP est une approche compétitive et à la pointe de l'état de l'art qui accélère considérablement tant l'entraînement que l'inférence pour la modélisation générative sensible à la vraisemblance.