🤖 machine learning

Few-Step Boltzmann Generators via Scalable Likelihood Flow Maps

Dit artikel introduceert SCALLOP, een schaalbare, Hutchinson-vrije likelihood-distillatiemethode voor flow-gebaseerde generatieve modellen die de trainingsvariantie en tijd aanzienlijk vermindert, terwijl het tot 10x snellere inferentie bereikt vergeleken met bestaande baselines zoals F2D2.

Oorspronkelijke auteurs: RuiKang OuYang, Hanlin Yu, Xinyue Ai, Yutong He, Nicholas M. Boffi, Pradeep Ravikumar, Jose Miguel Hernandez-Lobato, Max Simchowitz, Benjamin Kurt Miller, Omar Chehab

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: RuiKang OuYang, Hanlin Yu, Xinyue Ai, Yutong He, Nicholas M. Boffi, Pradeep Ravikumar, Jose Miguel Hernandez-Lobato, Max Simchowitz, Benjamin Kurt Miller, Omar Chehab

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je het weer probeert te voorspellen. Je hebt een superintelligent computermodel dat precies kan vertellen hoe de lucht er morgen uit zal zien (de sample). Maar je moet ook weten hoe waarschijnlijk dat specifieke weerpatroon is om daadwerkelijk te gebeuren (de likelihood).

In de wereld van kunstmatige intelligentie is het creëren van een model dat beide kan—het genereren van hoogwaardige afbeeldingen of moleculaire structuren en het precies kunnen aangeven hoe waarschijnlijk die zijn—extreem moeilijk. Meestal moet je kiezen: of je krijgt geweldige plaatjes maar kun je de kansen niet berekenen, of je kunt de kansen wel berekenen maar zijn de plaatjes wazig of duurt de wiskunde eeuwen.

Dit paper introduceert een nieuwe methode genaamd SCALLOP (Scalable Likelihood distillation of flOw maPs) om dit probleem op te lossen. Dit is hoe het werkt, met behulp van eenvoudige analogieën:

Het Probleem: De "File" van de Wiskunde

Stel je een rivier voor die stroomt van een rustig meer (willekeurige ruis) naar een complexe stad (echte data zoals moleculen of gezichten).

Oude Methoden: Om te weten hoeveel water er op elk punt stroomt (de likelihood), moesten wetenschappers de rivier stoppen, elke druppel meten en complexe berekeningen uitvoeren. Dit was alsof je probeerde het totaal aantal auto's in een file te tellen door elke auto te stoppen. Dit was traag, en vaak moesten ze gokken, wat leidde tot enorme fouten (hoge variantie).
De "Hutchinson" Afkorting: Eerdere pogingen probeerden dit te versnellen door een willekeurige steekproef van auto's te nemen om het totale verkeer te raden. Maar dit was als het raden van het totaal aantal auto's in een stad door slechts drie mensen op straat te vragen. Soms werkte het, maar vaak zat de gok er enorm naast, wat het trainingsproces onstabiel en ruizig maakte.

De Oplossing: SCALLOP's "GPS en Snelheidsmeter"

De auteurs hebben een nieuw systeem gebouwd dat werkt als een auto met een ingebouwde GPS en een perfecte snelheidsmeter die nooit de motor hoeft te stoppen om de snelheid te controleren.

De Flow Map (De GPS): Ze gebruiken een "Flow Map", wat een vooraf berekende kaart is die de AI vertelt hoe hij van willekeurige ruis naar een echte afbeelding of molecuul kan bewegen in slechts een paar stappen (zoals het nemen van een directe snelweg in plaats van kronkelige landwegen).
De Likelihood (De Snelheidsmeter): Het lastige deel is het tegelijkertijd weten van de "waarschijnlijkheid" (de aflezing van de snelheidsmeter).
- De Oude Manier: Om deze aflezing te krijgen, moesten de oude modellen (zoals F2D2) die "willekeurige gok"-methode (de Hutchinson-schatter) gebruiken, wat ruizig en traag was.
- De SCALLOP Manier: De auteurs realiseerden zich dat ze een wiskundige truc (Conditional Divergence Matching) konden gebruiken om de waarschijnlijkheid direct te berekenen zonder te gokken. In plaats van te proberen het aantal auto's te tellen door ze te stoppen, kijken ze naar de stroming van de rivier zelf. Ze hebben een formule afgeleid waarmee het model de waarschijnlijkheid kan "zien" terwijl het beweegt, zonder dat het zware wiskunde hoeft te stoppen en uit te voeren.

Waarom is dit een Groot Ding?

Het paper beweert dat SCALLOP een grote upgrade is op drie manieren:

Het is Soepeler (Minder Ruis): Omdat het niet vertrouwt op willekeurige gokken, is het trainingsproces veel stabieler. Stel je voor dat je een auto bestuurt waarbij de snelheidsmeter vroeger wild heen en weer sprong; SCALLOP maakt de naald stabiel. Dit betekent dat het model sneller en betrouwbaarder leert.
Het is Sneller: De oude methoden waren als een auto die bij elk rood licht moest stoppen om een kaart te checken. SCALLOP rijdt er gewoon dwars doorheen. Het paper laat zien dat het 10 keer sneller is dan de beste bestaande methoden voor moleculaire wetenschap en 100 keer sneller dan sommige andere concurrenten.
Het Werkt Overal: Ze hebben het getest op twee zeer verschillende zaken:
1. Moleculen: Ze gebruikten het om te simuleren hoe eiwitten (zoals Alanine-peptiden) vouwen. Dit is cruciaal voor medicijnontdekking, omdat wetenschappers niet alleen moeten weten wat een molecuul is, maar ook hoe waarschijnlijk het is dat het in die vorm bestaat. SCALLOP deed dit beter en sneller dan de huidige state-of-the-art.
2. Afbeeldingen: Ze testten het ook op het genereren van gezichten (CelebA dataset). Het produceerde afbeeldingen van hoge kwaliteit en nauwkeurige waarschijnlijkheidschattingen, wat bewijst dat de methode werkt voor algemene data, niet alleen voor wetenschap.

De Kern van het Verhaal

Beschouw SCALLOP als een nieuwe motor voor AI-generatoren. Voorheen, als je de "kansen" wilde weten van een gegenereerde afbeelding of molecuul, moest je een enorme belasting betalen in tijd en nauwkeurigheid. SCALLOP heft deze belasting op. Het stelt AI in staat om complexe data (zoals 3D-moleculen of gezichten) te genereren en je precies te vertellen hoe waarschijnlijk die zijn, allemaal in één enkele, snelle en stabiele passage.

Kortom: Het is een snellere, nauwkeurigere en minder "ruizige" manier om AI te leren dingen te creëren en te begrijpen hoe waarschijnlijk het is dat die dingen bestaan.

Technische Samenvatting: Few-Step Boltzmann Generators via Scalable Likelihood Flow Maps (SCALLOP)

Probleemstelling

Recente vooruitgang in flow-gebaseerde generatieve modellering heeft geleid tot hoogwaardige generatie van samples met weinig functionele evaluaties (NFE's). Echter, het schatten van de model-likelihood (sample-dichtheid) blijft een knelpunt. Bestaande benaderingen kampen met een afweging:

Restrictieve Architecturen: Normalisatierflows zorgen voor exacte likelihood-berekening via de veranderingsformule (change-of-variables), maar vereisen architecturale beperkingen (bijv. inverse lagen) die de expressiviteit beperken, met name in domeinen met symmetrieën zoals moleculaire modellering.
Hoge Variantie Estimators: Continuous Normalizing Flows (CNF's) en hun gedestilleerde tegenhangers (bijv. Flow Maps) bieden een grotere expressiviteit, maar vereisen het integreren van de divergentie van het snelheidveld. Dit wordt doorgaans geschat met de Hutchinson trace estimator, wat substantiële variantie introduceert en computationele budgetten vereist die slecht schalen met dimensionaliteit.
Beperkingen in Distillatie: Recente methoden zoals F2D2 (Ai et al., 2026) proberen zowel sampling als likelihood te distilleren naar enkele stappen, maar vertrouwen tijdens de training nog steeds op Hutchinson-gebaseerde divergentie-estimators, waardoor ze de hoge variantie en computationele overhead erven.

Consequent is er een gebrek aan schaalbare, laag-variante methoden om likelihoods te schatten voor expressieve, few-step generatieve modellen, wat hun toepassing als Boltzmann-generatoren voor vrije energie-schatting en enhanced sampling in wetenschappelijke domeinen belemmert.

Methodologie: SCALLOP

De auteurs stellen SCAlable LikeLihood distillation of flOw maPs (SCALLOP) voor, een framework dat voortbouwt op het F2D2 likelihood flow map model, maar de Hutchinson-gebaseerde trainingsdoelstelling vervangt door een schaalbaar, vectorieel alternatief.

1. Likelihood Flow Maps

SCALLOP maakt gebruik van een likelihood flow map $\Psi$ , een operator die een staat $x_t$ op tijdstip $t$ gezamenlijk mapt naar een staat $x_s$ op tijdstip $s$ en de bijbehorende log-densiteitsverandering. Dit wordt geparametriseerd als:
$\Psi_\theta(x_t, t, s) = \begin{bmatrix} x_t \\ 0 \end{bmatrix} + (s-t) \begin{bmatrix} u_\theta(x_t, t, s) \\ D_\theta(x_t, t, s) \end{bmatrix}$
waarbij $u_\theta$ de snelheid voorspelt en $D_\theta$ de divergentie (log-densiteitsverandering) voorspelt.

2. Conditional Divergence Matching (CDM)

De kerninnovatie is het vervangen van de Hutchinson trace estimator door Conditional Divergence Matching (CDM).

Afleiding: Door de kettingregel toe te passen op de log-densiteit langs het flow-traject ( $dt \log p_t(x_t) = \nabla \log p_t(x_t) \cdot v_t(x_t) + \partial_t \log p_t(x_t)$ ), herformuleren de auteurs de divergentie-term.
Mechanisme: Door te conditioneren op het doel-datapunt $x_1$ (in een lineaire interpolatiesetting $x_t = (1-t)x_0 + tx_1$ ), wordt de conditionele distributie $p_t(x_t|x_1)$ tractabel (Gaussiaans). Dit maakt het mogelijk om de divergentie uit te drukken zonder expliciete divergentie-operatoren of stochastische trace estimators.
Doelstelling: De CDM-doelstelling minimaliseert het verschil tussen de voorspelde divergentie $D_\theta$ en een term afgeleid van het bekende snelheidveld en de conditionele scores, waardoor de noodzaak voor de Hutchinson-estimator volledig wordt omzeild.

3. Vectorized Divergence Matching

Om de efficiëntie verder te verbeteren, introduceren de auteurs Vectorized Divergence Matching (CDM-v).

In plaats van de scalaire divergentie $\nabla \cdot v_t$ te voorspellen, voorspelt het netwerk de vector van de diagonale elementen van de Jacobiaan, $\text{diag}(\nabla v_t)$ .
Dit transformeert de leerdoelstelling van een scalaire naar een vectorieel signaal, wat efficiënter is qua data en een volledig vectoriële formulering mogelijk maakt.
Theoretische analyse toont aan dat het minimaliseren van de vectoriële loss equivalent is aan het minimaliseren van de standaard divergentie-matching loss tot een constante factor.

4. Training en Architectuur

Architectuur: SCALLOP gebruikt een Diffusion Transformer (DiT) backbone met gedeelde encoding-lagen en aparte readout-heads voor de sample-snelheid en de vectoriële log-densiteitsverandering.
Symmetrie: Voor moleculaire systemen dwingt de architectuur SE(3)-equivariantie af voor de snelheid en SE(3)-invariantie voor de log-densiteitsverandering (via sommatie van de vectoruele output).
Stabilisatie: Om singulariteiten bij $t=1$ te voorkomen, worden trainingssamples $t$ getrokken uit $[0, 1-\epsilon]$ en wordt een lineaire weging toegepast op de divergentie-matching term.

Belangrijkste Bijdragen

Schaalbare Trainingsdoelstelling: SCALLOP introduceert een Hutchinson-vrije, vectoriële likelihood-distillatie-doelstelling (CDM-v) die de trainingsvariantie en computationele kosten aanzienlijk vermindert vergeleken met F2D2.
Empirische Superioriteit: SCALLOP demonstreert substantiële verbeteringen ten opzichte van F2D2, waarbij de trainingsvariantie met wel 100 $\times$ wordt verminderd, sneller convergeert en betere prestaties levert op de testset.
Inference Efficiëntie: In moleculaire domeinen bereikt SCALLOP tot 10 $\times$ snellere inference dan normalisatierflows en 100 $\times$ sneller dan FALCON, terwijl het competitieve of superieure sample-kwaliteit behoudt.
Generaliseerbaarheid: De methode wordt gevalideerd op hoog-dimensionale beelddatasets (CelebA-64), waarbij nauwkeurige likelihood-schatting en stabiele trainingsdynamiek worden aangetoond vergeleken met F2D2.

Resultaten

Moleculaire Systemen (Boltzmann Generators)

Geëvalueerd op Alanine Dipeptide (ALA-2) tot Hexapeptide (ALA-6) systemen:

Prestaties: SCALLOP presteert consistent beter dan F2D2 over alle metrieken (Effective Sample Size, Energy Wasserstein-2, Torsional Angle Wasserstein-2). Het bereikt prestaties die competitief zijn met de state-of-the-art FALCON en FALCON-A.
Stabiliteit: De trainingsgradiënten van SCALLOP vertonen aanzienlijk lagere variantie en een hogere Signal-to-Noise Ratio (SNR) vergeleken met F2D2.
Snelheid: SCALLOP ondersteunt grote batch-groottes ( $10^4$ ) tijdens inference, terwijl FALCON zwaar beperkte batch-groottes vereist vanwege de kosten van de Jacobiaan-berekening. SCALLOP is 10 $\times$ sneller dan normalisatierflows en 100 $\times$ sneller dan FALCON.

Beeldgeneratie (CelebA-64)

SCALLOP bereikt Bits Per Dimension (BPD) en Fréchet Inception Distance (FID) die vergelijkbaar zijn met F2D2 over 1 tot 8 Euler-stappen.
Het vermindert consequent de per-sample BPD-fout vergeleken met F2D2.
De berekening van de loss is 16,9% sneller (83,1% van de F2D2 wall-clock tijd) met stabielere trainingsdynamiek.

Betekenis en Claims

Het artikel claimt dat SCALLOP de langdurige afweging tussen expressiviteit en tractabele likelihood-evaluatie in few-step generatieve modellen oplost. Door de Hutchinson trace estimator te elimineren, maakt SCALLOP het mogelijk om hoog-expressieve likelihood flow maps te trainen met lage variantie en hoge schaalbaarheid.

De auteurs positioneren SCALLOP als een praktische oplossing voor wetenschappelijke toepassingen die behoefte hebben aan Boltzmann-generatoren, waarbij nauwkeurige likelihood-schatting cruciaal is voor vrije energie-berekeningen en enhanced sampling. Ze merken op dat hoewel SCALLOP theoretisch samples in 1 stap kan genereren, het in de praktijk $\sim$ 10 stappen gebruikt voor hoog-dimensionale taken. De methode rust op de aanname dat het snelheidveld goed geleerd is, en de theoretische kloof met betrekking tot de bias die door deze aanname wordt geïntroduceerd, blijft ongekwantificeerd. Desalniettemin tonen de empirische resultaten aan dat SCALLOP een competitieve, state-of-the-art benadering is die zowel de training als de inference voor likelihood-bewuste generatieve modellering aanzienlijk versnelt.