🤖 machine learning

Few-Step Boltzmann Generators via Scalable Likelihood Flow Maps

Dieses Paper stellt SCALLOP vor, eine skalierbare, Hutchinson-freie Likelihood-Distillationsmethode für Flow-basierte generative Modelle, die die Trainingsvarianz und die Trainingszeit signifikant reduziert und gleichzeitig eine bis zu 10-fach schnellere Inferenz im Vergleich zu bestehenden Baselines wie F2D2 erreicht.

Ursprüngliche Autoren: RuiKang OuYang, Hanlin Yu, Xinyue Ai, Yutong He, Nicholas M. Boffi, Pradeep Ravikumar, Jose Miguel Hernandez-Lobato, Max Simchowitz, Benjamin Kurt Miller, Omar Chehab

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: RuiKang OuYang, Hanlin Yu, Xinyue Ai, Yutong He, Nicholas M. Boffi, Pradeep Ravikumar, Jose Miguel Hernandez-Lobato, Max Simchowitz, Benjamin Kurt Miller, Omar Chehab

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das Wetter vorherzusagen. Sie haben ein superintelligentes Computermodell, das Ihnen genau sagen kann, wie der Himmel morgen aussehen wird (die Stichprobe). Aber Sie müssen auch wissen, wie wahrscheinlich dieses spezifische Wettermuster tatsächlich eintreten wird (die Likelihood).

In der Welt der Künstlichen Intelligenz ist es unglaublich schwierig, ein Modell zu erschaffen, das beides leisten kann – also hochwertige Bilder oder Molekularstrukturen zu generieren und gleichzeitig exakt angeben zu können, wie wahrscheinlich diese sind. Normalerweise muss man sich entscheiden: Entweder man bekommt großartige Bilder, kann aber die Wahrscheinlichkeiten nicht berechnen, oder man kann die Wahrscheinlichkeiten berechnen, aber die Bilder sind unscharf oder die Mathematik dauert ewig.

Dieses Paper stellt eine neue Methode namens SCALLOP (Scalable Likelihood distillation of flOw maPs) vor, um dieses Problem zu lösen. So funktioniert es, erklärt anhand einfacher Analogien:

Das Problem: Der „Stau“ der Mathematik

Stellen Sie sich einen Fluss vor, der von einem ruhigen See (zufälliges Rauschen) zu einer komplexen Stadt (reale Daten wie Moleküle oder Gesichter) fließt.

Alte Methoden: Um zu wissen, wie viel Wasser an einem bestimmten Punkt fließt (die Likelihood), mussten Wissenschaftler den Fluss stoppen, jeden einzelnen Tropfen messen und komplexe Berechnungen durchführen. Das war so, als würde man versuchen, die Gesamtzahl der Autos in einem Stau zu zählen, indem man jedes einzelne Auto anhält. Das war langsam, und oft musste man schätzen, was zu wilden Fehlern (hoher Varianz) führte.
Der „Hutchinson“-Shortcut: Frühere Versuche versuchten, dies zu beschleunigen, indem sie eine Zufallsstichprobe von Autos nahmen, um den gesamten Verkehr zu erraten. Das war jedoch so, als würde man die Gesamtzahl der Autos in einer Stadt erraten, indem man nur drei Leute auf der Straße fragt. Manchmal funktionierte es, aber oft war die Schätzung völlig daneben, was den Trainingsprozess instabil und verrauscht machte.

Die Lösung: SCALLOPs „GPS und Tacho“

Die Autoren haben ein neues System gebaut, das wie ein Auto mit eingebautem GPS und einem perfekten Tacho funktioniert, der niemals den Motor abstellen muss, um die Geschwindigkeit zu prüfen.

Die Flow Map (Das GPS): Sie verwenden eine „Flow Map“, was wie eine vorab berechnete Karte ist, die der KI sagt, wie sie in nur wenigen Schritten von zufälligem Rauschen zu einem echten Bild oder Molekül gelangt (wie die Fahrt auf einer direkten Autobahn statt über eine kurvige Landstraße).
Die Likelihood (Der Tacho): Der knifflige Teil ist, gleichzeitig die „Wahrscheinlichkeit“ (die Tacho-Anzeige) zu kennen.
- Der alte Weg: Um diesen Wert zu erhalten, mussten die alten Modelle (wie F2D2) diese „Zufallsschätzmethode“ (Hutchinson-Schätzer) verwenden, die verrauscht und langsam war.
- Der SCALLOP-Weg: Die Autoren erkannten, dass sie einen mathematischen Trick (Conditional Divergence Matching) nutzen konnten, um die Wahrscheinlichkeit direkt zu berechnen, ohne zu raten. Anstatt zu versuchen, die Autos zu zählen, indem man sie anhält, betrachten sie den Fluss des Flusses selbst. Sie haben eine Formel hergeleitet, die es dem Modell ermöglicht, die Wahrscheinlichkeit während der Bewegung zu „sehen“, ohne die schwere Mathematik durchführen zu müssen.

Warum ist das eine große Sache?

Das Paper behauptet, dass SCALLOP in drei Punkten ein bedeutendes Upgrade ist:

Es ist glatter (weniger Rauschen): Da es nicht auf Zufallsschätzungen basiert, ist der Trainingsprozess viel stabiler. Stellen Sie sich vor, Sie fahren ein Auto, bei dem die Tachoanzeige früher wild hin und her sprang; SCALLOP macht die Nadel ruhig und stetig. Das bedeutet, das Modell lernt schneller und zuverlässiger.
Es ist schneller: Die alten Methoden waren wie ein Auto, das an jeder roten Ampel anhalten musste, um eine Karte zu prüfen. SCALLOP fährt einfach geradeaus durch. Das Paper zeigt, dass es 10-mal schneller ist als die besten existierenden Methoden für die Molekularwissenschaft und 100-mal schneller als einige andere Wettbewerber.
Es funktioniert überall: Sie haben es mit zwei sehr unterschiedlichen Dingen getestet:
1. Moleküle: Sie haben es verwendet, um zu simulieren, wie Proteine (wie Alanin-Peptide) falten. Dies ist entscheidend für die Arzneimittelentwicklung, da Wissenschaftler nicht nur wissen müssen, wie ein Molekül aussieht, sondern auch, wie wahrscheinlich es ist, dass es in dieser Form existiert. SCALLOP hat dies besser und schneller als den aktuellen Stand der Technik bewältigt.
2. Bilder: Sie haben es auch beim Generieren von Gesichtern (CelebA-Datensatz) getestet. Es erzeugte hochwertige Bilder sowie genaue Wahrscheinlichkeitsschätzungen, was beweist, dass die Methode für allgemeine Daten funktioniert, nicht nur für die Wissenschaft.

Das Fazntum

Betrachten Sie SCALLOP als einen neuen Motor für KI-Generatoren. Früher mussten Sie, wenn Sie die „Chancen“ eines generierten Bildes oder Moleküls wissen wollten, eine hohe Steuer in Form von Zeit und Genauigkeit zahlen. SCALLOP hebt diese Steuer auf. Es ermöglicht der KI, komplexe Daten (wie 3D-Moleküle oder Gesichter) zu generieren und gleichzeitig exakt anzugeben, wie wahrscheinlich es ist, dass diese existieren – und das alles in einem einzigen, schnellen und stabilen Durchgang.

Kurz gesagt: Es ist eine schnellere, genauere und weniger „verrauschte“ Art, eine KI darauf zu trainieren, Dinge zu erschaffen und zu verstehen, wie wahrscheinlich die Existenz dieser Dinge ist.

Technisches Resümee: Few-Step Boltzmann-Generatoren via Scalable Likelihood Flow Maps (SCALLOP)

Problemstellung

Jüngste Fortschritte im Bereich der flussbasierten generativen Modellierung haben die Erzeugung hochwertiger Stichproben mit wenigen Funktionsauswertungen (NFEs) ermöglicht. Die Schätzung der Modell-Likelihood (Stichprobendichte) bleibt jedoch ein Engpass. Bestehende Ansätze stehen vor einem Zielkonflikt:

Restriktive Architekturen: Normalisierende Flüsse gewährleisten eine exakte Likelihood-Berechnung über die Change-of-Variables-Formel, erfordern jedoch architektonische Einschränkungen (z. B. invertierbare Schichten), die die Expressivität einschränken, insbesondere in Domänen mit Symmetrien wie der molekularen Modellierung.
Hochvariante Schätzer: Kontinuierliche Normalisierende Flüsse (CNFs) und deren destillierte Gegenstücke (z. B. Flow Maps) bieten eine größere Expressivität, erfordern jedoch die Integration der Divergenz des Geschwindigkeitsfeldes. Dies wird typischerweise mittels des Hutchinson-Spur-Schätzers geschätzt, was eine erhebliche Varianz einführt und Rechenbudgets erfordert, die mit der Dimensionalität schlecht skalieren.
Limitierungen der Destillation: Jüngste Methoden wie F2D2 (Ai et al., 2026) versuchen, sowohl das Sampling als auch die Likelihood in wenigen Schritten zu destillieren, stützen sich jedoch während des Trainings immer noch auf Hutchinson-basierte Divergenzschätzer, wodurch sie die hohe Varianz und den hohen Rechenaufwand übernehmen.

Folglich mangelt es an skalierbaren, nieder-varianten Methoden zur Schätzung von Likelihoods für expressive, wenige-Schritt-generative Modelle, was deren Anwendung als Boltzmann-Generatoren für die Freie-Energie-Schätzung und das Enhanced Sampling in wissenschaftlichen Domänen behindert.

Methodik: SCALLOP

Die Autoren schlagen SCAlable LikeLihood distillation of flOw maPs (SCALLOP) vor, ein Framework, das auf dem F2D2 Likelihood Flow Map Modell aufbaut, aber den Hutchinson-basierten Trainings-Objective durch eine skalierbare, vektorisierte Alternative ersetzt.

1. Likelihood Flow Maps

SCALLOP nutzt eine Likelihood Flow Map $\Psi$ , einen Operator, der einen Zustand $x_t$ zum Zeitpunkt $t$ gemeinsam auf einen Zustand $x_s$ zum Zeitpunkt $s$ und die zugehörige Log-Dichte-Änderung abbildet. Diese ist parametrisiert als:
$\Psi_\theta(x_t, t, s) = \beginbmatrix} x_t \\ 0 \end{bmatrix} + (s-t) \begin{bmatrix} u_\theta(x_t, t, s) \\ D_\theta(x_t, t, s) \end{bmatrix}$
wobei $u_\theta$ die Geschwindigkeit vorhersagt und $D_\theta$ die Divergenz (Log-Dichte-Änderung) vorhersagt.

2. Conditional Divergence Matching (CDM)

Die Kerninnovation ist der Ersatz des Hutchinson-Spur-Schätzers durch Conditional Divergence Matching (CDM).

Ableitung: Unter Verwendung der Kettenregel auf der Log-Dichte entlang der Fluss-Trajektorie ( $dt \log p_t(x_t) = \nabla \log p_t(x_t) \cdot v_t(x_t) + \partial_t \log p_t(x_t)$ ) formulieren die Autoren den Divergenzterm um.
Mechanismus: Durch Konditionierung auf den Ziel-Datenpunkt $x_1$ (in einem linearen Interpolationssetting $x_t = (1-t)x_0 + tx_1$ ) wird die bedingte Verteilung $p_t(x_t|x_1)$ handhabbar (Gauß-Verteilung). Dies ermöglicht es, die Divergenz ohne explizite Divergenzoperatoren oder stochastische Spur-Schätzer auszudrücken.
Zielsetzung: Das CDM-Ziel minimiert die Differenz zwischen der vorhergesagten Divergenz $D_\theta$ und einem Term, der aus dem bekannten Geschwindigkeitsfeld und den bedingten Scores abgeleitet ist, wodurch die Notwendigkeit eines Hutchinson-Schätzers vollständig umgangen wird.

3. Vektorisierte Divergenz-Anpassung

Um die Effizienz weiter zu steigen, führen die Autoren Vectorized Divergence Matching (CDM-v) ein.

Anstatt die skalare Divergenz $\nabla \cdot v_t$ vorherzusagen, sagt das Netzwerk den Vektor der Diagonaleinträge der Jacobi-Matrix, $\text{diag}(\nabla v_t)$ , voraus.
Dies transformiert das Lernziel von einem Skalar zu einem Vektorsignal, was effizienter in den Daten ist und eine vollständig vektorisierte Formulierung ermöglicht.
Die theoretische Analyse zeigt, dass die Minimierung des vektorisierten Verlusts äquivalent zur Minimierung des Standard-Divergenz-Matching-Verlusts bis auf eine Konstante ist.

4. Training und Architektur

Architektur: SCALLOP verwendet ein Diffusion Transformer (DiT) Backbone mit geteilten Encoding-Layern und separaten Readout-Heads für die Stichproben-Geschwindigkeit und die vektorisierte Log-Dichte-Änderung.
Symmetrie: Für molekulare Systeme erzwingt die Architektur SE(3)-Äquivarianz für die Geschwindigkeit und SE(3)-Invarianz für die Log-Dichte-Änderung (via Summation des Vektor-Outputs).
Stabilisierung: Um Singularitäten bei $t=1$ zu handhaben, werden Trainingsstichproben $t$ aus $[0, 1-\epsilon]$ gezogen und eine lineare Gewichtung auf den Divergenz-Matching-Term angewendet.

Wichtigste Beiträge

Skalierbare Trainings-Zielsetzung: SCALLOP führt ein Hutchinson-freies, vektorisiertes Likelihood-Destillations-Ziel (CDM-v) ein, das die Trainingsvarianz und die Rechenkosten im Vergleich zu F2D2 signifikant reduziert.
Empirische Überlegenheit: SCALLOP zeigt substantielle Verbesserungen gegenüber F2D2, reduziert die Trainingsvarianz um bis zu das 100-Fache, konvergiert schneller und erzielt eine bessere Performance auf dem Testset.
Inferenz-Effizienz: In molekularen Domänen erreicht SCALLOP eine bis zu 10-mal schnellere Inferenz als Normalisierende Flüsse und eine 100-mal schnellere als FALCON, während es eine konkurrenzfähige oder überlegene Stichprobenqualität beibehält.
Generalisierbarkeit: Die Methode wird an hochdimensionalen Bilddatensätzen (CelebA-64) validiert, wobei sie eine genaue Likelihood-Schätzung und stabilere Trainingsdynamiken im Vergleich zu F2D2 zeigt.

Ergebnisse

Molekulare Systeme (Boltzmann-Generatoren)

Evaluierung auf Alanin-Dipeptid (ALA-2) bis hin zu Hexapeptid (ALA-6) Systemen:

Performance: SCALLOP übertrifft F2D2 konsistent über alle Metriken (Effective Sample Size, Energy Wasserstein-2, Torsional Angle Wasserstein-2). Es erreicht eine Performance, die mit dem State-of-the-Art FALCON und FALCON-A konkurriert.
Stabilität: Die Trainingsgradienten für SCALLOP weisen eine signifikant geringere Varianz und ein höheres Signal-Rausch-Verhältnis (SNR) im Vergleich zu F2D2 auf.
Geschwindigkeit: SCALLOP unterstützt große Batch-Größen ( $10^4$ ) während der Inferenz, während FALCON aufgrund der Kosten für die Jacobi-Berechnung stark eingeschränkte Batch-Größen erfordert. SCALLOP ist 10-mal schneller als Normalisierende Flüsse und 100-mal schneller als FALCON.

Bildgenerierung (CelebA-64)

SCALLOP erreicht Bits Per Dimension (BPD) und Fréchet Inception Distance (FID) vergleichbar mit F2D2 über 1 bis 8 Euler-Schritte.
Es reduziert konsistent den BPD-Fehler pro Stichprobe im Vergleich zu F2D2.
Die Berechnung des Verlusts ist 16,9 % schneller (83,1 % der F2D2-Wandzeit) mit stabileren Trainingsdynamiken.

Bedeutung und Ansprüche

Das Paper behauptet, dass SCALLOP den langjährigen Zielkonflikt zwischen Expressivität und handhabbarer Likelihood-Evaluierung in Few-Step-generativen Modellen löst. Durch die Eliminierung des Hutchinson-Spur-Schätzers ermöglicht SCALLOP das Training hoch-expressiver Likelihood Flow Maps mit geringer Varianz und hoher Skalierbarkeit.

Die Autoren positionieren SCALLOP als praktische Lösung für wissenschaftliche Anwendungen, die Boltzmann-Generatoren erfordern, bei denen eine genaue Likelihood-Schätzung für Freie-Energie-Berechnungen und Enhanced Sampling entscheidend ist. Sie merken an, dass SCALLOP theoretisch in 1 Schritt generieren kann, praktisch jedoch $\sim$ 10 Schritte für hochdimensionale Aufgaben verwendet. Die Methode beruht auf der Annahme, dass das Geschwindigkeitsfeld gut gelernt wurde, und die theoretische Lücke hinsichtlich des durch diese Annahme eingeführten Bias bleibt unquantifiziert. Dennoch zeigen die empirischen Ergebnisse, dass SCALLOP ein konkurrenzfähiger State-of-the-Art-Ansatz ist, der sowohl das Training als auch die Inferenz für Likelihood-bewusste generative Modellierung signifikant beschleunigt.