Technische Zusammenfassung: Midpoint Generative Models (MGM)

Problemstellung

Diffusions- und Flussmodelle haben sich zu einem zentralen Element der generativen KI entwickelt und ermöglichen Anwendungen in der Synthese von Bildern, Videos und Audio. Ein Hauptengpass für den praktischen Einsatz ist jedoch die Inferenzgeschwindigkeit; Standard-Diffusionsmodelle erfordern Hunderte oder Tausende von Funktionsauswertungen (NFE), um hochwertige Stichproben zu erzeugen. Zwar existieren mehrere Ansätze zur Beschleunigung der Generierung – wie die Entwicklung besserer numerischer Löser, die Destillation vortrainierter Modelle in Ein-Schritt-Generatoren oder das Training von Ein-Schritt-Modellen von Grund auf unter Nutzung struktureller Eigenschaften der Diffusion – dennoch besteht weiterhin ein Bedarf an prinzipiellen, effektiven Methoden, um Ein-Schritt-Generatoren direkt aus Daten zu trainieren, ohne sich auf ein vortrainiertes „Lehrer"-Modell zu verlassen.

Methodik

Die Arbeit stellt Midpoint Generative Models (MGM) vor, ein Framework zum Training von Ein-Schritt-generativen Modellen, das auf einer spezifischen Symmetrieeigenschaft von Flow Matching mit linearer Interpolation basiert.

Kernidee: Midpoint-Symmetrie

Die Autoren beobachten, dass beim Flow Matching, wenn zwischen zwei identischen Endpunktverteilungen ($p_0 = p_1$) unter Verwendung eines linearen Pfades $X_t = (1-t)X_0 + tX_1$ interpoliert wird, das Geschwindigkeitsfeld $v_t(x)$ genau zum Zeitpunkt der Mitte $t=1/2$ verschwindet. Konkret gilt: $v_{1/2}(x) = \mathbb{E}[X_1 - X_0 | X_{1/2} = x] = 0$. Umgekehrt ist dieses Feld im Allgemeinen nicht null, wenn $p_0 \neq p_1$. Diese Eigenschaft ermöglicht es, die Norm des Geschwindigkeitsfeldes zum Zeitpunkt der Mitte als Maß für die Diskrepanz zwischen Verteilungen zu verwenden.

Die Midpoint-Divergenz

Um dies zu formalisieren, definieren die Autoren die Midpoint-Divergenz:
$$D_{\text{mid}}(p_0, p_1) := \mathbb{E}_{X_{1/2}} \left[ \| \mathbb{E}_{X_0, X_1}[X_1 - X_0 | X_{1/2}] \|_2^2 \right]$$
Sie beweisen, dass diese Divergenz definit ist: Sie ist nicht-negativ und gleich null genau dann, wenn $p_0 = p_1$.

Erweiterung über die Mitte hinaus

Eine naive Erweiterung dieses Konzepts auf alle Zeitschritte $t \in [0, 1]$ scheitert, da das Geschwindigkeitsfeld auch bei $p_0 = p_1$ zu Zeitpunkten ungleich der Mitte nicht null ist, bedingt durch eine inhärente Orientierungsverzerrung (es ist einfacher, den „vergangenen" Endpunkt wiederherzustellen als den „zukünftigen"). Um dies zu lösen, führt MGM zufällig umgekehrte Interpolationen ein:

1. Eine Bernoulli-Variable $B \sim \text{Bernoulli}(1/2)$ bestimmt, ob die Interpolation vorwärts ($X_t$) oder rückwärts ($X_{1-t}$) verläuft.
2. Die Beobachtung ist die umgekehrte Variable $\tilde{X}_t$, wobei das Flip $B$ unbeobachtet bleibt.
3. Diese Symmetrisierung stellt sicher, dass für jedes $t$, falls $p_0 = p_1$, das bedingte Verschiebungsfeld $\tilde{v}_t(x) = \mathbb{E}[X_1 - X_0 | \tilde{X}_t = x]$ verschwindet.

Dies führt zur Zeitintegrierten Midpoint-Divergenz, definiert durch die Integration des quadrierten Betrags dieses symmetrisierten Verschiebungsfeldes über $t \in [0, 1/2]$.

Verallgemeinerung auf stochastische Interpolanten

Das Framework wird weiter auf symmetrische stochastische Interpolanten der Form $X_t = I_t(X_0, X_1) + \sigma_t \epsilon$ verallgemeinert, wobei die Interpolationsfunktion $I_t$ und der Rauschplan $\sigma_t$ Symmetriebedingungen erfüllen ($I_t(x_0, x_1) = I_{1-t}(x_1, x_0)$ und $\sigma_t = \sigma_{1-t}$). Dies ergibt eine Verallgemeinerte Midpoint-Divergenz, die weiterhin ein gültiges Diskrepanzmaß darstellt.

Variationale Trainingszielgröße

Die direkte Minimierung der Divergenz ist unlösbar, da das wahre bedingte Verschiebungsfeld unbekannt ist. Die Autoren leiten eine variationale Formulierung ab:
$$D(p_\theta, p_{\text{data}}) = \max_{f} \int_0^{1/2} \mathbb{E} \left[ 2\langle f(\tilde{X}_t), X_1 - X_0 \rangle - \|f(\tilde{X}_t)\|_2^2 \right] dt$$
wobei $f$ eine lernbare vektorwertige Funktion (ein „Verschiebungsfeld" oder Kritiker) ist. Dies ergibt ein Minimax-Ziel:

1. Update $f_\psi$ (Kritiker): Regression von $f_\psi$, um das symmetrisierte Verschiebungsfeld $X_1 - X_0$ zu approximieren.
2. Update $G_\theta$ (Generator): Minimierung der variationalen Zielgröße unter Verwendung des fixierten $f_\psi$.

Der Generator $G_\theta$ bildet eine latente Prior-Verteilung $z$ auf $X_0$ ab, die dann mit realen Daten $X_1$ gepaart wird, um den Verlust zu berechnen.

Hauptbeiträge

1. Midpoint-Divergenz: Die Einführung einer neuen Verteilungsdiskrepanz, die aus der Midpoint-Symmetrie linearer Interpolant-Flow-Matching abgeleitet ist. Die Autoren beweisen ihre Definitheit (Verschwinden genau dann, wenn die Verteilungen gleich sind).
2. Symmetrisierung durch Zeit-Flip: Die Erweiterung der Divergenz auf alle Zeitschritte durch zufälliges Zeit-Flipping, wodurch die Orientierungsverzerrung entfernt und zeitintegrierte Zielgrößen ermöglicht werden.
3. Verallgemeinerte Midpoint-Divergenz: Die Verallgemeinerung des Konzepts auf symmetrische stochastische Interpolanten, was ein flexibles Framework für verschiedene Rauschpläne bietet.
4. MGM-Algorithmus: Ein praktisches Trainingsframework für Ein-Schritt-Generatoren, das:
   • Direkt aus Daten trainiert, ohne ein vortrainiertes Diffusions-/Fluss-Lehrer-Modell.
   • Ein gelerntes Verschiebungsfeld zur Approximation der Divergenz verwendet.
   • Wettbewerbsfähige Leistungen gegenüber bestehenden Ein-Schritt-Methoden erzielt.

Experimentelle Ergebnisse

Die Autoren evaluieren MGM an der unbedingten Generierung von CIFAR-10 (32x32) und berichten den Frechet Inception Distance (FID) für 1-NFE-Sampling.

• Leistung: MGM erzielt einen FID von 2,27, was das beste Ergebnis unter Methoden ist, die kein Lehrer-Modell-Trainingsignal verwenden (d. h. Methoden, die von Grund auf trainiert werden, ohne ein vortrainiertes Modell zu destillieren). Es übertrifft andere lehrerfreie Ansätze wie DiffRatio-DiJS (2,39) und iCT-deep (2,51).
• Ablationsstudien:
  • Zeitintegration: Die Verwendung nur des Midpoints ($t=1/2$) liefert gültige, aber verrauschte Stichproben (FID ~13,55 mit Kritiker-Rauschen), wohingegen die Integration über die Zeit die Qualität erheblich verbessert (FID 2,27).
  • Zufälliges Flippen: Das naive, nicht umgekehrte zeitintegrierte Ziel versagt (FID > 100) aufgrund der Orientierungsverzerrung, was die Notwendigkeit des zufälligen Flips bestätigt.
  • Stochastizität: Eine kleine Menge Rauschen im Interpolanten ($\sigma > 0$) ist entscheidend für ein stabiles Training; deterministische Brücken schneiden schlecht ab.
  • Kritiker-Stochastizität: Die Entkopplung der Rauschniveaus für den Generator und den Kritiker (Verwendung von Rauschen nur für den Kritiker) liefert die besten Ergebnisse.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass MGM einen effektiven und theoretisch fundierten Ansatz für die generative Modellierung bietet. Ihre Bedeutung liegt in:

• Theoretische Grundlage: Sie stellt symmetrische stochastische Interpolanten nicht nur als generative Pfade dar, sondern als Basis zum Vergleich von Endpunktverteilungen mittels einer definiten Divergenz.
• Trainingsparadigma: Sie bietet einen prinzipiellen Weg, Ein-Schritt-Generatoren direkt aus Daten zu trainieren, und vermeidet dabei die Komplexität und potenziellen Einschränkungen der Destillation vortrainierter Modelle.
• Wettbewerbsfähigkeit: Sie zeigt, dass eine Methode, die auf dieser spezifischen Symmetrie basiert, State-of-the-Art-Ergebnisse unter lehrerfreien Ein-Schritt-Generatoren erzielen kann und damit die Vorstellung herausfordert, dass Destillation für hochwertige, schnelle Generierung strikt notwendig ist.

Die Autoren erkennen Einschränkungen an und stellen fest, dass das Minimax-Training Optimierungsinstabilitäten ähnlich wie bei GANs einführen kann und dass die Leistung von Designentscheidungen wie dem Rauschplan und dem Interpolantentyp abhängt. Sie behaupten nicht, alle lehrerbasierten Destillationsmethoden zu übertreffen (z. B. erreicht CTM einen FID von 1,87), sondern positionieren MGM als führende Alternative für das Training von Grund auf.