Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors

Technische Zusammenfassung: Diffusionsmodelle beobachten nur Gradienten

Problemstellung
Score-basierte Diffusionsmodelle werden typischerweise durch die Minimierung des zeitintegrierten $L_2$-Score-Matching-Fehlers trainiert. Standardmäßige theoretische Analysen stützen sich auf diesen vollständigen $L_2$-Fehler, um die Diskrepanz der Stichprobenziehung (z. B. die Kullback-Leibler-Divergenz) zwischen den gelernten und den Zielverteilungen zu begrenzen. Dieses Paper identifiziert jedoch einen grundlegenden Fehler in diesem Ansatz: Der vollständige $L_2$-Score-Fehler ist nicht das intrinsische Maß für die Qualität der marginalen Verteilung. Ein gelerntes Diffusionsmodell kann einen beliebig großen $L_2$-Score-Fehler aufweisen, während es die Zielverteilung perfekt abbildet. Die Autoren argumentieren, dass die Standard-$L_2$-Metrik nicht in der Lage ist, zwischen Fehlerkomponenten zu unterscheiden, die die generierten Stichproben beeinflussen, und solchen, die dies nicht tun.

Methodik: Geometrische Zerlegung
Die Kernmethodik besteht darin, das Vektorfeld des Score-Schätzfehlers, $e_s = \hat{s}_s - \nabla \log p^\star_s$, unter Verwendung einer Helmholtz-Hodge-Zerlegung relativ zur Zieldichte $p^\star_s$ in zwei orthogonale Komponenten zu zerlegen:

1. Observable Gradienten-Komponente ($\Pi_{G_s} e_s$): Die Projektion des Fehlers auf den Raum der Gradientenfelder.
2. Unsichtbare solenoide Komponente ($\Pi_{G_s^\perp} e_s$): Die Projektion auf die orthogonale Komplementärgruppe (divergenzfreie Felder bezüglich der gewichteten Dichte).

Die Autoren zeigen, dass die marginalen Dynamiken eines Diffusionsprozesses durch die Fokker-Planck-Gleichung gesteuert werden, welche von dem Score-Fehler ausschließlich über einen gewichteten Divergenzterm, $\nabla \cdot (p^\star_s e_s)$, abhängt.

• Die Gradienten-Komponente trägt zu dieser Divergenz bei und beeinflusst direkt die Entwicklung der marginalen Verteilungen.
• Die solenoide Komponente erfüllt $\nabla \cdot (p^\star_s e_{inv}) = 0$. Folglich ist sie gegenüber der marginalen Fokker-Planck-Dynamik strukturell unsichtbar; das Hinzufügen eines rein solenoiden Fehlerfeldes verändert die marginalen Verteilungen zu keinem Zeitpunkt, obwohl es die $L_2$-Norm des Fehlers erhöht.

Wesentliche Beiträge

1. Unmöglichkeitsresultat (Theorem 3.1):
   Die Autoren beweisen, dass keine monotone Funktion des vollständigen $L_2$-Score-Fehlers eine bedeutende Verteilungsdivergenz (z. B. die KL-Divergenz) zwischen den gelernten und den Zielmodellen einheitlich nach unten begrenzen kann. Dies liegt daran, dass rein solenoide Fehler beliebig große $L_2$-Normen haben können, während sie die marginalen Verteilungen identisch mit den Zielverteilungen lassen (d. h. $KL=0$). Dies etabliert, dass der vollständige $L_2$-Fehler nicht die intrinsische Größe ist, die die Qualität der Stichprobensteuerung kontrolliert.

2. Engere obere Schranke für die KL-Divergenz (Theorem 3.2):
   Durch die Konzentration ausschließlich auf die observable Gradienten-Komponente leiten die Autoren eine neue obere Schranke für die KL-Divergenz ab:
   $$KL(p^\star_{t_0} \parallel \hat{p}_{t_0}) \lesssim \frac{1}{2} \int_{t_0}^T \sigma_s^2 \|\Pi_{G_s} e_s\|_{L_2(p^\star_s)}^2 ds$$
   Diese Schranke ist strikt enger als die Standard-Girsanov-basierte Schranke, wann immer die solenoide Komponente ungleich Null ist. Die Autoren identifizieren die Unschärfe der Standard-Schranke als den „Preis“, der für das Operieren auf Pfadraum-Dynamiken statt auf Marginalraum-Dynamiken gezahlt wird. Sie zeigen weiter, dass diese Schranke über ein Girsanov-Argument abgeleitet werden kann, das auf einem marginal-äquivalenten Repräsentanten des gelernten Prozesses angewendet wird, welcher nur den beobachtbaren Drift beibehält.

3. Traktierbarer Schätzer für den beobachtbaren Fehler (Abschnitt 4):
   Da die explizite Projektion von Fehlern auf Gradientenfelder in hohen Dimensionen rechnerisch nicht handhabbar ist, schlagen die Autoren eine duale Sobolev-Identität vor, um die Norm der Gradienten-Komponente zu schätzen. Sie formulieren das Problem als unbeschränktes Optimierungsproblem über ein skalarwertiges „Critic“-Netzwerk $\phi_\psi$:
   $$\|\Pi_{G_s} e_s\|_{L_2(p^\star_s)}^2 = \sup_{\phi} \left\{ 2 \mathbb{E}[\nabla \phi \cdot e_s] - \mathbb{E}[\|\nabla \phi\|^2] \right\}$$
   Dieser Schätzer vermeidet die explizite Projektion und kann mittels Standard-Sampling aus der verrauschten Datenverteilung berechnet werden.

Ergebnisse
Die Autoren validieren ihre theoretischen Erkenntnisse empirisch auf Fashion-MNIST und CIFAR-10 über verschiedene Modellkapazitäten hinweg:

• Fehlerzerlegung: Während des Trainings sinkt die Gradienten-Komponente des Score-Fehlers signifikant (um Größenordnungen), während die solenoide Komponente früh ansteigt und ein Plateau erreicht, wobei sie schließlich fast den gesamten Restfehler ausmacht.
• Schärfe der Schranke: Die Standard-Girsanov-Schranke sättigt auf dem Niveau des solenoiden Fehler-Bodens und spiegelt weitere Verbesserungen im Lernen nicht wider. Im Gegensatz dazu sinkt die neue Schranke (basierend auf der Gradienten-Komponente) weiter und verfolgt die tatsächliche Verbesserung des Modells.
• Korrelation mit der Stichprobenqualität: Die Norm der Gradienten-Komponente ($\|\Pi_{G} e\|^2$) weist eine wesentlich höhere Spearman-Korrelation mit der Fréchet Inception Distance (FID) auf als der vollständige $L_2$-Fehler. Diese Korrelation bleibt über verschiedene Modellkapazitäten hinweg bestehen, wobei der Unterschied bei kleineren Modellen am ausgeprägtesten ist.

Bedeutung und Ansprüche
Das Paper beansprucht, eine geometrische Perspektive auf Score-Matching-Fehler zu liefern, die erklärt, warum Standard-Trainingsziele ineffizient oder irreführend hinsichtlich der Stichprobenqualität sein können.

• Es klärt, dass das Standard-Denoising Score Matching (DSM) den vollständigen $L_2$-Fehler minimiert und dabei unbeabsichtigt solenoide Komponenten bestraft, die keinen Einfluss auf die generierte Verteilung haben.
• Die vorgeschlagene Metrik für den beobachtbaren Fehler dient als besseres Diagnoseinstrument für die Lernqualität, da sie eine engere theoretische Schranke für die KL-Divergenz bietet und ein praktisches Werkzeug darstellt, das stärker mit Perzeptionsmetriken wie FID korreliert.
• Die Arbeit legt nahe, dass die „Unschärfe“ bestehender theoretischer Schranken kein mathematisches Artefakt ist, sondern eine strukturelle Konsequenz der Analyse von Pfadraum-Verteilungen, wenn lediglich marginale Dynamiken für die Generierung relevant sind.

Die Autoren positionieren diese Arbeit als eine Verfeinerung des theoretischen Verständnisses von Diffusionsmodellen, indem sie ein intrinsischeres Maß für Fehler anbieten, das mit dem tatsächlichen Mechanismus (Fokker-Planck-Dynamik) übereinstimmt, der die Stichproben-Generierung steuert. Sie schlagen nicht vor, das Standard-Trainingsziel zu ersetzen, sondern empfehlen, den Schätzer für die Gradienten-Komponente als Diagnosewerkzeug zu nutzen, um Trainingsdynamiken und Kapazitätsausnutzung besser zu verstehen.