Diffusion Model's Generalization Can Be Characterized by Inductive Biases toward a Data-Dependent Ridge Manifold

Technische Zusammenfassung: Die Generalisierung von Diffusionsmodellen charakterisiert durch induktive Verzerrungen hin zu einem datenabhängigen Ridge-Mannigfaltigkeit

Problemstellung
Diffusionsmodelle haben in generativen Aufgaben State-of-the-Art-Leistung erzielt, doch eine kritische wissenschaftliche Frage bleibt bestehen: Wenn diese Modelle die Trainingsdaten nicht einfach auswendig lernen (d. h. wenn sie generalisieren), wo befinden sich die generierten Stichproben im Verhältnis zur Geometrie des Trainingssets? Während die klassische Generalisierungstheorie sich oft auf die Diskrepanz zwischen der generierten Verteilung und einer unbekannten Populationsverteilung konzentriert, argumentiert diese Arbeit für eine vollständig datenabhängige Perspektive. Die Autoren streben danach, die geometrische Struktur, die neue Stichproben organisiert, die durch Inferenz in umgekehrter Zeit erzeugt werden, explizit und quantitativ zu beschreiben, insbesondere in Regimen, in denen kein Auswendiglernen stattfindet.

Methodik
Die Arbeit stellt einen geometrischen Rahmen vor, der sich auf zeitabhängige Ridge-Mannigfaltigkeiten der Log-Dichte konzentriert, die aus der geglätteten empirischen Verteilung der Trainingsdaten konstruiert werden.

1. Ridge-Konstruktion: Die Autoren definieren eine Familie von $d^*$-dimensionalen Ridge-Mengen der Log-Dichte, $R_t$, die aus den Randverteilungen $p_t$ in Vorwärtsrichtung abgeleitet sind. Diese Ridges stellen „gerichtete lokale Maxima" der Log-Dichte dar und dienen als Referenzgeometrie für den Generierungsprozess.
2. Reach-Align-Slide-Mechanismus: Der zentrale theoretische Beitrag ist die Charakterisierung der Inferenz in umgekehrter Zeit als ein dreistufiger Prozess im Verhältnis zu diesen Ridges:
   • Reach (Erreichen): Generierte Stichproben betreten zunächst eine Röhrenumgebung der Ridge-Mannigfaltigkeit.
   • Align (Ausrichten): Die Stichproben ziehen sich dann in normalen Richtungen zur Ridge hin zusammen. Die Arbeit beweist, dass das Ausmaß dieser Ausrichtung durch die normale Komponente des Trainingsfehlers gesteuert wird (die Differenz zwischen dem gelernten und dem wahren Posterior-Mittelwert, projiziert auf den Normalraum).
   • Slide (Gleiten): Schließlich bewegen sich die Stichproben in tangentialen Richtungen entlang der Ridge. Diese Bewegung wird durch die tangentialen Komponente des Trainingsfehlers gesteuert.
3. Verknüpfung von Training und Geometrie: Um die Inferenzdynamik mit dem Training zu verbinden, zerlegen die Autoren den Trainingsverlust in gerichtete Komponenten (normal vs. tangential). Sie nutzen Neuronale Netze mit Zufallsfeatures (RFNNs), die mittels Gradientenabstieg trainiert werden, als einen handhabbaren, nicht-asymptotischen Rahmen, um die Effekte von Architektur (Fehler der Approximation endlicher Breite) und Optimierung (unvollständiges Training von der Initialisierung) explizit zu trennen.

Hauptbeiträge

• Geometrische Charakterisierung der Generalisierung: Die Arbeit zeigt, dass generierende Prozesse ohne Auswendiglernen nicht zufällig sind, sondern durch eine datenabhängige Ridge-Geometrie organisiert werden. Sie liefert einen präzisen „Reach–Align–Slide"-Mechanismus, der erklärt, wie sich Stichproben in der Nähe der Ridge konzentrieren und sich dann entlang dieser ausbreiten.
• Richtungsbezogene Fehlerzerlegung: Die Autoren demonstrieren, dass die Geometrie der Generierung direkt durch die gerichteten Komponenten des Trainingsfehlers gesteuert wird. Spezifisch bestimmt der normale Trainingsfehler, wie eng sich die Stichproben an die Ridge ausrichten, während der tangentiale Trainingsfehler das Ausmaß der Ausbreitung (des Gleitens) entlang der Ridge bestimmt.
• Trennung von Architektur und Optimierung: Im RFNN-Rahmen zeigt die Arbeit, dass Architekturfehler endlicher Breite primär als eine „Untergrenze" für die tangentiale Ausbreitung wirken (was einen Kollaps auf exakte Trainingspunkte verhindert), wohingegen Optimierungsfehler (abhängig von Initialisierung und spektralen Modi) die normale Ausrichtung verzögern können.
• Empirische Validierung: Experimente mit synthetischen multimodalen Daten (2D-Punkte) und latentem Diffusionsmodell auf MNIST bestätigen die theoretischen Vorhersagen. Die Ergebnisse zeigen, dass generierte Stichproben konsistent das Reach–Align–Slide-Muster aufweisen, wobei der Grad der tangentialen Ausbreitung über Verlust-Gewichtungspläne steuerbar ist.

Ergebnisse

• Theoretische Schranken: Die Arbeit leitet nicht-asymptotische Schranken her, die zeigen, dass die quadratische Verschiebung außerhalb der Ridge (normaler Fehler) und die quadratische Gleitstrecke (tangentialer Fehler) durch kumulative Beiträge der jeweiligen normalen und tangentialen Komponenten des Trainingsresiduums begrenzt sind, skaliert mit zeitabhängigen Faktoren.
• Synthetische Daten: In 2D-Experimenten mit zwei, drei und vier Punkten wurde beobachtet, dass sich die generierten Stichproben entlang gekrümmter oder kantenartiger Ridge-Strukturen konzentrieren, anstatt auf die Trainingspunkte zu kollabieren. Es wurde gezeigt, dass die Phase des „Gleitens" empfindlich auf den Verlust-Gewichtungsplan $w(t)$ reagiert, wobei verschiedene Pläne unterschiedliche Grade der Interpolation zwischen Datenpunkten erzeugen.
• MNIST-Experimente: In Experimenten im hochdimensionalen latenten Raum nahm der mittlere Abstand zur Ridge schnell ab (Ausrichtungsphase), während die tangentiale Bewegung langsamer abnahm und ein Plateau erreichte. Dies stützt die Behauptung, dass die Inferenz die meiste Zeit damit verbringt, sich an die Ridge-Geometrie auszurichten, mit begrenzter Zeit für signifikantes Gleiten zu spezifischen Trainingsbeispielen, was strukturierte Zwischengenerationen erklärt.

Bedeutung und Behauptungen
Die Arbeit beansprucht, einen Perspektivenwechsel von der globalen Verteilungsabweichung hin zur räumlichen Organisation generierter Stichproben im Verhältnis zu den beobachteten Daten anzubieten. Durch die explizite Verknüpfung der Geometrie der Generierung mit gerichteten Trainingsfehlern liefert die Arbeit eine mechanistische Erklärung dafür, warum Diffusionsmodelle Stichproben ohne Auswendiglernen generieren: Die induktiven Verzerrungen der Modellklasse und des Optimierungsprozesses erzeugen spezifische normale und tangentiale Fehler, die die Generierungstrajektorie formen.

Die Autoren positionieren ihre Arbeit als komplementär zu bestehender Literatur über Auswendiglernen und trainingsinduzierte Verzerrungen. Im Gegensatz zu Arbeiten, die von einer zugrunde liegenden Populationsmannigfaltigkeit ausgehen oder sich ausschließlich auf aggregierte Fehlermetriken konzentrieren, konstruiert dieses Framework ein explizites, zeitabhängiges geometrisches Objekt aus den empirischen Daten und analysiert die Inferenzdynamik im Verhältnis dazu. Die Arbeit vermerkt bescheiden, dass ihre explizite Zerlegung auf Trainingsebene derzeit für RFNNs als handhabbares Beispiel entwickelt wurde und als Proof of Concept dient, wie Architektur und Optimierung gemeinsam die Diffusionsgenerierung durch richtungsabhängige geometrische Effekte formen, anstatt ein vollständiges Modell moderner tiefer Architekturen darzustellen.