An exact information theory of generalization phase transitions in Bayesian diffusion models

Titel: Eine exakte Informationstheorie der Generalisierungs-Phasenübergänge in Bayesschen Diffusionsmodellen

Problemstellung
Ein grundlegendes Mysterium der generativen KI ist die Frage, wie Diffusionsmodelle dem „Fluch der Dimensionalität“ entgehen, um komplexe Verteilungen über hochdimensionalen Räumen aus endlichen Trainingsdatensätzen zu erlernen, ohne diese lediglich auswendig zu lernen. Naiv betrachtet sollte der Übergang vom Auswendiglernen zur Generalisierung für beliebige Datenverteilungen eine unpraktikable (exponentielle in der Dimension) Menge an Daten erfordern. Während empirische Score-Modelle (die die Diffusion unter Verwendung des exakten empirischen Scores eines endlichen Datensatzes umkehren) dafür bekannt sind, auswendig zu lernen, generalisieren trainierte neuronale Diffusionsmodelle oft robust. Bestehende theoretische Ansätze haben Schwierigkeiten, eine präzise, prädiktive Theorie dafür zu liefern, wann und wo der Übergang vom Auswendiglernen zur Generalisierung für trainierte, nichtlineare Diffusionsmodelle über verschiedene Architekturen und Datensätze hinweg stattfindet.

Methodik
Die Autoren führen eine neue Klasse analytisch handhabbarer Modelle ein, die als Bayesian Information Restricted Diffusion (BIRD) Modelle bezeichnet werden.

• Kernkonzept: In BIRD-Modellen fungiert jeder Pixel $x$ als Agent, der nur einen eingeschränkten, möglicherweise stochastischen Teil des verrauschten Bildes $\phi_t$ (bezeichnet als $C_{x,t}$) beobachtet, anstatt des gesamten Bildes. Der Pixel nutzt dann optimale Bayessche Inferenz, um zu erraten, welches vergangene Trainingsbeispiel $\phi \in \mathcal{D}$ diese eingeschränkte Beobachtung erzeugt hat.
• Mechanismus: Das Modell berechnet einen entrauschten Pixelwert als Posterior-Mittelwert über den Trainingsdatensatz, gewichtet durch die Posterior-Wahrscheinlichkeit $P_{\text{train}}(\phi | C_{x,t})$. Durch die Einschränkung der verfügbaren Information für jeden Pixel (z. B. die Beobachtung eines lokalen räumlichen Patches) wird das „Bayessche Ratespiel“ schwieriger, was theoretisch verhindert, dass das Modell zu einem einzelnen Trainingspunkt kollabiert (Auswendiglernen).
• Theoretischer Rahmen: Die Autoren analysieren den Übergang von Memorization zu Generalisierung mittels Informationstheorie. Sie leiten eine Phasengrenze im gemeinsamen Raum von:
  1. Der Menge der Trainingsdaten ($|\mathcal{D}|$).
  2. Der Zeit bzw. dem Rauschniveau im Reversierungsprozess ($t$ oder $\sigma_t$).
  3. Dem Ausmaß der Informationsbeschränkung (z. B. Patch-Größe $L$).
• Zentrales Kriterium: Der Übergang tritt ein, wenn die gegenseitige Information $I(\phi; C_{x,t})$ zwischen der eingeschränkten Beobachtung und der wahren Datenverteilung gleich dem Logarithmus der Datensatzgröße ist: $\ln |\mathcal{D}| = I(\phi; C_{x,t})$.
  • Memorization-Phase: $I(\phi; C_{x,t}) > \ln |\mathcal{D}|$ (Die Beobachtung ist zu informativ; das Modell errät den Trainingspunkt perfekt).
  • Generalization-Phase: $I(\phi; C_{x,t}) < \ln |\mathcal{D}|$ (Die Beobachtung ist unzureichend, um einen Trainingspunkt eindeutig zu identifizieren; das Modell mittelt über die Möglichkeiten).

Wesentliche Beiträge

1. Einführung von BIRD-Modellen: Ein allgemeiner, analytisch lösbarer Rahmen, der bestehende lokale Score-Modelle (LS), äquivariante Score-Modelle (ES) und äquivariante-lokale Score-Modelle (ELS) umfasst und generalisiert. Es erfordert keine expliziten Annahmen über Architekturen oder Lernmechanismen und stützt sich allein auf Bayessche Inferenz mit Informationsbeschränkung.
2. Vorhersage der frühen Trainingsdynamik: Die Autoren zeigen, dass räumlich lokale BIRD-Modelle (bei denen $C_{x,t}$ ein lokaler Bildpatch ist) das Verhalten trainierter neuronaler Diffusionsmodelle (einschließlich UNets und Diffusion Transformers) während der frühen Phasen des Trainings eng approximieren. Sie erreichen eine hohe Vorhersagegenauigkeit (medianes $r^2 \sim 0,85-0,93$) auf individuellen Bildausgaben verschiedener Architekturen und Datensätze (Celeba64, CIFAR10, MNIST, FashionMNIST).
3. Exakte Phasengrenzen-Theorie: Unter minimalen Annahmen über die Datenverteilungen leiten die Autoren ein präzises informationstheoretisches Kriterium für den Übergang von Memorization zu Generalization ab. Sie beweisen, dass Generalisierung genau dann eintritt, wenn die gegenseitige Information zwischen der eingeschränkten Beobachtung und den Daten kleiner als der Logarithmus der Anzahl der Trainingspunkte ist.
4. Kritische Patch-Skala und spektrale Ausrichtung: Für räumlich lokale Modelle identifizieren die Autoren eine zeitabhängige kritische Patch-Skala $L_c(t)$. Sie zeigen, dass die optimale Generierung nahe der Grenze des Auswendiglernens erfolgt, wo die Patch-Skala $L$ die kritische Skala $L_c$ verfolgt. Zudem demonstrieren sie, dass für natürliche Bilder mit Potenzgesetz-Spektraldichten ($P(k) \sim k^{-2-\epsilon}$) die kritische Skala mit der „spektralen Skala“ (der Skala der optimalen linearen Entrauschung) übereinstimmt.
5. Umgehung des Fluchs der Dimensionalität: Die Theorie zeigt auf, dass BIRD-Modelle für skaleninvariante Bilder ($\epsilon=0$) nicht unter dem Fluch der Dimensionalität leiden; die erforderliche Datensatzgröße muss nicht mit der Bildgröße skalieren. Für nahezu skaleninvariante Bilder ($\epsilon \sim 0,1-0,3$) skaliert der Datenbedarf als $\exp(L_I^\epsilon)$, was signifikant sub-exponentiell gegenüber der naiven $\exp(L_I^2)$-Anforderung ist.

Ergebnisse

• Empirische Validierung: Experimente bestätigen den theoretisch vorhergesagten Ort des Phasenübergangs. Die aus der Theorie abgeleiteten Kurven der gegenseitigen Information folgen eng der in numerischen Experimenten beobachteten Entropiedifferenz sowohl bei Toy-Datensätzen als auch bei realen Bilddatensätzen.
• Konsistenz: Sowohl BIRD-Modelle als auch früh trainierte neuronale Netze zeigen eine „konsistente Generalisierung“, wobei Modelle, die auf disjunkten Teilmengen von Daten trainiert wurden, bei gleicher Rauscheinwirkung nahezu identische Ausgaben produzieren.
• Skalierungsgesetze: Die kritische Patch-Skala $L_c(\sigma_t)$ zeigt eine monotone Abnahme mit sinkendem Rauschen (Fortschreiten der Zeit im Reversierungsprozess), was den Coarse-to-Fine-Generierungsprozess widerspiegelt. Die kritische Skala korreliert stark mit der spektralen Skala $L_{\text{spec}}$, die aus der Leistungsdichte der Daten abgeleitet wurde.
• Fehlermodi: Das Paper illustriert, dass wenn die Patch-Skala zu klein ist ($L \ll L_c$), das Modell zwar generalisiert, aber schlecht performt (hoher Entrauschungsfehler). Wenn die Patch-Skala zu groß ist ($L > L_c$), lernt das Modell die Trainingsdaten auswendig und scheitert an der Generalisierung auf Testdaten.

Bedeutung
Das Paper beansprucht, eine grundlegende Erkenntnis darüber zu liefern, wie generative KI den Fluch der Dimensionalität umgeht. Indem es das Problem durch die Linse der Informationsbeschränkung betrachtet, zeigen die Autoren, dass erfolgreiche Generalisierung in Diffusionsmodellen nicht bloß ein Resultat architektonischer Induktionsbiases (wie Glätte oder Niedrigdimensionalität) ist, sondern fundamental durch die Limitierung der verfügbaren Information während des generativen Prozesses an jedem gegebenen Schritt getrieben wird. Die Ergebnisse legen nahe, dass die Generierung „am Rande des Auswendiglernens“ stattfindet, wo die Informationsbeschränkung sorgfältig abgestimmt ist, um zu verhindern, dass das Modell zu spezifischen Trainingsbeispielen kollabiert, während gleichzeitig genügend Information erhalten bleibt, um die zugrunde liegende Datenverteilung zu rekonstruieren. Diese Arbeit bietet ein neues theoretisches Laboratorium zur Untersuchung des Übergangs von Memorization zu Generalization über eine Vielzahl von Datenverteilungen und Modellklassen hinweg.