📊 statistics

A Random Matrix Theory Perspective on the Consistency of Diffusion Models

Diese Arbeit verwendet einen Rahmen der Zufallsmatrixtheorie, um zu zeigen, dass die Konsistenz von Diffusionsmodellen über nicht-überlappende Datensplits hinweg auf gemeinsamen Gaußschen Statistiken beruht, wodurch aufgedeckt wird, wie die endliche Datensatzgröße und spektrale Eigenschaften den Erwartungswert und die Varianz generierter Stichproben systematisch formen.

Ursprüngliche Autoren: Binxu Wang, Jacob Zavatone-Veth, Cengiz Pehlevan

Veröffentlicht 2026-07-07

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Binxu Wang, Jacob Zavatone-Veth, Cengiz Pehlevan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Warum sind sich KI-Künstler einig?

Stellen Sie sich vor, Sie engagieren zwei verschiedene Köche, die densch den exakt gleichen Kuchen nach demselben Rezept backen sollen, aber sie bekommen jeweils zwei unterschiedliche, nicht überlappende Haufen Mehl und Zucker aus demselben riesigen Lagerhaus. Man würde erwarten, dass ihre Kuchen leicht unterschiedlich schmecken, weil ihre Zutaten aus verschiedenen Stellen des Lagerhauses stammen.

Doch bei modernen KI-Bildgeneratoren (den sogenannten Diffusionsmodellen) passiert etwas Seltsames. Wenn man zwei verschiedenen KI-Modellen dasselbe „Seed“ (ein zufälliges Startrauschen-Muster) gibt, erzeugen sie Bilder, die fast identisch aussehen – selbst wenn sie auf völlig unterschiedlichen Hälften der Daten trainiert wurden.

Die Arbeit stellt die Frage: Warum stimmen diese unabhängigen Modelle so perfekt überein?

Die Kernentdeckung: Es geht nur um den „Durchschnitt“

Die Autoren fanden heraus, dass der Grund für diese Übereinstimmung überraschend einfach ist. Auch wenn die KI komplex ist, ist der Teil der Daten, der für diese Konsistenz am wichtigsten ist, lediglich die grundlegende Statistik: die durchschnittliche Farbe, die durchschnittliche Form und wie Dinge normalerweise zusammen variieren (wie zum Beispiel Augen und Nasen normalerweise auf einem Gesicht sitzen).

Denken Sie es sich so: Wenn Sie zwei Personen bitten, ein „typisches Gesicht“ basierend auf einem Fotoalbum zu beschreiben, werden beide ein Gesicht beschreiben, das Augen in der Mitte und eine Nase darunter hat. Sie mögen vielleicht die winzigen Sommersprossen oder den spezifischen Haaransatz einer bestimmten Person übersehen, aber sie werden sich auf die „durchschnittliche“ Struktur einigen. Die Arbeit argumentiert, dass Diffusionsmodelle hauptsächlich diese „durchschnittliche“ Struktur lernen, wesener die sie sich einig sind.

Das Werkzeug: Random Matrix Theory (Das „Mathematik-Teleskop“)

Um dies zu beweisen, verwendeten die Autoren einen Zweig der Mathematik namens Random Matrix Theory (RMT) (Theorie der Zufallsmatrizen).

Die Analogie: Stellen Sie sich vor, Sie versuchen das Wetter vorherzusagen, indem Sie einen einzelnen Regentropfen betrachten. Das ist unmöglich. Aber wenn Sie eine Milliarde Regentropfen gleichzeitig fallen sehen, treten Muster hervor. RMT ist ein mathematisches Teleskop, das es uns ermöglicht, auf die „Milliarde Regentropfen“ der Daten (die riesigen Matrizen innerhalb der KI) zu blicken, um die zugrunde liegenden Muster zu erkennen, ohne uns im Rauschen zu verlieren.

Mit diesem Teleskop bauten die Autoren eine Theorie, die erklärt, wie sich die KI verhält, wenn sie nicht über unendliche Daten verfügt.

Drei Kernergebnisse (Die „Spielregeln“)

Die Arbeit unterteilt das Verhalten dieser Modelle in drei Hauptkonzepte:

1. Der „Rauschfilter“-Effekt (Renormierung)

Wenn eine KI versucht, aus einem begrenzten Datensatz zu lernen, wird sie ein wenig nervös. Sie beginnt zu denken: „Ist dieses winzige Detail echt oder nur zufälliges Rauschen?“

Die Metapher: Stellen Sie sich vor, Sie versuchen, ein Flüstern in einem überfüllten Raum zu hören. Wenn Sie sich unsicher sind, drehen Sie vielleicht die Lautstärke für die hohen Töne (die Details) leiser und konzentrieren sich stattdessen auf den tiefen, grollenden Bass (die Hauptstruktur).
Das Ergebnis: Die KI „schrumpft“ die Details übermäßig zusammen. Sie zieht das generierte Bild näher an das Durchschnittsgesicht heran, wodurch die Texturen glatter und weniger detailliert sind, als sie eigentlich sein sollten. Die Mathematik zeigt, dass die KI effektiv das „Rauschniveau“ in ihrem eigenen Kopf hochdreht, was dazu führt, dass sie subtile, niedrig-variante Details ignoriert, sofern sie nicht über eine massive Menge an Daten verfügt.

2. Die „Richtungsgebundene Voreingenommenheit“ (Anisotropie)

Nicht alle Details sind gleich schwer zu lernen.

Die Metapher: Stellen Sie sich eine Landschaft mit großen, sanften Hügeln (Hauptmerkmale) und winzigen Kieselsteinen (kleine Details) vor. Wenn Sie eine kleine Karte haben, können Sie die großen Hügel leicht einzeichnen. Aber die winzigen Kieselsteine? Die könnten Sie ganz übersehen oder an der falschen Stelle zeichnen.
Das Ergebnis: Die KI ist sehr konsistent bei den „großen Hügeln“ (Hauptmerkmalen wie der Form eines Gesichts), weil diese in jedem Datensplit leicht zu erkennen sind. Aber sie ist uneinig bei den „Kieselsteinen“ (feinen Details), weil diese mit begrenzten Daten schwieriger festzulegen sind. Die Arbeit liefert eine Formel, um genau vorherzusagen, welche Details wackelig sein werden.

3. Der „Standort spielt eine Rolle“-Effekt (Inhomogenität)

Die KI ist auch über manche Teile des Bildes verwirrter als über andere.

Die Metapher: Wenn Sie eine Menschenmenge zeichnen, sind Sie sehr gut darin, die Menschen in der vordersten Reihe zu zeichnen (wo die Daten dicht sind). Aber wenn Sie versuchen, jemanden zu zeichnen, der weit hinten in der Ecke steht (wo die Daten spärlich sind), könnte Ihre Zeichnung wackeln.
Das Ergebnis: Die Konsistenz der KI hängt davon ab, wo sich das Bild in den Daten „befindet“. Wenn ein Bild eine Mischung aus häufigen Merkmalen ist, ist die KI sicher. Wenn es eine seltsame Mischung aus seltenen Merkmalen ist, wird das Ergebnis der KI über verschiedene Trainingsläufe hinweg variabler.

Die Verbindung zum „Magischen Seed“

Die Arbeit erklärt auch, warum einige Zufall-Seeds „bessere“ oder konsistentere Bilder produzieren als andere.

Die Analogie: Betrachten Sie den zufälligen Rausch-Seed als eine Art Anweisung. Einige Anweisungen sagen der KI, sie solle sich auf die „großen Hügel“ (die Hauptstruktur) konzentrieren, während andere ihr sagen, sie solle sich auf die „Kieselsteine“ (das Rauschen) konzentrieren.
Das Ergebnis: Wenn Ihr Seed mit den „großen Hügeln“ (den Hauptdatenmustern) übereinstimmt, produziert die KI ein konsistentes, klares Bild. Wenn Ihr Seed versucht, die KI dazu zu zwingen, sich auf die „Kieselsteine“ (seltene, verrauschte Richtungen) zu konzentrieren, ist das Ergebnis instabil und inkonsistent.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass das „Magische“ an Diffusionsmodellen nicht einfach Magie ist, sondern Mathematik.

Konsistenz ist natürlich: Da verschiedene Datensplits dieselben grundlegenden „Durchschnittsstatistiken“ teilen, stimmen die Modelle natürlich in der Hauptstruktur überein.
Uneinigkeit ist vorhersehbar: Die Stellen, an denen sich die Modelle uneinig sind (die feinen Details), sind nicht zufällig; sie folgen einer strengen mathematischen Regel basierend darauf, wie viele Daten das Modell hat und wie „verrauscht“ das Bild ist.
Deep Learning vs. Einfache Mathematik: Obwohl moderne KI komplexe neuronale Netze (Deep Learning) verwendet, verhalten sie sich in Bezug auf diese Konsistenz oft wie eine einfache, lineare mathematische Formel. Die komplexen Netzwerke fügen lediglich ein wenig zusätzliches Flair hinzu, aber das Fundament basiert auf diesen einfachen statistischen Regeln.

Kurz gesagt: Diffusionsmodelle sind wie zwei verschiedene Künstler, die auf dasselbe verschwommene Foto schauen. Sie werden beide über die allgemeine Form des Objekts übereinstimmen, aber sie werden über die winzigen Details streiten, es sei denn, man gibt ihnen ein viel schärferes Foto (mehr Daten).

Technische Zusammenfassung: Eine Perspektive der Random Matrix Theory auf die Konsistenz von Diffusionsmodellen

Problemstellung
Diffusionsmodelle, die auf unterschiedlichen, nicht-überlappenden Teilmengen desselben Datensatzes trainiert wurden, erzeugen bei gleicher Rausch-Seed oft auffallend ähnliche Ausgaben, selbst wenn verschiedene Architekturen (z. B. UNet vs. DiT) verwendet werden. Dieses Phänomen der „Konsistenz“ steht im Gegensatz zu anderen generativen Frameworks wie GANs und VAEs, bei denen Rotationen im latenten Raum zu erheblicher Variabilität zwischen den Durchläufen führen. Während frühere Arbeiten diesen Effekt beobachtet haben, bleibt der zugrunde liegende Mechanismus – insbesondere wie endliche Datensatzgrößen und Datenstatistiken die Stabilität des gelernten Denoisers und der Sampling-Map formen – theoretisch ungeklärt. Die Arbeit zielt darauf ab, den Erwartungswert und die Varianz dieser gelernten Abbildungen über unabhängige Datensplits hinweg zu quantifizieren und dabei zwischen Memorierung (wo Modelle Trainingsbeispiele reproduzieren) und Generalisierung (wo sie universelle statistische Regularitäten erfassen) zu unterscheiden.

Methodik
Die Autoren verwenden die Random Matrix Theory (RMT), um Diffusionsmodelle zu analysieren, beginnend mit einem handhabbaren linearen Denoiser-Framework, bevor sie die Erkenntnisse auf tiefe Netzwerke ausweiten.

Lineares Setting & Deterministische Äquivalenz: Das zentrale technische Werkzeug ist die deterministische Äquivalenz (DE), die es ermöglicht, zufällige empirische Kovarianzmatrizen ( $\hat{\Sigma}$ ) in dem hochdimensionalen Limit ( $d, n \to \infty$ mit $d/n = \gamma$ ) durch deterministische Surrogate zu ersetzen.
- Die Autoren leiten eine selbstkonsistente Gleichung für eine renormierte Rauschskala $\kappa(\sigma^2)$ her, welche die rohe Rauschvarianz $\sigma^2$ in der Populationskovarianz $\Sigma$ ersetzt. Diese Relation wird durch die Silverstein-Gleichung gesteuert:
  $\kappa(\lambda) - \lambda = \gamma \kappa(\lambda) \text{tr}[\Sigma(\Sigma + \kappa(\lambda)I)^{-1}]$
- Dieses Framework wird auf fraktionale Matrizenpotenzen (speziell $\Sigma^{1/2}$ ) ausgeweitet, die für die vollständige Sampling-Trajektorie (Wiener-Filter) erforderlich sind, unter Verwendung von Integralrepräsentationen (Balakrishnan-Formel) und Zwei-Punkt-Deterministischen-Äquivalenz-Identitäten.
Theoretische Ableitungen:
- Erwartungswert: Die Theorie sagt voraus, dass endliche Daten dazu führen, dass der gelernte Denoiser effektiv mit einem höheren Rauschniveau operiert ( $\sigma^2 \to \kappa(\sigma^2)$ ), was zu einer „Oberschrumpfung“ (Overshrinkage) von Richtungen mit geringer Varianz in Richtung des Datensatz-Mittelwerts führt.
- Fluktuation (Varianz): Die Varianz des Denoisers über Datensplits hinweg zeigt sich als Zerlegung in drei Komponenten:
  - Anisotropie: Die Unsicherheit ist entlang der Eigenmoden maximiert, bei denen der Populations-Eigenwert $\lambda_k$ der renormierten Rauschskala $\kappa(\sigma^2)$ entspricht.
  - Inhomogenität: Die Unsicherheit wird verstärkt für Input-Punkte, die entlang von Richtungen mit hoher Varianz verschoben sind.
  - Globale Skalierung: Die Gesamtvarianz skaliert invers mit der Datensatzgröße $n$ , modifiziert durch die Renormierungseffekte bei kleinerem $n$ .
Empirische Validierung: Die theoretischen Vorhersagen werden gegen tiefe Diffusionsmodelle (UNet und DiT) validiert, die auf verschiedenen Datensätzen (FFHQ, AFHQ, CIFAR, LSUN) bei unterschiedlichen Datensatzgrößen ( $n \in \{300, 1000, \dots, 30000\}$ ) trainiert wurden. Die Studie unterscheidet dabei zwischen einem Memorierungsregime (kleines $n$ , in dem Modelle Trainingsdaten reproduzieren) und einem Renormierungs-/Generalisierungsregime (größeres $n$ , in dem sie sich mit dem linearen Gaußschen Prädiktor ausrichten).

Zentrale Beiträge

Linearer Ursprung der Konsistenz: Die Arbeit zeigt, dass gemeinsame Gaußsche Statistiken (Mittelwert und Kovarianz) über Datensplits hinweg ausreichen, um die Übereinstimmung zwischen den Splits vorherzusagen, was erklärt, warum lineare Denoiser bereits eine hohe Konsistenz aufweisen.
Endliche-Stichprobe-Renormierung: Sie formalisiert, wie endliche Datensätze eine renormierte Rauschskala $\sigma^2 \to \kappa(\sigma^2)$ induzieren, was die systematische Oberschrumpfung von Moden mit geringer Varianz und das Ziehen zum Datensatz-Mittelwert erklärt.
Varianzgesetz: Die Autoren leiten eine faktorisierte Varianzformel für die Diskrepanz zwischen den Splits ab und identifizieren Anisotropie (Abhängigkeit von der Eigenmoden-Varianz), Inhomogenität (Abhängigkeit vom Input-Ort) und globale Skalierung (Abhängigkeit von $n$ ) als die drei steuernden Faktoren.
Fraktionale-Potenz-Äquivalenz: Die Arbeit erweitert die Werkzeuge der deterministischen Äquivalenz auf fraktionale Matrizenpotenzen, was die Vorhersage ganzer Sampling-Trajektorien und nicht nur eines einzelnen Denoising-Schritts ermöglicht.
Validierung durch tiefe Netzwerke: Die Arbeit bestätigt, dass diese linearen RMT-Prinzipien qualitativ die Konsistenz tiefer UNet- und DiT-Modelle im Nicht-Memorierungsregime steuern und vorhersagen, wo und wie Proben zwischen Splits abweichen.

Ergebnisse

Konsistenzmechanismus: Experimente zeigen, dass Diffusionsmodelle, die auf disjunkten Splits trainiert wurden, visuell ähnliche Bilder aus derselben Rausch-Seed generieren. Diese Ähnlichkeit wird durch einen linearen Gaußschen Prädiktor (Wiener-Filter) unter Verwendung der empirischen Momente der Splits erfasst.
Overshrinkage: Im Generalisierungsregime weisen die generierten Proben eine reduzierte Varianz entlang von Eigenmoden mit niedriger bis mittlerer Varianz im Vergleich zur Populationsverteilung auf, was effektiv eine „Oberschrumpfung“ in Richtung des Mittelwerts darstellt. Dieser Bias verschwindet, wenn $n$ steigt und das empirische Spektrum gegen das Populationsspektrum konvergiert.
Anisotropie und Inhomogenität:
- Spektral: Die Diskrepanz zwischen Modellen, die auf unterschiedlichen Splits trainiert wurden, ist am höchsten für Eigenmoden, bei denen der Eigenwert $\lambda_k \approx \kappa(\sigma^2)$ gilt. Niedrigere Eigenmoden (feine Details) erfordern signifikant größere Datensätze, um Konsistenz zu erreichen, im Vergleich zu den obersten Eigenmoden (globale Struktur).
- Räumlich: Proben, die aus Rausch-Seeds generiert werden, die stark auf die Richtungen mit hoher Varianz der Daten-Manifold projizieren, zeigen größere Diskrepanzen zwischen den Splits.
Ausrichtung tiefer Netzwerke: Im Nicht-Memorierungsregime ( $n \ge 3000$ für FFHQ64) konvergieren die Proben tiefer Netzwerke gegen den linearen Prädiktor. Die RMT-Vorhersagen der räumlichen Inhomogenität (welche Seeds größere Abweichungen liefern) korrelieren signifikant mit dem empirischen Cross-Split-MSE in tiefen Netzwerken (z. B. Spearman $r \approx 0,33$ für UNet auf FFHQ64 mit $n=30k$ ).
Kontrafaktische Analysen: Wenn die Trainingsdaten absichtlich so partitioniert wurden, dass Mittelwert oder Kovarianz nicht übereinstimmen (z. B. durch Stratifizierung nach einer Hauptkomponente), bricht der Konsistenz-Effekt zusammen, was bestätigt, dass die gemeinsamen Gaußschen Statistiken der Treiber sind.

Bedeutung
Die Arbeit liefert eine fundierte Baseline für die Reproduzierbarkeit beim Training von Diffusion-Modellen. Indem sie die Verbindung zwischen den spektralen Eigenschaften der Daten und der Stabilität der generativen Outputs herstellt, klärt sie auf, dass die bemerkenswerte Konsistenz von Diffusionsmodellen nicht allein aus komplexen architektonischen Induktions-Biases resultiert, sondern aus der Stabilität der zugrunde liegenden Gaußschen Statistiken, die über die Datensplits hinweg geteilt werden. Die Arbeit legt nahe, dass die „Kreativität“ oder Generalisierung von Diffusionsmodellen durch diese linearen statistischen Regularitäten begrenzt ist, was eine theoretische Erklärung dafür bietet, warum unabhängig trainierte Modelle oft dieselbe Rausch-Seed auf ähnliche Strukturen abbilden. Dieses Framework hilft dabei, zwischen echter Generalisierung und Memorierung zu unterscheiden, und bietet ein Werkzeug, um die Zuverlässigkeit generierter Proben basierend auf der Datensatzgröße und dem Datenspektrum vorherzusagen.