🤖 machine learning

Understanding diffusion models requires rethinking (again) generalization

Dieses Positionspapier argumentiert, dass das Verständnis der Generalisierung in Diffusionsmodellen einen neuen theoretischen Rahmen erfordert, der sich auf die Lernphase vor der Memorierung konzentriert, anstatt das Fehlen von Memorierung zu erklären, eine Haltung, die durch empirische Befunde auf CIFAR-10 und eine Reihe vorgeschlagener offener Fragen gestützt wird.

Ursprüngliche Autoren: Pierre Marion, Yu-Han Wu

Veröffentlicht 2026-05-08

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pierre Marion, Yu-Han Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Warum KI-Kunst nicht einfach kopiert und einfügt

Stellen Sie sich vor, Sie unterrichten einen Schüler im Malen. In der traditionellen Schule (überwachtes Lernen) könnte der Schüler, selbst wenn er das Lehrbuch perfekt auswendig gelernt hat, immer noch neue Fragen in einer Prüfung beantworten. Doch in der Welt der Diffusionsmodelle (die KI hinter Tools wie DALL-E oder Stable Diffusion) gelten andere Regeln.

Wenn dieser KI-Schüler das Lehrbuch (die Trainingsdaten) zu perfekt auswendig lernt, verliert er seine Kreativität. Anstatt ein neues Bild eines Katzen zu malen, fotokopiert er einfach die exakte Katze aus dem Lehrbuch.

Dieses Paper argumentiert, dass Forscher seit langem die falsche Frage stellen. Sie haben gefragt: „Warum merkt sich die KI die Trainingsdaten nicht?" Die Autoren sagen: „Hören Sie auf, das zu fragen! Wir kennen die Antwort bereits."

Stattdessen sollten wir fragen: „Was lernt die KI eigentlich bevor sie beginnt, sich Dinge zu merken?"

Die drei Theorien (Das „Warum", von dem wir dachten, wir es zu kennen)

Vor diesem Paper hatten Experten drei Hauptvermutungen darüber, warum KI-Modelle ihre Trainingsdaten nicht einfach kopieren und einfügen:

Die „kleine Rucksack"-Theorie (Kapazität): Das Modell ist zu klein, um alle Bilder in seinem Gedächtnis zu speichern, also muss es verallgemeinern.
Die „holprige Fahrt"-Theorie (Optimierung): Die Art und Weise, wie die KI lernt (die Mathematik im Hintergrund), verhindert versehentlich das Auswendiglernen, ähnlich wie eine holprige Straße ein Auto daran hindert, ein bestimmtes Ziel zu erreichen.
Die „spezialisierte Gehirn"-Theorie (Architektur): Die interne Struktur der KI ist so aufgebaut, dass sie natürlicherweise Mustern den Vorzug vor exakten Kopien gibt.

Die Autoren sagen, diese Theorien sind alle teilweise richtig, aber sie übersehen das große Ganze.

Das Experiment: Eine kontrollierte Kunstklasse

Um diese Ideen zu testen, richteten die Forscher eine „Mini-Kunstklasse" mit einem kleinen Datensatz ein (CIFAR-10, das ist wie eine Kiste mit 10 Arten einfacher Spielzeugbilder). Sie trainierten KI-Modelle unterschiedlicher Größe mit unterschiedlichen Datenmengen und beobachteten sie Schritt für Schritt genau.

Sie suchten nach zwei Dingen:

Neuartigkeit: Stellt die KI neue Bilder her oder kopiert sie nur alte?
Treue: Sind die Bilder von guter Qualität und realistisch?

Die überraschenden Entdeckungen

Hier ist das, was sie fanden und was ihre Meinung änderte:

1. Das „Double Descent"-Rätsel
Beim traditionellen Lernen gehen die Fehler eines Modells, je intelligenter es wird, zunächst zurück, dann steigen sie (wenn es auswendig lernt), und dann sinken sie wieder. Aber bei diesen KI-Modellen ging die „Qualität" der Bilder zurück, dann stieg sie, und dann sank sie wieder, noch bevor das Modell begann, sich Dinge zu merken.

Analogie: Stellen Sie sich einen Schüler vor, der eine Prüfung schreibt. Normalerweise wird er besser, je mehr er lernt. Aber hier wurden die Antworten des Schülers mitten im Lernprozess schlechter, dann wurden sie großartig, und dann wieder schlechter, alles während sie noch die Konzepte lernten und nicht nur die Antworten auswendig lernten. Die Forscher wissen noch nicht genau, warum das passiert.

2. Die „Train-Test-Lücke" ist eine Lüge
Bei normaler KI prüfen wir, ob ein Modell betrügt, indem wir vergleichen, wie gut es bei der „Übungsprüfung" (Trainingsdaten) im Vergleich zur „echten Prüfung" (neue Daten) abschneidet.

Die Entdeckung: Bei Diffusionsmodellen schneidet die KI auf beiden fast identisch ab. Die Standard-Mathematikwerkzeuge, die verwendet werden, um Betrug (Auswendiglernen) zu erkennen, funktionieren hier nicht. Man kann nicht nur anhand der Zahlen sagen, ob die KI kopiert oder erstellt; man muss sich die tatsächlichen Bilder ansehen.

3. Der Faktor „Zeit"
Sie bestätigten, dass Auswendiglernen tatsächlich passiert, aber es sehr lange dauert.

Die Entdeckung: Wenn Sie einen riesigen Datensatz haben (wie Millionen von Fotos), müsste die KI unvorstellbar lange trainieren, bevor sie beginnt zu kopieren. Deshalb merkt sich reale KI in der Regel nichts auswendig. Sie läuft einfach die Zeit (oder das Geld) aus, bevor sie die Phase des „Kopierens" erreicht.

4. Die „Stellknöpfe" (Batch-Größe und Lernrate)
Sie passten die Einstellungen an, wie die KI lernt.

Kleine Batches: Wenn die KI in kleinen Gruppen (kleine Batches) lernt, erstellt sie während des Lernprozesses bessere Bilder, obwohl sich nicht ändert, wann sie beginnt, sich Dinge zu merken.
Hohe Lernraten: Wenn die KI aggressiv lernt (hohe Lernrate), erstellt sie ebenfalls während des Prozesses bessere Bilder.
Die Wendung: Diese Einstellungen helfen der KI, bessere Bilder zu erstellen, während sie lernt, aber sie verhindern nicht unbedingt, dass sie später auswendig lernt. Es ist wie ein Schüler, der sehr hart lernt und bei der Übungsprüfung hervorragende Noten bekommt, aber wenn er zu lange lernt, merkt er sich am Ende einfach den Lösungsschlüssel auswendig.

Die neue Schlussfolgerung: Was sollten wir untersuchen?

Das Paper kommt zu dem Schluss, dass wir das Rätsel „Warum merkt es sich nichts aus?" gelöst haben (Antwort: Es dauert zu lange, und wir beenden das Training, bevor das passiert).

Die neue, schwierige Frage lautet: „Was passiert in der Phase vor dem Auswendiglernen?"

Die Analogie: Stellen Sie sich einen Koch vor, der kochen lernt. Wir machten uns früher Sorgen darüber, wann er beginnen würde, Rezepte aus dem Buch zu stehlen. Wir wissen jetzt, dass er die Rezepte nicht stehlen wird, es sei denn, er kocht 100 Jahre lang.
Die echte Frage: Wir müssen verstehen, was in den ersten 99 Jahren passiert. Wie lernen sie, Geschmacksrichtungen zu kombinieren, um ein neues Gericht zu kreieren? Wie lernen sie die „Seele" des Essens und nicht nur das Rezept?

Zusammenfassung offener Fragen

Die Autoren hinterlassen uns drei große Rätsel für die Zukunft:

Bessere Messinstrumente: Wir brauchen neue Wege, um zu messen, ob eine KI „kopiert" oder „erschafft", da unsere aktuellen mathematischen Werkzeuge blind für den Unterschied sind.
Die Lernreise: Wir müssen verstehen, wie der „Lernstil" der KI (die mathematischen Einstellungen) ihre Kreativität während des Lernens verändert, nicht erst am ganz Ende.
Die Form der Daten: Wir müssen verstehen, wie die Form der Daten selbst (die Geometrie der Bilder) der KI hilft, kreativ zu lernen.

Kurz gesagt: Hören Sie auf, sich Sorgen zu machen, dass die KI das Lehrbuch stiehlt. Fangen Sie an zu untersuchen, wie sie lernt, ihre eigene Geschichte zu schreiben.

Technische Zusammenfassung: Das Verständnis von Diffusionsmodellen erfordert ein Umdenken in Bezug auf Generalisierung

Problemstellung

Die Arbeit argumentiert, dass das Verständnis von Generalisierung in Diffusionsmodellen nicht auf klassische statistische Lerntheorie (z. B. VC-Dimension, Rademacher-Komplexität) oder das für überwachtes Lernen entwickelte Paradigma des „harmlosen Überanpassens" (benign overfitting) zurückgreifen kann. Beim überwachten Lernen können Interpolation (Auswendiglernen) und Generalisierung koexistieren. Im Gegensatz dazu entspricht das Erreichen des globalen Minimums des empirischen Risikos bei Diffusionsmodellen, die durch Score-Matching mit Rauschen trainiert werden, der Score-Funktion des verrauschten empirischen Maßes – einer Mischung von Gaußschen Verteilungen, die um die Trainingspunkte zentriert sind. Das Abtasten dieses Minimums erzeugt nahezu exakte Kopien der Trainingsdaten anstatt neuer Proben.

Während praktische Diffusionsmodelle vielfältige, neue Daten generieren, was darauf hindeutet, dass eine Form der Regularisierung eine vollständige Auswendiglernen verhindert, bleiben die theoretischen Erklärungen für dieses Phänomen fragmentiert. Die bestehende Literatur führt dies auf drei unterschiedliche Faktoren zurück: (i) Kapazitätsbeschränkungen im Verhältnis zur Datensatzgröße, (ii) implizite Regularisierung durch Optimierungsdynamiken (z. B. frühes Stoppen, Lernrate) und (iii) architektonische induktive Verzerrungen. Die Arbeit geht davon aus, dass die Wechselwirkungen zwischen diesen Faktoren schlecht verstanden sind und dass sich das Feld zu stark darauf konzentriert hat, warum Modelle nicht auswendig lernen, anstatt darauf, was sie während der Phase vor dem Auswendiglernen lernen.

Methodik

Um diese Lücken zu schließen, führen die Autoren eine empirische Studie mit U-Net-Architekturen durch, die auf dem CIFAR-10-Datensatz trainiert wurden. Die Studie ist als Untersuchung in mittlerem Maßstab konzipiert, die die Kluft zwischen theoretischen Analysen an Gaußschen Daten und großskaligen praktischen Systemen überbrückt.

Experimenteller Aufbau:

Daten: Die ersten $N$ Stichproben des CIFAR-10-Trainingssets werden verwendet, wobei $N$ über $\{2048, 4096, 8192, 16384\}$ variiert. Die Evaluation verwendet einen festen Testset mit 5.120 Stichproben.
Architektur: U-Nets mit variierenden Parameteranzahlen ( $P \in \{3M, 8M, 26M, 93M, 201M\}$ ).
Training: Formulierung mit rectified flow mit 250 Abtastschritten und einer Stärke der classifier-free Guidance von 0,0.
Hyperparameter-Sweeps: Systematische Variation der Datensatzgröße ( $N$ ), der Modellgröße ( $P$ ), der Batch-Größe ( $B \in \{16, 32, 64, 128\}$ ) und der Lernrate ( $\eta \in \{10^{-5}, 5\cdot10^{-5}, 10^{-4}, 4\cdot10^{-4}\}$ ).

Metriken:
Die Autoren verfolgen vier Schlüsselgrößen sowohl auf Trainings- als auch auf Testaufteilungen:

Verlust beim Score-Matching mit Rauschen: Berechnet auf einem einzelnen Batch (Trainingsdaten) und dem gesamten Set (Testdaten).
Auswendiglern-Score: Das Verhältnis der generierten Proben mit hoher Kosinus-Ähnlichkeit (>0,6) zu den Trainingsdaten in einem selbstüberwachten Merkmalsraum (SSCD).
Gekappter Wasserstein-Abstand (Sliced Wasserstein Distance): Berechnet zwischen generierten Proben und Referenzaufteilungen im Inception-Merkmalsraum.
FID (Fréchet Inception Distance): Berechnet zwischen generierten Proben und Referenzaufteilungen.

Die Studie definiert die Auswendiglern-Zeit ( $\tau_{mem}$ ) als den Zeitpunkt, an dem der Testverlust beginnt, sich vom Trainingsverlust zu unterscheiden. Sie unterscheidet zwischen Neuartigkeit (Fehlen von Auswendiglernen, $\tau < \tau_{mem}$ ) und Fidelität (Qualität/Verteilungsgenauigkeit).

Wichtige Beiträge und Ergebnisse

1. Neubewertung des „Warum" des Nicht-Auswendiglernens

Die Autoren bestätigen, dass der Übergang zum Auswendiglernen systematisch und beobachtbar ist. Sie validieren, dass die Zeit bis zum Auswendiglernen ( $\tau_{mem}$ ) linear mit der Datensatzgröße skaliert. Dies stützt die Schlussfolgerung, dass die Frage, warum großskalige praktische Modelle nicht auswendig lernen, weitgehend geklärt ist: Die erforderliche Trainingszeit, um die Phase des Auswendiglernens zu erreichen, übersteigt einfach vernünftige Budgets. Die Autoren argumentieren, dass sich das Feld von der Erklärung des Fehlens von Auswendiglernen hin zur Analyse der Phase vor dem Auswendiglernen wenden sollte.

2. Grenzen standardisierter Metriken

Ein kritisches Ergebnis ist, dass standardisierte Verteilungsmetriken (Gekappter Wasserstein-Abstand, FID) Neuartigkeit nicht von Fidelität trennen können.

Train-Test-Lücke: Im Gegensatz zum überwachten Lernen ist die Train-Test-Lücke im Verteilungsabstand nicht aussagekräftig. Da Trainings- und Testset aus derselben Verteilung gezogen werden, bleibt der Abstand von generierten Proben zu beiden Sets nahezu identisch, selbst wenn das Modell vom Generieren neuer Bilder zum Kopieren von Trainingsdaten übergeht.
Double Descent: Die Autoren beobachten ein „Double Descent"-Phänomen bei Verteilungsabständen (FID und Gekappter Wasserstein-Abstand) für sowohl Trainings- als auch Testsets. Dies widerspricht klassischen Double-Descent-Theorien, bei denen sich Trainings- und Testmetriken divergieren. Stattdessen erreicht das Modell einen Zwischenzustand mit niedrigem Trainingsverlust, aber schlechter Verteilungsanpassung, was darauf hindeutet, dass das Phänomen rein durch Optimierungsdynamiken und nicht durch Kapazitätsargumente getrieben wird.

3. Unterschiedliche Rollen von Datensatz- und Modellgröße

Die Studie zeigt, dass Datensatzgröße und Modellgröße entgegengesetzte Rollen in der Trainingsdynamik spielen:

Datensatzgröße: Eine Erhöhung von $N$ verzögert den Beginn des Auswendiglernens und verbessert die Spitzenfidelität.
Modellgröße: Eine Erhöhung von $P$ beschleunigt den Beginn des Auswendiglernens, verbessert jedoch ebenfalls die Spitzenfidelität.
Dies legt nahe, dass Generalisierung in Diffusionsmodellen nicht allein durch das Verhältnis von Modellkapazität zu Stichprobengröße erklärt werden kann; die durch Optimierungsdynamiken geformte Trajektorie durch den Parameterraum ist ein eigenständiger Faktor.

4. Optimierungshyperparameter und Fidelität

Die Autoren stellen fest, dass Optimierungshyperparameter die Fidelität bevor ein Auswendiglernen stattfindet, erheblich beeinflussen:

Batch-Größe: Kleinere Batch-Größen führen zu einer besseren Spitzenfidelität (niedrigerer minimaler Verteilungsabstand), ohne die Auswendiglern-Rate oder den Startzeitpunkt signifikant zu verändern. Dies stimmt mit der Literatur zur „minimalen Stabilität" überein, manifestiert sich jedoch entlang der Trainingsbahn und nicht erst bei der Konvergenz.
Lernrate: Höhere Lernraten verbessern die Spitzenfidelität und verzögern den normalisierten Beginn des Auswendiglernens. Dies stützt die Hypothese des „Rand der Stabilität", wobei der Effekt jedoch erneut während der Trajektorie und nicht nur bei der finalen Lösung beobachtet wird.

Bedeutung und Positionierung

Die Arbeit behauptet, dass der theoretische Rahmen für Generalisierung in Diffusionsmodellen einer grundlegenden Verschiebung bedarf. Die Autoren argumentieren, dass:

Das „Warum" gelöst ist: Das Fehlen von Auswendiglernen in großskaligen Anwendungen wird durch die lineare Skalierung der Auswendiglern-Zeit mit der Datensatzgröße in Kombination mit frühem Stoppen erklärt.
Das „Was" die offene Frage ist: Die primäre theoretische Herausforderung besteht darin zu verstehen, was während der Phase vor dem Auswendiglernen gelernt wird und wie Neuartigkeit und Fidelität gemeinsam aus dem Zusammenspiel von Optimierung, Architektur und Datengeometrie entstehen.
Ein neuer Rahmen erforderlich ist: Klassische Generalisierungslücken (im Verlust- oder Verteilungsraum) sind für generative Modelle unzureichend. Der Trainingsverlust (Score-Matching) ist ein indirekter Proxy für die Probenqualität, und standardisierte Metriken können nicht zwischen einem Modell, das generalisiert, und einem, das auswendig lernt, unterscheiden.

Die Autoren schließen, dass sich zukünftige Forschung darauf konzentrieren muss, Metriken zu entwickeln, die den Unterschied zwischen Kopieren und Generalisieren erfassen, und eine Theorie der impliziten Regularisierung zu formulieren, die die Eigenschaften der Zwischeniterationen beim Score-Matching beschreibt, und nicht nur die finale konvergierte Lösung.