🤖 machine learning

Adynamical systems view of training generativemodels and the memorization phenomenon

Dieser Beitrag nutzt eine Perspektive dynamischer Systeme, die auf Zwei-Zeitskalen-Dynamiken im stochastischen Gradientenabstieg sowie auf neuere Ergebnisse zum Modellkollaps aufbaut, um eine systemtheoretische Erklärung für das Phänomen der Memorierung in generativen Modellen zu liefern, bei dem die Ausgaben während des Trainings über längere Zeiträume statisch bleiben.

Ursprüngliche Autoren: Siva Athreya, Chiranjib Bhattacharya, Vivek S. Borkar

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Siva Athreya, Chiranjib Bhattacharya, Vivek S. Borkar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Warum AI auf denselben Ideen „stecken bleibt"

Stellen Sie sich vor, Sie bringen einem Roboter bei, Bilder zu malen. Sie möchten, dass er den allgemeinen Stil einer Landschaft lernt, damit er neue schöne Landschaften erschaffen kann. Doch Sie bemerken einen seltsamen Fehler: Nach einer Weile hört der Roboter auf, neue Kunst zu schaffen, und beginnt stundenlang denselben Baum oder dieselbe Wolke immer wieder zu malen. Er hat eine spezifische Ausgabe „auswendig gelernt", anstatt das allgemeine Konzept zu verstehen.

Dieses Papier erklärt warum das passiert. Die Autoren argumentieren, dass dies nicht nur ein Fehler im Code ist, sondern eine natürliche Folge davon, wie der Roboter lernt, speziell wegen wie schnell er beim Lernen Schritte macht.

Sie betrachten den Trainingsprozess nicht als statisches mathematisches Problem, sondern als ein dynamisches System – wie einen Ball, der einen hügeligen Hang hinunterrollt.

Das Kernkonzept: Zwei Geschwindigkeiten des Lernens

Die Autoren schlagen vor, dass das Gehirn des Roboters (das Modell) zwei verschiedene Teile hat, die mit sehr unterschiedlichen Geschwindigkeiten lernen. Stellen Sie sich das wie einen Wanderer mit einem schweren Rucksack vor:

Der schnelle Wanderer (die „schnellen" Variablen): Dieser Teil des Gehirns lernt schnell. Er ist wie die Beine des Wanderers, die sich ständig dem Gelände anpassen.
Der langsame Wanderer (die „langsamen" Variablen): Dieser Teil lernt sehr langsam. Er ist wie der Rucksack des Wanderers, der nur gelegentlich das Gewicht verlagert.

In der realen Welt hängt die „Verlustfunktion" (das Maß dafür, wie schlecht die Malerei des Roboters ist) stark von den schnellen Variablen ab und nur geringfügig von den langsamen. Aus diesem Grund rasen die schnellen Variablen herum, um einen guten Ort zu finden, während sich die langsamen Variablen kaum bewegen.

Das Phänomen des „Zusammenbruchs": In einer Grube gefangen

Zuerst erklären die Autoren ein einfacheres Problem namens „Zusammenbruch" (Collapse).

Stellen Sie sich vor, der Roboter versucht, den tiefsten Punkt in einem Tal zu finden (die beste Lösung).

Das ideale Szenario: Wenn der Roboter winzige, schrumpfende Schritte macht (wie ein vorsichtiger Entdecker), wird er sich schließlich ganz unten im Tal niederlassen und dort bleiben.
Das „Zusammenbruch"-Szenario: Wenn der Roboter konstante, gleichmäßige Schritte macht (wie eine Person, die in einem festen Tempo geht), könnte er über den tiefsten Punkt hinausschießen, wieder nach oben springen und in einer kleinen lokalen Senke stecken bleiben.

In der Sprache des Papiers wird der Roboter, wenn er nur versucht, Daten zu generieren, ohne dass „Rauschen" ihn befreit, schließlich in eine einzige, feste Ausgabe zusammenbrechen. Er hört auf, ein Generator zu sein, und wird zu einem Aufzeichner eines bestimmten Bildes. Mathematisch ist dies wie ein Ball, der in ein Loch rollt und dort für immer bleibt.

Das Phänomen der „Auswendiglernung": Der faule Oszillator

Nun kommt die Wendung. Die Autoren erklären, dass Auswendiglernung (Memorization) eine Mischung aus „Zusammenbruch" und „Drift" ist.

Weil der Roboter diese zwei unterschiedlichen Geschwindigkeiten (schnelle und langsame Variablen) hat und konstante Schritte macht, passiert etwas Interessantes:

Der schnelle Teil bricht zusammen: Die schnellen Variablen setzen sich schnell in einer lokalen Senke fest (ein bestimmter Bildstil). Der Roboter beginnt, dieses Bild wiederholt auszugeben. Das sieht nach „Auswendiglernung" aus.
Der langsame Teil driftet: Allerdings bewegen sich die langsamen Variablen immer noch, nur sehr langsam. Sie schieben die „Landschaft" des Problems langsam voran.
Der Sprung: Schließlich schiebt die langsame Drift die schnellen Variablen aus ihrer aktuellen Senke. Der Roboter springt plötzlich in eine andere Senke (ein anderes Bild) und bleibt dort lange Zeit.

Die Analogie: Stellen Sie sich einen Entspannungsoszillator vor (wie ein blinkender Glühwürmchen oder ein Herzschlag).

Der Roboter verbringt lange Zeit damit, an einem Ort zu „schlafen" (ein Bild auswendig lernend).
Dann baut sich langsam Druck auf, bis er zu einem neuen Ort „springt".
Er bleibt dort, schläft wieder und wiederholt dies.

Das ist Auswendiglernung: Der Roboter bleibt nicht für immer auf einem Bild stecken; er bleibt für eine lange Strecke auf einem Bild stecken, wechselt dann zu einem anderen, dann zu einem weiteren. Es ist ein intermittierender Zyklus des Steckenbleibens und des langsamen Wegdriftens.

Warum ist die Schrittgröße wichtig?

Das Papier hebt hervor, dass dies spezifisch passiert, weil der Lernalgorithmus eine konstante Schrittgröße (ein festes Tempo) verwendet.

Kleine Schritte: Wenn der Roboter winzige Schritte macht, setzt er sich schön fest und lernt die allgemeine Form, ohne in Schleifen stecken zu bleiben.
Konstante Schritte: Wenn der Roboter immer Schritte derselben Größe macht, entsteht ein „Tauziehen". Die schnellen Variablen wollen sich festsetzen, aber der konstante Impuls drückt sie weiter.
Große Schritte (Rauschen): Die Autoren stellen fest, dass, wenn Sie die Schritte sehr groß machen, Sie so viel „Rauschen" (Schütteln) hinzufügen, dass der Roboter überhaupt nicht in eine Auswendiglern-Schleife einfallen kann. Er springt zu viel herum, um stecken zu bleiben. Das erklärt, warum einige Trainingsmethoden, die große Schritte verwenden, Auswendiglernung vermeiden.

Zusammenfassung des Arguments der Autoren

Hohe Dimensionen erzeugen zwei Geschwindigkeiten: Weil KI-Modelle so viele Parameter haben, lernen einige schnell und andere langsam.
Konstante Schritte erzeugen Schleifen: Die Verwendung einer festen Lernrate verhindert, dass sich das System perfekt festsetzt.
Zusammenbruch ist die Basis: Ohne Rauschen würde das System einfach auf einer Ausgabe einfrieren.
Auswendiglernung ist „driftender Zusammenbruch": Weil sich die langsamen Variablen weiterbewegen, bleibt das System eine Weile auf einer Ausgabe stecken, driftet dann langsam zu einer neuen und erzeugt so einen Zyklus der Wiederholung.

Das Papier bietet kein neues Werkzeug, um dies sofort zu beheben, sondern liefert eine mathematische Karte, warum das passiert. Es sagt uns, dass Auswendiglernung kein zufälliger Fehler ist, sondern ein vorhersehbares Verhalten eines Systems, das mit zwei unterschiedlichen Geschwindigkeiten und einem festen Tempo bewegt wird.

Technisches Fazit: Eine Sicht dynamischer Systeme auf das Training generativer Modelle und das Phänomen der Memorierung

Problemstellung
Der Beitrag behandelt das Phänomen der „Memorierung" in generativen Modellen, insbesondere Diffusionsmodellen. Empirisch treten während des Trainingsprozesses Phasen auf, in denen diese Modelle über signifikante Zeiträume hinweg dieselben oder hochgradig ähnlichen Stichproben regenerieren, anstatt diverse Ausgaben zu produzieren. Während die bestehende Literatur dieses Phänomen häufig durch statische statistische Mechanik oder Thermodynamik der Verlustlandschaft analysiert, schlägt diese Arbeit eine Perspektive dynamischer Systeme vor. Die Autoren argumentieren, dass Memorierung nicht lediglich eine statische Eigenschaft der Verlustlandschaft ist, sondern ein emergentes Verhalten der zeitlichen Evolution des Lernalgorithmus, das spezifisch durch die Verwendung konstanter Schrittweiten im stochastischen Gradientenabstieg (SGD) und das Vorhandensein von Markov-Rauschen angetrieben wird.

Methodik und Rahmenwerk
Die Autoren konstruieren einen theoretischen Rahmen, der auf drei Kernkomponenten basiert:

Zwei-Zeit-Skalen-Dynamik durch Austins Theorem:
Ausgehend von Austin [2016] postulieren die Autoren, dass in hochdimensionalen Parameterräumen mit Lipschitz-Bedingungen die Verlustfunktion eine starke Abhängigkeit von einer Teilmenge der Parameter und eine schwache Abhängigkeit vom Rest aufweist. Dies motiviert ein stilisiertes Modell, bei dem die Zielfunktion $F(z)$ (mit $z=(x,y)$ ) die Form $F(z) = f(x, \epsilon y)$ für $0 < \epsilon \ll 1$ annimmt. Diese Struktur induziert natürlicherweise zwei unterschiedliche Zeitskalen in den SGD-Aktualisierungen: eine schnelle Skala für $x$ und eine langsame Skala für $y$ .
SGD mit Markov-Rauschen:
Der Lernalgorithmus wird als stochastisches Approximationsschema mit Markov-Rauschen modelliert. Das Rauschen $\{Z_n\}$ entsteht aus dem generativen Modell selbst (z. B. dem Diffusionsprozess), das durch die Parameter justiert wird. Die Übergangswahrscheinlichkeiten dieses Rauschens werden durch die aktuellen Parameter moduliert. Die Autoren nutzen die Theorie der stochastischen Approximation mit Markov-Rauschen (Benveniste et al. [1990]; Borkar [2025c]), um das System zu analysieren, und stellen fest, dass sich das Rauschen auf einer „natürlichen" Zeitskala entwickelt, die viel schneller ist als die „algorithmische" Zeitskala der Parameter.
Kollaps als absorbierende Markov-Kette:
Der Beitrag definiert „Kollaps" formal unter Verwendung von Ergebnissen aus Borkar [2025a]. In einem Setting generativer Modelle bildet die Sequenz der vom Modell erzeugten Wahrscheinlichkeitsmaße eine zeitlich homogene Markov-Kette. Unter bestimmten Bedingungen (speziell wenn der Mischparameter $a=0$ ist) konvergiert diese Kette fast sicher zu einem Dirac-Maß, das auf einem zufälligen Punkt konzentriert ist. Dieser asymptotische Kollaps zu einer einzigen Ausgabe ist die mathematische Definition des Kollaps-Phänomens.

Hauptbeiträge und Ergebnisse

Unterscheidung der Schrittweiten:
Der Beitrag kontrastiert SGD mit abnehmender Schrittweite (die zu Konvergenz führt) mit SGD mit konstanter Schrittweite (der Fokus dieser Arbeit). Im Regime abnehmender Schrittweiten konvergiert das System zu einem globalen Minimum, was zu reinem Kollaps führt (Satz 7). Die Autoren argumentieren jedoch, dass das praktische Phänomen der Memorierung spezifisch für SGD mit konstanter Schrittweite ist.
Asymptotisches Verhalten von SGD mit konstanter Schrittweite:
Unter Ausnutzung neuerer Ergebnisse von Azizian et al. [2024] und Hwang [1981] analysieren die Autoren die Grenzverteilung von SGD mit konstanter Schrittweite. Sie stellen fest, dass:
- Die Iterierten sich auf die Minima einer „Rate-Funktion großer Abweichungen" (ein Energiefunktional) konzentrieren, die nicht notwendigerweise mit dem globalen Minimum der Verlustfunktion übereinstimmt.
- Die stationäre Verteilung „flachere" Minima begünstigt (jene mit niedrigeren Determinanten der Hesse-Matrix der Rate-Funktion), was die empirische Präferenz von SGD für einfachere Minima erklärt.
- Das System sich wie ein Diffusionsprozess verhält, wobei die Schrittweite als Temperaturparameter fungiert.
Mechanismus der Memorierung (Satz 11):
Das zentrale Ergebnis ist die Erklärung von Memorierung als intermittierender Kollaps.
- Das System operiert auf zwei Zeitskalen: Die schnelle Variable $x$ verfolgt ein lokales Minimum $\lambda(y)$ der schnellen Dynamik, während die langsame Variable $y$ driftet.
- Da die Schrittweite konstant ist, konvergiert das System nicht zu einem einzelnen Punkt. Stattdessen driftet die langsame Variable $y$ , wodurch die schnelle Variable $x$ ein sich bewegendes Minimum verfolgt.
- Wenn die langsame Variable $y$ in einem Bereich verweilt, in dem die schnelle Dynamik einen stabilen Attraktor besitzt, zeigt das System „Memorierung" (wiederholte Ausgaben).
- Da $y$ jedoch weiter driftet (unterstützt durch Rauschen und die langsame Zeitskala), verlässt das System schließlich diesen Bereich, was einen Übergang zu einem anderen Attraktor bewirkt.
- Dies resultiert in einem Verhalten der „Relaxationsschwingung": Lange Phasen der Wiederholung (Memorierung), unterbrochen von relativ schnellen Übergängen zu neuen Zuständen. Dies unterscheidet Memorierung von den seltenen, rauschgetriebenen Sprüngen zwischen Gleichgewichten, die in der klassischen Freidlin-Wentzell-Theorie zu sehen sind; hier werden die Übergänge durch die deterministische Drift der langsamen Variable angetrieben.
Rolle von Rauschen und Schrittweite:
Die Autoren erklären, dass größere Schrittweiten das Rauschniveau in der Iteration erhöhen, was die für Memorierung erforderliche stabile Verfolgung stören und somit das Phänomen unterdrücken kann. Dies stimmt mit empirischen Beobachtungen (z. B. Wu et al. [2025]) überein, wonach große Schrittweiten Memorierung abschwächen.

Bedeutung und Behauptungen
Der Beitrag beansprucht, eine „systemtheoretische Erklärung" für Memorierung zu liefern und den Fokus von der statischen Analyse der Verlustlandschaft auf die zeitliche Dynamik des Lernalgorithmus zu verlagern.

Vereinheitlichte Perspektive: Er vereint die Phänomene „Kollaps" und „Memorierung" und argumentiert, dass Memorierung im Wesentlichen ein Kollaps-Phänomen ist, das durch das Score-Learning-Schema und die langsame Drift der Parameter moduliert wird, wodurch es intermittierend statt permanent wird.
Emergente Zeitskalen: Er hebt hervor, dass die zwei Zeitskalen im Training hochdimensionaler generativer Modelle emergente Eigenschaften der Problemstruktur (via Austins Theorem) und der konstanten Schrittweite sind, anstatt künstlich auferlegt zu werden.
Bescheidener Umfang: Die Autoren erkennen an, dass ihr Modell Idealisationen beinhaltet, wie die Annahme, dass die erzeugten Maße einen bedingten Baryzentrum bilden, und die Verwendung einer stilisierten Zwei-Skalen-Verlustfunktion. Sie stellen fest, dass in der Realität Approximationsfehler als persistierendes externes Rauschen wirken, was bedeutet, dass Memorierung oft eine „Korruption des Kollapses" ist und keine reine Dirac-Delta-Konzentration. Folglich manifestiert sich Memorierung als Verzerrung hin zu verrauschten Versionen vergangener Ausgaben statt als exakte Duplizierung.

Die Arbeit schlägt keine neuen experimentellen Algorithmen oder spezifischen ingenieurtechnischen Lösungen vor, sondern bietet eine theoretische Linse, um zu verstehen, warum Memorierung bei SGD mit konstanter Schrittweite auftritt und wie sie mit der breiteren Dynamik der stochastischen Approximation in hohen Dimensionen zusammenhängt.