🤖 machine learning

Learning To Sample From Diffusion Models Via Inverse Reinforcement Learning

Dieses Paper führt ein Framework für inverses Reinforcement Learning ein, das das Sampling von Diffusionsmodellen als Markov-Entscheidungsprozess formuliert, um automatisch optimale Sampling-Strategien zu erlernen, ohne den Denoiser neu trainieren zu müssen, wobei eine mit feinabgestimmten Samplern vergleichbare Leistung bei signifikant geringeren Kosten als herkömmliche Grid-Suche erzielt wird.

Ursprüngliche Autoren: Constant Bourdrez, Alexandre Vérine, Olivier Cappé

Veröffentlicht 2026-06-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Constant Bourdrez, Alexandre Vérine, Olivier Cappé

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Chefkoch (den Denoiser), der unglaublich talentiert darin ist, eine Schüssel aus einfachem, gerührtem Ei (zufälliges Rauschen) in ein perfektes Gourmet-Steak (ein hochwertiges Bild) zu verwandeln. Dieser Koch wurde bereits jahrelang trainiert und weiß genau, wie man kocht.

Es gibt jedoch einen Haken: Der Koch benötigt eine spezifische Anleitung dazu, wie er kochen soll. Soll er die Pfanne sanft rühren? Soll er eine Prise Salz ganz am Anfang oder ganz am Ende hinzufügen? Soll er die Hitze zu bestimmten Zeitpunkten hoch- oder runterdrehen?

In der Welt der KI-Bildgenerierung werden diese Anweisungen als Sampling-Strategien bezeichnet. Traditionell ist das Finden des perfekten Satzes an Anweisungen wie die Suche nach der Nadel im Heuhaufen. Forscher müssen manuell tausende verschiedene Kombinationen von Hitze, Timing und Würzung testen (ein Prozess, der als „Grid Search“ bezeichnet wird). Dies ist unglaublich teuer und zeitaufwendig und kostet oft so viel Energie wie das Training des Kochs selbst.

Die große Idee des Papers
Die Autoren dieses Papers schlagen einen neuen Weg vor, dem Koch beizubringen, wie man kocht, ohne den Koch neu zu trainieren oder einen neuen einzustellen. Anstatt manuell die Anweisungen zu erraten, nutzen sie eine Methode namens Inverse Reinforcement Learning (IRL).

Stellen Sie sich das so vor:

Der alte Weg: Sie versuchen, das perfekte Rezept zu erraten, indem Sie 1.000 verschiedene Versionen des Gerichts probieren und hoffen, dass eine davon gut ist.
Der neue Weg: Sie beobachten den Koch beim Kochen ein paar Mal. Sie sagen dem Koch nicht, was er tun soll; Sie zeigen dem Koch stattdessen einfach das fertige, perfekte Steak. Der Koch lernt dann: „Ah, um ein Ergebnis zu erzielen, das so aussieht wie dieses, muss ich hier rühren und Salz dort hinzufügen.“

Wie es funktioniert (Die Metapher)
Das Paper behandelt den Bildgenerierungsprozess wie eine lange Reise oder ein Videospiel-Level.

Die Reise: Die KI beginnt mit reinem Rauschen (Static) und verwandelt es Schritt für Schritt in ein Bild. Dies geschieht in Etappen, wie das Durchlaufen von Levels in einem Spiel.
Der Spieler: Die „Policy“ (Strategie) ist der Spieler, der das Spiel steuert. In jedem Schritt kann der Spieler Entscheidungen treffen, wie zum Beispiel:
- Ein wenig Chaos hinzufügen (Stochastizität): Die Pfanne ein wenig schütteln, um zu sehen, ob es hilft.
- Einen Stoß geben (Guidance): Dem Koch sagen: „Lass es mehr wie einen Hund aussehen“, zu ganz bestimmten Zeitpunkten.
- Die Rückspultaste drücken (Renoising): Wenn das Bild seltsam aussieht, einige Schritte zurückgehen und es erneut versuchen.
Das Ziel: Der Spieler erhält keine Punktzahl für jeden einzelnen Zug. Stattdessen ist das einzige Ziel des Spielers, sicherzustellen, dass das Endziel (das fertige Bild) exakt wie die Ziel-Daten (die echten Fotos) aussieht.

Die KI lernt, diese Entscheidungen zu treffen, indem sie ihren eigenen Pfad mit dem „Experten-Pfad“ (den echten Daten) vergleicht. Sie verwendet ein mathematisches Werkzeug (eine sogenannte f-Divergenz), um zu messen, wie sehr sich ihr Pfad vom Pfad des Experten unterscheidet, und passt ihre Strategie an, um diesen Unterschied zu minimieren.

Was sie herausgefunden haben
Die Forscher haben dies an berühmten Bilddatensätzen (wie CIFAR-10, FFHQ und ImageNet) getestet. Hier sind die wichtigsten Erkenntnisse:

Es ist klüger als manuelles Tuning: Die KI lernte, ihre Anweisungen baslich auf den spezifischen Moment im Prozess anzupassen. Zum Beispiel lernte sie, „Chaos“ nur dann hinzuzufügen, wenn das Bild verschwommen war, und bei fast fertigem Bild sehr präzise zu sein. Dies ist weitaus besser als eine feste Regel für den gesamten Prozess zu verwenden.
Es spart massive Energie: Auf dem ImageNet-Datensatz erforderte das Finden der besten manuellen Einstellungen das Testen tausender Kombinationen, was eine enorme Menge an Rechenleistung kostete. Ihre Methode fand eine bessere Lösung mit einem einzigen Trainingslauf und sparte so bis zu 9-mal die Rechenkosten ein.
Ein kleiner Preis für den Aufwand: Sobald die KI diese Strategien gelernt hat, verursacht die Nutzung dieser Strategien zur Generierung von Bildern nur etwa 16 % zusätzliche Arbeit für den Computer. Dies ist ein winziger Preis für die Vermeidung der massiven Kosten manueller Tests.
Kontrolle über Qualität vs. Vielfalt: Die Methode ermöglicht es den Nutzern, eine bestimmte „Geschmacksrichtung“ des Lernens zu wählen. Sie können es so abstimmen, dass es sehr präzise ist (damit die Bilder exakt wie die Trainingsdaten aussehen) oder sehr vielfältig (damit die Bilder variabler sind, aber vielleicht etwas weniger perfekt).

Zusammenfassend
Dieses Paper führt einen „intelligenten Coach“ für KI-Bildgeneratoren ein. Anstatt manuell an Knöpfen und Reglern zu drehen, um die perfekten Einstellungen zu finden, lernt die KI die perfekten Einstellungen, indem sie die Ziel-Daten beobachtet und ihr eigenes Verhalten in Echtzeit anpasst. Es ist schneller, günstiger und liefert bessere Ergebnisse als der alte Weg des Ausprobierens und Korrigierens.

Technisches Resümee: Lernen des Samplings von Diffusionsmodellen mittels Inverser Verstärkungslernen (Inverse Reinforcement Learning)

Problemstellung

Diffusionsmodelle sind zum Standard für die Generierung hochdimensionaler Daten geworden, doch das Sampling-Verfahren bleibt ein kritischer Engpass. Während das Denoiser-Neuronale-Netzwerk nach dem Training typischerweise fixiert wird, erfordert der Sampling-Algorithmus selbst eine sorgfältige Abstimmung der Hyperparameter (z. B. Rausch-Schedules, Guidance-Skalen, Stochastizitätsprofile). Derzeit erfolgt diese Abstimmung durch kostspielige empirische Grid-Searches. Für komplexe Modelle wie jene, die auf ImageNet-64 trainiert wurden, kann der Rechenaufwand einer erschöpfenden Hyperparameter-Suche die Kosten des Trainings des Denoisers selbst erreichen oder gar übersteigen. Darüber hinaus erfordern bestehende Reinforcement-Learning- (RL) oder Kontrollansätze für Diffusionsmodelle oft explizite Belohnungsfunktionen oder ein Fine-Tuning des Denoisers, was dem Ziel widerspricht, den Sampler zu optimieren, ohne den vortrainierten Generator zu modifizieren.

Methodik

Die Autoren schlagen vor, das Diffusions-Sampling als ein Problem der sequentiellen Entscheidungsfindung zu formulieren, das mittels Inverser Verstärkungslernen (IRL) lösbar ist. Die Kerninnovation besteht darin, eine Sampling-Policy zu lernen, die Zielzustandsverteilungen angleicht, ohne Zugriff auf Experten-Trajektorien, explizite Belohnungen oder ein Retraining des Denoisers zu benötigen.

1. MDP-Formulierung

Der Diffusions-Sampling-Prozess wird als endlicher Markov-Entscheidungsprozess (MDP) formalisiert:

Zustand ( $s_t$ ): Definiert als $(x_t, \sigma_t)$ , wobei $x_t$ die aktuelle Probe und $\sigma_t$ das Rauschlevel ist.
Aktion ( $a_t$ ): Diskrete Kontrollentscheidungen, die auf die Sampling-Dynamik angewendet werden, wie etwa die Auswahl von Guidance-Skalen, die Menge der Rauschinjektion oder die Entscheidung, ob ein "Renoising" (Neustart) auf ein vorheriges Rauschlevel durchgeführt werden soll.
Dynamik: Der Übergangskern wird durch die diskretisierten Diffusionsdynamiken und die gewählte Kontrollaktion induziert. Der Prozess terminiert, wenn das Rauschlevel $\Sigma_0$ erreicht (ein absorbierender Zustand).

2. State-Only Inverse Reinforcement Learning

Im Gegensatz zu traditionellem IRL, das oft explizite Expertenaktionen oder -trajektorien voraussetzt, operiert diese Methode unter einem State-Only-Regime. Der "Experte" wird ausschließlich durch die marginalen Verteilungen der Datenproben bei ausgewählten Rauschlevels definiert.

Zielsetzung: Das Ziel ist es, eine Policy $\pi_\theta$ zu finden, deren Zustandsbelegungsmaß $\mu_\theta$ (die marginale Verteilung der besuchten Zustände) die Experten-Belegungsmaß $\mu_E$ angleicht.
Optimierung: Anstatt eine Belohnungsfunktion zu lernen, minimieren die Autoren direkt die $f$ -Divergenz zwischen der Experten- und der Policy-Belegungsmaß:
$\min_\theta D_f(\mu_E \parallel \mu_\theta)$
Das Paper untersucht spezifisch die Kullback-Leibler (KL) und die Reverse-KL (rKL) Divergenzen und stellt fest, dass die Wahl der $f$ -Divergenz den Trade-off zwischen Mode-Covering (Diversität) und Mode-Seeking (Fidelity/Treue) bestimmt.

3. Policy Gradient und Optimierung

Die Autoren leiten ein Policy-Gradient-Theorem zur direkten Minimierung von $f$ -Divergenzen ab. Der Gradient wird ausgedrückt als:
$\nabla_\theta L_f(\theta) = \mathbb{E}_{s_{1:T} \sim p_\theta} \left[ \frac{1}{T} \sum_{t=1}^T \nabla_\theta \log \pi_\theta(a_t|s_t) \sum_{t' \ge t} h_f\left(\frac{\mu_E(s_{t'})}{\mu_\theta(s_{t'})}\right) \right]$
wobei $h_f$ eine Funktion ist, die aus dem Generator der $f$ -Divergenz abgeleitet wurde.

Dichteverhältnis-Schätzung (Density Ratio Estimation): Da $\mu_E$ und $\mu_\theta$ unbekannt sind, wird das Dichteverhältnis mithilfe eines Diskriminators geschätzt, der darauf trainiert ist, zwischen Expertenzuständen (verrauschte Daten) und durch die Policy generierten Zuständen zu unterscheiden.
Stabilisierung: Um die hohe Varianz der Gradientenschätzungen zu bewältigen, verwendet die Methode ein PPO-ähnliches Clipped-Objective, Importance-Sampling-Korrekturen und eine globale Batch-Mittelwert-Baseline.

4. Evaluierte Sampling-Strategien

Das Framework wird auf drei spezifische Interventionen zur Inferenzzeit angewendet:

Adaptive Classifier-Free Guidance: Erlernen einer zustandsabhängigen Guidance-Skala $\omega(x, \sigma)$ .
Stochastizitäts-Injektion: Erlernen eines zustandsabhängigen Rauschinjektionslevels $\gamma_{EDM}(x, \sigma)$ .
Renoising (Restart Sampling): Erlernen des Zeitpunkts, an dem der Prozess auf ein vorheriges Rauschlevel zurückgesetzt werden sollte, um schlechte lokale Generationen zu vermeiden.

Zentrale Beiträge

MDP-Formulierung für das Sampling: Das Paper stellt das Diffusions-Sampling als MDP dar, um Sampler zur Inferenzzeit anzupassen, ohne den Denoiser neu zu trainieren.
Direktes Abgleichen der Zustandsmarginals: Es leitet ein Policy-Gradient-Ziel ab, das $f$ -Divergenzen zwischen Zustandsbelegungsmaßen minimiert und so die Notwendigkeit expliziter Reward-Modellierung oder Experten-Aktionsdaten umgeht.
Interpretierbare Trade-offs: Das Framework zeigt einen kontrollierbaren Trade-off zwischen Proben-Diversität (Recall) und Fidelity (Precision) durch die Wahl der $f$ -Divergenz (KL vs. rKL) auf.
Zustandsabhängige Kontrolle: Die gelernten Policies fungieren als Kontrollen zur Inferenzzeit, die selektiv intervenieren (z. B. Anwendung hoher Guidance nur bei spezifischen Rauschlevels oder für spezifische Probentypen), anstatt feste globale Schedules anzuwenden.

Experimentelle Ergebnisse

Die Methode wurde auf CIFAR-10, FFHQ und ImageNet-64 unter Verwendung vortrainierter EDM-Modelle evaluiert.

Performance: Die gelernten Policies erreichen oder übertreffen die Leistung der besten handoptimierten Baselines (ermittelt via Grid Search) über FID, Precision und Recall Metriken hinweg.
- Adaptive Guidance: Verbesserte die Qualitäts-Diversitäts-Abwägung im Vergleich zu fixer Guidance. Die KL-Divergenz verbesserte den Recall (Diversität), während rKL die Precision (Fidelity) verbesserte.
- Stochastizitäts-Injektion: Die gelernten zustandsabhängigen Profile stellten die qualitativen Muster optimaler EDM-Schedules wieder (geringe Stochastizität am Ende der Trajektorie) und übertrafen feste Baselines auf komplexen Datensätzen wie ImageNet.
- Renoising: Reduzierte die Anzahl der Funktionsauswertungen (NFE) auf ImageNet signifikant, während die FID im Vergleich zu Standard-Restart-Strategien beibehalten oder verbessert wurde.
Recheneffizienz:
- Training: Ein einziger Trainingslauf ersetzt die erschöpfende Grid-Suche. Auf ImageNet-64 reduziert dies das Optimierungsbudget um bis zu das 9-fache (von ~1437 EFLOPs für eine 3-Hyperparameter-Grid-Suche auf ~161 EFLOPs für das IRL-Training).
- Inferenz: Die Policy fügt einen moderaten Overhead von 16 % bis 40 % an FLOPs gegenüber dem Denoiser allein hinzu, was angesichts der Eliminierung der manuellen Abstimmung als vernachlässigbar gilt.
Ablationsstudien-Ergebnisse:
- Konditionierung: Policies, die auf den vollen Zustand $(x, \sigma)$ konditioniert sind, schneiden signifikant besser ab als solche, die nur auf das Rauschlevel $\sigma$ konditioniert sind, und erreichen fast das Niveau jener mit expliziten Klassenlabels $(x, \sigma, c)$ . Dies deutet darauf hin, dass die Policy implizit klassendiskriminative Merkmale aus dem Bildinhalt lernt.
- Divergenzwahl: Es wurde gezeigt, dass KL und rKL am effektivsten sind, um den Precision-Recall-Trade-off zu steuern, während symmetrische Divergenzen (TV, Hellinger) weniger interpretierbare Ergebnisse lieferten.

Bedeutung und Behauptungen

Das Paper behauptet, dass dieses Framework eine systematische, automatisierte Alternative zur manuellen Hyperparameter-Abstimmung für das Diffusions-Sampling bietet. Durch die Behandlung des Samplings als IRL-Problem ermöglicht es die Optimierung komplexer, zustandsabhängiger Sampling-Strategien, die manuell schwer zu entwerfen sind.

Die Autoren betonen, dass die Methode besonders wertvoll für großskalige Modelle ist, bei denen die Kosten für die Evaluierung pro Testlauf in einer Grid-Suche prohibitiv hoch sind. Der Ansatz modifiziert nicht das generative Modell selbst, sondern lernt eine optimale "Kontroll-Policy" für die Inferenz-Trajektorie, was einen praktischen Weg bietet, die Probenqualität und -diversität ohne den Rechenaufwand eines Retrainings oder einer erschöpfenden Suche zu verbessern. Das Paper bleibt bescheiden und merkt an, dass die Vorteile datensatzabhängig sind und der aktuelle Rahmen auf diskreten Aktionsräumen basiert, was auf zukünftige Arbeiten in kontinuierlichen Aktionsräumen und robusterer Initialisierung hindeutet.