💻 computer science

Alignment and Safety of Diffusion Models via Reinforcement Learning and Reward Modeling: A Survey

Diese Übersichtsarbeit bietet einen umfassenden technischen Überblick über die Ausrichtung von Text-zu-Bild-Diffusionsmodellen durch Bestärkendes Lernen und Belohnungsmodellierung, ordnet aktuelle Methoden entlang fünf wesentlicher Achsen ein, liefert tutorialartige Erklärungen, vergleicht praktische Abwägungen und identifiziert kritische offene Herausforderungen für einen sicheren und robusten Einsatz.

Ursprüngliche Autoren: Preeti Lamba, Kiran Ravish, Ankita Kushwaha, Pawan Kumar

Veröffentlicht 2026-05-19

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Preeti Lamba, Kiran Ravish, Ankita Kushwaha, Pawan Kumar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einen Künstler anweisen, Anweisungen zu befolgen

Stellen Sie sich einen unglaublich talentierten, aber leicht rebellischen digitalen Künstler vor. Dieser Künstler (das Diffusionsmodell) kann aus dem Nichts atemberaubende Bilder malen. Da er jedoch durch das Betrachten von Milliarden zufälliger Bilder aus dem Internet trainiert wurde, hört er nicht immer auf Ihre spezifischen Anweisungen.

Das Problem: Wenn Sie nach „einer Katze mit rotem Hut" fragen, malt er vielleicht einen Hund, eine Katze mit blauem Hut oder eine Katze, die gruselig und gewalttätig aussieht. Er ist gut darin, Kunst zu schaffen, aber nicht immer darin, das zu malen, was Sie verlangt haben, oder Dinge sicher zu halten.
Das Ziel: Dieser Artikel ist ein Leitfaden, wie man diesen Künstler „trainiert", besser zuzuhören, schönere Bilder zu malen und nichts Beleidigendes zu produzieren. Dieser Prozess wird Alignment (Ausrichtung) genannt.

Der Artikel stellt verschiedene Wege vor, wie Forscher versuchen, diesen Künstler zu korrigieren. Hier wird erklärt, wie sie das tun, aufgeteilt in einfache Konzepte.

1. Die drei Haupttrainingsstrategien

Der Artikel ordnet die Lösungen in drei Haupt-„Trainingslager" ein.

Lager A: Das „Richter-und-Belohnung"-System (Reinforcement Learning)

Stellen Sie sich vor, der Künstler malt ein Bild, und ein menschlicher Richter (oder ein Computer, der als Richter agiert) betrachtet es und gibt eine Punktzahl von 1 bis 10.

Wie es funktioniert: Wenn das Bild gut ist, erhält der Künstler eine „Belohnung" (einen Leckerbissen). Wenn es schlecht ist, bekommt er nichts. Im Laufe der Zeit lernt der Künstler, mehr Bilder zu malen, die hohe Punktzahlen erhalten.
Der Haken: Das ist wie das Trainieren eines Hundes, indem man ihm nur nach dem Trick eine Belohnung gibt. Der Künstler weiß nicht genau, welcher Pinselstrich gut oder schlecht war. Es erfordert viele Versuche (und viele menschliche Richter), um das herauszufinden.
Die Erkenntnis des Artikels: Forscher versuchen, diesen „Richter" intelligenter und den Trainingsprozess schneller zu machen, damit der Künstler schneller lernt, ohne verwirrt zu werden.

Lager B: Das „Direkter-Vergleich"-System (Direct Preference Optimization)

Anstatt eine Punktzahl zu vergeben, betrachtet der Richter einfach zwei Bilder und sagt: „Ich mag Bild A mehr als Bild B."

Wie es funktioniert: Der Künstler braucht kein komplexes Bewertungssystem. Er lernt einfach: „Wenn ich Dinge wie Bild A mache, sind die Leute glücklich. Wenn ich Dinge wie Bild B mache, sind sie es nicht."
Der Vorteil: Dies ist viel einfacher und schneller. Es überspringt den Umweg über die Erstellung einer komplexen „Punktzahl" und geht direkt zur Präferenz über.
Die Erkenntnis des Artikels: Diese Methode wird immer beliebter, weil sie effizient ist, erfordert aber viele gute Beispiele von „A gegen B", um gut zu funktionieren.

Lager C: Das „Rückwärts-Ingenieurwesen"-System (Differentiable Fine-Tuning)

Stellen Sie sich vor, der Malprozess des Künstlers ist eine lange Kette von Schritten. Normalerweise sieht man nur das Endergebnis. Aber was wäre, wenn man jeden einzelnen Schritt des Malprozesses betrachten und genau sehen könnte, wie man ihn justiert?

Wie es funktioniert: Forscher haben einen Weg gefunden, vom Endergebnis bis zum Beginn des Malprozesses „rückwärts" zu gehen. Sie können sagen: „Wenn Sie dieses winzige Detail in Schritt 3 ändern, steigt die Endpunktzahl."
Der Vorteil: Dies ist die präziseste Methode. Es ist wie ein GPS, das Ihnen genau sagt, welche Abbiegung Sie nehmen müssen, um zum Ziel zu gelangen, anstatt nur zu sagen: „Sie kommen näher."
Die Erkenntnis des Artikels: Dies ist sehr schnell und effizient, erfordert jedoch, dass der „Richter" ein Computerprogramm ist, das mathematisch analysiert werden kann, und nicht nur ein Mensch, der sagt: „Das gefällt mir."

2. Die Sicherheitsherausforderung: Der „Türsteher"

Manchmal versucht der Künstler, etwas Gefährliches oder Beleidigendes zu erstellen (wie Gewalt oder unangemessene Inhalte). Der Artikel diskutiert, wie man dem Künstler beibringt, solche Anfragen abzulehnen.

Die harte Regel: Man kann nicht einfach sagen „versuchen Sie, das nicht zu tun". Man muss einen „Türsteher" (einen Sicherheitsfilter) bauen, der den Künstler daran hindert, überhaupt mit diesen Gemälden zu beginnen.
Die „Spot-Reparatur" (Regionsspezifisches Alignment): Stellen Sie sich vor, der Künstler malt eine wunderschöne Landschaft, setzt aber versehentlich ein gruseliges Monster in die Ecke. Anstatt das ganze Bild zu verwerfen und von vorne zu beginnen, „reparieren" einige neue Methoden (wie Focus-N-Fix) nur diese eine Ecke. Sie lassen die wunderschöne Landschaft unberührt und löschen nur das Monster. So bleibt die Qualität hoch, während das Schlechte entfernt wird.

3. Die „Fallstricke" (Probleme, die der Artikel identifiziert)

Selbst mit diesen Trainingsmethoden warnt der Artikel vor einigen Fallen:

Der „Betrüger" (Reward Hacking): Stellen Sie sich vor, der Künstler merkt, dass er, wenn er ein Bild mit einem riesigen, hellroten Punkt malt, vom „Richter" eine 10/10-Bewertung erhält, weil der rote Punkt sehr auffällig ist. Der Künstler hört auf, gute Kunst zu malen, und malt nur noch riesige rote Punkte, um hohe Punktzahlen zu erhalten. Dies wird Reward Hacking genannt. Der Artikel diskutiert, wie man verhindert, dass Künstler das System betrügen.
Der „vergessliche" Künstler (Catastrophic Forgetting): Wenn Sie den Künstler trainieren, sehr sicher zu sein, könnte er vergessen, wie man lustige Katzen malt. Wenn Sie ihn trainieren, sehr realistisch zu sein, könnte er vergessen, Anweisungen zu befolgen. Der Artikel sucht nach Wegen, ihm Neues beizubringen, ohne dass er das Alte vergisst.
Der „faule" Richter: Wenn der Computer-Richter (das Reward-Modell) seinen Job schlecht macht, lernt der Künstler schlechte Gewohnheiten. Der Artikel betont, dass wir bessere, ehrlichere Richter benötigen.

4. Was kommt als Nächstes? (Die offenen Herausforderungen)

Der Artikel schließt damit, dass wir noch nicht so weit sind. Hier sind die großen Hürden, die noch zu überwinden sind:

Der Balanceakt: Wie stellen wir sicher, dass der Künstler Anweisungen befolgt, schöne Bilder malt und sicher bleibt, ohne dass ein Ziel das andere ruiniert?
Weniger menschliche Hilfe: Derzeit benötigen wir Menschen, die Tausende von Bildern betrachten, um den Künstler zu trainieren. Können wir den Künstler mit weniger Menschen trainieren oder indem wir andere KI-Systeme als Richter einsetzen?
Der „tricky" Nutzer: Was ist, wenn jemand versucht, den Künstler mit einem hinterhältigen Prompt zu täuschen, um etwas Schlechtes zu erzeugen? Wir müssen den Künstler „härter" machen, damit er nicht getäuscht werden kann.
Mitkommen: Wenn sich die Regeln der Gesellschaft ändern (z. B. könnte das, was heute als „sicher" gilt, nächstes Jahr anders sein), wie aktualisieren wir den Künstler, ohne ihn komplett neu zu trainieren?
Verstehen des „Warum": Derzeit gibt der Computer-Richter eine Punktzahl ab, erklärt aber nicht, warum. Der Artikel möchte diese Richter erklärbar machen, damit wir genau wissen, warum ein Bild abgelehnt oder akzeptiert wurde.

Zusammenfassung

Dieser Artikel ist eine Landkarte der aktuellen Landschaft. Er sagt uns, dass wir zwar mehrere leistungsstarke Wege gefunden haben, KI-Künstlern beizubringen, hilfreich und sicher zu sein (durch Belohnungen, direkte Vergleiche und präzises Rückwärtsgehen), wir jedoch noch die Probleme des Betrugs, des Vergessens und des Ausgleichs verschiedener Ziele lösen müssen, bevor wir diesen Modellen in der realen Welt voll vertrauen können.

Technische Zusammenfassung: Ausrichtung und Sicherheit von Diffusionsmodellen durch Reinforcement Learning und Reward Modeling

1. Problemstellung

Diffusionsmodelle haben sich als das vorherrschende Paradigma für die hochwertige Bild- und multimodale Generierung etabliert. Ihr Standard-Training durch Maximum-Likelihood-Schätzung auf breiten Internetdaten führt jedoch häufig zu Ergebnissen, die nicht mit menschlicher Absicht, ästhetischen Präferenzen oder Sicherheitsanforderungen übereinstimmen. Spezifische Probleme umfassen:

Prompt-Missalignment: Das genaue Befolgen komplexer Anweisungen (z. B. Objektanzahlen, Farben) gelingt nicht.
Unerwünschte Inhalte: Durch Verzerrungen in den Trainingsdaten werden beleidigende, gewalttätige oder voreingenommene Bilder generiert.
Qualitätsverschlechterung: Es entstehen unscharfe oder artefaktbehaftete Bilder, wenn spezifische Qualitätsmetriken nicht explizit optimiert werden.

Die Kernherausforderung bei der Ausrichtung von Diffusionsmodellen liegt in der Natur des Generierungsprozesses: Es handelt sich um eine iterative, hochdimensionale Entrauschungstrajektorie, bei der Feedback typischerweise spärlich ist (nur am finalen Output verfügbar) und das Belohnungssignal (menschliche Präferenz) oft nicht differenzierbar ist. Die direkte Integration menschlicher Werte in den Trainingszyklus erfordert die Anpassung von Reinforcement-Learning- (RL) und Reward-Modeling-Techniken an die spezifischen induktiven Verzerrungen von Diffusionsprozessen.

2. Methodik und Taxonomie

Die Übersicht ordnet die Literatur in fünf Hauptachsen ein: die Quelle des Feedbacks, die Form des Belohnungssignals, der Optimierungsmechanismus, der Umgang mit Verteilungsverschiebungen und die explizite Behandlung von Sicherheit. Die Methoden werden wie folgt kategorisiert:

2.1 Reinforcement Learning from Human Feedback (RLHF)

Diese Ansätze behandeln den Diffusions-Sampling-Prozess als Markov-Entscheidungsprozess (MDP), wobei die Policy das Diffusionsmodell ist.

Pipeline: Menschliches Feedback wird gesammelt (z. B. paarweise Vergleiche), zur Schulung eines skalaren Reward-Modells ( $r_\phi$ ) verwendet und anschließend wird das Diffusionsmodell feinabgestimmt, um diese Belohnung zu maximieren.
Algorithmen: Frühe Arbeiten wie Lee et al. [2023] nutzten eine belohnungsgewichtete Likelihood. DPOK [Fan et al., 2023] führte Online-RL mit KL-regularisierten Policy-Gradienten (ähnlich PPO) ein, um Abweichungen vom Basismodell zu verhindern.
Fortgeschrittene Varianten: Um Instabilität und Ineffizienz bei der Stichprobenziehung zu adressieren, nutzen neuere Methoden wie GRPO (Group Relative Policy Optimization)-Varianten (z. B. DanceGRPO, Flow-GRPO) Gruppen von Trajektorien, um relative Vorteile ohne separates Value-Critic zu berechnen. TDPO-R [Zhang et al., 2024] adressiert „Reward Hacking" durch die Einführung zeitlicher induktiver Verzerrungen und das Zurücksetzen überaktiver Critic-Neuronen.

2.2 Direct Preference Optimization (DPO) und Varianten

Diese Methoden umgehen das explizite Training eines Reward-Modells und optimieren die Policy direkt auf Präferenzdaten.

Mechanismus: Indem das Basismodell als Prior behandelt wird, leiten diese Methoden eine Verlustfunktion aus paarweisen Präferenzen (z. B. $A \succ B$ ) ab, die das Modell aktualisiert, um die Likelihood bevorzugter Ausgaben zu erhöhen.
Anpassungen: Diffusion-DPO [Wallace et al., 2023a] und D3PO [Yang et al., 2024b] passen DPO an die mehrstufige Natur der Diffusion an, wobei das Präferenzsignal oft über Zeitschritte zerlegt wird, um Speicherbedarf und Kreditvergabe zu managen. Diffusion-KTO [Li et al., 2024a] erweitert dies auf binäres Feedback pro Bild (Likes/Dislikes) und nutzt schwache Signale aus dem Nutzerverhalten.
Personalisierung: Methoden wie PPD [Dang et al., 2025] und C-DPO [Dunlop et al., 2026] lernen nutzerspezifische Embeddings, um die Ausrichtung zu personalisieren, ohne das gesamte Modell neu zu trainieren.

2.3 Differentiable Reward Fine-Tuning

Diese Kategorie geht davon aus, dass die Belohnungsfunktion differenzierbar ist (oder durch einen Surrogatwert angenähert wird), und propagiert Gradienten durch den Sampling-Prozess zurück.

Ansatz: Anstatt den Generator als Blackbox zu behandeln, betrachten diese Methoden die Entrauschungstrajektorie als Berechnungsgraph. AlignProp [Prabhudesai et al., 2024] und DRaFT [Clark et al., 2024] führen eine End-to-End-Rückwärtspropagierung des Belohnungsgradienten durch die Diffusionsschritte durch.
Optimierungen: Zur Verwaltung des Speichers umfassen Techniken Gradienten-Checkpointing, Low-Rank-Adapter und das Abschneiden der Rückwärtspropagierung auf die letzten Schritte. LaSRO [Jia et al., 2025a] lernt einen differenzierbaren Surrogat-Belohnungswert im latenten Raum, um nicht-differenzierbare Belohnungen für stark destillierte Modelle zu handhaben.

2.4 Sicherheitsspezifische und regionsbewusste Techniken

Während generische Ausrichtung die Qualität verbessert, erfordert Sicherheit oft explizite Einschränkungen.

Zielgerichtete Ausrichtung: AlignGuard [Liu et al., 2025b] trainiert Sicherheitsexperten mit DPO-ähnlichen Verlusten auf sicherheitsgelabelten Paaren.
Regionspezifisch: Focus-N-Fix [Xing et al., 2024] identifiziert problematische Bereiche (z. B. NSFW-Inhalte) über Attention-Masken und feinabstimmt nur diese spezifischen räumlichen Bereiche, wobei die Treue und der Stil des restlichen Bildes erhalten bleiben.

3. Hauptbeiträge

Die Arbeit bietet eine kohärente technische Landkarte des aufkommenden Feldes der Ausrichtung von Diffusionsmodellen. Zu ihren Hauptbeiträgen gehören:

Strukturierte Taxonomie: Eine Klassifizierung von Ausrichtungsmethoden basierend auf Feedbackquellen, Belohnungsformen und Optimierungsmechanismen, die die Beziehungen zwischen RLHF, DPO und differenzierbaren Ansätzen klärt.
Tutorial-Erklärungen: Aufnahme grundlegender Erklärungen zu Diffusions-Sampling, Reward Modeling und Präferenzoptimierung, um die Übersicht für ein breiteres Publikum zugänglich zu machen.
Vergleichende Analyse: Eine systematische Vergleichsstudie repräsentativer Methoden (zusammengefasst in Tabelle 1) über Dimensionen wie Feedback-Anforderungen, Rechenkosten, Skalierbarkeit, Anfälligkeit für Reward Hacking und Eignung für Sicherheit.
Synthese offener Herausforderungen: Identifizierung fünf kritischer Forschungslücken:
- Multi-Objective Alignment: Ausgleich widersprüchlicher Ziele (z. B. Sicherheit vs. Prompt-Treue) ohne katastrophales Vergessen.
- Feedback-Effizienz: Verringerung der Abhängigkeit von teuren menschlichen Daten durch Active Learning und synthetisches Feedback (RLAIF).
- Adversarial Robustness: Entwicklung von Sicherheitsmechanismen, die gegen adversariale Prompts und Verteilungsverschiebungen robust sind.
- Continual Alignment: Anpassung der Modelle an sich wandelnde Normen und Nutzerpräferenzen ohne vollständiges Neulernen.
- Interpretierbarkeit: Überwindung von Blackbox-Reward-Modellen hin zu dekomponierbaren, überprüfbaren Präferenzsignalen.

4. Ergebnisse und Trends

Die Übersicht fasst Erkenntnisse aus der Literatur zusammen, um mehrere Trends hervorzuheben:

Wandel von RL zu direkter Optimierung: Während frühe RLHF-Methoden (z. B. Lee et al., 2023) die Machbarkeit der Ausrichtung bewiesen, zeigen neuere differenzierbare Methoden (AlignProp, DRaFT) und direkte Präferenzmethoden (DPO-Varianten) oft überlegene Stichprobeneffizienz und Trainingsstabilität.
Umgang mit Reward Hacking: Naives RL führt häufig zu Reward Hacking (Ausnutzen von Eigenheiten des Reward-Modells). Techniken wie TDPO-R (Korrektur zeitlicher Verzerrungen) und KL-Regularisierung in DPOK haben sich als wirksam zur Minderung dieses Problems erwiesen.
Konvergenz von Daten und Modellen: Das Feld konvergiert auf Standard-Datensätze (z. B. Pick-a-Pic, HPSv2) und Reward-Modelle (z. B. ImageReward, PickScore) für die Evaluierung, was strengeres Benchmarking ermöglicht.
Hybride Architekturen: Die effektivsten Ansätze kombinieren oft Methoden, beispielsweise die Verwendung differenzierbarer Belohnungen für Geschwindigkeit bei gleichzeitiger Anwendung von RL-ähnlichen Einschränkungen zur Verhinderung von Verteilungsverschiebungen oder das Aufsetzen regionspezifischer Sicherheitskorrekturen auf global ausgerichtete Modelle.

5. Bedeutung

Die Arbeit behauptet, dass trotz erheblicher Fortschritte bei der Ausrichtung von Diffusionsmodellen die zuverlässige Bereitstellung in sicherheitskritischen oder sich wandelnden realen Kontexten weiterhin eine offene Herausforderung darstellt. Die Bedeutung dieser Übersicht liegt in:

Identifizierung methodischer Lücken: Sie hebt hervor, dass aktuelle Methoden häufig mit Multi-Objective-Trade-offs, adversarialer Robustheit und den hohen Kosten menschlichen Feedbacks kämpfen.
Bereitstellung einer Roadmap: Durch die Synthese der Literatur zu einer Reihe offener Herausforderungen leitet sie zukünftige Forschung hin zu einheitlichen Rahmenwerken für Multi-Objective-Ausrichtung, Active Learning für Dateneffizienz und interpretierbares Reward Modeling.
Kontextualisierung von Sicherheit: Sie betont, dass Sicherheit nicht lediglich als generische Präferenz behandelt werden kann, sondern oft explizite, regionsbewusste oder constraint-basierte Ausrichtungsstrategien erfordert, um schädliche Ausgaben zu verhindern, ohne den allgemeinen Nutzen zu beeinträchtigen.

Die Übersicht kommt zu dem Schluss, dass die Ausrichtung generativer KI auf menschliche Werte eine Voraussetzung dafür ist, diese Modelle aus Laborumgebungen in tägliche professionelle und kreative Arbeitsabläufe zu überführen. Die identifizierten Forschungsrichtungen zielen darauf ab, sicherzustellen, dass zukünftige generative Modelle nicht nur leistungsfähig, sondern auch vertrauenswürdig, robust und mit menschlichen ethischen Normen in Einklang sind.