📊 statistics

Towards More General Control of Diffusion Models Using Jeffrey Guidance

Dieses Paper führt die Jeffrey-Guidance ein, ein fundiertes Framework, das die Jeffreys-Regel nutzt, um die Kontrolle von Diffusionsmodellen über das standardmäßige bedingte Sampling hinaus zu erweitern, indem Randverteilungen in Richtung vorgegebener Zielwerte aktualisiert werden, während die gemeinsame Verteilung minimal gestört wird, wodurch eine verbesserte Bildqualität und Fairness erreicht werden.

Ursprüngliche Autoren: Raphaël Razafindralambo, Rémy Sun, Frédéric Precioso, Jes Frellsen, Pierre-Alexandre Mattei

Veröffentlicht 2026-06-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Raphaël Razafindralambo, Rémy Sun, Frédéric Precioso, Jes Frellsen, Pierre-Alexandre Mattei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten Künstler (ein Diffusionsmodell), der wunderschöne Bilder aus dem Nichts malen kann. Dieser Künstler ist großartig, aber manchmal möchten Sie seine Arbeit anpassen, ohne einen neuen Künstler einzustellen oder ihn von Grund auf neu zu trainieren. Sie wollen nur sagen: „Hey, mach den Himmel blauer“ oder „Sorge dafür, dass in der Menge die gleiche Anzahl an Männern und Frauen vorhanden ist.“

Normalerweise haben Künstler eine einfache Methode, um dies zu tun: Sie geben ihnen ein spezifisches Label, wie zum Beispiel „Katze“, und der Künstler versucht, eine Katze zu malen. Dies wird Classifier Guidance genannt. Aber was, wenn Sie kein spezifisches Label wollen? Was, wenn Sie die gesamte Stimmung des Gemäldes ändern wollen, wie etwa die Farben an ein bestimmtes Fotoalbum anpassen oder sicherstellen, dass die Menge nicht gegenüber einem Geschlecht voreingenommen ist? Standardanweisungen haben Schwierigkeiten mit solchen vagen, „großen“ Zielen.

Dieses Paper stellt eine neue Methode namens Jeffrey Guidance vor. Betrachten Sie dies als eine „Universalfernbedienung“ für die Fantasie des Künstlers.

Die Kernidee: Die „Jeffrey-Regel“

Um die Magie zu verstehen, stellen Sie sich vor, Sie haben ein Rezeptbuch (die gemeinsame Verteilung bzw. Joint Distribution), das Ihnen sagt, wie man ein Gericht (das Bild) baselt, basierend auf den Zutaten, die Sie zur Verfügung haben (Attribute wie Geschlecht oder Alter).

Der alte Weg (Bayes/Standard-Guidance): Wenn Sie ein bestimmtes Gericht wollen, sagen Sie: „Ich möchte das Rezept für Spaghetti“. Der Künstler schlägt „Spaghetti“ nach und kocht das. Es ist starr.
Der neue Weg (Jeffrey Guidance): Stellen Sie sich vor, es ist Ihnen nicht wichtig, welches spezifische Rezept verwendet wird, sondern Sie möchten, dass das Geschmacksprofil der fertigen Mahlzeit einem bestimmten Ziel entspricht (wie z. B. „Ich möchte, dass die Menge zu 50 % aus Männern und zu 50 % aus Frauen besteht“). Die Jeffrey-Regel ist ein mathematischer Trick, der besagt: „Behalte die Kochmethode exakt gleich bei, aber tausche die Zutaten aus, um das neue Geschmacksprofil zu erreichen, das du dir wünschst.“

Es aktualisiert die „Marginale“ (die gesamte Mischung der Zutaten), um dem Ziel zu entsprechen, während die „Konditionale“ (wie der Künstler tatsächlich die Details malt) intakt bleibt. Es ist die minimal mögliche Änderung, um das gewünschte Ergebnis zu erzielen.

Analogie 1: Der DJ und die Playlist (Embedding Guidance)

Stellen Sie sich vor, der Künstler ist ein DJ. Das „Embedding“ ist wie das Genre der Musik, die er spielt.

Das Problem: Der DJ spielt meist eine Mischung, die etwas anders klingt als die Original-Hits (die Trainingsdaten). Der „FID“-Wert ist wie ein Musikkritiker, der bewertet, wie nah die Mischung des DJs an den Original-Hits liegt.
Der Jeffrey-Fix: Die Autoren nutzten die Jeffrey Guidance, um dem DJ zu sagen: „Spiele nicht einfach irgendeinen Song; sorge dafür, dass die gesamte Playlist exakt wie die ursprünglichen Top-40-Hits klingt.“
Das Ergebnis: Der DJ hat seinen Stil des Mixens nicht geändert (das neuronale Netz wurde nicht neu trainiert). Er hat lediglich die Lautstärke bestimmter Tracks während der Performance angepasst. Das Ergebnis? Die Playlist klang viel mehr wie die ursprünglichen Hits (der FID-Wert sank signifikant), obwohl die einzelnen Songs immer noch wie die Werke des DJs klangen.

Analogie 2: Der Sitzplan (Fairness und Dekorrelation)

Stellen Sie sich vor, der Künstler ist Gastgeber einer Party und erstellt eine Gästeliste.

Das Problem: In der ursprünglichen Gästeliste hat der Künstler versehentlich viel mehr „junge Frauen“ als alle anderen eingeladen und fast keine „alten Männer“. Zudem waren „Jung“ und „Männlich“ seltsam miteinander verknüpft (vielleicht dachte der Künstler nur bei jungen Männern an „Athleten“ und bei jungen Frauen an „Tänzerinnen“).
Das Ziel: Die Organisatoren wollen eine faire Party. Sie wollen:
1. Geschlechterparität: Genau 50 % Männer und 50 % Frauen.
2. Dekorrelation: Dass „Jung“ nicht automatisch „Männlich“ oder „Weiblich“ bedeuten sollte. Sie sollten unabhängig voneinander sein.
Der Jeffrey-Fix: Anstatt dem Künstler zu sagen: „Zeichne einen Mann“ oder „Zeichne eine Frau“, nutzten die Autoren die Jeffrey Guidance, um zu sagen: „Passe die Gästeliste so an, dass das Gesamtverhältnis von Männern zu Frauen 50/50 beträgt und löse die Verbindung zwischen Alter und Geschlecht auf.“
Das Ergebnis:
- Parität: Die Party wurde perfekt ausbalanciert (50/50), ohne die Qualität der Einladungen zu ruinieren (die Bilder sahen immer noch gut aus).
- Dekorrelation: Die seltsame Verbindung zwischen „Jung“ und „Männlich“ wurde aufgebrochen. Der Künstler begann, junge Männer, junge Frauen, alte Männer und alte Frauen auf eine Weise einzuladen, die natürlich und unabhängig wirkte, anstatt einer verborgenen Voreingenommenheit zu folgen.

Warum ist das eine große Sache?

Es ist Plug-and-Play: Sie müssen den Künstler nicht neu trainieren. Sie fügen einfach einen kleinen „Korrekturterm“ hinzu, während der Künstler arbeitet.
Es ist flexibel: Sie sind nicht auf einfache Labels wie „Katze“ oder „Hund“ beschränkt. Sie können komplexe Ziele verfolgen, wie z. B. „Passe die statistische Verteilung an ein spezifisches Dataset an“ oder „Entferne die Voreingenommenheit zwischen zwei spezifischen Merkmalen“.
Es ist fundiert: Es ist nicht nur eine bloße Vermutung oder ein Hack. Es basiert auf einer soliden mathematischen Regel (der Jeffrey-Regel), die garantiert, dass Sie die kleinstmögliche Änderung am Originalmodell vornehmen, um Ihr neues Ziel zu erreichen.

Der Haken

Das Paper stellt fest, dass diese Methode zwar Wunder bei den „Statistiken“ (den Zahlen) bewirkt, das menschliche Auge jedoch manchmal keinen großen Unterschied in den Bildern selbst bemerkt. Es ist wie das Stimmen eines Radios: Das Signal (die Statistiken) ist perfekt, aber das Lied (das Bild) klingt für einen flüchtigen Zuhörer vielleicht weitgehend gleich. Doch für Aufgaben wie Fairness oder das Anpassen an spezifische Datenverteilungen ist genau diese „unsichtbare Abstimmung“ das, was benötigt wird.

Kurz gesagt: Jeffrey Guidance gibt uns eine präzise, mathematische Methode, um KI-Bildgeneratoren auf spezifische statistische Ziele zu steuern – wie Fairness oder das Anpassen an ein Dataset – ohne den Motor von Grund auf neu bauen zu müssen.

Technisches Resümee: Hin zu einer allgemeineren Steuerung von Diffusionsmodellen mittels Jeffrey-Guidance

1. Problemstellung

Diffusionsmodelle bieten eine erhebliche Flexibilität bei generativen Aufgaben, indem sie durch Guidance-Mechanismen während der Abtastung (Sampling) eine Steuerung des Outputs ermöglichen, ohne das zugrunde liegende neuronale Netzwerk neu trainieren zu müssen. Während Standard-Guidance-Techniken (z. B. Classifier Guidance) die bedingte Abtastung für spezifische Klassen effektiv handhaben, versagen sie häufig bei komplexeren Zielsetzungen, bei denen die Zielverteilung implizit ist oder nur durch Heuristiken definiert wird.

Derzeitige Ansätze für Aufgaben wie Fairness, Konzeptsteuerung und kompositorische Generierung verlassen sich häufig auf heuristische Modifikationen der Sampling-Dynamik. Diese Methoden neigen die ursprüngliche Verteilung, verfügen jedoch über keine explizit definierte Zielverteilung, was die eigentliche Zielsetzung schwer charakterisierbar und interpretierbar macht. Es besteht ein Bedarf an einem fundierten Rahmenwerk, das die Randverteilungen (Marginal Distributions) hin zu einer vorgegebenen Zielverteilung aktualisiert und gleichzeitig die konditionale Struktur des Modells bewahrt, wodurch die Steuerung komplexer statistischer Eigenschaften (z. B. Attributunabhängigkeit oder Übereinstimmung von Embedding-Verteilungen) ermöglicht wird, die durch Standard-Konditionierung nicht ausdrückbar sind.

2. Methodik: Jeffrey-Guidance

Das Paper schlägt die Jeffrey-Guidance vor, ein Framework, das die Jeffrey-Regel der Konditionierung nutzt, um Diffusionsmodelle zu aktualisieren. Im Gegensatz zu Bayes-basierten Ansätzen, die auf spezifischen Ereignissen konditionieren (Standard-Konditionierung), erlaubt die Jeffrey-Regel die Konditionierung auf komplexen Prädikaten, wie etwa dem Abgleich einer spezifischen Randverteilung.

Theoretische Grundlage

Gegeben sei ein gemeinsames Modell $p(x, y)$ , wobei $x$ den Bildraum und $y$ Attribute/Merkmale darstellt. Das Ziel ist es, die Randverteilung $p(y)$ zu einer Zielverteilung $p^\star(y)$ zu aktualisieren und dabei die konditionale Struktur $p(x|y)$ beizubehalten. Unter der Jeffrey-Regel wird die aktualisierte gemeinsame Verteilung als folgt definiert:
$p^\star(x, y) = p(x|y)p^\star(y)$
Diese Aktualisierung minimiert die Störung der ursprünglichen gemeinsamen Verteilung (eine Informationsprojektion) und erfüllt gleichzeitig die Randbedingung.

Das Paper leitet eine Umgewichtungsformulierung für die Randverteilung über $x$ her:
$p^\star(x) = p(x) \int p(y|x)\rho(y) dy$
wobei $\rho(y) = p^\star(y)/p(y)$ das Dichteverhältnis ist. In Fällen, in denen Merkmale deterministisch aus Bildern abgeleitet werden ( $y = u(x)$ ), vereinfacht sich dies zu:
$p^\star(x) = p(x)\rho(u(x))$

Implementierung in Diffusionsmodellen

Um dies auf Score-basierte Diffusionsmodelle anzuwenden, leiten die Autoren eine geführte Score-Funktion ab. Der Standard-Score $\nabla_{x_t} \log p_t(x_t)$ wird um einen Korrekturterm ergänzt, der auf dem Dichteverhältnis basiert:
$\nabla_{x_t} \log \tilde{p}^\star_t(x_t) = \nabla_{x_t} \log p_t(x_t) + \nabla_{x_t} \log \int p(y|\hat{x}_0(x_t, t))\rho(y) dy$
wobei $\hat{x}_0(x_t, t)$ eine Schätzung der sauberen Probe mittels der Tweedie-Formel ist.

Für deterministische Feature-Mappings (z. B. Embedding-Räume) vereinfacht sich die Guidance zu:
$\nabla_{x_t} \log \tilde{p}^\star_t(x_t) = \nabla_{x_t} \log p_t(x_t) + \nabla_{x_t} \log \rho(u(\hat{x}_0(x_t, t)))$

Das Framework führt einen Hyperparameter $\lambda$ ein, um den Korrekturterm zu skalieren, was den Kompromiss zwischen Stichprobenqualität und Treue zur Zielverteilung steuert. Das Dichteverhältnis $\rho$ wird mithilfe eines binären Klassifikators geschätzt, der darauf trainiert wurde, zwischen Proben aus der Zielverteilung und der aktuellen Verteilung des Modells zu unterscheiden.

3. Hauptbeiträge

Das Paper leistet drei primäre Beiträge:

Jeffrey-Guidance-Framework: Eine neuartige, Plug-and-Play-Guidance-Methode, die die Standard-Classifier-Guidance generalisiert. Sie nutzt die Jeffrey-Regel, um die generierten Output-Verteilungen an beliebige Zielverteilungen anzupassen, was die Steuerung von Zielen ermöglicht, die mit Standard-Guidance zuvor unzugänglich waren.
Matching von Embedding-Verteilungen: Ein Proof-of-Concept, der die Fähigkeit demonstriert, die Output-Verteilungen des Modells an eine Zielverteilung in einem Embedding-Raum (speziell Inception-Embeddings) anzupassen. Diese Anwendung reduziert den Fréchet Inception Distance (FID) signifikant, ohne dass ein Retraining erforderlich ist.
Attributverteilungssteuerung für Fairness: Eine Demonstration der Steuerung von Bildattribut-Verteilungen, um Fairness-Ziele zu erreichen. Die Methode erzielt erfolgreich Geschlechterparität (Verteilungsabgleich) und dekorelliert Attribute (z. B. „Männlich“ und „Jung“) in generierten Gesichtern – Aufgaben, die Standard-Classifier-Guidance nicht direkt adressieren kann.

4. Experimentelle Ergebnisse

Die Autoren evaluierten die Jeffrey-Guidance auf den Datensätzen CIFAR-10, FFHQ und CelebA-HQ.

Embedding-Guidance (FID-Reduktion)

Setup: Die Methode zielte auf die Inception-Embedding-Verteilung der Trainingsdaten ab.
Ergebnisse: Auf CIFAR-10 verbesserte sich der FID von $\approx 5.88$ auf $\approx 2.55$ (Trainingsset) und von $\approx 9.76$ auf $\approx 6.71$ (Testset). Auf FFHQ sank der FID von $\approx 20.13$ auf $\approx 12.91$ .
Beobachtung: Die Autoren stellen fest, dass der FID drastisch sank, die visuellen Änderungen an den generierten Bildern jedoch minimal waren, was auf die Grenzen des FID als rein perzeptueller Metrik hindeutet. Die besten Ergebnisse wurden erzielt, indem die Guidance nur auf die letzten Denoising-Schritte ( $\delta=10$ ) angewendet wurde.

Fairness-Anwendungen

Geschlechterparität (Verteilungsabgleich): Auf CelebA-HQ passte die Methode den Anteil der „Männlich“-Attribute von $\approx 0.296$ auf $\approx 0.522$ an (Zielwert 0.5) und reduzierte die Fairness-Diskrepanz (FD) von $0.288$ auf $0.032$. Dies wurde mit minimaler Verschlechterung des FID erreicht ($21.61$ gegenüber $22.30$ beim Baseline-Modell).
Attribut-Dekorrelation: Die Methode dekorrelierte erfolgreich die Attribute „Männlich“ und „Jung“, wobei der Pearson-Korrelationskoeffizient von $-0.541$ auf nahezu Null ($0.005$) bei $\lambda=3.0$ sank. Dies wurde durch die Reduzierung des dominanten gemeinsamen Modus (junge weibliche Proben) erreicht, während die Randverteilungen relativ stabil blieben, mit einem geringfügigen FID-Anstieg von etwa einem Punkt.
Vergleich: Im Vergleich zu einer Baseline aus Ancestral Sampling kombiniert mit Standard-Guidance erreichte die Jeffrey-Guidance ähnliche Fairness-Metriken bei geringeren FID-Kosten und modifizierte weniger Proben, da sie die Klassendirektionen kontinuierlich entlang der Sampling-Trajektorie ausbalanciert, anstatt Proben vollständig in eine einzige Klasse zu drängen.

5. Bedeutung und Behauptungen

Das Paper positioniert die Jeffrey-Guidance als fundierte Erweiterung der Steuerung von Diffusionsmodellen. Seine Bedeutung liegt in:

Generalisierung: Es rekontextualisiert die Standard-Classifier-Guidance als einen Spezialfall der Jeffrey-Konditionierung und vereinheitlicht diese Ansätze unter einem breiteren theoretischen Rahmen.
Ausdrucksstärke: Es ermöglicht die Spezifikation expliziter Zielverteilungen für komplexe Ziele (wie Attributunabhängigkeit), die zuvor nur durch heuristische oder implizite Methoden erreichbar waren.
Praktikabilität: Die Methode erfordert kein Retraining des Diffusionsmodells, sondern lediglich die Hinzufügung eines Korrekturterms während des Samplings und das Training eines leichtgewichtigen Dichteverhältnis-Schätzers.

Die Autoren wahren einen bescheidenen Ton und bezeichnen ihre Arbeit als „Proof of Concept“. Sie räumen ein, dass die aktuelle Implementierung auf einem Klassifikator zur Schätzung von Dichteverhältnissen beruht, ähnlich wie die frühe Classifier-Guidance, und äußern die Hoffnung, dass sich zukünftige Arbeiten in Richtung Classifier-freier Varianten entwickeln werden. Sie merken zudem an, dass die Methode zwar neue Ausdruckskraft für vorteilhafte Anwendungen (Fairness, Minderung von Memorierung) bietet, aber auch das Risiko birgt, böswilligen Akteuren die Erstellung schädlicher Inhalte zu ermöglichen.