📊 statistics

Towards More General Control of Diffusion Models Using Jeffrey Guidance

Dit artikel introduceert Jeffrey-sturing, een principieel kader dat de regel van Jeffrey gebruikt om de controle over diffusiemodellen uit te breiden voorbij standaard conditionele sampling door marginale verdelingen bij te werken naar voorgeschreven doelen terwijl de gezamenlijke verdeling minimaal wordt verstoord, waardoor een verbeterde beeldkwaliteit en eerlijkheid worden bereikt.

Oorspronkelijke auteurs: Raphaël Razafindralambo, Rémy Sun, Frédéric Precioso, Jes Frellsen, Pierre-Alexandre Mattei

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Raphaël Razafindralambo, Rémy Sun, Frédéric Precioso, Jes Frellsen, Pierre-Alexandre Mattei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde kunstenaar hebt (een Diffusiemodel) die prachtige plaatjes vanuit het niets kan schilderen. Deze kunstenaar is geweldig, maar soms wil je het werk aanpassen zonder een nieuwe kunstenaar in te huren of de kunstenaar vanaf nul opnieuw te trainen. Je wilt alleen zeggen: "Maak de lucht blauwer," of "Zorg dat er een gelijk aantal mannen en vrouwen in de menigte is."

Meestal hebben kunstenaars een eenvoudige manier om dit te doen: je geeft ze een specifiek label, zoals "Kat," en ze proberen een kat te schilderen. Dit wordt Classifier Guidance genoemd. Maar wat als je niet een specifiek label wilt? Wat als je de algemene vibe van het schilderij wilt veranderen, zoals de kleuren laten matchen met een specifieke fotoalbum, of ervoor willen zorgen dat de menigte niet bevooroordeeld is naar één geslacht? Standaard instructies hebben moeite met zulke vage, "grote lijn"-doelen.

Dit paper introduceert een nieuwe methode genaamd Jeffrey Guidance. Denk aan dit als een "Universele Afstandsbediening" voor de verbeelding van de kunstenaar.

Het Kernidee: De "Jeffrey Regel"

Om de magie te begrijpen, stel je voor dat je een receptenboek hebt (de Joint Distribution) dat je vertelt hoe je een gerecht (de afbeelding) maakt op basis van de ingrediënten die je hebt (de attributen, zoals geslacht of leeftijd).

De Oude Manier (Bayes/Standaard Guidance): Als je een specifiek gerecht wilt, zeg je: "Ik wil het recept voor Spaghetti." De kunstenaar zoekt "Spaghetti" op en kookt dat. Het is rigide.
De Nieuwe Manier (Jeffrey Guidance): Stel je voor dat je niet om een specifiek recept geeft, maar dat je wilt dat het smaakprofiel van de maaltijd overeenkomt met een specifieke doelstelling (zoals "Ik wil dat de menigte voor 50% uit mannen en 50% uit vrouwen bestaat"). Jeffrey's regel is een wiskundige truc die zegt: "Houd de kookmethode exact hetzelfde, maar vervang de ingrediënten om te voldoen aan het nieuwe smaakprofiel dat je wilt."

Het werkt de "marginale verdeling" bij (de algemene mix van ingrediënten) om overeen te komen met je doel, terwijl de "conditionele verdeling" (hoe de kunstenaar de details daadwerkelijk schildert) intact blijft. Het is de meest minimale verandering die mogelijk is om het resultaat te bereiken dat je wilt.

Analogie 1: De DJ en de Afspeellijst (Embedding Guidance)

Stel je voor dat de kunstenaar een DJ is. De "embedding" is als het genre van de muziek die hij speelt.

Het Probleem: De DJ speelt meestal een mix die een beetje anders klinkt dan de originele hits (de trainingsdata). De "FID"-score is als een muziekcriticus die beoordeelt hoe dicht de mix van de DJ bij de originele hits ligt.
De Jeffrey Fix: De auteurs gebruikten Jeffrey Guidance om de DJ te vertellen: "Speel niet zomaar wat nummers; zorg dat de gehele afspeellijst precies klinkt als de originele Top 40-hits."
Het Resultaat: De DJ veranderde zijn mixstijl niet (het neurale netwerk werd niet opnieuw getraind). Hij paste alleen het volume van bepaalde tracks aan tijdens de uitvoering. Het resultaat? De afspeellijst klonk veel meer als de originele hits (de FID-score daalde aanzienlijk), ook al klonken de individuele nummers nog steeds als het werk van de DJ.

Analogie 2: De Zitplaatsen (Fairness en Decorrelatie)

Stel je voor dat de kunstenaar een feestje organiseert en een gastenlijst samenstelt.

Het Problem: In de oorspronkelijke gastenlijst heeft de kunstenaar per ongeluk veel meer "Jonge Vrouwen" uitgenodigd dan wie dan ook, en bijna geen "Oude Mannen". Ook waren "Jong" en "Man" vreemd met elkaar verbonden (misschien dacht de kunstenaar alleen bij jonge mannen aan "atleten" en bij jonge vrouwen aan "dansers").
Het Doel: De organisatoren willen een eerlijk feestje. Ze willen:
1. Gender Pariteit: Precies 50% mannen en 50% vrouwen.
2. Decorrelatie: "Jong" mag niet automatisch betekenen dat je "Man" of "Vrouw" bent. Ze moeten onafhankelijk zijn.
De Jeffrey Fix: In plaats van de kunstenaar te vertellen: "Teken een man," of "Teken een vrouw," gebruikten de auteurs Jeffrey Guidance om te zeggen: "Pas de gastenlijst aan zodat de algemene ratio van mannen tot vrouwen 50/50 is, en verbreek de link tussen leeftijd en geslacht."
Het Resultaat:
- Pariteit: Het feestje werd perfect in balans (50/50) zonder de kwaliteit van de uitnodigingen te ruïneren (de afbeeldingen zagen er nog steeds goed uit).
- Decorrelatie: De vreemde link tussen "Jong" en "Man" werd doorbroken. De kunstenaar begon jonge mannen, jonge vrouwen, oude mannen en oude vrouwen uit te nodigen op een manier die natuurlijk en onafhankelijk aanvoelde, in plaats van een verborgen vooroordeel te volgen.

Waarom is dit een grote zaak?

Het is Plug-and-Play: Je hoeft de kunstenaar niet opnieuw te trainen. Je voegt gewoon een kleine "correctieterm" toe terwijl de kunstenaar aan het werk is.
Het is Flexibel: Je bent niet beperkt tot eenvoudige labels zoals "Kat" of "Hond". Je kunt streven naar complexe doelen zoals "Match de statistische distributie van een specifieke dataset" of "Verwijder bias tussen twee specifieke kenmerken."
Het is Geprincipeerd: Het is niet zomaar een willekeurige gok of een hack. Het is gebaseerd op een solide wiskundige regel (Jeffrey's Regel) die garandeert dat je de kleinste mogelijke verandering aan het originele model aanbrengt om je nieuwe doel te bereiken.

De Keerzijde

Het paper merkt op dat hoewel deze methode wonderen doet voor de "statistieken" (de cijfers zijn perfect), het menselijk oog soms niet een groot verschil in de plaatjes zelf opmerkt. Het is als het afstemmen van een radio: het signaal (de statistiek) is perfect, maar het liedje (de afbeelding) klinkt voor een gemiddelde luisteraar misschien grotendeels hetzelfde. Echter, voor taken zoals eerlijkheid of het matchen van specifieke datadistributies, is deze "onzichtbare afstemming" precies wat nodig is.

Kortom, Jeffrey Guidance geeft ons een precieze, wiskundige manier om AI-beeldgeneratoren te sturen naar specifieke statistische doelen—zoals eerlijkheid of het matchen van een dataset—zonder de motor vanaf nul opnieuw te hoeven bouwen.

Technische Samenvatting: Naar meer algemene controle van diffusiemodellen met behulp van Jeffrey-sturing

1. Probleemstelling

Diffusiemodellen bieden aanzienlijke flexibiliteit in generatieve taken, waardoor outputcontrole mogelijk is tijdens het bemonsteringsproces (sampling) via sturingsmechanismen zonder de onderliggende neurale netwerken te hertrainen. Hoewel standaard sturingstechnieken (bijv. classifier guidance) effectief zijn voor conditionele bemonstering voor specifieke klassen, schieten ze vaak tekort bij complexere doelstellingen waarbij de doelverdeling impliciet is of alleen via heuristieken wordt gedefinieerd.

Huidige benaderingen voor taken zoals eerlijkheid (fairness), conceptcontrole en compositionele generatie vertrouwen vaak op heuristische modificaties van de bemonsteringsdynamiek. Deze methoden verschuiven de oorspronkelijke verdeling, maar missen een expliciet gedefinieerde doelverdeling, waardoor de werkelijke doelstelling moeilijk te karakteriseren of te interpreteren is. Er is behoefte aan een principieel kader dat marginale verdelingen kan bijwerken naar een voorgeschreven doelverdeling, terwijl de conditionele structuur van het model behouden blijft, wat controle mogelijk maakt over complexe statistische eigenschappen (zoals attribuutonafhankelijkheid of het matchen van embedding-verdelingen) die standaard conditionering niet kan uitdrukken.

2. Methodologie: Jeffrey-sturing

Het artikel stelt Jeffrey-sturing voor, een kader dat gebruikmaakt van Jeffrey's regel van conditionering om diffusiemodellen bij te werken. In tegenstelling tot Bayes-gebaseerde benaderingen die conditioneren op specifieke gebeurtenissen (standaard conditionering), staat Jeffrey's regel conditionering toe op complexe predicaten, zoals het matchen van een specifieke marginale verdeling.

Theoretische Fundering

Gegeven een gezamenlijk model $p(x, y)$ waarbij $x$ de beeldruimte vertegenwoordigt en $y$ attributen/kenmerken, is het doel om de marginale verdeling $p(y)$ bij te werken naar een doelverdeling $p^\star(y)$ , terwijl de conditionele structuur $p(x|y)$ behouden blijft. Onder Jeffrey's regel wordt de bijgewerkte gezamenlijke verdeling gedefinieerd als:
$p^\star(x, y) = p(x|y)p^\star(y)$
Deze update minimaliseert de perturbatie van de oorspronkelijke gezamenlijke verdeling (een informatieprojectie) terwijl aan de marginale beperking wordt voldaan.

Het artikel leidt een herwegingsformulering af voor de marginale verdeling over $x$ :
$p^\star(x) = p(x) \int p(y|x)\rho(y) dy$
waarbij $\rho(y) = p^\star(y)/p(y)$ de dichtheidsratio is. In gevallen waarin kenmerken deterministisch worden afgeleid van afbeeldingen ( $y = u(x)$ ), vereenvoudigt dit tot:
$p^\star(x) = p(x)\rho(u(x))$

Implementatie in Diffusiemodellen

Om dit toe te passen op score-gebaseerde diffusiemodellen, leiden de auteurs een geleide scorefunctie af. De standaard score $\nabla_{x_t} \log p_t(x_t)$ wordt aangevuld met een correctieterm gebaseerd op de dichtheidsratio:
$\nabla_{x_t} \log \tilde{p}^\star_t(x_t) = \nabla_{x_t} \log p_t(x_t) + \nabla_{x_t} \log \int p(y|\hat{x}_0(x_t, t))\rho(y) dy$
waarbij $\hat{x}_0(x_t, t)$ een schatting is van de schone sample verkregen via de Tweedie-formule.

Voor deterministische kenmerk-mappings (bijv. embedding-ruimtes), vereenvoudigt de sturing tot:
$\nabla_{x_t} \log \tilde{p}^\star_t(x_t) = \nabla_{x_t} \log p_t(x_t) + \nabla_{x_t} \log \rho(u(\hat{x}_0(x_t, t)))$

Het kader introduceert een hyperparameter $\lambda$ om de correctieterm te schalen, wat de afweging tussen de kwaliteit van de samples en de getrouwheid aan de doelverdeling reguleert. De dichtheidsratio $\rho$ wordt geschat met behulp van een binaire classifier die getraind is om onderscheid te maken tussen samples uit de doelverdeling en de huidige verdeling van het model.

lu 3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

Jeffrey-sturingskader: Een nieuwe, plug-and-play sturingsmethode die de standaard classifier guidance generaliseert. Het gebruikt Jeffrey's regel om de gegenereerde outputverdelingen te laten matchen met willekeurige doelverdelingen, wat controle mogelijk maakt over doelstellingen die voorheen ontoegankelijk waren voor standaard sturing.
Embedding-verdeling Matchen: Een bewijs van concept dat het vermogen aantoont om de outputverdelingen van het model te laten matchen met een doelverdeling in een embedding-ruimte (specifiek Inception embeddings). Deze toepassing vermindert de Fréchet Inception Distance (FID) aanzienlijk zonder dat hertraining nodig is.
Attribuutverdeling Controle voor Eerlijkheid: Een demonstratie van het controleren van afbeelding-attribuutverdelingen om eerlijkheidsdoelstellingen te bereiken. De methode handhaaft succesvol genderpariteit (verdeling matchen) en ontkoppelt attributen (bijv. "Mannelijk" en "Jong") in gegenereerde gezichten, taken die standaard classifier guidance niet direct kan adresseren.

4. Experimentele Resultaten

De auteurs evalueerden Jeffrey-sturing op de CIFAR-10, FFHQ en CelebA-HQ datasets.

Embedding-sturing (FID-reductie)

Opzet: De methode richtte zich op de Inception embedding-verdeling van de trainingsdata.
Resultaten: Op CIFAR-10 verbeterde FID van $\approx 5.88$ naar $\approx 2.55$ (trainingsset) en van $\approx 9.76$ naar $\approx 6.71$ (testset). Op FFHQ daalde FID van $\approx 20.13$ naar $\approx 12.91$ .
Observatie: De auteurs merken op dat hoewel de FID drastisch daalde, de visuele veranderingen aan de gegenereerde afbeeldingen minimaal waren, wat wijst op beperkingen van FID als een puur perceptuele metriek. De beste resultaten werden behaald door sturing alleen toe te passen op de laatste denoising-stappen ( $\delta=10$ ).

Toepassingen voor Eerlijkheid (Fairness)

Genderpariteit (Verdeling Matchen): Op CelebA-HQ paste de methode de proportie van "Mannelijke" attributen aan van $\approx 0.296$ naar $\approx 0.522$ (gericht op 0.5), waardoor de Fairness Discrepancy (FD) werd verminderd van $0.288$ naar $0.032$. Dit werd bereikt met minimale degradatie in FID ($21.61$ vs. baseline $22.30$).
Attribuut-ontkoppeling: De methode slaagde erin de "Mannelijk" en "Jong" attributen te ontkoppelen, waarbij de Pearson correlatiecoëfficiënt werd verminderd van $-0.541$ naar bijna nul ($0.005$) bij $\lambda=3.0$ . Dit werd bereikt door de dominante gezamenlijke modus (jonge vrouwelijke samples) te verminderen, terwijl de marginale verdelingen relatief stabiel bleven, met een kleine FID-toename van ongeveer één punt.
Vergelijking: Vergeleken met een baseline van ancestral sampling gecombineerd met standaard sturing, bereikte Jeffrey-sturing vergelijkbare eerlijkheidsmetrieken met lagere FID-kosten en wijzigde het minder samples, omdat het de klassenrichtingen continu langs het bemonsteringspad balanceert in plaats van samples volledig naar een enkele klasse te duwen.

5. Betekenis en Claims

Het artikel positioneert Jeffrey-sturing als een principiële uitbreiding van diffusiecontrole. De betekenis ligt in:

Generalisatie: Het hercontextualiseert standaard classifier guidance als een speciaal geval van Jeffrey-conditionering, waardoor deze benaderingen worden verenigd onder een breder theoretisch kader.
Expressiviteit: Het maakt het mogelijk om expliciete doelverdelingen te specificeren voor complexe doelstellingen (zoals attribuutonafhankelijkheid) die voorheen alleen bereikbaar waren via heuristische of impliciete methoden.
Practicaliteit: De methode vereist geen hertraining van het diffusiemodel, enkel de toevoeging van een correctieterm tijdens de bemonstering en de training van een lichtgewicht dichtheidsratio-schatter.

De auteurs hanteren een bescheiden toon en omschrijven het werk als een "bewijs van concept". Ze erkennen dat de huidige implementatie vertrouwt op een classifier om dichtheidsratio's te schatten, vergelijkbaar met hoe de vroege classifier guidance werkte, en uiten de hoop dat toekomstig werk zal evolueren naar classifier-vrije varianten. Ze merken ook op dat hoewel de methode nieuwe expressieve kracht biedt voor begunstige toepassingen (eerlijkheid, mitigatie van memorisatie), het ook het risico draagt kwaadwillende actoren te machtigen om kwaadaardige outputs te genereren.