💻 computer science

Diffusion Mental Averages

Dit paper introduceert Diffusion Mental Averages (DMA), een modelcentrische methode die door het optimaliseren van ruislatents om hun onruisings-trajecten te aligneren, scherpe en realistische gemiddelden van concepten genereert binnen de semantische ruimte van een diffusiemodel, in plaats van onscherpe resultaten te produceren door data-centrische technieken toe te passen op bestaande samples.

Oorspronkelijke auteurs: Phonphrm Thawatdamrongkit, Sukit Seripanitkarn, Supasorn Suwajanakorn

Gepubliceerd 2026-04-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Phonphrm Thawatdamrongkit, Sukit Seripanitkarn, Supasorn Suwajanakorn

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep vrienden vraagt om te tekenen: "Wat is een hond?" Je krijgt 1.000 tekeningen. Sommige zijn grote herdershonden, andere zijn kleine poedels, weer anderen zijn cartoonhonden. Als je al die tekeningen op elkaar plakt en ze door elkaar schudt, krijg je een vage, wazige vlek. Dat is wat er gebeurt als je gewoon probeert afbeeldingen "gemiddeld" te maken.

De auteurs van dit paper, Diffusion Mental Averages, hebben een slimme manier bedacht om het echte "mentale gemiddelde" van een kunstmatige intelligentie (een diffusion model) te vinden. Ze willen weten: Wat ziet deze AI als de perfecte, typische afbeelding van iets?

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De Wazige Foto

Stel je voor dat je een foto van een "brandweerman" wilt maken door 1.000 verschillende foto's van brandweermannen op elkaar te leggen.

De oude manier (Pixel-gemiddelde): Je legt ze precies op elkaar en telt de kleuren bij elkaar op. Het resultaat? Een vage, grijs-oranje vlek. De helm is verdwenen, de slang is een wazige streep. De details zijn "weggemiddeld".
Het probleem: AI-modellen genereren geen exact dezelfde foto's. Ze zijn als 1.000 verschillende schilders die allemaal "een hond" schilderen, maar elk op een andere plek op het canvas. Als je ze simpelweg samenvoegt, krijg je rommel.

2. De Oplossing: De "Zwervende Dans" (Trajectie-Alignement)

De auteurs zeggen: "Laten we niet wachten tot de tekeningen klaar zijn om ze te vergelijken. Laten we de schilders tijdens het tekenen samenbrengen."

Stel je voor dat je 1.000 schilders hebt die blindelings beginnen met een leeg canvas (ruis). Ze moeten allemaal een "hond" schilderen.

Stap 1 (Het grote plaatje): De AI kijkt naar de eerste ruwe lijnen van alle 1.000 schilders. Ze zien allemaal een vage vorm van een hond. De AI zegt: "Oké, laten we die vage vorm naar één centraal punt duwen." Alle schilders passen hun eerste lijnen aan zodat ze allemaal naar dezelfde grote vorm wijzen.
Stap 2 (De details): Nu gaan ze de details toevoegen (oogkleur, vacht). De AI zegt weer: "Kijk naar de ogen van iedereen. Laten we die ook naar één centraal punt duwen."
Het resultaat: In plaats van dat ze allemaal hun eigen weg gaan, worden ze zachtjes getrokken naar een gemeenschappelijk pad. Uiteindelijk komen ze allemaal uit op precies dezelfde, scherpe, perfecte hond.

Dit noemen ze Trajectie-Alignement. Het is alsof je 1.000 mensen die in het donker naar een lantaarnpaal lopen, erin slaagt om ze allemaal precies op hetzelfde moment op exact hetzelfde punt te laten aankomen, zonder dat ze botsen.

3. Het "Mentale Gemiddelde"

Het resultaat is niet zomaar een foto. Het is het droombeeld van de AI.

Als je vraagt naar een "vrijheid", ziet de AI misschien het Vrijheidsbeeld.
Als je vraagt naar een "hond", ziet de AI de hond die het meest in zijn "hoofd" zit (vaak een Golden Retriever of een Duitse Herder, afhankelijk van wat de AI veel heeft gezien).
Dit is het Mentale Gemiddelde: de essentie van het concept, zoals de AI het begrijpt, zonder de ruis van toeval.

4. Wat als er verschillende soorten zijn? (De "Mode" Probleem)

Soms is een woord niet eenduidig. Een "kraan" kan een vogel zijn of een bouwmachine. Als je ze allebei mengt, krijg je een raar monster met vleugels en een kraanarm.

De auteurs lossen dit op met Groepering:

Ze kijken eerst naar de 1.000 tekeningen en zeggen: "Oké, deze groep is de vogel, die groep is de machine."
Dan maken ze voor elke groep apart een "mentaal gemiddelde".
Vergelijking: Het is alsof je een klas met kinderen hebt. Als je vraagt om "een dier", heb je kinderen die een kat tekenen en kinderen die een hond tekenen. In plaats van één vage kat-hond te maken, maak je één perfecte kat en één perfecte hond, en laat je zien dat de AI beide kent.

5. Waarom is dit belangrijk? (De "Spiegel")

Deze techniek is als een spiegel voor de AI.

Bias opsporen: Als je vraagt om een "dokter" en de AI maakt altijd een mannelijke dokter in een witte jas, zie je dat in het gemiddelde. Dat vertelt je dat de AI vooroordelen heeft.
Stijl vergelijken: Je kunt zien hoe verschillende AI-modellen (bijvoorbeeld één die realistische foto's maakt en één die anime maakt) naar "soldaten" kijken. De ene ziet een echte man, de andere een tekenfilmmeisje. Het gemiddelde laat dit verschil heel duidelijk zien.

Samenvatting in één zin

De auteurs hebben een manier bedacht om de "droom" van een AI te visualiseren: in plaats van 1.000 wazige foto's te maken en die te mengen, duwen ze de AI tijdens het tekenen zachtjes naar één perfect, scherp beeld dat precies laat zien wat de AI echt bedoelt met een woord.

Titel: Diffusion Mental Averages (DMA)

Auteurs: Phonphrom Thawatdamrongkit, Sukit Seripanitkarn, Supasorn Suwajanakorn (VISTEC, Thailand)

1. Het Probleem

Diffusiemodellen (zoals Stable Diffusion) kunnen duizenden variaties van één concept genereren (bijv. "hond" of "vrijheid"). De auteurs vragen zich af of deze modellen ook een eigen "mentaal gemiddelde" hebben: een enkel, scherp en realistisch beeld dat de kern van dat concept vertegenwoordigt, vergelijkbaar met hoe mensen een prototypisch voorbeeld in hun hoofd hebben.

Bestaande methoden om gemiddelden te maken hebben echter ernstige tekortkomingen:

Pixel-gemiddelden: Het simpelweg middelen van gepixelde afbeeldingen (na ruimtelijke uitlijning) resulteert in wazige, onrealistische beelden omdat details elkaar opheffen. Ruimtelijke uitlijning is bovendien vaak onmogelijk voor abstracte concepten.
Feature-gemiddelden: Het middelen van latenties in auto-encoders of VAE's werkt goed voor die modellen, maar diffusiemodellen hebben geen expliciete "semantische bottleneck" of decoder die direct een gemiddelde latentie kan omzetten in een scherp beeld.
Dataset Distillation: Bestaande methoden voor dataset-distillatie zijn vaak gericht op downstream-taken en genereren prototypes die inconsistent zijn of onnatuurlijk lijken.

De uitdaging is dus: Hoe kunnen we een scherp, realistisch en consistent gemiddelde beeld genereren direct vanuit een voorgeïnstalleerd diffusiemodel, zonder toegang tot de oorspronkelijke trainingsdata?

2. Methodologie: Diffusion Mental Averages (DMA)

De auteurs introduceren DMA, een modelcentrische aanpak die het probleem herschrijft als trajectoriële uitlijning binnen de semantische ruimte van het diffusiemodel.

Kernconcept: Trajectoriële Uitlijning

In plaats van eerst samples te genereren en deze daarna te middelen, optimaliseren DMA meerdere ruis-latenties (noise latents) gelijktijdig. Het doel is om hun ontdoofde trajectoires (denoising trajectories) te laten convergeren naar een gedeelde semantische consensus.

Het proces verloopt als volgt:

Initialisatie: Start met $K$ ruis-latenties ( $z^{(0)}_k$ ) getrokken uit een Gaussische verdeling.
Iteratie per Timestep ( $t$ ):
- Semantische Doelstelling: Voor elke latentie wordt de activatie in de h-space (de bottleneck-laag van de U-Net, die bekend staat om zijn lineaire en semantische eigenschappen) berekend. Het gemiddelde van deze activaties over alle $K$ latenties wordt berekend als $\bar{A}^{(t)}$ .
- Ruis-Optimalisatie: Elke individuele latentie $z^{(t)}_i$ wordt geoptimaliseerd (via gradient descent) om zijn h-space activatie zo dicht mogelijk bij het gemiddelde $\bar{A}^{(t)}$ te brengen. Dit zorgt ervoor dat alle trajectoires zich op elk tijdstip op de semantische structuur richten.
- Ontdooien (Denoising): Na de optimalisatie wordt elke latentie één stap ontdooid naar $t-1$ met behulp van DDIM-sampling.
Herhaling: Dit proces wordt herhaald tot een afkap-tijdstip $t_{stop}$ , waarna de standaard ontdooiing wordt voortgezet tot een schone latentie ( $z_0$ ) die wordt gedecodeerd tot het prototype-afbeelding.

Omgaan met Multimodale Concepten

Voor concepten met meerdere betekenissen (bijv. "kraan" als vogel of bouwmachine) zou één gemiddelde de verschillen vervagen. DMA lost dit op door:

Clustering: Samples worden eerst geklaust in een semantische ruimte (bijv. CLIP of BLIP-VQA) om verschillende modi te identificeren.
Modus-specifieke Conditioning: Om de kloof te overbruggen tussen de clustering-ruimte (CLIP) en de diffusie-ruimte (h-space), wordt voor elke cluster een lichte aanpassing geleerd (via Textual Inversion of LoRA). Dit stuurt het ontdooiingsproces specifiek naar de semantische subruimte van die cluster, wat leidt tot trouwere prototypes per modus.

3. Belangrijkste Bijdragen

Eerste methode voor consistente, realistische gemiddelden: DMA is de eerste techniek die direct vanuit een voorgeïnstalleerd diffusiemodel een scherp en realistisch "mentaal gemiddelde" produceert, zonder de wazigheid van pixel-middeling.
Trajectoriële uitlijning: De auteurs formuleren het probleem als het aligneren van ontdooiings-trajectoires in de h-space, wat het model toestaat om eerst globale structuren (houding, compositie) te aligneren en daarna pas fijne details.
Uitbreiding naar multimodale concepten: Door clustering en conditioning (LoRA/Textual Inversion) te combineren, kan DMA onderscheidende modi binnen een concept onthullen (bijv. verschillende hondenrassen of etniciteiten).
Generalisatie: De methode werkt over verschillende modelvarianten (Stable Diffusion 1.5, Realistic Vision, DreamShaper) en architecturen (inclusief DiT - Diffusion Transformers).

4. Resultaten en Evaluatie

De auteurs evalueren DMA op 12 concepten (dieren, mensen, objecten, abstracte concepten) en vergelijken dit met baselines zoals GANgealing, Avg. VAE, D4M en MGD3.

Kwaliteit en Realisme: DMA produceert beelden die visueel scherp en realistisch zijn, terwijl baselines vaak wazig zijn (pixel-middeling) of inconsistent (dataset distillatie).
Consistentie: DMA convergeert betrouwbaar naar hetzelfde prototype, ongeacht de initiële ruis. Baselines zoals D4M en MGD3 vertonen grote variatie tussen runs.
Representativiteit: DMA haalt de beste scores op "ImageReward" (een menselijke voorkeur-metric) en is het meest representatief voor de semantische kern van het concept.
Abstracte Concepten: Waar andere methoden falen bij concepten als "vrijheid" of "armoede" (vaak wazig of onherkenbaar), genereert DMA herkenbare symbolen (bijv. het Vrijheidsbeeld voor "vrijheid").
Bias Detectie: De methode onthult succesvol model-biases. Bijvoorbeeld: bij het concept "soldaat" genereren sommige modellen uitsluitend mannelijke figuren, terwijl andere gender-neutraal zijn. DMA maakt deze bias zichtbaar in het prototype.

5. Betekenis en Toekomstperspectief

Het paper biedt een krachtig nieuw instrument voor de interpretatie en analyse van diffusiemodellen:

Model Audit: DMA fungeert als een "lens" om te zien hoe een model een concept intern representeren, wat essentieel is voor het detecteren van vooroordelen (bias) in trainingsdata.
Concept Samenvatting: Het biedt een concrete visuele samenvatting van prompts, nuttig voor het begrijpen van complexe concepten zonder duizenden samples te hoeven inspecteren.
Toekomstige Toepassingen: De auteurs suggereren toepassingen in data-compressie (dataset distillatie), model-debiasing en het sturen van generatief gedrag.

Conclusie: Diffusion Mental Averages vult een belangrijke lacune in de literatuur door een manier te bieden om de "gedachten" van een diffusiemodel visueel en scherp te maken, wat zowel de interpretatie van AI als de kwaliteit van gegenereerde prototypes significant verbetert.