Technische Samenvatting: Divide-and-Denoise

Probleemstelling

De proliferatie van vooraf getrainde diffusiemodellen biedt aanzienlijke mogelijkheden voor compositie, waardoor gebruikers de expertise van meerdere gespecialiseerde modellen kunnen combineren (bijv. een model getraind op honden en een ander op katten) om complexe data te genereren die geen enkel individueel model alleen zou kunnen produceren. Het naïef combineren van deze modellen brengt echter twee primaire uitdagingen met zich mee:

1. Dominantie: Eén model kan de anderen overstemmen, wat leidt tot de verwaarlozing van specifieke concepten.
2. Discrepantie: Modellen kunnen met elkaar in conflict raken, wat resulteert in incoherente outputs, overlappende objecten of mismatched attributen (bijv. een "hond" en een "kat" die samensmelten tot één incoherente vlek).

Bestaande benaderingen, zoals het definiëren van composiete distributies via productdichtheden of door de gebruiker gedefinieerde ruimtelijke partities (bijv. MultiDiffusion), falen vaak in het behouden van de onderscheidende kenmerken van elk model wanneer er conflicten optreden. Door de gebruiker gedefinieerde partities zijn omslachtig, vaak onhaalbaar voor complexe domeinen (zoals eiwitstructuren) en passen ze zich niet aan de specifieke sterktes of zwaktes van de modellen aan tijdens verschillende stadia van het generatieproces.

Methodologie: Divide-and-Denoise

De auteurs stellen Divide-and-Denoise voor, een speltheoretisch framework dat meerdere vooraf getrainde diffusiemodellen coördineert tijdens het samplingsproces. De methode werkt via twee gekoppelde processen die bij elke tijdstap $t$ gelijktijdig evolueren:

1. Het Verdelingsproces (Rechtvaardige Toewijzing)

In plaats van vaste partities, indiceert de methode online een optimale "verdeling van arbeid". De latente afbeelding wordt behandeld als een verzameling van $m$ kenmerken (goederen) die worden toegewezen aan $n$ modellen (spelers).

• Utiliteiten: Elk model $i$ krijgt een utiliteit $u_{ij}(x, t)$ voor elk kenmerk $j$ van de latente $x$. Het artikel definieert twee soorten utiliteiten:
  • Score-gebaseerd: Afgeleid van de grootte van het verschil in score tussen conditionele en onconditionele guidance (toe te passen op elk conditioneel diffusiemodel).
  • Attention-gebaseerd: Afgeleid van cross-attention kaarten (specifiek voor modellen met cross-attention conditionering).
• Rechtvaardige Verdelingsgame: Bij elke stap lost de methode een rechtvaardige verdelingsgame op om een toewijzingsmatrix $Q$ te bepalen. Het doel is om de verwachte totale utiliteit (efficiëntie) te maximaliseren onder rechtvaardigheidscriteria (bijv. proportionaliteit, envy-freeness).
• Optimalisatie: De toewijzing $Q_t$ wordt bijgewerkt door een geoptimaliseerd probleem op te lossen dat wordt geregulariseerd door de Kullback-Leibler divergentie van de toewijzing van de vorige tijdstap om temporele gladheid te garanderen. De oplossing wordt afgeleid via een duaal probleem, wat een decomponeerbare toewijzing oplevert waarbij elk kenmerk een fractioneel gewicht aan elk model wordt toegewezen.

2. Het Composiet Denoising Proces

Zodra de toewijzing $Q_t$ is bepaald, construeert de methode een composiet denoising kernel $p^c_t$ die aansluit bij deze verdeling.

• Uitlijning: De composiete update wordt geformuleerd zodanig dat de denoising stap voor kenmerken die aan model $i$ zijn toegewezen, dicht bij de propositie van model $i$ blijft, terwijl de totale utiliteit wordt gemaximaliseerd.
• Update Regel: Onder vereenvoudigende aannames (gefactoriseerde distributies en lineaire utiliteit) wordt de optimale composiete gemiddelde $\mu^c_t$ afgeleid als een gewogen som van individuele modelgemiddelden plus een guidance term:
  $$\mu^c_t = \sum_{i=1}^n \mu^i_t(x_t) \odot Q^i_t + \frac{\sigma^2_t}{\alpha_t} \nabla_{x_t} U_t(x_t, Q)$$
  Hierbij staat $\odot$ voor de kenmerk-gewijze product, en de tweede term fungeert als een guidance update gebaseerd op de gradiënt van de totale utiliteit.
• Fictieve Speler: Om regio's met een lage utiliteit te behandelen waar modellen kunnen conflicteren of een gebrek aan voorkeur hebben, wordt een "fictieve speler" geïntroduceerd met een uniforme utiliteit. De propositie van deze speler is het gemiddelde van alle modellen, wat samenwerking in ambigue regio's stimuleert zonder rechtvaardigheidscriteria op deze speler af te dwingen.

Belangrijkste Bijdragen

1. Inference-Time Coördinatie Algoritme: Een methode om meerdere vooraf getrainde diffusiemodellen met verschillende expertise te coördineren zonder dat zij gedeelde gewichten, architecturen of trainingsdata vereisen.
2. Gekoppelde Processen: De integratie van een dynamisch verdelingsproces (het oplossen van een rechtvaardige verdelingsgame) met een composiet denoising proces (het uitlijnen van modellen aan hun toegewezen regio's).
3. Utiliteit Formuleringen: Algemene definities voor modelutiliteiten toepasbaar op elk conditioneel diffusiemodel (score-gebaseerd) en een specifieke instantie voor cross-attention modellen (attention-gebaseerd).
4. Empirische Validatie: Demonstratie dat een team van single-concept modellen, gecoördineerd via deze methode, beter presteert dan bestaande compositietechnieken en zelfs multi-concept modellen op standaard benchmarks.

Experimentele Resultaten

De methode werd geëvalueerd op conditionele beeldgeneratie met gebruik van Stable Diffusion 2.0 en Diffusion Transformer (DiT) modellen.

• Benchmarks: Evaluatie werd uitgevoerd met de GenEval benchmark (gericht op de aanwezigheid van objecten en attribuutbinding), CLIP-Score, VQAScore, en ImageReward.
• Prestaties:
  • Objectgeneratie: In de "Concepts as Objects" setting (bijv. het genereren van een afbeelding met een handtas en een sportbal), presteerde Divide-and-Denoise aanzienlijk beter dan baselines zoals Averaging, Composable Diffusion, en MultiDiffusion. Voor generatie met 3 objecten behaalde het 59,5% op de GenEval "%images" metriek vergeleken met 14,75% voor Multi-Concept Diffusion en 14,00% voor MultiDiffusion.
  • Attribuutbinding: Bij het genereren van objecten met specifieke kleuren (bijv. een "oranje paard"), slaagde de methode erin attributen aan de juiste objecten te binden, waarbij het de baselines overtrof die vaak leden aan attribuut-lekken of ontbrekende objecten.
  • Conflictresolutie: In scenario's met conflicterende concepten (bijv. "woestijn" versus "sneeuwberg"), produceerde de methode diverse ruimtelijke lay-outs en hogere kwaliteit afbeeldingen dan de baselines, waarbij het vermeed dat incompatibele concepten in elkaar overvloeiden.
  • Rechtvaardigheid: De inclusie van rechtvaardigheidscriteria (proportionaliteit) verbeterde de metrieken verder, vooral naarmate het aantal modellen toenam, waardoor werd voorkomen dat een enkel model de generatie domineerde.

Betekenis en Claims

Het artikel claimt dat Divide-and-Denoise een algemeen recept biedt voor controleerbare en herbruikbare generatieve modellering. De betekenis ligt in:

• Het Oplossen van Conflicten: Het lost effectief conflicten tussen modellen op zonder dat handmatige interventie of ground-truth partities nodig zijn.
• Model-Agnostisch: De formulering is niet gebonden aan specifieke modelarchitecturen of conditioneringsmechanismen, en werkt zowel met latent diffusion modellen (Stable Diffusion) als transformer-gebaseerde modellen (DiT).
• Coöperatieve Interactie: Het benadrukt dat coöperatieve interactie tussen vooraf getrainde modellen, bemiddeld door speltheoretische rechtvaardigheid, resultaten kan opleveren die superieur zijn aan het trainen van een enkel groot multi-concept model.
• Schaalbaarheid: De methode schaalt naar meerdere modellen (getest tot 4) en domeinen, met potentiële uitbreidingen naar text-to-graph, text-to-audio, en audio-to-image generatie.

De auteurs merken op dat hoewel de methode extra computationele overhead introduceert (voornamelijk in de verdelingsfase), runtime-optimalisaties (zoals het beperken van de verdelings- en guidance-stappen tot de vroege tijdstappen) de kosten aanzienlijk kunnen verlagen terwijl de prestatiewinst behouden blijft.