C$^2$FG: Control Classifier-Free Guidance via Score Discrepancy Analysis

Deze paper introduceert C²FG, een trainingsvrije en plug-in methode die de Classifier-Free Guidance versterkt door de geleidingssterkte dynamisch af te stemmen op de diffusieprocessen via een exponentiële afname, gebaseerd op een theoretische analyse van de score-discrepantie.

De kern

Stel je voor dat je een kunstenaar bent die een schilderij maakt, maar je begint met een canvas dat volledig bedekt is met ruis (witte statische ruis, zoals op een oude tv). Je doel is om dit canvas stap voor stap schoon te maken tot er een prachtig beeld van een hond, een landschap of een portret op staat.

Dit is precies hoe Diffusiemodellen werken, de technologie achter tools zoals DALL-E of Midjourney. Ze "ontruisen" een beeld, stap voor stap.

Maar hier is het probleem: hoe zorg je ervoor dat het schilderij precies dat wordt wat je wilt? Bijvoorbeeld, hoe zorg je dat het een hond wordt en niet een kat?

Het oude probleem: De "Vaste" Gids

In het verleden gebruikten deze modellen een techniek genaamd CFG (Classifier-Free Guidance). Je kunt dit zien als een stuurman die het schilderij probeert te leiden.

• De stuurman heeft twee stemmen in zijn hoofd: één die zegt "Maak een willekeurig beeld" (zonder instructie) en één die zegt "Maak een hond" (met instructie).
• Om een goede hond te krijgen, luistert de stuurman harder naar de "hond"-stem dan naar de "willekeurige"-stem. Dit wordt de gids-factor (guidance weight) genoemd.

Het probleem: In de oude methoden was deze gids-factor altijd hetzelfde, van het begin tot het einde van het proces.

• Vergelijking: Stel je voor dat je een auto rijdt. In de eerste fase (wanneer het nog een rommelige ruis is) geef je de auto een stevige duw in de richting van de weg. Maar op het moment dat je al bijna bij je bestemming bent en de weg al duidelijk zichtbaar is, geef je nog steeds precies dezelfde stevige duw.
• Gevolg: Dat is niet slim! In het begin is de weg nog vaag, dus een sterke duw kan helpen. Maar op het einde, als je al bijna stopt, kan diezelfde sterke duw je over het stuur laten slaan, waardoor het beeld vervormt, onnatuurlijk wordt of "ruis" bevat.

De nieuwe oplossing: C2FG (De Slimme Stuurman)

De auteurs van dit paper (van de Universiteit van Shanghai en vivo) hebben gekeken naar de wiskunde achter dit proces en iets belangrijks ontdekt: Het verschil tussen "willekeurig" en "een hond" verandert constant.

• Aan het begin: Het verschil tussen een willekeurig beeld en een hond is heel klein. Alles lijkt nog op ruis. Je hebt dus niet veel "duwkracht" nodig.
• Aan het einde: Het verschil is enorm groot. De ene weg leidt naar een hond, de andere naar een kat. Hier heb je veel "duwkracht" nodig om zeker te zijn dat je op het juiste pad blijft.

De oude meth deed het andersom: hij gaf een constante kracht, terwijl de situatie juist om een veranderende kracht vraagt.

C2FG (Control Classifier-Free Guidance) is de oplossing. Het is als een slimme cruise control voor je auto:

1. Aan het begin (veel ruis): De gids is zacht. Hij laat het proces rustig beginnen, zodat de basis goed wordt gelegd zonder te veel te forceren.
2. Naarmate je verder komt: De gids wordt steeds sterker. Hij grijpt harder in om ervoor te zorgen dat het beeld precies wordt zoals je wilt, zonder dat het vervormt.
3. Aan het einde: De gids is het sterkst, precies op het moment dat de details het belangrijkst zijn.

Waarom is dit zo cool?

1. Geen extra training nodig: Je hoeft het AI-model niet opnieuw te leren. Je past alleen de "stuurman" aan. Het is een plug-in oplossing.
2. Beter resultaat: De schilderijen worden scherper, zien er natuurlijker uit en volgen de instructies (bijv. "hond") beter dan voorheen.
3. Werkt overal: Of je nu een hond tekent, een landschap maakt of 3D-objecten genereert, deze methode werkt voor bijna elk modern AI-systeem.

Samenvattend in één zin:

In plaats van een stijve, constante duw te geven tijdens het maken van een AI-afbeelding, laat C2FG de kracht van die duw slim groeien naarmate het beeld duidelijker wordt, waardoor het eindresultaat veel mooier en natuurlijker is.

Het is alsof je van een ruwe steen een beeldhouwwerk maakt: je begint zachtjes om de vorm te vinden, en wordt steeds krachtiger en preciezer naarmate de details van het gezicht zichtbaar worden.

Technische samenvatting

Titel: C2FG: Classifier-Free Guidance Controleren via Score-Discrepantie-analyse

Auteurs: Jiayang Gao, Tianyi Zheng, et al. (Shanghai Jiao Tong University & vivo BlueImage Lab)

---

1. Het Probleem

Classifier-Free Guidance (CFG) is een fundamentele techniek in conditionele diffusiemodellen om de kwaliteit van gegenereerde samples te verbeteren door conditionele informatie (zoals tekst of labels) te gebruiken. De standaardimplementatie gebruikt een vaste wegingsfactor ($\omega$) tijdens het hele generatieproces.

Het paper identificeert twee hoofdproblemen met deze aanpak:

1. Empirische en statische aard: De keuze voor een vaste $\omega$ is voornamelijk empirisch en negeert de inherente dynamiek van het diffusieproces.
2. Suboptimale prestaties: Bestaande verbeteringen (zoals Interval Guidance of frequentie-gebaseerde methoden) zijn grotendeels heuristisch en gebaseerd op observaties in plaats van een strikte theoretische onderbouwing. Ze negeren vaak het fundamentele feit dat het verschil tussen conditionele en onconditionele data-distributies verandert naarmate het diffusieproces vordert.

2. Methodologie: Theoretische Analyse en C2FG

De auteurs introduceren Control Classifier-Free Guidance (C2FG), een trainingsvrije en plug-in methode die de wegingsfactor dynamisch aanpast op basis van een theoretisch onderbouwde analyse.

A. Theoretische Grondslag

De kern van het paper is een rigoureuze wiskundige analyse van de score-discrepantie (het verschil tussen de scorefuncties van de conditionele en onconditionele distributies) gedurende het diffusieproces.

• Theorema's 1 & 2 (Score MSE Bounds): De auteurs bewijzen dat de gemiddelde kwadratische fout (MSE) tussen de conditionele en onconditionele scores exponentieel afneemt naarmate de tijd $t$ vordert (in de voorwaartse richting).
  • Voor VP-SDE (Variance-Preserving) en VE-SDE (Variance-Exploding) geldt dat de discrepantie een bovengrens heeft die gedraagt als $O(e^{-t})$.
  • Dit betekent dat in de vroege stadia van de generatie (hoge $t$, veel ruis) de conditionele en onconditionele scores zeer vergelijkbaar zijn. In de late stadia (lage $t$, dicht bij de data) divergeren ze sterk.
• Theorema's 3 & 4 (Harnack-type Ongelijkheden): Deze theorema's tonen aan dat de dichtheidsfunctie (PDF) in de vroege stadia ($t \to 0$) moeilijk te begrenzen is en een grote diversiteit vertoont. Dit vereist een sterke sturing om de generatie naar de juiste conditionele manifold te leiden.

Conclusie van de theorie: Een vaste weging is suboptimaal omdat het de inherente verandering in de "kracht" van de conditionele informatie negeert. De ideale weging moet exponentieel afnemen naarmate het proces vordert (of exponentieel toenemen tijdens de terugwaartse sampling).

B. De C2FG Algoritme

Gebaseerd op deze inzichten vervangen de auteurs de vaste $\omega$ door een tijd-afhankelijke controlefunctie:

$$\omega(t) = \omega_0 \exp\left( \lambda \left( 1 - \frac{t}{t_{max}} \right) \right)$$

Waarbij:

• $t$ de huidige tijdstap is.
• $t_{max}$ de maximale diffusietijd is.
• $\omega_0$ de initiële (maximale) wegingssterkte is (vergelijkbaar met de standaard CFG).
• $\lambda$ de snelheid van de exponentiële afname regelt.

Voordelen van dit ontwerp:

• Theoretisch onderbouwd: Het volgt strikt de afgeleide bovengrenzen van de score-discrepantie.
• Trainingsvrij: Vereist geen extra training van een classifier of aanpassing van het model.
• Plug-and-play: Kan worden toegepast op diverse frameworks (Stable Diffusion, DiT, SiT, EDM2) en sampling-methoden (SDE en ODE).
• Interpreteerbaar: $\omega_0$ controleert de maximale sterkte, terwijl $\lambda$ de balans tussen trouw (fidelity) en diversiteit bepaalt.

3. Belangrijkste Bijdragen

1. Theoretische Analyse: Voor het eerst wordt er een strikte theoretische analyse geboden die aantoont dat de discrepantie tussen conditionele en onconditionele scores dynamisch afneemt. Dit legt de basis voor tijd-afhankelijke schaling en blootlegt de beperkingen van vaste gewichten.
2. Methodologische Innovatie (C2FG): Een nieuwe, trainingsvrije methode die de weging exponentieel laat afnemen, wat perfect aansluit bij de diffusiedynamiek.
3. Uitgebreide Validatie: Demonstratie van state-of-the-art (SOTA) prestaties over diverse taken (beeldgeneratie, tekst-naar-beeld) en modellen, inclusief zeer sterke baselines zoals SiT-XL/2 (REPA).

4. Resultaten

De auteurs testen C2FG op verschillende benchmarks (ImageNet, MS-COCO) en modellen (DiT, SiT, Stable Diffusion, EDM2).

• Kwaliteitsverbetering: C2FG levert consistente verbeteringen op in FID (Fréchet Inception Distance) en IS (Inception Score) ten opzichte van standaard CFG en andere dynamische methoden (zoals $\beta$-CFG, RAAG, FDG).
  • Voorbeeld: Op ImageNet-256 met DiT-XL/2 daalt de FID van 2.29 (standaard) naar 2.07 met C2FG.
  • Voorbeeld: Op SiT-XL/2 (REPA) wordt de FID verlaagd van 1.80 naar 1.51.
• Robuustheid: De methode werkt effectief met zowel SDE als ODE samplers en bij verschillende aantallen inferentiestappen (van 20 tot 250 stappen).
• Orthogonaliteit: C2FG kan worden gecombineerd met andere strategieën (zoals Interval Guidance) en levert zelfs op extreem sterke baselines (zoals EDM2 met Autoguidance) nog verdere verbeteringen op (FID daalt van 1.04 naar 1.03).
• Visuele Kwaliteit: Kwalitatieve vergelijkingen tonen aan dat C2FG vervormingen en onscherpe texturen reduceert, vooral in de late fasen van het denoising-proces.

5. Betekenis en Impact

Dit paper is significant omdat het de "black box" van CFG aanpakken met een principe-gedreven theoretisch raamwerk. In plaats van te vertrouwen op heuristieken, biedt C2FG een wiskundig onderbouwde oplossing die de natuurlijke dynamiek van diffusiemodellen respecteert.

• Generaliteit: Het werkt niet alleen voor tekst-naar-beeld, maar ook voor class-conditional generatie en pixel-ruimtemodellen.
• Toekomstperspectief: Het paper suggereert dat toekomstige methoden voor conditionele diffusie gebaseerd moeten zijn op dergelijke theoretische inzichten in score-discrepanties, in plaats van alleen empirische tuning. C2FG fungeert als een krachtige, universele module die de prestaties van bestaande modellen direct kan verhogen zonder extra trainingskosten.