Technische Samenvatting: CFG-OEC (Classifier Free Guidance met Orthogonale Error Correctie)

1. Probleemstelling

Classifier-Free Guidance (CFG) is de facto standaard voor conditionele sampling in diffusiemodellen, waardoor het mogelijk is om steekproeven te genereren met gewenste eigenschappen (bijvoorbeeld tekstuitlijning) zonder een externe classifier te vereisen. De auteurs identificeren echter een fundamentele structurele mismatch tussen het trainingsdoel en de samplingprocedure in CFG.

Tijdens training leert een enkel model zowel conditionele ($\epsilon_\theta(x_t | y)$) als onvoorwaardelijke ($\epsilon_\theta(x_t)$) voorspellingen via stochastische condition dropout. Tijdens het moment van sampling construeert CFG een geleide predictor als een lineaire combinatie van deze twee geleerde modi:
$$\epsilon_\theta^{(w)}(x_t | y) = w \epsilon_\theta(x_t | y) + (1-w) \epsilon_\theta(x_t)$$
Het artikel stelt dat deze geleide predictor geen direct trainingsdoel is. Bijgevolg introduceert hun lineaire combinatie op het moment van sampling, zelfs als de individuele conditionele en onvoorwaardelijke voorspellingen accuraat zijn, een structurele samplingfout. Deze fout ontstaat uit de interactie tussen de conditionele en onvoorwaardelijke voorspellingfouten, een component die niet expliciet wordt gecontroleerd of bestraft tijdens het standaardtrainingsproces.

2. Methodologie

2.1 Error Decompositie

De auteurs analyseren de samplingfout door de Mean Squared Error (MSE) van de geleide predictor te ontleden in drie componenten:

1. Basisfout: De gewogen som van de gekwadrateerde normen van de conditionele en onvoorwaardelijke voorspellingfouten. Deze worden geminimaliseerd tijdens training.
2. Cross Error: Een interactieterm bepaald door het inproduct (uitlijning) van de conditionele en onvoorwaardelijke errorvectoren: $2w(1-w)\langle \Delta_c, \Delta_{uc} \rangle$.

De analyse toont aan dat de cross error een niet-triviale structurele component is van de samplingfout. Afhankelijk van de guidance-schaal $w$, kan deze term de totale fout verhogen (bijvoorbeeld wanneer $w \in (0,1)$) of incidenteel verlagen (wanneer $w > 1$), maar in beide gevallen wordt deze niet gecontroleerd door het trainingsdoel.

2.2 Orthogonale Error Correctie (OEC)

Om deze structurele fout te mitigeren, stelt het artikel CFG-OEC voor, dat erop gericht is de cross error-term te elimineren door orthogonaliteit af te dwingen tussen de conditionele en onvoorwaardelijke errorvectoren.

• Theoretisch Mechanisme: De methode projecteert de onvoorwaardelijke errorvector $\Delta_{uc}$ op de deelruimte die orthogonaal is aan de conditionele errorvector $\Delta_c$. Door de component van $\Delta_{uc}$ die uitgelijnd is met $\Delta_c$ te verwijderen, wordt de interactieterm $\langle \Delta_c, \Delta_{uc} \rangle$ gereduceerd tot nul.
• Theoretische Garantie: Aangezien orthogonale projectie de norm van een vector niet vergroot, reduceert deze correctie de totale samplingfout zonder de basisfoutcomponent te verhogen.

2.3 Praktische Implementatie: Proxy en Dynamische Mixing

In real-world beeldgeneratie is de ground-truth ruis $\epsilon^*_t$ niet beschikbaar, waardoor directe berekening van errorvectoren onmogelijk is. De auteurs introduceren twee praktische mechanismen:

1. Voorspelling-gebaseerde Proxy: In plaats van ground truth, construeert de methode proxies voor de ruisdoeleinden via lineaire extrapolatie vanuit aangrenzende timesteps ($t$ en $t+1$). Specifiek: $\hat{\epsilon}_t \approx 2\epsilon_\theta(x_t) - \epsilon_\theta(x_{t+1})$. Deze proxies dienen als surrogaten om de lokale directionele trends van de errorvectoren te schatten.
2. Dynamische Mixing: Om stabiliteit te waarborgen, past de methode de correctie niet blind toe. Het berekent de cosinus-ähnelijkheid ($s$) tussen de op proxy gebaseerde errorvectoren. Als de uitlijning te sterk is (wat wijst op potentiële proxy-onnauwkeurigheid of instabiliteit), wordt de correctie gedempt. De uiteindelijke onvoorwaardelijke voorspelling is een dynamische mix van de gecorrigeerde vector en de originele modelvoorspelling, gewogen door $s$.

3. Belangrijkste Bijdragen

• Structurele Analyse: Het artikel biedt een theoretische decompositie van CFG samplingfout, waarbij de "cross error" wordt geïdentificeerd als een distincte, ongecontroleerde structurele beperking die voortkomt uit de mismatch tussen training en sampling.
• CFG-OEC Algorithmus: Een nieuwe correctiemethode op het moment van sampling die errorvectoren orthogonaliseert om de interactieterm te reduceren, met theoretische garantie voor een reductie van de samplingfout.
• Proxy Constructie: Een praktisch kader voor het toepassen van orthogonale correctie in hoogdimensionale settings zonder toegang tot ground-truth ruis, gebruikmakend van geëxtrapoleerde modelvoorspellingen.
• Dynamische Stabilisatie: Een mechanisme om de correctiestrtekte adaptief te controleren op basis van de uitlijning van proxy-fouten, waarbij een evenwicht wordt gezocht tussen correctie-effectiviteit en stabiliteit.

4. Experimentele Resultaten

De auteurs valideren CFG-OEC via zowel gecontroleerde theoretische experimenten als grootschalige beeldgeneratietaken.

• Gecontroleerde Omgeving (2D GMM): In een 2D Gaussian Mixture Model waar ground truth toegankelijk is, bevestigen experimenten de theoretische foutdecompositie. De cross error staat voor ongeveer 10–15% van de basisfout in regimes met lage guidance. Orthogonale correctie reduceert consistent de totale samplingfout over verschillende guidance-schalen.
• Beeldgeneratie (Stable Diffusion v1.5 & XL):
  • Maten: Geëvalueerd op de MSCOCO 10k validatieset met FID (beeldtrouw) en CLIP-scores (tekstuitlijning).
  • Prestatie: CFG-OEC presteert beter dan standaard CFG en de recente CFG++ baseline over meerdere samplers (DDIM, UniPC, DPM-Solver++).
  • Regime met Lage Guidance: De meest significante verbeteringen worden waargenomen in regimes met lage guidance (bijvoorbeeld $w=0.5$), waar de cross error het meest schadelijk is.
  • Regime met Hoge Guidance: De methode blijft concurrerend, met verbeteringen in zowel FID als CLIP bij hogere schalen (bijvoorbeeld $w=5.0, 7.5$), hoewel sommige regimes een milde trade-off tussen trouw en uitlijning vertonen.
  • Visuele Kwaliteit: Kwalitatieve resultaten tonen aan dat CFG-OEC structurele artefacten reduceert (bijvoorbeeld extra ledematen, onleesbare tekst, misuitgelijnde objecten) en coherenter structuren produceert in vergelijking met CFG++.

5. Betekenis en Claims

Het artikel stelt dat CFG-OEC een praktische en theoretisch gemotiveerde oplossing biedt voor een specifieke structurele bron van fouten in diffusiemodellen.

• Theoretisch Inzicht: Het verschuift de focus van het louter aanpassen van guidance-schalen of geometrische beperkingen naar het aanpakken van de fundamentele foutstructuur die wordt veroorzaakt door de lineaire combinatie van conditionele en onvoorwaardelijke voorspellingen.
• Praktisch Nut: De methode is eenvoudig te implementeren, vereist geen hertraining van het diffusiemodel en is compatibel met bestaande samplers en modellen.
• Robuustheid: De dynamische mixing-strategie zorgt ervoor dat de correctie stabiel blijft, zelfs wanneer de proxy-schattingen onvolmaakt zijn, waardoor het geschikt is voor real-world implementatie.

De auteurs concluderen dat hoewel verbeterde training de grootte van individuele fouten vermindert, CFG-OEC een noodzakelijk mechanisme biedt om de interactie tussen deze fouten te controleren, waardoor stabielere en consistenter conditionele sampling mogelijk wordt.