Self-Regulating Annealing in Heavy-Tailed Diffusion Models

Technische Samenvatting: Zelfregulerende Annealing in Heavy-Tailed Diffusiemodellen

Probleemstelling
Standaard diffusiemodellen vertrouwen op Gaussische formuleringen voor zowel de voorwaartse diffusie als de omgekeerde generatieve processen. Hoewel deze aanpak analytische hanteerbaarheid biedt en succesvol is gebleken bij beeldgeneratie, blijft de geschiktheid ervan voor heavy-tailed of uitschietergevoelige datasets onduidelijk. Recente uitbreidingen, specifiek Heavy-Tailed Diffusion Models (HTDMs) gebaseerd op de Student's $t$-verdeling, zijn voorgesteld om de getrouwheid van de staarten te verbeteren. Hoewel HTDMs theoretisch SDE-sampling ondersteunen, heeft de bestaande literatuur (bijv. Pandey et al. [1]) zich primair gericht op ODE-solvers, waardoor het SDE-perspectief grotendeels onverkend is gebleven. Er bestaat een kritieke kloof in het begrip van hoe men een SDE-gebaseerde sampler voor HTDMs kan construeren die de heavy-tailed eigenschappen van de doelverdeling behoudt.

Methodologie
De auteurs stellen een nieuwe SDE-gebaseerde sampler voor HTDMs voor die expliciet een toestandsafhankelijke diffusiecoëfficiënt incorporeert. De methodologie verloopt als volgt:

1. Afleiding van de Reverse SDE: Vertrekkend vanuit de discrete-tijd reverse kernel van HTDMs (die een Student's $t$-verdeling gebruikt), nemen de auteurs de continue-tijd limiet ($\Delta t \to 0$). In tegenstelling tot eerdere benaderingen die de toestandsafhankelijke factor in de posterieure covariantie tijdens de training weglieten, behoudt dit werk de factor $\frac{\nu + \Delta_t^2}{\nu + d}$ en incorporeert deze expliciet tijdens de sampling-fase.
2. Toestandsafhankelijke Coëfficiënt: De resulterende SDE bevat een diffusieterm geschaald door een coëfficiënt $\alpha(\Delta_t^2(x_t), t) = \sqrt{\frac{\nu + \Delta_t^2}{\nu + d - 2}}$. Hierbij is $\Delta_t^2$ de gekwadrateerde Mahalanobis-afstand tussen de huidige ruisige toestand $x_t$ en de schatter van de denoiser van de doeltoestand $D_\theta(x_t, \sigma_t)$.
3. Zelfregulerend Annealing Mechanisme: De auteurs demonstreren theoretisch dat deze toestandsafhankelijkheid een "zelfregulerend annealing mechanisme" induceert.
   • Wanneer de huidige toestand ver van de doelschatter verwijderd is (grote $\Delta_t^2$), neemt de diffusiecoëfficiënt toe, wat sterkere ruis injecteert om bredere exploratie te bevorderen.
   • Wanneer de toestand dicht bij de doeltoestand ligt (kleine $\Delta_t^2$), neemt de diffusiecoëfficiënt af, wat leidt tot mildere ruis en een meer geleidelijke convergentie.
   • Dit gedrag is analoog aan de toestandsafhankelijke modulatie van de effectieve temperatuur in gedeformeerde associatieve geheugenmodellen.
4. Sampling Algoritme: De voorgestelde sampler (Algoritme 1) lost deze SDE numeriek op (met behulp van de Euler–Maruyama methode) van $t=T$ naar $t=0$, beginnend vanuit een Student's $t$ prior.

Belangrijkste Bijdragen

• Nieuwe Sampler: Het artikel stelt de eerste SDE-gebaseerde sampler voor die specifiek is ontworpen voor HTDMs en die expliciet de uit de Student's $t$ posterieure afgeleide toestandsafhankelijke diffusiecoëfficiënt bevat.
• Theoretisch Inzicht: Het biedt een theoretische demonstratie dat de toestandsafhankelijkheid van de diffusiecoëfficiënt een zelfregulerend annealing mechanisme induceert, waarbij de HTDM-dynamica wordt gekoppeld aan geheugenretrieledynamica in de statistische fysica.
• Empirische Validatie: Door experimenten uit te voeren op een synthetische eendimensionale Student's $t$ dataset, tonen de auteurs aan dat deze toestandsafhankelijkheid noodzakelijk is voor het reproduceren van heavy-tailed verdelingen.

Experimentele Resultaten
De auteurs evalueerden vier samplers op een synthetische dataset ($St_1(x|0, 1, 3)$):

1. VE-SDE: Een standaard Gaussische baseline.
2. t-ODE: Een ODE-gebaseerde sampler voor HTDMs (uit eerder werk).
3. t-SDE: De voorgestelde SDE-gebaseerde sampler met de toestandsafhankelijke coëfficiënt.
4. Ablated t-SDE: De voorgestelde SDE-sampler waarbij de toestandsafhankelijke coëfficiënt op 1 is gezet (constant).

Bevindingen:

• Tail Fidelity: De t-SDE en t-ODE kwamen nauw overeen met de grondwaarheid in de extreme staarten (kwantiel-kwantiel plots en extreme staart-waarschijnlijkheden). In contrast hiermee onderschatte de Gaussische VE-SDE de staartwaarschijnlijkheden ernstig, en de Ablated t-SDE slaagde er niet in om samples in de extreme staarten te genereren (waarbij de waarschijnlijkheid tot nul werd gereduceerd).
• Algehele Kwaliteit: Hoewel de ablatie-versie van de t-SDE een slechte algehele kwaliteit vertoonde (hoge 1-Wasserstein afstand), bereikte de voorgestelde t-SDE een prestatie die vergelijkbaar is met de t-ODE en superieur is aan de Gaussische baseline.
• Conclusie: De toestandsafhankelijke diffusiecoëfficiënt is essentieel voor het getrouw reproduceren van heavy-tailed gedrag.

Betekenis en Claims
Het artikel claimt dat de voorgestelde SDE-gebaseerde sampler de kloof overbrugt tussen het theoretische potentieel van HTDMs en praktische sampling. Door de toestandsafhankelijke diffusiecoëfficiënt expliciet te incorporeren, bereikt de sampler van nature een zelfregulerend annealing mechanisme dat de effectieve ruisschaal aanpast op basis van de afstand tot het doel. De auteurs stellen dat dit mechanisme niet louter een theoretische curiositeit is, maar een praktische noodzaak voor het genereren van samples uit heavy-tailed verdelingen, zoals bewezen door het falen van de geablateerde variant.

Beperkingen
De auteurs merken op dat hun huidige evaluatie beperkt is tot een synthetische eendimensionale setting. De selectie van de vrijheidsgraden-parameter ($\nu$) werd uitgevoerd via een kleine sweep, en het artikel identificeert het uitbreiden van deze analyse naar hoogdimensionale benchmarks (bijv. afbeeldingen) en het ontwikkelen van principiële methoden voor het selecteren van $\nu$ als richtingen voor toekomstig werk.