Heteroscedasticity of Denoising Score Matching with Generalised Smooth Noise

Technische Samenvatting: Heteroscedasticiteit van Denoising Score Matching met Gegeneraliseerde Gladde Ruis

Probleemstelling
Denoising Score Matching (DSM) is de standaard tractabele proxy geworden voor Score Matching (SM) in moderne generatieve modellering, met name in energy-based en diffusiemodellen. Hoewel fundamenteel werk door Vincent (2011) vaststelde dat de verwachte gradiënten van DSM- en SM-objectieven equivalent zijn, wat leidde tot de aanname dat DSM een "gratis" substituut is, betoogt dit artikel dat deze equivalentie incompleet is. De auteurs demonstreren dat DSM niet louter een ruisige benadering is van SM, maar een fundamenteel statistisch verschil introduceert: inherente heteroscedasticiteit. In DSM fluctueert de variantie van de regressiedoelen (de denoising scores) onvoorspelbaar op basis van zowel het ruisniveau als de lokale geometrie van de onderliggende datadistributie. Deze input-afhankelijke variantie creëert een onherleidbare ruisvloer die de trainingsdynamiek destabiliseert en leidt tot statistisch inefficiënte schatters als dit onbehandeld blijft.

Methodologie
Het artikel ontwikkelt een rigoureus statistisch kader om deze heteroscedasticiteit te analyseren en te corrigeren voor willekeurige orde scorefuncties en algemene gladde ruisdistributies (een uitbreiding voorbij de standaard Gaussische aannames).

1. Theoretische Afleiding van Heteroscedasticiteit:

   • De auteurs leiden een iteratieve recursie af voor willekeurige orde scorefuncties (Stelling 3.3) die toepasbaar is op algemene gladde ruisdistributies.
   • Gebruikmakend van een Pythagoreïsche decompositie van de $L_2$-loss, bewijzen zij dat de DSM-objectief een onherleidbare variantieterm bevat ($tr \, E[V_{x_0|xt}(h_k)]$) die niet bestaat in de ware SM-objectief (Stelling 3.5).
   • Zij tonen aan dat deze term dynamisch afhankelijk is van de input $x_t$ en het ruisniveau $t$, en fungeert als een "onvermijdelijke, onderliggende ruisvloer" die parameters en gradiënten destabiliseert (Lemma 3.8).

2. Godambe-Optimale Weging:

   • Om deze heteroscedasticiteit tegen te gaan, leiden de auteurs de variantie-optimale (Godambe) wegingsfunctie af (Lemma 3.10). Deze ideale gewichtsmatrix $W$ is het inverse van de conditionele variantie van de denoising target ($W = V_{x_0|xt}[h_k]^{-1}$).
   • Het toepassen van dit gewicht maakt de objectief theoretisch homoscedastisch en herstelt de Best Linear Unbiased Estimator (BLUE) in ideale settings.
   • De auteurs merken echter op dat deze optimale oplossing afhankelijk is van onhandelbare grootheden (conditionele hogere-orde momenten of lokale kromming) in hoog-dimensionale settings, wat exacte correctie onpraktisch maakt.

3. Praktische Benadering:

   • In het besef van de computationele onhandelbaarheid van de optimale gewichten, stellen de auteurs een eerste-orde Taylor-expansie benadering voor (Lemma 3.12).
   • Deze benadering steunt op de Fisher-informatie van de ruisdistributie in plaats van de datagedreven kromming.
   • Cruciaal is dat zij een fundamentele trade-off identificeren: terwijl de ideale wegingsmethode de asymptotische variantie van de estimator minimaliseert, kan het de variantie van stochastische gradiënten tijdens de training verhogen. Omgekeerd vermindert de benadering de gradiëntvariantie (wat de optimalisatiestabiliteit verbetert) ten koste van de statistische efficiëntie (Lemma 3.14).

Belangrijkste Bijdragen

• Intrinsieke Heteroscedasticiteit van DSM: Het artikel bewijst dat DSM een input-afhankelijke variantie induceert die bepaald wordt door ruisniveaus en datageometrie, waarmee een fundamenteel statistisch gat tussen DSM en SM wordt vastgesteld (Stelling 3.5).
• Optimale Weging en Limieten: De auteurs leiden de Godambe-optimale wegingsfunctie af om homoscedasticiteit te herstellen, maar tonen aan dat deze afhankelijk is van onhandelbare grootheden, wat de praktische grenzen van exacte correctie benadrukt (Lemma than 3.10).
• Theoretische Grondslag voor Heuristieken: Het kader is generaliseerbaar naar willekeurige score-ordes en ruisdistributies. Het biedt een theoretische rechtvaardiging voor de breed gebruikte $\sigma_t^2$ wegingsheuristiek in isotrope Gaussische diffusie, waarbij wordt getoond dat dit voortkomt als een specifieke instantie van de voorgestelde benadering (Lemma 3.12).
• Statistische versus Optimalisatie Trade-off: Het werk verheldert dat statistisch optimale wegingsmethoden de gradiëntvariantie kunnen verhogen, terwijl de benaderde heuristieken de optimalisatiestabiliteit verbeteren maar suboptimale estimators opleveren (Lemma 3.8).

Resultaten
De auteurs valideren hun theorie via experimenten op synthetische en standaard datasets:

• Tweede-Orde Score Estimatie: Bij een Gaussian Mixture Model (GMM) vertoonde ongegewogen DSM ernstige instabiliteit en slechte convergentie. Zowel de ideale als de Taylor-geapproximde wegingsschema's stabiliseerden de training. De ideale wegingsmethode voorkwam echter volledig de divergentie in de latere stadia bij lage ruisniveaus die bij de benadering werd waargenomen.
• Niet-Gaussische Ruis: Experimenten op een 1D Mixture of Cauchy-dataset, gecorrumpeerd door diverse ruisfamilies (Cauchy, Generalized Normal, Laplace, Student-t), toonden aan dat training zonder gewichten resulteerde in ernstige prestatieverslechtering (hoge MAPE). Het toepassen van de afgeleide eerste-orde optimale gewichten verminderde de Mean Absolute Percentage Error (MAPE) aanzienlijk over alle ruisdistributies.
• Gradiëntvariantie: Empirische analyse van modelparametergradiënten onthulde dat hoewel ideale gewichten de parametervariantie asymptotisch minimaliseren, de benaderde (heuristische) gewichten aanzienlijk lagere gradiëntvariantie bereiken tijdens de training, met name naarmate de ruisniveaus toenemen. Dit bevestigt de theoretische trade-off tussen statistische efficiëntie en optimalisatiestabiliteit.
• Hoog-Dimensionale Datasets: Op standaard generatieve datasets (Spiral, Moons, MNIST, CIFAR-10) zorgde het opnemen van de eerste-orde benadering of Hutchinson-gebaseerde kromming-schattingen voor kleine maar consistente verbeteringen in de distributiemodellering (lagere MAPE) vergeleken met ongegewogen baselines.

Betekenis en Claims
Het artikel claimt het begrip van DSM fundamenteel te verschuiven van een "gratis" substituut voor SM naar een onderscheiden schattingsprobleem met een eigen ruisstructuur. Door DSM te formaliseren als een heteroscedastisch schattingsprobleem, biedt het werk:

1. Een verklaring voor het empirische succes van bestaande heuristieken (zoals $\sigma_t^2$ wegingsmethode) terwijl de beperkingen ervan worden verduidelijkt (het onvermogen om complexe lokale geometrieën te vatten).
2. Een principieel kader voor het afleiden van wegingsfuncties voor niet-Gaussische en hogere-orde diffusiemodellen, waarmee een gat wordt gevuld waar voorheen heuristische strategieën ontbraken.
3. Een nadruk op het feit dat het verbeteren van DSM vereist dat men een balans vindt tussen statistische efficiëntie en optimalisatiestabiliteit, wat suggereert dat toekomstig werk deze trade-off moet navigeren in plaats van slechts één aspect te optimaliseren.

De auteurs blijven bescheiden en erkennen dat hun benadering steunt op Fisher-informatie en de resterende heteroscedasticiteit van complexe target-geometrieën negeert. Zij merken op dat het vertalen van deze gestabiliseerde objectieven naar efficiënte generatie in niet-Gaussische settings gespecialiseerde samplers zal vereisen om potentiële discontinuïteiten in Stochastic Differential Equations (SDE's) aan te pakken.