DC-LA: Difference-of-Convex Langevin Algorithm

Technische Samenvatting: DC-LA: Difference-of-Convex Langevin Algorithm

Probleemstelling
Het artikel behandelt het steekproefprobleem vanuit een Gibbs-verdeling $\pi \propto \exp(-V)$ in $\mathbb{R}^d$, waarbij de potentiaalfunctie $V$ samengesteld en niet-glad is. Specifiek beschouwen de auteurs potentialen van de vorm $V = f + r$, waarbij $f$ een Lipschitz-gladde data-trouwterm is, en $r$ een niet-gladde regularisator die is gedefinieerd als een difference-of-convex (DC) functie, d.w.z. $r = r_1 - r_2$ met $r_1$ en $r_2$ convex. Deze setting komt veelvuldig voor in Bayesiaanse inferentie en machine learning, met name bij het gebruik van niet-convexe prioren (bijvoorbeeld $\ell_1 - \ell_2$, Capped-$\ell_1$, of datagedreven prioren gebaseerd op Input-Convex Neural Networks) die sparsiteit of complexe datastructuren beter modelleren dan hun convexe tegenhangers.

Bestaande methoden ondervinden beperkingen in dit regime. Standaard Unadjusted Langevin Algorithms (ULA) vereisen differentieerbaarheid, wat faalt voor niet-gladde $r$. Proximal Langevin-algoritmen (zoals PSGLA) gaan doorgaans ervan uit dat de regularisator zwak convex of convex is. Veel effectieve DC-regularisatoren zijn echter niet zwak convex, waardoor standaard convergentiegaranties niet van toepassing zijn. Bovendien kan het toepassen van een enkele Moreau-hulling op de gehele niet-zwak-convexe term $r$ leiden tot slecht gestelde of discontinuïteiten in de proximale operatoren.

Methodologie: Het DC-LA Algoritme
De auteurs stellen het Difference-of-Convex Langevin Algorithm (DC-LA) voor, een forward-backward steekproefmethode die gebruikmaakt van de specifieke DC-structuur van de regularisator. De kerninnovatie ligt in het apart toepassen van Moreau-gladmaking op de convexe componenten $r_1$ en $r_2$, in plaats van op het verschil $r$ als geheel.

Gegeven een gladmakingsparameter $\lambda > 0$, werkt het algoritme op een geaugmenteerde potentiaal $V_\lambda = (f - r_2^\lambda) + r_1^\lambda$, waarbij $r_i^\lambda$ de Moreau-hulling van $r_i$ aanduidt. De updateregel voor de reeks $\{X_k\}$ is:
$$X_{k+1} = \text{Prox}_{\gamma r_1^\lambda} \left( X_k - \gamma \nabla f(X_k) + \gamma \nabla r_2^\lambda(X_k) + \sqrt{2\gamma} Z_{k+1} \right)$$
waarbij $\gamma$ de stapgrootte is en $Z_{k+1} \sim \mathcal{N}(0, I)$.

Het algoritme wordt ontbonden in elementaire operatoren:

1. Forward-stap: Een gradiëntstap die de gladde term $f$ en de gradiënt van het gladgemaakte concave deel $\nabla r_2^\lambda$ omvat.
2. Backward-stap: Een proximale stap die het gladgemaakte convexe deel $r_1^\lambda$ omvat.

De auteurs merken op dat als $r_2$ al glad is (bijvoorbeeld in bepaalde gestructureerde DC-regularisatoren zoals Geman- of SCAD-straffen), het algoritme vereenvoudigt tot DC-LA-S, waarbij $\nabla r_2$ direct wordt gebruikt zonder gladmaking.

Theoretische Bijdragen en Convergentie
Het artikel stelt convergentiegaranties vast voor DC-LA onder de aanname dat de potentiaal $V$ voldoet aan een distant dissipativity-conditie (ook bekend als sterke convexiteit in het oneindige). Deze conditie vereist dat de drift alleen dissipatief is wanneer punten ver genoeg uit elkaar liggen, een zwakkere aanname dan globale sterke convexiteit.

Belangrijke theoretische resultaten zijn:

• Convergentie in Wasserstein-afstand: Voor elke $q \in \mathbb{N}^*$ wordt de $q$-Wasserstein-afstand tussen de wet van de iteratie $X_k$ en de doelprior $\pi$ begrensd door:
  $$W_q(p_{X_k}, \pi) \leq O(\rho^k \gamma) + O(\gamma^{1/2q}) + O(\lambda^{1/q})$$
  waarbij $\rho \in (0, 1)$. De termen vertegenwoordigen respectievelijk de convergentiesnelheid van de Markov-keten, de discretisatiefout en de gladmakingsfout.
• Algemene Regulariteitsaannames: De analyse bestrijkt een continuüm van regulariteit voor $r_2$:
  1. $r_2$ is Lipschitz-continu (niet-glad).
  2. $r_2$ is differentieerbaar met een $\kappa$-Hölder-continue gradiënt ($0 < \kappa < 1$).
  3. $r_2$ is glad ($C^{1,1}$).
• Omgaan met niet-zwak-convexe functies: In tegenstelling tot eerder werk (bijvoorbeeld Renaud et al., 2025a), dat vereist dat de regularisator zwak convex is, biedt DC-LA convergentiegaranties voor niet-zwak-convexe DC-regularisatoren (zoals $\ell_1 - \ell_2$ en DICNN's), mits de distant dissipativity-conditie geldt.
• Stabiliteitsanalyse: De auteurs maken gebruik van recente stabiliteitsresultaten voor Langevin-dynamica met algemene drifts om de afstand tussen het gediscrétiseerde proces en de invariantieverdeling van de gladgemaakte potentiaal te begrenzen.

Experimentele Resultaten
De auteurs valideren DC-LA via twee sets experimenten:

1. Synthetische Data ($\ell_1 - \ell_2$ Prior): In een 2D-setting met Gaussische likelihoods slaagt DC-LA erin de doeldichtheid correct te vangen, die gedrag ter bevordering van sparsiteit vertoont langs de coördinaatassen. In vergelijking met baselines (ULA, Moreau ULA en PSGLA) produceert DC-LA de meest getrouwe empirische verdelingen, met de laagste gebinde KL-divergentie. PSGLA is wel scherp, maar neigt tot overdreven benadrukking van coördinaten, terwijl ULA-varianten wazig zijn.
2. Real-World Computertomografie (CT): Met behulp van een datagedreven DC-prior gebaseerd op het verschil van twee Input-Convex Neural Networks (DICNN's), voeren de auteurs CT-reconstructie uit op 512 $\times$ 512 abdominale scans. DC-LA herstelt anatomische structuren met een hoge Structurele Similariteit (SSIM) en Peak Signal-to-Noise Ratio (PSNR), vergelijkbaar met een Proximal Subgradient Method (PSM)-optimizer die aanzienlijk meer iteraties uitvoert. Cruciaal biedt DC-LA onzekerheidskwantificatie via pixel-voor-pixel posterior-variatie, waardoor gebieden met hoge onzekerheid (grenzen, fijne texturen) worden benadrukt die deterministische MAP-schattingen missen.

Betekenis en Beweringen
Het artikel claimt een wiskundig onderbouwde kaders te bieden voor het steekproeven uit niet-log-concave, niet-gladde verdelingen met DC-structuur. De primaire betekenis ligt in:

• Uitbreiding van het Bereik van Langevin-steekproeven: Het gaat verder dan de log-concave en zwak-convexe regimes om een bredere klasse van niet-convexe regularisatoren te behandelen die veel worden gebruikt in compressed sensing en inverse problemen.
• Robuustheid tegen Niet-Zwak-Convexiteit: Het is de eerste die convergentiegaranties biedt voor Langevin-achtige algoritmen toegepast op niet-zwak-convexe DC-regularisatoren, zonder de restrictieve aannames die nodig zijn in eerdere literatuur over niet-log-concave steekproeven.
• Praktische Toepasbaarheid: De methode toont effectiviteit in zowel synthetische als real-world toepassingen, en biedt niet alleen puntsschattingen, maar ook betekenisvolle onzekerheidskwantificatie, wat kritiek is voor veiligheidskritische toepassingen zoals medische beeldvorming.

De auteurs erkennen dat hun analyse rust op de distant dissipativity-conditie en dat de Lipschitz-continuïteit van $r_1$ een huidige aanname is, wat suggereert dat toekomstig werk deze condities zou kunnen versoepelen of omgaan met regularisatoren met gemengde groei.