DC-LA: Difference-of-Convex Langevin Algorithm

Résumé Technique : DC-LA : Algorithme de Langevin Différence de Convexité

Énoncé du Problème
L'article aborde le problème d'échantillonnage à partir d'une distribution de Gibbs $\pi \propto \exp(-V)$ dans $\mathbb{R}^d$, où la fonction de potentiel $V$ est composite et non lisse. Plus précisément, les auteurs considèrent des potentiels de la forme $V = f + r$, où $f$ est un terme de fidélité aux données lipschitzien et lisse, et $r$ est un régularisateur non lisse défini comme une fonction différence de convexes (DC), c'est-à-dire $r = r_1 - r_2$ avec $r_1$ et $r_2$ convexes. Ce cadre se présente fréquemment en inférence bayésienne et en apprentissage automatique, en particulier lors de l'utilisation de priors non convexes (par exemple, $\ell_1 - \ell_2$, Capped-$\ell_1$, ou des priors basés sur des Données-Driven issus de Réseaux de Neurones à Entrée Convexe) qui modélisent mieux la parcimonie ou des structures de données complexes que leurs équivalents convexes.

Les méthodes existantes rencontrent des limites dans ce régime. Les Algorithmes de Langevin Non Ajustés (ULA) standards exigent la différentiabilité, ce qui échoue pour un $r$ non lisse. Les algorithmes de Langevin proximaux (comme PSGLA) supposent généralement que le régularisateur est faiblement convexe ou convexe. Cependant, de nombreux régularisateurs DC efficaces ne sont pas faiblement convexes, rendant les garanties de convergence standards inapplicables. De plus, l'application d'une seule enveloppe de Moreau au terme entier non faiblement convexe $r$ peut conduire à des opérateurs proximaux mal posés ou discontinus.

Méthodologie : L'Algorithme DC-LA
Les auteurs proposent l'Algorithme de Langevin Différence de Convexité (DC-LA), un échantillonneur forward-backward qui exploite la structure DC spécifique du régularisateur. L'innovation centrale réside dans l'application du lissage de Moreau séparément aux composantes convexes $r_1$ et $r_2$ plutôt qu'à la différence $r$ dans son ensemble.

Étant donné un paramètre de lissage $\lambda > 0$, l'algorithme opère sur un potentiel augmenté $V_\lambda = (f - r_2^\lambda) + r_1^\lambda$, où $r_i^\lambda$ désigne l'enveloppe de Moreau de $r_i$. La règle de mise à jour pour la séquence $\{X_k\}$ est :
$$X_{k+1} = \text{Prox}_{\gamma r_1^\lambda} \left( X_k - \gamma \nabla f(X_k) + \gamma \nabla r_2^\lambda(X_k) + \sqrt{2\gamma} Z_{k+1} \right)$$
où $\gamma$ est la taille de pas et $Z_{k+1} \sim \mathcal{N}(0, I)$.

L'algorithme est décomposé en opérateurs élémentaires :

1. Étape Forward : Une étape de gradient impliquant le terme lisse $f$ et le gradient de la partie concave lissée $\nabla r_2^\lambda$.
2. Étape Backward : Une étape proximale impliquant la partie convexe lissée $r_1^\lambda$.

Les auteurs notent que si $r_2$ est déjà lisse (par exemple, dans certains régularisateurs DC structurés comme les pénalités Geman ou SCAD), l'algorithme se simplifie en DC-LA-S, où $\nabla r_2$ est utilisé directement sans lissage.

Contributions Théoriques et Convergence
L'article établit des garanties de convergence pour DC-LA sous l'hypothèse que le potentiel $V$ satisfait une condition de dissipativité à distance (également connue sous le nom de forte convexité à l'infini). Cette condition exige que la dérive soit dissipative uniquement lorsque les points sont suffisamment éloignés, une hypothèse plus faible que la forte convexité globale.

Les résultats théoriques clés incluent :

• Convergence en Distance de Wasserstein : Pour tout $q \in \mathbb{N}^*$, la distance de Wasserstein $q$ entre la loi de l'itééré $X_k$ et la distribution cible $\pi$ est bornée par :
  $$W_q(p_{X_k}, \pi) \leq O(\rho^k \gamma) + O(\gamma^{1/2q}) + O(\lambda^{1/q})$$
  où $\rho \in (0, 1)$. Les termes représentent respectivement le taux de convergence de la chaîne de Markov, l'erreur de discrétisation et l'erreur de lissage.
• Hypothèses Générales de Régularité : L'analyse couvre un continuum de régularité pour $r_2$ :
  1. $r_2$ est lipschitzien (non lisse).
  2. $r_2$ est différentiable avec un gradient $\kappa$-Hölderien continu ($0 < \kappa < 1$).
  3. $r_2$ est lisse ($C^{1,1}$).
• Gestion des Fonctions Non Faiblement Convexes : Contrairement aux travaux antérieurs (par exemple, Renaud et al., 2025a) qui exigent que le régularisateur soit faiblement convexe, DC-LA fournit des garanties de convergence pour les régularisateurs DC non faiblement convexes (tels que $\ell_1 - \ell_2$ et les DICNN), à condition que la condition de dissipativité à distance soit satisfaite.
• Analyse de Stabilité : Les auteurs utilisent des résultats récents de stabilité pour les dynamiques de Langevin avec des dérives générales afin de borner la distance entre le processus discrétisé et la distribution invariante du potentiel lissé.

Résultats Expérimentaux
Les auteurs valident DC-LA à travers deux ensembles d'expériences :

1. Données Synthétiques (Prior $\ell_1 - \ell_2$) : Dans un cadre 2D avec des vraisemblances gaussiennes, DC-LA capture avec succès la densité cible, qui présente un comportement favorisant la parcimonie le long des axes de coordonnées. Comparé aux bases de référence (ULA, Moreau ULA et PSGLA), DC-LA produit les distributions empiriques les plus fidèles, atteignant la divergence KL binnée la plus faible. PSGLA, bien que net, a tendance à surestimer les coordonnées, tandis que les variantes ULA sont floues.
2. Tomographie Computérisée (CT) Réelle : En utilisant un prior DC basé sur les données issu de la différence de deux Réseaux de Neurones à Entrée Convexe (DICNNs), les auteurs effectuent une reconstruction CT sur des scans abdominaux de 512 $\times$ 512. DC-LA récupère les structures anatomiques avec une Similarité Structurelle (SSIM) et un Rapport Signal-sur-Bruit de Crête (PSNR) élevés, comparables à un optimiseur par Méthode de Sous-Gradient Proximal (PSM) exécuté pour un nombre d'itérations significativement plus élevé. Crucialement, DC-LA fournit une quantification de l'incertitude via la variance a posteriori pixel par pixel, mettant en évidence les régions de forte incertitude (frontières, textures fines) que les estimations MAP déterministes manquent.

Signification et Revendications
L'article revendique fournir un cadre mathématiquement justifié pour l'échantillonnage à partir de distributions non log-concaves et non lisses possédant une structure DC. Sa signification principale réside dans :

• Extension de la Portée de l'Échantillonnage de Langevin : Il va au-delà des régimes log-concaves et faiblement convexes pour traiter une classe plus large de régularisateurs non convexes largement utilisés en compression sensing et dans les problèmes inverses.
• Robustesse à la Non-Faible Convexité : Il est le premier à offrir des garanties de convergence pour les algorithmes de type Langevin appliqués à des régularisateurs DC non faiblement convexes sans exiger les hypothèses restrictives trouvées dans la littérature antérieure sur l'échantillonnage non log-concave.
• Utilité Pratique : La méthode démontre son efficacité dans des applications synthétiques et réelles, offrant non seulement des estimations ponctuelles mais aussi une quantification de l'incertitude significative, ce qui est critique pour des applications à sécurité critique comme l'imagerie médicale.

Les auteurs reconnaissent que leur analyse repose sur la condition de dissipativité à distance et que la continuité lipschitzienne de $r_1$ est une hypothèse actuelle, suggérant que des travaux futurs pourraient explorer le relâchement de ces conditions ou la gestion de régularisateurs à croissance mixte.