Résumé technique : Dynamique de Langevin–Hadamard pour l'échantillonnage de l'a priori $\ell_1$

Énoncé du problème

L'article aborde le défi de l'échantillonnage à partir de distributions a posteriori bayésiennes de haute dimension impliquant des log-densités non lisses, spécifiquement l'a priori $\ell_1$ (Lasso). La distribution cible est donnée par :
$$\rho(x) = \frac{1}{Z} \exp\left(-\beta (\lambda \|x\|_1 + G(x))\right),$$
où $G(x)$ représente la vraisemblance des données et $\|x\|_1$ est la norme $\ell_1$ non lisse favorisant la parcimonie.

Les méthodes d'échantillonnage basées sur Langevin existantes (par exemple, l'algorithme de Langevin non ajusté, ULA) peinent avec la non-différentiabilité du terme $\ell_1$. Les approches standard reposent généralement sur :

1. Techniques de lissage : Utilisation de l'enveloppe de Moreau–Yosida pour approximer le terme non lisse, ce qui introduit un biais dans la distribution cible qui ne disparaît que lorsque le paramètre de lissage $\gamma \to 0$.
2. Applications proximales : Incorporation d'opérateurs proximaux (par exemple, Dynamique de Langevin à gradient proximal), qui peuvent aboutir à des distributions stationnaires avec des masses ponctuelles (par exemple, à zéro) mélangées à des densités continues, ou nécessiter l'inversion de matrices de haute dimension dans des formulations hiérarchiques.

Les auteurs recherchent une méthode qui évite le biais de lissage et les opérateurs proximaux tout en maintenant un processus de diffusion traitable qui récupère exactement l'a posteriori cible $\rho(x)$.

Méthodologie : Surparamétrisation de Hadamard

L'innovation centrale est la Dynamique de Langevin–Hadamard (HLD), qui utilise une représentation lisse et surparamétrisée de la norme $\ell_1$.

1. La représentation de Hadamard

Les auteurs exploitent l'identité :
$$\|x\|_1 = \sum_i |x_i| = \min_{u \odot v = x} \left\{ \frac{1}{2}\|u\|_2^2 + \frac{1}{2}\|v\|_2^2 \right\},$$
où $\odot$ désigne le produit élément par élément (Hadamard). En relevant la variable $x \in \mathbb{R}^d$ vers une paire de variables $(u, v) \in \mathbb{R}^d_+ \times \mathbb{R}^d$ telle que $x = u \odot v$, le terme $\ell_1$ non lisse est remplacé par un terme quadratique lisse (bien que non convexe).

2. La distribution conjointe

Partant de la formulation bayésienne hiérarchique de l'a priori de Laplace (représentation par mélange gaussien), les auteurs dérivent une distribution conjointe $\pi(u, v)$ sur l'espace relevé :
$$\pi(u, v) \propto \left( \prod_{i=1}^d u_i \right) \exp\left( -\beta \left( \frac{\lambda}{2}\|(u, v)\|_2^2 + G(u \odot v) \right) \right).$$
De manière cruciale, la distribution marginale de $x = u \odot v$ sous $\pi$ est exactement la cible $\rho$, sans aucun biais d'approximation.

3. Les dynamiques

Les auteurs définissent les dynamiques de Langevin sur l'espace relevé $(u, v)$ pour échantillonner à partir de $\pi$. L'équation différentielle stochastique (EDS) résultante est :
$$\begin{aligned} du_t &= -\lambda u_t dt - v_t \odot \nabla G(u_t \odot v_t) dt + \frac{1}{\beta u_t} dt + \sqrt{\frac{2}{\beta}} dW^1_t, \\ dv_t &= -\lambda v_t dt - u_t \odot \nabla G(u_t \odot v_t) dt + \sqrt{\frac{2}{\beta}} dW^2_t, \end{aligned}$$
où $W^1_t$ et $W^2_t$ sont des mouvements browniens indépendants. Le terme $1/(\beta u_t)$ provient de la log-densité de l'a priori sur $u$. Les dynamiques sont bien définies sur le domaine $X = \mathbb{R}^d_+ \times \mathbb{R}^d$.

Contributions clés et résultats théoriques

1. Bien-posé des dynamiques continues

L'article établit une théorie rigoureuse du bien-posé pour le système HLD continu (Éq. 7) :

• Existence et unicité : Les auteurs prouvent l'existence d'une solution forte unique $(u_t, v_t)$ telle que $u_t > 0$ presque sûrement pour tout $t > 0$.
• Techniques de preuve : Deux approches distinctes sont fournies :
  1. Coordonnées cylindriques : Transformation du système en coordonnées cartésiennes $(y, z, v)$ où $u = \sqrt{y^2 + z^2}$ pour éliminer les singularités dans la dérive, permettant l'application de la théorie standard des EDS (Stroock et Varadhan).
  2. Transformation de Girsanov : Lien du système avec les processus de Cox–Ingersoll–Ross (CIR) et d'Ornstein–Uhlenbeck (OU). Cette approche confirme que le processus hérite de la propriété de positivité du processus CIR et établit la propriété de Feller fort.
• Ergodicité : Il est démontré que les dynamiques continues sont géométriquement ergodiques, convergeant vers la mesure invariante $\pi$ à un taux exponentiel, même lorsque le terme de données $G$ est non borné (par exemple, perte quadratique), à condition que $x^\top \nabla G(x)$ soit borné inférieurement.

2. Schéma numérique et convergence

Les auteurs proposent un schéma de pas de temps implicite-explicite (Éq. 16) pour discrétiser la HLD. Le schéma est implicite dans les termes de régularisation (assurant la positivité de $u$) et explicite dans le terme de données $G$.

• Convergence forte : L'article démontre que le schéma numérique converge fortement vers la solution continue lorsque le pas de temps $\Delta t \to 0$. Plus précisément, pour un intervalle de temps fixe $T$, l'erreur est bornée par $O(\Delta t^{1/2 - \epsilon})$.
• Surmonter les défis techniques : L'analyse aborde deux difficultés principales :
  1. Moments inverses : La dérive contient des termes $1/u$. Les auteurs dérivent des bornes de moments inverses d'ordre jusqu'à (mais excluant) 2, ce qui est nécessaire car la condition CIR standard $2\kappa\mu > \theta^2$ est satisfaite avec égalité dans ce contexte.
  2. Non-Lipschitzianité globale : La dérive n'est ni convexe ni globalement lipschitzienne. Les auteurs emploient une technique de couplage au sein de grandes boules et une borne à décroissance rapide pour la probabilité d'évasion afin de prouver l'ergodicité géométrique du schéma discret.
• Convergence de la mesure invariante : Il est prouvé que la distribution stationnaire $\pi_{\Delta t}$ du schéma discrétisé converge vers la vraie mesure invariante $\pi$ dans la distance de Wasserstein-1 lorsque $\Delta t \to 0$.

3. Relation avec les méthodes existantes

• Connexion riemannienne : La HLD est identifiée comme un cas spécifique de dynamique de Langevin riemannienne sur une variété avec une métrique dérivée de l'hessienne d'une fonction convexe, reliant la méthode à la dynamique de Langevin miroir.
• Comparaison avec les méthodes proximales : Contrairement à la Dynamique de Langevin à gradient proximal (PGLD), qui peut introduire des masses ponctuelles à zéro, la HLD produit une densité continue. Contrairement aux méthodes régularisées par Moreau–Yosida (MYULA), la HLD n'introduit aucun biais de lissage.

Résultats et signification

L'article fournit la première fondation théorique pour l'échantillonnage à partir de distributions a posteriori non convexes et non lisses en utilisant des dynamiques de Langevin surparamétrisées.

• Rigueur théorique : Le travail va au-delà des applications heuristiques de la surparamétrisation en optimisation pour fournir une analyse probabiliste complète du processus de diffusion résultant, incluant l'existence, l'unicité et les taux de convergence.
• Échantillonnage exact : La méthode récupère l'a posteriori cible exact $\rho(x)$ sans le biais inhérent aux approximations de lissage ni les artefacts structurels (masses ponctuelles) des méthodes proximales.
• Preuves numériques : Bien que les taux de convergence théoriques pour le biais de la mesure invariante discrétisée ne soient pas quantifiés (en raison de singularités empêchant les arguments standards de développement de Taylor), des expériences numériques sur un problème 1D suggèrent que le biais est de l'ordre de $O(\Delta t)$. Les expériences montrent que la HLD atteint un mélange plus rapide (plus grande taille d'échantillon effective) par rapport à la PGLD et la MYULA, sans biais observé dans les histogrammes.

Limites et travaux futurs

Les auteurs notent modestement que leur analyse actuelle ne fournit pas de taux de convergence quantitatifs pour le biais de la mesure invariante discrétisée $\pi_{\Delta t}$, car les termes singuliers $1/u$ empêchent l'application directe des techniques standard de développement de semi-groupes. Les travaux futurs visent à quantifier ce biais et à étendre l'approche de représentation par mélange gaussien à d'autres a priori favorisant la parcimonie, tels que le $\ell_1$ de groupe (qui s'avère être une extension triviale) et potentiellement les a priori $\ell_q$ pour $q \in (0, 1)$, bien que ces derniers manquent actuellement d'une représentation par mélange gaussien sous forme close.