Résumé technique : Assouplissement des priors projetés avec rétrécissement continu de l'écart

Énoncé du problème

L'inférence statistique moderne exige souvent que les paramètres appartiennent à des ensembles structurés de faible dimension (par exemple, des vecteurs parcimonieux, des matrices de faible rang ou des plans de transport) plutôt qu'à un espace euclidien complet. Bien que les priors projetés offrent une approche rigoureuse pour imposer de telles structures en mappant une variable latente continue $\beta$ vers un ensemble contraint $C$ via un opérateur de projection $T(\beta)$, ils se heurtent à des obstacles computationnels majeurs.

Le défi principal réside dans le fait que le calcul de la projection $T(\beta)$ nécessite souvent la résolution d'un problème d'optimisation itératif (par exemple, des projections alternées ou l'algorithme de Dykstra) à chaque étape d'un échantillonneur de Monte Carlo par chaînes de Markov (MCMC). Cette imbrication de l'optimisation au sein du MCMC rend le calcul de la distribution a posteriori coûteux et computationnellement intraitable pour des contraintes complexes. De plus, la différenciation numérique de ces projections itératives (via la différenciation déroulée) est coûteuse. Cela reflète le compromis historique dans la sélection de variables bayésienne entre les priors discrets exacts (spike-and-slab) et les priors de rétrécissement continus computationnellement efficaces.

Méthodologie : Priors de rétrécissement de l'écart

Les auteurs proposent un assouplissement continu des priors projetés, appelé prior de rétrécissement de l'écart. Au lieu d'imposer la contrainte rigide $\theta = T(\beta)$, la méthode introduit un prior probabiliste qui rétrécit l'écart de dualité entre la perte de projection primale et son objectif dual vers zéro.

Cadre central

1. Formulation Primale-Duale :
   Soit la projection définie comme le minimiseur d'une perte primale $f(z; \beta) = \min_{z \in C} f(z; \beta)$. En utilisant la dualité convexe, les auteurs définissent une fonction duale $d(u; \beta)$ telle que l'écart de dualité $G(z, u; \beta) = f(z; \beta) - d(u; \beta)$ soit non négatif et égal à zéro si et seulement si $z$ est la projection exacte et $u$ la variable duale optimale.

2. Spécification du Prior :
   Le prior de rétrécissement de l'écart est défini sur l'espace augmenté $(\theta, u, \beta)$ comme suit :
   $$\Pi_0(\theta, u, \beta) \propto \exp\left[ -\alpha \{ f(\theta; \beta) - d(u; \beta) \} \right] \pi_0^\beta(\beta)$$
   où $\alpha > 0$ est un hyperparamètre contrôlant la force du rétrécissement.

   • Mécanisme : Lorsque $\alpha \to \infty$, la masse prioritaire se concentre sur l'ensemble où l'écart est nul, retrouvant ainsi le prior projeté exact. Pour un $\alpha$ fini, il attribue une densité élevée aux points proches de la projection, assouplissant efficacement la contrainte rigide.
   • Traitabilité : Crucialement, la fonction duale $d(u; \beta)$ admet souvent une expression sous forme fermée (par exemple, via les conjuguées de Fenchel), permettant le calcul de l'écart sans optimisation itérative.

3. Généralisation aux Applications Proximales :
   Le cadre s'étend au-delà des projections euclidiennes vers des applications proximales générales (minimisation de $f(z; \beta) = \frac{1}{2}\|\beta - z\|^2 + g(z)$).

   • Écart de Fenchel-Young : L'écart est exprimé comme $g^*(u) + g(\theta) - u^\top \theta$, où $g^*$ est la conjuguée de Fenchel.
   • Écart Variationnel : Pour des contextes complexes où la conjuguée est intraitable (par exemple, sommes de régularisateurs ou normes nucléaires), les auteurs introduisent une fonction d'écart variationnel $\tilde{G}$ qui sert de borne supérieure stricte, permettant un calcul traitable via des variables auxiliaires (par exemple, la factorisation matricielle pour les contraintes de faible rang).

4. Calcul de la Distribution A Posteriori :
   La distribution a posteriori résultante est une densité continue sur l'espace euclidien. Les auteurs recommandent des échantillonneurs de Gibbs bloqués (ou Metropolis-dans-Gibbs) plutôt que le Monte Carlo par chaînes de Markov Hamiltoniennes (HMC). En effet, la relation quasi-déterministe entre $\theta$ et $u$ (induite par un grand $\alpha$) crée un Hessien presque singulier, ce qui rend les trajectoires HMC standard inefficaces sans préconditionnement spécialisé.

Contributions clés

• Efficacité computationnelle : La méthode élimine la nécessité de résoudre un sous-programme d'optimisation itératif à chaque itération MCMC, le remplaçant par des mises à jour sous forme fermée ou variationnelles simples.
• Garanties théoriques :
  • Consistance : Les auteurs prouvent que si le prior projeté exact est consistant, le prior de rétrécissement de l'écart l'est également, à condition que le prior de base attribue une masse suffisante près de la vérité.
  • Vitesses de contraction : Ils établissent les conditions sous lesquelles la distribution a posteriori relâchée atteint la même vitesse de contraction que le prior projeté exact. Cela nécessite que le paramètre de rétrécissement $\alpha_n$ évolue de manière appropriée avec la taille de l'échantillon $n$ (spécifiquement, $\alpha_n + \kappa_n \gtrsim n$ dans les modèles paramétriques réguliers) pour garantir que l'écart de dualité s'annule à la bonne vitesse.
• Lien avec le rétrécissement global-local : Le cadre est présenté comme une généralisation des priors de rétrécissement global-local (comme le Lasso bayésien), où les variables duales agissent comme des paramètres d'échelle locaux permettant aux coefficients de s'affranchir de la contrainte lorsque les données le soutiennent fortement.

Résultats empiriques

L'article valide la méthode par le biais d'études de simulation et d'une application sur des données réelles :

1. Régression parcimonieuse ($n=200, p=500$) :

   • Le prior de rétrécissement de l'écart a identifié avec succès le support parcimonieux et concentré la masse près de la vérité terrain, correspondant aux performances du prior projeté exact sur la boule $\ell_1$.
   • Efficacité : L'échantillonneur de Gibbs à rétrécissement de l'écart a atteint une taille d'échantillon efficace (ESS) médiane par seconde d'environ 82, surpassant nettement le prior projeté exact (ajusté via NUTS avec projections répétées), qui n'a atteint que ~2 ESS/seconde.

2. Lissage de matrices de faible rang et parcimonieuses :

   • Appliqué à un problème de débruitage matriciel avec des contraintes simultanées de faible rang et de parcimonie.
   • La méthode a correctement retrouvé le rang et la structure de parcimonie réels.
   • Efficacité : L'échantillonneur de Gibbs à rétrécissement de l'écart a complété 6 000 itérations en 29 secondes, tandis que le prior projeté exact (utilisant ADMM pour la projection) a nécessité 4 heures pour le même nombre d'itérations.

3. Application aux données marketing (Panel Consommateur Nielsen) :

   • Tâche : Modélisation de décisions d'achat de produits alimentaires binaires multivariées avec un prior de lissage basé sur une taxonomie sur une matrice de coefficients.
   • Résultats : Le modèle a appris avec succès que le lissage doit être fort au sein des départements de produits mais négligeable entre eux (poids inter-départements $\approx 0$).
   • Performance : Le modèle à rétrécissement de l'écart a surpassé un prior de lasso fusionné bayésien et un prior gaussien indépendant en termes de précision prédictive (AUC) et d'interprétabilité, évitant le sur-lissage du lasso fusionné et la forte dispersion du prior gaussien.

Importance et affirmations

L'article affirme que le prior de rétrécissement de l'écart offre un compromis pratique entre la désirabilité statistique de la projection exacte (concentration de la masse sur des frontières structurées et interprétables) et la traitabilité computationnelle.

• Assouplissement sans perte : En rétrécissant l'écart de dualité, la méthode conserve l'interprétabilité des priors projetés (par exemple, induisant la parcimonie ou des structures de faible rang) tout en contournant le goulot d'étranglement computationnel de la projection itérative.
• Robustesse théorique : Les auteurs démontrent que cet assouplissement ne compromet pas la consistance asymptotique ni les vitesses de convergence, à condition que la force de rétrécissement soit correctement ajustée.
• Large applicabilité : Le cadre est général, applicable à toute projection définie par un ensemble convexe ou une application proximale, y compris des contraintes complexes telles que la parcimonie de groupe, les matrices de faible rang et les plans de transport.

Les auteurs positionnent ce travail comme un pont entre l'inférence bayésienne structurée et les modèles de rétrécissement continus, suggérant que des contraintes « exactes » peuvent souvent être efficacement approchées par des priors continus qui pénalisent l'écart par rapport à l'optimalité (l'écart) plutôt que d'imposer la contrainte directement.