Shape-constrained density estimation with Wasserstein projection

Cet article propose une méthode d'estimation de densité non paramétrique sous contraintes de forme, fondée sur la projection par rapport à la distance de Wasserstein, et en étudie les propriétés structurelles ainsi que les performances comparées aux estimateurs de vraisemblance maximale pour les densités décroissantes et log-concaves.

L'essentiel

Imaginez que vous êtes un chef cuisinier chargé de reconstituer la recette exacte d'un plat à partir de quelques échantillons de goût (vos données). Votre objectif est de deviner la forme exacte de la courbe de saveur (la densité de probabilité) qui a généré ces échantillons.

Traditionnellement, les statisticiens utilisent une méthode appelée "Vraisemblance Maximale" (MLE). C'est comme si le chef disait : "Je vais ajuster ma recette pour qu'elle corresponde parfaitement aux points de goût que j'ai en bouche, même si cela signifie que ma recette devient bizarre ou irréaliste entre ces points."

Dans cet article, les auteurs Takeru Matsuda et Ting-Kam Leonard Wong proposent une nouvelle approche, basée sur un concept mathématique appelé Transport Optimal, et plus précisément la projection de Wasserstein.

Voici l'explication simple de leur idée, avec des analogies du quotidien :

1. Le problème : Comment "lisser" les données ?

Supposons que vous ayez deux points de données : un grain de sable à gauche et un à droite.

• L'approche classique (MLE) : Elle dit : "Je vais créer une courbe plate et simple qui passe exactement entre ces deux grains." C'est comme dire que la saveur est uniforme entre les deux points.
• L'approche de l'article (Wasserstein) : Elle dit : "Je vais créer une courbe qui ressemble le plus possible à la forme globale, en tenant compte de la 'géographie' de l'espace."

2. L'analogie du "Transport de Meubles" (La distance de Wasserstein)

Pour comprendre la différence, imaginez que vous devez déplacer un tas de meubles d'une maison (vos données) vers une autre maison (votre modèle théorique).

• La méthode classique regarde seulement combien de meubles il y a dans chaque pièce. Elle ne se soucie pas de l'effort pour les déplacer.
• La méthode de Wasserstein (le cœur de l'article) se soucie de la distance. Si vous avez un meuble lourd à déplacer de 10 mètres, cela coûte plus cher que de le déplacer de 1 mètre.

L'algorithme cherche la forme de courbe (la recette) qui demande le moins d'effort de transport pour transformer vos données brutes en une forme lisse et régulière. C'est comme si vous vouliez transformer un tas de sable en une dune parfaite en dépensant le minimum d'énergie pour déplacer chaque grain.

3. Les deux règles du jeu (Les contraintes de forme)

Les auteurs appliquent cette méthode à deux situations très courantes où l'on sait à l'avance à quoi la recette doit ressembler :

A. La recette qui diminue toujours (Densité monotone)

Imaginez une cascade d'eau. Plus vous descendez, plus l'eau est abondante, mais la hauteur de la chute diminue. En statistique, cela correspond à des choses comme les revenus (il y a beaucoup de gens avec un revenu moyen, très peu avec un revenu énorme).

• La contrainte : La courbe doit toujours descendre, jamais remonter.
• Le résultat de l'article : L'algorithme crée une courbe en "escalier" (des marches). Contrairement à la méthode classique qui colle aux points de données, cette méthode peut créer des marches qui commencent et finissent à des endroits que vous n'avez pas observés directement. C'est comme si l'algorithme devinait que la cascade continue un peu plus loin que ce que vous avez mesuré.

B. La recette en forme de cloche (Densité log-concave)

Imaginez une montagne ou une cloche de distribution normale. La courbe monte, atteint un sommet, puis redescend. C'est la forme de la taille des humains, des erreurs de mesure, etc.

• La contrainte : La courbe doit avoir un seul pic et être "concave" (comme un toit de maison).
• Le résultat de l'article : L'algorithme crée une courbe composée de petits segments de lignes courbes (des arcs).
• L'astuce intéressante : Si vous avez deux points de données très éloignés (par exemple, -1 et +1), la méthode classique va dire que la courbe est plate entre -1 et +1. La méthode de l'article, elle, va dire : "Attends, pour transporter l'énergie entre ces deux points de manière efficace, la courbe doit s'étendre un peu plus loin, jusqu'à -1,5 et +1,5." Elle "gonfle" un peu la zone pour rendre le transport plus fluide.

4. Pourquoi c'est important ?

Les auteurs montrent que cette méthode a des avantages cachés :

• Robustesse : Elle ne panique pas si vos données sont un peu bruitées ou si votre modèle de départ n'est pas parfait.
• Géométrie : Elle respecte la "géographie" des données. Si vous déplacez un point de données de 1 mètre, votre recette change de manière douce et prévisible, contrairement à la méthode classique qui peut faire des sauts brusques.
• Support plus large : Souvent, la méthode classique s'arrête strictement aux limites de vos données. La méthode de Wasserstein, elle, a tendance à étendre un peu la zone d'influence, ce qui peut être plus réaliste dans le monde réel (les phénomènes ne s'arrêtent pas net).

En résumé

Imaginez que vous essayez de dessiner une ligne lisse à travers des points dispersés sur un papier.

• La méthode classique dit : "Je vais relier les points en faisant le chemin le plus court possible, même si le résultat fait des angles bizarres."
• La méthode Wasserstein (de cet article) dit : "Je vais déplacer la matière pour qu'elle forme une belle courbe lisse, en tenant compte du fait que déplacer la matière loin coûte cher. Le résultat sera une courbe plus naturelle, qui respecte les lois de la physique (la géométrie) et qui ne s'arrête pas brutalement aux limites de vos observations."

Les auteurs ont prouvé mathématiquement que cette méthode fonctionne bien, qu'elle produit des formes simples (des escaliers ou des arcs), et ils ont créé des logiciels pour que n'importe qui puisse l'utiliser. C'est une nouvelle façon de voir les statistiques, non plus comme un simple ajustement de points, mais comme un problème de transport de masse.

Résumé technique

Voici un résumé technique détaillé de l'article « Shape-Constrained Density Estimation with Wasserstein Projection » (Estimation de densité sous contraintes de forme par projection de Wasserstein) de Takeru Matsuda et Ting-Kam Leonard Wong.

1. Problématique et Contexte

L'article aborde le problème de l'estimation non paramétrique de densités sous contraintes de forme (shape-constrained density estimation). Traditionnellement, ce problème est résolu par la Maximum Likelihood Estimation (MLE), qui projette la distribution empirique sur le modèle statistique en minimisant la divergence de Kullback-Leibler (KL).

Les auteurs proposent une approche alternative basée sur le transport optimal. Au lieu de minimiser la divergence KL, ils définissent l'estimateur comme la projection de la distribution empirique sur l'ensemble des distributions admissibles (respectant les contraintes de forme) par rapport à la distance de Wasserstein ($W_p$).

Le cadre se concentre sur le cas univarié (dimension 1) et spécifiquement sur le cas quadratique $p=2$. Les deux contraintes de forme principales étudiées sont :

1. Densités monotones décroissantes sur $\mathbb{R}_+ = [0, \infty)$.
2. Densités log-concaves sur $\mathbb{R}$.

2. Méthodologie

2.1. Géométrie de Wasserstein et Fonctions de Quantile

L'approche repose sur la propriété fondamentale que, dans le cas univarié, l'espace des mesures de probabilité muni de la distance $W_p$ est isométrique à l'espace des fonctions de quantile muni de la norme $L^p$.
Soit $Q_\mu$ la fonction de quantile d'une mesure $\mu$. La distance s'écrit :
$$W_p(\mu, \nu) = \| Q_\mu - Q_\nu \|_{L^p} = \left( \int_0^1 |Q_\mu(u) - Q_\nu(u)|^p du \right)^{1/p}$$

Cette isométrie transforme le problème de projection de Wasserstein en un problème de projection dans un espace de Hilbert (pour $p=2$) ou de Banach, ce qui simplifie considérablement l'analyse théorique.

2.2. Convexité par Déplacement (Displacement Convexity)

Pour garantir l'existence et l'unicité de la projection, l'ensemble des distributions admissibles $\mathcal{F}$ doit être convexe par déplacement (displacement convex) et fermé.

• Définition : Un ensemble $\mathcal{F}$ est convexe par déplacement si l'ensemble de ses fonctions de quantile $\mathcal{Q}_{\mathcal{F}}$ est convexe au sens usuel dans l'espace $L^p$.
• Avantage : Cela permet de formuler le problème d'estimation comme un problème d'optimisation convexe :
  $$\hat{\mu}_n = \arg\min_{\nu \in \mathcal{F}} W_2(\nu, \mu_n)$$
  où $\mu_n$ est la mesure empirique.

2.3. Caractérisation des Contraintes

Les auteurs caractérisent les contraintes de forme en termes de propriétés des fonctions de quantile :

• Monotonie : Une densité est décroissante sur $\mathbb{R}_+$ si et seulement si sa fonction de quantile est convexe, strictement croissante (sauf cas dégénérés) et s'annule en 0.
• Log-concavité : Une distribution est log-concave si et seulement si sa fonction de quantile $Q$ est absolument continue et que l'inverse de sa dérivée, $1/Q'$, est une fonction concave (et positive).

3. Contributions Clés et Résultats Théoriques

3.1. Propriétés Structurelles des Estimateurs

Le résultat principal de l'article est la caractérisation de la forme de la densité estimée $\hat{\mu}_n$ :

• Cas Monotone (Théorème 3.6) : La densité estimée est constante par morceaux (piecewise constant) et à support compact.
  • Différence avec le MLE (Estimateur de Grenander) : Les points de rupture (knots) de la densité estimée par Wasserstein ne coïncident pas nécessairement avec les points de données, et le support peut être plus large que l'enveloppe convexe des données.
• Cas Log-concave (Théorème 4.7) : La densité estimée est log-affine par morceaux (piecewise log-affine) et à support compact.
  • Différence avec le MLE : Là encore, le support de l'estimateur de Wasserstein peut dépasser l'enveloppe convexe des données. Par exemple, pour deux points de données $\{-1, 1\}$, le MLE donne une loi uniforme sur $[-1, 1]$, tandis que la projection de Wasserstein donne une loi uniforme sur $[-1.5, 1.5]$.

3.2. Propriétés Statistiques

• Consistance : L'estimateur est consistant par rapport à la distance $W_2$. Si $\mu^*$ est la vraie distribution, alors $W_2(\hat{\mu}_n, \text{proj}_{\mathcal{F}}\mu^*) \to 0$ presque sûrement.
• Équivariance Affine : L'estimateur est équivariant par rapport aux transformations affines (déplacement et mise à l'échelle).
• Taux de Convergence : Pour le cas log-concave, si la vraie distribution est log-concave, le taux de convergence en distance de Wasserstein est paramétrique (de l'ordre de $O(\log n / n)$), similaire au MLE.

3.3. Non-monotonie pour la Stochastic Dominance

Contrairement à certaines intuitions, les auteurs montrent que la projection de Wasserstein n'est pas monotone par rapport à la dominance stochastique. Si $\mu \preceq \nu$, il n'est pas garanti que $\text{proj}(\mu) \preceq \text{proj}(\nu)$.

4. Implémentation et Résultats Empiriques

Les auteurs proposent des algorithmes de discrétisation pour résoudre les problèmes d'optimisation convexe :

• Monotonie : Le problème est reformulé comme un programme quadratique (QP) sur les valeurs de la fonction de quantile discrétisée, avec des contraintes de linéarité pour la convexité.
• Log-concavité : Le problème est formulé comme un programme convexe sur les valeurs de $h = 1/Q'$, qui doit être concave et affine par morceaux.

Comparaisons empiriques (via simulations en R) :

• Les estimateurs de Wasserstein et de MLE (Grenander ou Log-concave MLE) sont qualitativement similaires mais présentent des différences structurelles notables.
• Support : L'estimateur de Wasserstein tend à avoir un support plus large que le MLE. Cela s'explique par le fait que la distance de Wasserstein pénalise la géométrie de l'espace d'état (les positions des points), tandis que le MLE (basé sur la KL) se concentre sur la vraisemblance locale.
• Robustesse : Dans des cas de mauvaise spécification (modèle incorrect), les deux estimateurs montrent des comportements différents, l'estimateur de Wasserstein offrant souvent un meilleur ajustement global de la fonction de quantile empirique au sens $L^2$.

5. Signification et Perspectives

Signification :
Cet article établit un pont solide entre l'inférence statistique basée sur le transport optimal et l'estimation de densité sous contraintes. Il démontre que la géométrie de Wasserstein, qui intègre la structure métrique de l'espace des états, conduit à des estimateurs avec des propriétés structurelles distinctes de ceux basés sur la vraisemblance (géométrie de Fisher-Rao/KL).

Limites et Travaux Futurs :

• Généralisation multidimensionnelle : La convexité par déplacement des distributions log-concaves n'est valable qu'en dimension 1. En dimension supérieure ($d \ge 2$), l'espace n'est pas convexe par déplacement, rendant la projection mal posée ou difficile à calculer.
• Points de rupture : La théorie actuelle ne donne pas de caractérisation précise du nombre ou de la localisation exacte des points de rupture (knots) de la densité estimée, ce qui limiterait l'efficacité algorithmique.
• Interpolation : Les auteurs suggèrent d'explorer des métriques interpolant entre la distance de Wasserstein et la divergence KL (ou la métrique de Fisher-Rao) pour combiner les avantages des deux approches.

En résumé, ce papier propose une alternative théoriquement fondée et computationnellement tractable au MLE pour l'estimation de densités contraintes, mettant en lumière l'impact de la géométrie du transport optimal sur la structure des estimateurs.