Shape-constrained density estimation with Wasserstein projection

Dit artikel onderzoekt niet-parametrische dichtheidsschatting met vormbeperkingen via projectie op de $p$-Wasserstein-afstand, met name voor $p=2$, en analyseert de structurele eigenschappen en numerieke implementatie van deze schatters voor monotoon dalende en log-concave dichtheden in vergelijking met maximum-likelihoodschatters.

De kern

Stel je voor dat je een grote bak met verschillende soorten M&M's hebt, maar je weet niet precies hoe ze verdeeld zijn. Je wilt een schatting maken van de verdeling: hoeveel rode, blauwe, groene M&M's zijn er?

In de statistiek noemen we dit dichtheidschatting. Meestal gebruiken wetenschappers een methode genaamd "Maximum Likelihood" (MLE). Dit is alsof je kijkt naar de M&M's die je hebt en zegt: "De verdeling die het beste past bij wat ik zie, is de juiste." Het is een beetje alsof je een pasvorm probeert te vinden door alleen naar de kledingstukken te kijken die je al hebt.

Deze paper, geschreven door Takeru Matsuda en Ting-Kam Leonard Wong, introduceert een nieuwe, slimme manier om dit te doen. Ze noemen het Wasserstein-projectie.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het probleem: De "Vorm" van de verdeling

Soms weten we al iets over de vorm van de M&M's, maar niet de exacte verdeling.

• Voorbeeld 1 (Monotoon): We weten dat er meer rode M&M's zijn dan blauwe, meer blauwe dan groene, enzovoort. De verdeling moet dus "afnemen" naarmate je verder gaat.
• Voorbeeld 2 (Log-concaaf): We weten dat de verdeling eruitziet als een mooie, ronde heuvel (zoals een berg), en niet als een gekke, gebroken vorm.

De oude methode (MLE) probeert de beste pasvorm te vinden, maar soms kan dat leiden tot vreemde resultaten, vooral als de data "raar" is of als je model niet perfect is.

2. De nieuwe oplossing: De "Wasserstein-afstand"

De auteurs gebruiken een concept uit de wiskunde genaamd Optimal Transport (Optimale Vervoer).

De Analogie van de Aardappelen:
Stel je hebt een hoop aardappelen op de grond (je data) en je wilt ze in een specifieke vorm stapelen (je model, bijvoorbeeld een piramide of een heuvel).

• De oude methode kijkt alleen naar de aardappelen zelf en probeert te raden hoe de stapel eruit zou moeten zien.
• De nieuwe methode (Wasserstein) kijkt naar de grond waarop de aardappelen liggen. Het vraagt zich af: "Hoeveel energie kost het om elke aardappel van zijn huidige plek naar de juiste plek in de nieuwe vorm te slepen?"

Deze "energie" of "sleepprijs" is de Wasserstein-afstand. De nieuwe schatter zoekt de vorm die de minste energie kost om te bereiken. Het houdt rekening met de fysieke ruimte en de afstand tussen de punten, niet alleen met de telling.

3. Wat vinden ze? (De structuur van de oplossing)

De auteurs bewijzen dat deze nieuwe methode heel mooie, schone resultaten geeft:

• Bij afnemende verdelingen (Monotoon): De nieuwe schatter levert een verdeling op die eruitziet als een trap. Het is een reeks van vlakke blokken (stapels M&M's van gelijke hoogte).

  • Verschil met de oude methode: Bij de oude methode vallen de randen van deze blokken precies samen met de data-punten. Bij de nieuwe methode vallen ze niet noodzakelijk samen. Soms maakt de nieuwe methode de "trap" breder of andersom, omdat het de "sleepprijs" op de grond optimaliseert.
  • Voorbeeld: Als je data alleen op -1 en +1 ligt, geeft de oude methode een rechte lijn tussen -1 en +1. De nieuwe methode geeft een lijn van -1,5 tot +1,5. Het is alsof de nieuwe methode zegt: "Ik kan de aardappelen net zo goed iets verder uit elkaar zetten om de totale sleepprijs te verlagen."

• Bij bergvormige verdelingen (Log-concaaf): De nieuwe schatter levert een vorm op die eruitziet als een gebogen dak (stukjes rechte lijnen die samen een bocht vormen).

  • Ook hier geldt: de "knikpunten" van het dak hoeven niet precies op de data-punten te zitten. Ze kunnen ergens anders zitten als dat de totale "sleepprijs" verlaagt.

4. Waarom is dit belangrijk?

Stel je voor dat je een foto van een wazig gezicht probeert te reconstrueren.

• De oude methode probeert de foto te maken die het meest lijkt op de wazige pixels die je ziet.
• De nieuwe methode probeert het gezicht te reconstrueren dat het minst ver weg ligt van de wazige pixels, rekening houdend met hoe gezichten er normaal uitzien (de "grond" of de geometrie).

Dit is handig als je data "raar" is (bijvoorbeeld als je model niet perfect is). De nieuwe methode is vaak stabieler en geeft een resultaat dat beter past bij de fysieke realiteit van de data, omdat het de "afstand" tussen punten meet in plaats van alleen de kans.

Samenvatting in één zin

De auteurs hebben een nieuwe manier bedacht om statistische verdelingen te schatten die niet alleen kijkt naar "wat we zien", maar ook naar "hoe ver we moeten slepen om het goed te maken", wat leidt tot schattingen die soms breder en robuuster zijn dan de traditionele methoden.

Het is alsof je niet alleen kijkt naar de puzzelstukjes die je hebt, maar ook bedenkt hoe je ze het makkelijkst in elkaar kunt zetten zonder ze te hoeven forceren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Shape-Constrained Density Estimation with Wasserstein Projection" van Matsuda en Wong, geschreven in het Nederlands.

Titel: Dichtheidsschatting met vormbeperkingen via Wasserstein-projectie

1. Probleemstelling

Het artikel behandelt het probleem van niet-parametrische dichtheidsschatting onder vormbeperkingen (shape constraints). De doelstelling is om een schatter $\hat{\mu}_n$ te vinden voor een onbekende verdeling $\mu^*$, gebaseerd op onafhankelijke steekproeven $X_1, \dots, X_n$, waarbij de schatter binnen een specifieke verzameling $\mathcal{F}$ van verdelingen moet vallen die een bepaalde vorm beperking encodeert.

De auteurs vergelijken twee benaderingen:

1. Maximum Likelihood Estimation (MLE): De traditionele aanpak die de Kullback-Leibler-divergentie minimaliseert. Bekende voorbeelden zijn Grenander's schatter (voor monotoon dalende dichtheden) en log-concave schatters.
2. Wasserstein-projectie: Een alternatieve aanpak die gebruikmaakt van de optimal transport-theorie. Hierbij wordt de schatter gedefinieerd als de verdeling in $\mathcal{F}$ die het dichtst bij de empirische verdeling $\mu_n$ ligt, gemeten in de $p$-Wasserstein-afstand ($W_p$).

De focus ligt op het univariate geval (één dimensie) en specifiek op de kwadratische afstand ($p=2$). De auteurs onderzoeken twee fundamentele vormbeperkingen:

• Monotoon dalende dichtheden op $\mathbb{R}_+ = [0, \infty)$.
• Log-concave dichtheden op $\mathbb{R}$.

2. Methodologie

De kern van de methode is het formuleren van de schattingsprobleem als een convex optimalisatieprobleem in de ruimte van kwantielfuncties.

• Wasserstein-afstand en Kwantielen: Voor univariate verdelingen is de $p$-Wasserstein-afstand isometrisch equivalent aan de $L_p$-afstand tussen de bijbehorende kwantielfuncties $Q_\mu$. De afstand wordt gegeven door:
  $$W_p(\mu, \nu) = \|Q_\mu - Q_\nu\|_p = \left( \int_0^1 |Q_\mu(u) - Q_\nu(u)|^p du \right)^{1/p}$$
• Displacement Convexiteit: De verzameling $\mathcal{F}$ wordt verondersteld displacement convex te zijn. In de univariate setting komt dit neer op de convexiteit van de verzameling van kwantielfuncties $\mathcal{Q}_{\mathcal{F}}$ in de gebruikelijke zin. Dit garandeert dat het projectieprobleem een unieke oplossing heeft.
• Het Projectieprobleem: De schatter $\hat{\mu}_n$ wordt gedefinieerd als:
  $$\hat{\mu}_n := \arg \min_{\nu \in \mathcal{F}} W_2(\nu, \mu_n)$$
  Dit is equivalent aan het projecteren van de kwantielfunctie van de data $Q_{\mu_n}$ op de convexe verzameling $\mathcal{Q}_{\mathcal{F}}$ in de $L_2$-ruimte.
• Discretisatie: Omdat de exacte locatie van de "knikpunten" (break points) van de geschatte dichtheid niet direct bekend is, stellen de auteurs een discretisatie voor. Ze benaderen de kwantielfuncties als stuksgewijs lineaire functies op een vast rooster. Dit transformeert het probleem naar een quadratisch programmeringsprobleem (voor monotoon dalend) of een convex optimalisatieprobleem met niet-lineaire constraints (voor log-concave), dat kan worden opgelost met bestaande solvers.

3. Belangrijkste Bijdragen en Resultaten

A. Structurele Eigenschappen van de Schatter
De auteurs bewijzen dat de Wasserstein-projectieschatter specifieke structurele eigenschappen heeft die verschillen van de MLE:

1. Monotoon dalende dichtheden (Theorem 3.6):

   • De geschatte dichtheid is stuksgewijs constant (piecewise constant) en heeft een compakte drager.
   • In tegenstelling tot Grenander's schatter (MLE), waar de knikpunten van de dichtheid samenvallen met de data-punten, hoeven de knikpunten van de Wasserstein-schatter niet een subset van de data-punten te zijn.
   • De drager van de geschatte dichtheid is vaak breder dan de convexe hull van de data. Bijvoorbeeld, bij data op $\{-1, 1\}$ geeft de MLE een uniforme verdeling op $[-1, 1]$, terwijl de Wasserstein-schatter een uniforme verdeling op $[-1.5, 1.5]$ oplevert.

2. Log-concave dichtheden (Theorem 4.7):

   • De geschatte dichtheid is stuksgewijs log-affien (piecewise log-affine) en heeft een compakte drager.
   • Ook hier geldt dat de ondersteuningsgrenzen en de knikpunten niet noodzakelijk samenvallen met de data-punten.
   • De schatter behoudt de eigenschap van affiene equivariantie (als de data lineair getransformeerd wordt, transformeert de schatter op dezelfde manier).

B. Statistische Eigenschappen

• Consistentie: De schatter is consistent met betrekking tot de $W_2$-afstand. Als $n \to \infty$, convergeert $\hat{\mu}_n$ naar de projectie van de ware verdeling $\mu^*$ op $\mathcal{F}$.
• Convergentiesnelheid: Voor log-concave ware verdelingen wordt een convergentiesnelheid van $O(\log n / n)$ bewezen, wat vergelijkbaar is met de parametrische snelheid (tot op een logaritmische factor).
• Lipschitz-eigenschap: Voor $p=2$ is de projectie-operator 1-Lipschitz continu, wat belangrijk is voor de analyse van eindige steekproeven. Deze eigenschap geldt niet voor $p \neq 2$.

C. Numerieke Experimenten
De auteurs hebben algoritmen geïmplementeerd in R en deze vergeleken met de MLE:

• Mixture van twee punten: De Wasserstein-schatter levert een bredere ondersteuning op dan de MLE.
• Misgespecificeerde gevallen: Wanneer de ware verdeling niet in $\mathcal{F}$ zit (bijv. een bimodale verdeling die wordt geschat als log-concave), laten de schatters verschillende trade-offs zien. De Wasserstein-schatter past de kwantielfunctie beter aan in de $L_2$-zin, terwijl de MLE de Kullback-Leibler-divergentie minimaliseert.

4. Significatie en Toekomstperspectief

• Alternatief voor MLE: Het artikel toont aan dat optimal transport een waardevol alternatief biedt voor likelihood-gebaseerde methoden. De keuze van de onderliggende meetkunde (Euclidisch via Wasserstein vs. informatie-geometrie via KL-divergentie) leidt tot fundamenteel verschillende schatters, vooral in situaties met modelmispecificatie.
• Convexiteit: Door het probleem te formuleren in de ruimte van kwantielfuncties, wordt een complex niet-parametrisch schattingsprobleem teruggebracht tot een convex optimalisatieprobleem, wat numeriek goed hanteerbaar is.
• Beperkingen en Uitdagingen:
  • De bewijzen voor de structurele eigenschappen zijn subtieler dan bij de MLE vanwege de geometrie van de transportruimte.
  • De uitbreiding naar multivariate verdelingen is niet triviaal, omdat de ruimte van log-concave verdelingen in dimensie $d \geq 2$ niet displacement convex is.
  • Er is nog meer onderzoek nodig naar de exacte locatie en het aantal knikpunten van de geschatte dichtheden om efficiëntere algoritmen te ontwikkelen.

Conclusie:
Matsuda en Wong introduceren een robuuste methode voor vormbeperkte dichtheidsschatting die gebruikmaakt van de $L_2$-Wasserstein-afstand. Ze bewijzen dat deze methode unieke structurele eigenschappen heeft (stuksgewijs constant/log-affien met compacte drager) en bieden een numeriek haalbare implementatie die een interessant alternatief biedt voor klassieke maximum likelihood-methoden, met name in scenario's waar de onderliggende meetkunde van de toestandsruimte belangrijk is.