Shape-constrained density estimation with Wasserstein projection

Questo articolo propone e analizza un metodo di stima non parametrica delle densità univariate soggetto a vincoli di forma (come densità non crescenti o log-concave) tramite proiezione sulla distanza di Wasserstein, dimostrandone le proprietà strutturali, fornendo un algoritmo di discretizzazione risolvibile con solver standard e confrontandolo con la massima verosimiglianza.

L'essenziale

Immagina di essere un detective che deve ricostruire la forma di un oggetto misterioso basandosi solo su una manciata di impronte digitali lasciate sul terreno. Questo è il cuore della stima della densità: dati alcuni punti (i tuoi dati), devi indovinare qual è la "forma" della distribuzione di probabilità da cui provengono.

Fino a poco tempo fa, il metodo preferito dai detective statistici era il Maximum Likelihood (MLE). È come dire: "Qual è la forma che rende queste impronte più probabili di tutte le altre?". Funziona bene, ma ha un difetto: è molto "rigido" e si concentra solo sulla probabilità, ignorando la geometria dello spazio in cui i dati vivono.

In questo articolo, Matsuda e Wong propongono un nuovo approccio, un po' come cambiare strumento di indagine: usano la Proiezione di Wasserstein.

Ecco una spiegazione semplice, con qualche analogia creativa, di cosa fanno e perché è interessante.

1. Il Concetto di Base: Spostare la Terra, non solo Contare i Punti

Immagina che i tuoi dati siano un mucchio di sabbia sparsa sul pavimento (l'empirica distribuzione). Il tuo obiettivo è trovare una forma di sabbia "perfetta" (la tua distribuzione stimata) che rispetti certe regole (ad esempio, deve essere sempre in discesa, o deve avere una forma a campana).

• Il metodo vecchio (MLE): Guarda le impronte e dice: "La forma perfetta è quella che fa combaciare esattamente i punti, anche se per farlo devo piegare la realtà in modo strano".
• Il metodo nuovo (Wasserstein): Dice: "Prendiamo la nostra forma perfetta e la spostiamo fisicamente sul pavimento finché non si sovrappone il più possibile al mucchio di sabbia reale".

La distanza di Wasserstein misura quanto "lavoro" serve per spostare la sabbia da una forma all'altra. È come se dovessi trasportare la sabbia con un camion: più la forma è lontana, più carburante (costo) spendi. Il metodo cerca la forma che richiede il minimo carburante per adattarsi ai dati, rispettando le regole.

2. Le Regole del Gioco (Vincoli di Forma)

Gli autori si concentrano su due regole molto comuni nel mondo reale:

1. Densità Monotone (in discesa): Immagina una montagna che scende sempre verso destra, senza mai fare un salto verso l'alto. È come una diga che si svuota: l'acqua è alta all'inizio e bassa alla fine.
2. Densità Log-concave: Immagina una montagna a forma di campana (come la curva a campana classica), ma che può essere più "appuntita" o "piatta", purché non abbia buchi o due picchi separati. È una forma "sana" e naturale.

3. La Magia della Proiezione: Cosa Succede?

Gli autori scoprono cose sorprendenti su come queste nuove forme "proiettate" si comportano, specialmente quando i dati sono pochi o "rumorosi".

Analogia della "Colla Geometrica"

Il metodo MLE tende a incollare la sua forma esattamente sui dati. Se hai due punti distanti, MLE dirà: "La mia forma è un ponte perfetto tra questi due punti".
Il metodo di Wasserstein, invece, agisce come una colla elastica che tiene conto della geometria.

• Esempio concreto: Immagina di avere solo due punti di dati: uno a -1 e uno a +1.
  • MLE: Dirà: "La mia forma è un rettangolo piatto che va esattamente da -1 a +1".
  • Wasserstein: Dirà: "No, per spostare la mia forma ideale su questi punti, mi conviene allargare il rettangolo fino a -1.5 e +1.5".
  • Perché? Perché spostare la sabbia da una forma più larga a due punti vicini costa meno "lavoro" (energia) che cercare di adattarsi rigidamente ai bordi stretti. Il metodo Wasserstein è più "generoso" con lo spazio, creando una forma che copre un'area leggermente più ampia.

4. Le Scoperte Chiave (in parole povere)

Gli autori hanno dimostrato matematicamente che:

1. Forme a "Gradini" (Monotone): Quando stimano una montagna in discesa, la loro forma non è una linea liscia, ma una serie di gradini piatti (come una scala). È una struttura molto semplice e facile da calcolare.
2. Forme a "Tetti Piani" (Log-concave): Quando stimano una montagna a campana, la forma risultante è fatta di pezzi di parabola (o linee rette nel logaritmo). Anche qui, la struttura è semplice e composta da pochi pezzi.
3. Robustezza: Se i dati sono "sporchi" o non seguono perfettamente le regole (ad esempio, se la vera distribuzione ha due picchi ma noi cerchiamo una forma a un solo picco), il metodo di Wasserstein tende a dare una stima più stabile e meno "nervosa" rispetto al metodo classico.

5. Perché è Importante?

Immagina di dover progettare un serbatoio d'acqua basandoti su misurazioni imprecise.

• Il metodo vecchio potrebbe dirti di costruire un serbatoio che si adatta esattamente alle misurazioni, rischiando di collassare se una misurazione è sbagliata.
• Il metodo di Wasserstein ti dice: "Costruisci un serbatoio leggermente più grande e robusto". Questo perché tiene conto di quanto è "difficile" spostare l'acqua (i dati) da un posto all'altro.

In sintesi, questo articolo ci dice che guardare la geometria dello spazio (dove sono i punti) è spesso meglio che guardare solo la probabilità (quanto sono frequenti i punti). Il metodo di Wasserstein offre una via di mezzo più intelligente, creando stime che sono matematicamente eleganti (strutture a gradini o pezzi di parabola) e spesso più robuste nella pratica.

È come passare da un ritratto fatto solo di punti (pixel) a un disegno fatto con linee fluide che rispettano la fisica del movimento.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del documento "SHAPE-CONSTRAINED DENSITY ESTIMATION WITH WASSERSTEIN PROJECTION" di Takeru Matsuda e Ting-Kam Leonard Wong, presentata in italiano.

1. Il Problema

Il lavoro affronta il problema della stima della densità non parametrica con vincoli di forma (shape-constrained density estimation).

• Contesto: Si dispone di un campione indipendente e identicamente distribuito (i.i.d.) $X_1, \dots, X_n$ da una distribuzione sconosciuta $\mu^*$. L'obiettivo è stimare $\mu^*$ utilizzando un modello statistico $\mathcal{F}$ che impone vincoli geometrici sulla forma della densità (es. densità non crescenti su $\mathbb{R}_+$ o densità log-convesse su $\mathbb{R}$).
• Limiti dell'approccio classico: L'approccio standard è la Massima Verosimiglianza (MLE), che massimizza la somma dei log-verosimiglianza. Tuttavia, l'MLE può comportarsi in modo subottimale in scenari di misspecificazione (quando $\mu^* \notin \mathcal{F}$) e ignora la geometria euclidea dello spazio degli stati, basandosi invece sulla divergenza di Kullback-Leibler.
• Obiettivo: Proporre un metodo alternativo basato sulla proiezione rispetto alla distanza di Wasserstein, che incorpora la geometria dello spazio sottostante.

2. Metodologia

Gli autori utilizzano la teoria del Trasporto Ottimo per definire un nuovo stimatore.

• Distanza di Wasserstein ($W_p$): Per $p \ge 1$, la distanza $W_p(\mu, \nu)$ misura il costo minimo per trasportare la massa da $\mu$ a $\nu$. Nel caso univariato, questa distanza è isometrica alla distanza $L^p$ tra le funzioni quantili $Q_\mu$ e $Q_\nu$.
  $$W_p(\mu, \nu) = \|Q_\mu - Q_\nu\|_{L^p([0,1])}$$
• Stimatore per Proiezione di Wasserstein: Invece di massimizzare la verosimiglianza, si cerca la distribuzione $\hat{\mu}_n \in \mathcal{F}$ che minimizza la distanza di Wasserstein rispetto alla distribuzione empirica $\mu_n = \frac{1}{n}\sum \delta_{X_i}$:
  $$\hat{\mu}_n := \arg\min_{\nu \in \mathcal{F}} W_p(\nu, \mu_n)$$
• Convessità e Unicità: Affinché il problema di ottimizzazione sia ben posto e convesso, il modello $\mathcal{F}$ deve essere displacement convex (convesso rispetto al trasporto) e chiuso rispetto a $W_p$. Nel caso univariato, la convessità di $\mathcal{F}$ corrisponde alla convessità ordinaria dell'insieme delle funzioni quantili associate.
• Focus sul caso Quadratico ($p=2$): Gli autori si concentrano su $p=2$. In questo caso, la proiezione gode di una proprietà di Lipschitzianità (contrazione), che è fondamentale per dimostrare le proprietà di convergenza e stabilità dello stimatore.

3. Contributi Chiave e Risultati Teorici

Il paper stabilisce proprietà strutturali fondamentali per due casi principali di vincoli di forma:

A. Stima di Densità Monotone (su $\mathbb{R}_+$)

• Teorema 3.6: Per un campione di dati positivi, la densità stimata $\hat{\mu}_n$ tramite proiezione $W_2$ è:
  1. Compattamente supportata (a differenza dell'MLE che può avere supporto illimitato o diverso).
  2. Costante a tratti (piecewise constant) con un numero finito di pezzi.
• Differenza con Grenander: Mentre lo stimatore di Grenander (MLE per densità monotone) ha punti di rottura che coincidono con i dati osservati, la proiezione di Wasserstein può avere punti di rottura e supporti che non sono sottoinsiemi dei dati originali. Ad esempio, per dati su $\{-1, 1\}$, l'MLE restituisce $Unif(-1, 1)$, mentre la proiezione di Wasserstein restituisce $Unif(-1.5, 1.5)$, mostrando un supporto più ampio.

B. Stima di Densità Log-convesse (su $\mathbb{R}$)

• Teorema 4.7: Per il caso log-concavo, la densità stimata è:
  1. Compattamente supportata.
  2. Log-affine a tratti (piecewise log-affine) con un numero finito di pezzi.
• Proprietà di Simmetria e Centro: Lo stimatore preserva la media del campione (proprietà di equivarianza affine).
• Convergenza: Se la vera distribuzione è log-concava, il tasso di convergenza della distanza di Wasserstein è parametrico (fino a un fattore logaritmico), simile all'MLE, ma con proprietà geometriche diverse.

C. Proprietà Generali

• Equivarianza Affine: Lo stimatore è equivariante rispetto a trasformazioni affini non degeneri.
• Non Monotonia rispetto alla Dominanza Stocastica: A differenza di quanto ci si potrebbe aspettare, la proiezione di Wasserstein non è necessariamente monotona rispetto alla dominanza stocastica (se $\mu \preceq \nu$, non è detto che $proj(\mu) \preceq proj(\nu)$).

4. Implementazione e Risultati Sperimentali

Gli autori implementano algoritmi discretizzati per risolvere i problemi di ottimizzazione, formulandoli come problemi di programmazione convessa (quadratica per il caso monotono, programmazione non lineare convessa per il caso log-concavo).

• Discretizzazione: Le funzioni quantili sono approssimate come funzioni lineari a tratti su una griglia di partizione.
• Confronto Empirico:
  • Caso Monotono: Confronto con lo stimatore di Grenander. La proiezione di Wasserstein offre un adattamento migliore alla funzione quantile empirica nella norma $L^2$, ma può risultare più "liscia" o avere supporti diversi rispetto all'MLE.
  • Caso Log-concavo: Confronto con l'MLE log-concavo (implementato tramite il pacchetto logcondens). In scenari di misspecificazione (es. distribuzioni bimodali), la proiezione di Wasserstein tende ad avere un supporto leggermente più ampio rispetto all'MLE, che è vincolato all'inviluppo convesso dei dati.
• Software: I codici sono implementati in R, utilizzando pacchetti come quadprog e nloptr.

5. Significato e Implicazioni

• Nuova Prospettiva Geometrica: Il lavoro dimostra che l'uso della geometria di Wasserstein (che riflette la struttura euclidea dello spazio dei dati) porta a stimatori con proprietà strutturali diverse rispetto alla geometria di Fisher-Rao/KL utilizzata nell'MLE.
• Robustezza e Supporto: Un risultato controintuitivo è che la proiezione di Wasserstein può espandere il supporto della densità oltre l'intervallo dei dati osservati, il che potrebbe essere vantaggioso in scenari di misspecificazione o per evitare sovrastime della densità ai bordi.
• Sfide Future:
  • La caratterizzazione esatta dei punti di rottura (break points) rimane un problema aperto e non è legata direttamente ai dati.
  • L'estensione a dimensioni multiple ($d \ge 2$) è complessa perché lo spazio delle distribuzioni log-convesse multidimensionali non è displacement convex, rendendo l'esistenza e l'unicità della proiezione non garantite.
  • L'interpolazione tra metriche di Wasserstein e Fisher-Rao (o l'uso di regolarizzazione entropica/Sinkhorn) è un'area di ricerca promettente.

In conclusione, il paper stabilisce un quadro teorico solido per la stima di densità vincolata tramite proiezione di Wasserstein, offrendo alternative valide e geometricamente significative all'MLE classico, specialmente in contesti univariati.