Shape-constrained density estimation with Wasserstein projection

Este artigo investiga a estimação de densidades não paramétricas univariadas sujeitas a restrições de forma (como densidades não decrescentes ou log-côncavas) através de projeções na distância de Wasserstein, demonstrando que o problema é convexo, propondo um método de discretização implementável e comparando-o com o estimador de máxima verossimilhança.

O essencial

Imagine que você é um chef de cozinha tentando descobrir a receita secreta de um prato delicioso, mas você só tem uma lista de ingredientes soltos (os dados) e não sabe exatamente como eles foram misturados. O seu objetivo é adivinhar a forma final do prato (a distribuição de probabilidade).

Geralmente, os estatísticos usam uma ferramenta chamada "Máxima Verossimilhança" (MLE). Pense nisso como tentar adivinhar a receita apenas olhando para os ingredientes e dizendo: "Se eu misturar tudo exatamente assim, é o que mais faz sentido". É um método clássico e muito usado.

Mas, neste artigo, os autores (Takeru Matsuda e Ting-Kam Leonard Wong) propõem uma nova abordagem, baseada em algo chamado Transporte Ótimo e Projeção de Wasserstein. Vamos usar uma analogia para entender a diferença:

A Analogia do "Mapa de Terreno" vs. "Lista de Compras"

1. O Método Antigo (Máxima Verossimilhança):
   Imagine que você tem uma lista de compras (seus dados) e quer adivinhar o prato. O método antigo olha apenas para a lista e tenta encontrar a receita que mais se parece com ela, ignorando completamente a "geografia" da cozinha. Ele não se importa se os ingredientes estão perto ou longe uns dos outros no espaço real; ele só quer que a probabilidade de ver esses ingredientes seja máxima.

2. O Novo Método (Projeção de Wasserstein):
   Agora, imagine que você não está apenas olhando para a lista, mas sim movendo os ingredientes. O "Transporte Ótimo" é como um caminhoneiro que precisa mover uma pilha de areia (seus dados) para formar uma nova pilha (sua estimativa) com o menor custo de combustível possível.

   • O "custo" aqui é a distância física. Se você tem um grão de areia na posição 1 e precisa movê-lo para a posição 2, custa menos energia do que movê-lo para a posição 100.
   • A Projeção de Wasserstein é como pegar sua pilha de dados e "empurrá-la" suavemente até que ela se encaixe perfeitamente dentro de uma forma específica (a restrição de formato), gastando o mínimo de energia possível.

O Que São "Restrições de Formato"?

Na vida real, muitas vezes sabemos como os dados devem se comportar, mesmo sem saber a receita exata.

• Densidade Monótona: Imagine uma montanha que só pode descer (nunca subir). É como uma pirâmide de areia que começa alta e vai baixando.
• Densidade Log-Côncava: Imagine uma montanha suave e arredondada, como um bolo de aniversário. Ela não pode ter "buracos" ou "picos duplos" estranhos; ela deve ser arredondada e simétrica.

O problema é: como transformar seus dados brutos (que podem ser bagunçados) em uma dessas formas perfeitas (uma pirâmide ou um bolo) usando o método de "mover com menos esforço"?

As Descobertas Principais (Simplificadas)

Os autores descobriram coisas interessantes sobre como essa "pilha de areia" se comporta quando forçada a entrar nessas formas:

1. A Forma Final é "Quebrada" (Piecewise):
   Ao contrário do método antigo, que cria formas muito suaves ou complexas, o novo método cria formas que são compostas de pedaços retos.

   • Para a "pirâmide" (monótona), a estimativa final é feita de blocos retangulares (como degraus de uma escada).
   • Para o "bolo" (log-côncava), a estimativa é feita de fatias curvas que se conectam.
   • A grande surpresa: Os pontos onde esses blocos ou fatias mudam (os "degraus" ou "dobras") não precisam estar exatamente onde estão os seus dados originais. O método pode criar uma nova estrutura que se ajusta melhor ao "terreno" geral, mesmo que isso signifique criar limites em lugares onde não havia dados.

2. O Exemplo do "Ponto Único":
   Eles mostram um exemplo divertido: se você tem dados apenas em dois pontos, -1 e 1.

   • O método antigo (MLE) diria: "Ok, a resposta é um bolo uniforme entre -1 e 1".
   • O novo método (Wasserstein) diz: "Não, para gastar menos energia movendo a areia para formar um bolo log-côncavo, o melhor é um bolo um pouco maior, de -1,5 a 1,5".
   • Por que? Porque o método novo "pensa" na distância física. Ele expande um pouco a área para que a "mudança" dos dados para a forma final seja mais suave e eficiente energeticamente.

3. Robustez e Precisão:
   O novo método tem uma propriedade matemática muito legal chamada "Lipschitz". Em português simples: se você mudar um pouquinho nos seus dados (um erro de medição, um dado fora do lugar), a sua estimativa final não vai pular de um lado para o outro. Ela se ajusta de forma suave e controlada. O método antigo, às vezes, pode ser muito sensível a pequenos erros.

Por Que Isso é Importante?

Imagine que você está tentando prever o clima ou o preço de ações.

• O método antigo pode ser muito "rígido" e tentar encaixar os dados em uma forma que não faz sentido físico, apenas porque os números batem.
• O método novo (Wasserstein) respeita a geometria do mundo real. Ele entende que mover um valor de 10 para 11 é diferente de mover de 10 para 100. Ao fazer isso, ele produz estimativas que, em muitos casos, são mais estáveis e fazem mais sentido quando os dados não são perfeitos (o que acontece quase sempre na vida real).

Resumo da Ópera

Os autores criaram uma nova maneira de "modelar dados" que é como moldar argila.

• Em vez de apenas olhar para a argila e tentar adivinhar a forma (método antigo), eles usam uma ferramenta que empurra a argila suavemente até que ela se encaixe perfeitamente em um molde (a restrição de formato), gastando o mínimo de força possível.
• O resultado é uma estimativa que é matematicamente elegante, computacionalmente possível de resolver e, muitas vezes, mais fiel à realidade do que os métodos tradicionais.

Eles provaram que, ao fazer isso, a "argila" assume formas específicas (degraus ou curvas suaves) e que essa abordagem é uma alternativa poderosa e moderna para a estatística clássica.

Resumo técnico

1. Problema e Contexto

O artigo aborda o problema de estimativa de densidade não paramétrica com restrições de forma em uma dimensão (univariada). O objetivo é estimar uma distribuição de probabilidade desconhecida $\mu^*$ a partir de uma amostra i.i.d. $X_1, \dots, X_n$, assumindo que a distribuição verdadeira pertence (ou pode ser aproximada por) um conjunto de distribuições $\mathcal{F}$ que satisfazem certas restrições de forma (ex: densidades não decrescentes ou log-côncavas).

A abordagem tradicional para este problema é a Estimação de Máxima Verossimilhança (MLE), que projeta a distribuição empírica no modelo $\mathcal{F}$ minimizando a divergência de Kullback-Leibler (KL). Os autores propõem uma alternativa baseada na Teoria do Transporte Ótimo: estimar a distribuição em $\mathcal{F}$ que está mais próxima da distribuição empírica $\mu_n$ segundo a distância de Wasserstein ($W_p$).

2. Metodologia

2.1. Projeção de Wasserstein

O estimador proposto, $\hat{\mu}_n$, é definido como a projeção da distribuição empírica $\mu_n$ sobre o conjunto de modelos $\mathcal{F}$:
$$\hat{\mu}_n := \arg\min_{\nu \in \mathcal{F}} W_p(\nu, \mu_n)$$
Onde $W_p$ é a distância de Wasserstein de ordem $p$. O foco principal do trabalho é o caso quadrático, $p=2$.

2.2. Convexidade e Geometria

Para garantir que o problema de otimização seja bem-posto (existência e unicidade) e convexo, os autores impõem que o conjunto $\mathcal{F}$ seja:

1. Fechado em relação à métrica $W_p$.
2. Convexo por deslocamento (displacement convex).

No contexto univariado, a convexidade por deslocamento é equivalente à convexidade ordinária no espaço das funções quantílicas. Seja $Q_\mu$ a função quantílica de $\mu$. A distância de Wasserstein entre duas distribuições univariadas é isométrica à distância $L^p$ entre suas funções quantílicas:
$$W_p(\mu, \nu) = \|Q_\mu - Q_\nu\|_{L^p}$$
Assim, o problema de projeção de Wasserstein transforma-se em um problema de projeção $L^p$ no espaço de funções quantílicas, que é um espaço de Hilbert (para $p=2$).

2.3. Casos de Estudo

Os autores analisam dois casos fundamentais de restrições de forma:

1. Densidades Monótonas (Não Crescentes) em $\mathbb{R}_+$: O conjunto $\mathcal{F}_m$ corresponde a distribuições cujas funções quantílicas são convexas, não decrescentes e nulas em 0.
2. Densidades Log-Côncavas em $\mathbb{R}$: O conjunto $\mathcal{F}_{lc}$ corresponde a distribuições onde a função $1/Q'_\mu$ é côncava (e positiva).

3. Principais Contribuições e Resultados Teóricos

3.1. Propriedades Estruturais dos Estimadores

O artigo estabelece propriedades estruturais rigorosas para os estimadores projetados quando $p=2$:

• Caso Monótono (Teorema 3.6): A densidade estimada $\hat{\mu}_n$ é constante por partes (piecewise constant) e tem suporte compacto. O número de "pedaços" é finito.
• Caso Log-Côncavo (Teorema 4.7): A densidade estimada $\hat{\mu}_n$ é log-affine por partes (piecewise log-affine) e tem suporte compacto.

Diferença Crucial em Relação ao MLE:
Embora qualitativamente semelhantes aos estimadores de máxima verossimilhança (Grenander para monótono e Cule et al. para log-côncavo), há diferenças fundamentais:

• Suporte: O suporte do estimador de projeção de Wasserstein não é necessariamente o casco convexo dos dados. Frequentemente, ele é mais amplo.
  • Exemplo: Para dados em $\{-1, 1\}$, o MLE log-côncavo retorna a uniforme em $[-1, 1]$, enquanto a projeção de Wasserstein ($p=2$) retorna a uniforme em $[-1.5, 1.5]$.
• Pontos de Quebra: Os pontos onde a densidade muda de comportamento (pontos de quebra) não precisam coincidir com os pontos de dados observados, ao contrário do MLE.

3.2. Propriedades Gerais

• Equivalência Afim: O estimador é equivariante sob transformações afins não degeneradas.
• Consistência: O estimador é consistente em relação à distância $W_2$. A taxa de convergência depende das propriedades da distribuição verdadeira (ex: para distribuições log-côncavas, a taxa é paramétrica até um fator logarítmico).
• Não Monotonicidade Estocástica: Diferente do que se poderia esperar, a projeção de Wasserstein não preserva a ordem de dominância estocástica em geral.

4. Implementação Computacional

Os autores propõem discretizações tratáveis para resolver os problemas de otimização:

• Discretização: As funções quantílicas são aproximadas por funções afins por partes em uma grade fixa de quantis.
• Caso Monótono: O problema torna-se um Programa Quadrático (QP) com restrições lineares de monotonicidade e convexidade.
• Caso Log-Côncavo: O problema é formulado como uma otimização convexa sobre os coeficientes da função côncava $h = 1/Q'$. A densidade resultante é log-affine por partes.
• Ferramentas: Os algoritmos foram implementados em R, utilizando pacotes como quadprog (para o caso monótono) e nloptr (para o caso log-côncavo).

5. Resultados Empíricos

Os autores compararam o estimador de projeção de Wasserstein com o MLE correspondente em vários cenários simulados:

1. Misturas de Pontos: Mostraram que o estimador de Wasserstein tende a "alargar" o suporte da distribuição estimada em comparação ao MLE, o que pode ser benéfico em cenários de especificação incorreta do modelo (misspecification).
2. Casos de Especificação Incorreta: Em dados gerados por misturas de distribuições (que não são log-côncavas), ambos os estimadores capturam a forma geral, mas o estimador de Wasserstein oferece um ajuste melhor à função quantílica empírica em termos de erro $L^2$, enquanto o MLE foca em minimizar a divergência KL.
3. Trade-offs: O estimador de Wasserstein sacrifica a precisão local nos pontos de dados para obter uma estrutura global mais suave e geometricamente coerente, enquanto o MLE tende a se ajustar rigidamente aos dados (especialmente nos pontos de quebra).

6. Significado e Conclusão

Este trabalho é significativo por:

• Introduzir uma nova geometria: Demonstrar que a estimativa de densidade baseada em transporte ótimo (geometria de Wasserstein) oferece uma alternativa viável e teoricamente sólida à estimativa baseada em verossimilhança (geometria de Fisher/KL).
• Estabelecer fundamentos teóricos: Provar a existência, unicidade e propriedades estruturais (suporte compacto, forma por partes) para estimadores de projeção em espaços de densidades com restrições de forma.
• Insights sobre Robustez: Sugerir que a projeção de Wasserstein pode ser mais robusta em cenários onde o modelo é mal especificado, devido à sua capacidade de expandir o suporte e suavizar a estimativa de forma natural, incorporando a geometria do espaço de estados.

O artigo também aponta direções futuras, incluindo a extensão para o caso multivariado (onde a convexidade por deslocamento falha para distribuições log-côncavas em dimensões $d \ge 2$) e a exploração de interpolações entre métricas de Wasserstein e Fisher-Rao.