Constrained Density Estimation via Optimal Transport

Resumo Técnico: Estimação de Densidade Constrained usando Transporte Ótimo

1. O Problema

O artigo aborda um problema fundamental em estatística e finanças: a estimação de uma distribuição de probabilidade alvo (densidade) quando esta não é conhecida explicitamente, mas sim definida por um conjunto de restrições de expectativa (valores esperados de funções específicas).

• Contexto: Em muitas aplicações (como finanças para precificação de opções ou alocação de recursos), temos uma distribuição a priori (ou fonte) conhecida, mas a distribuição alvo deve satisfazer certas condições (ex: o preço de uma opção deve corresponder a um valor de mercado esperado).
• Desafio: Métodos tradicionais, como a minimização da Divergência de Kullback-Leibler (KL), tratam a discrepância entre distribuições de forma "vertical" (comparando valores de densidade ponto a ponto). Isso pode levar a artefatos indesejados, como "cantos" afiados ou distorções excessivas.
• Objetivo: Encontrar a densidade alvo que minimize a distância de Wasserstein (Transporte Ótimo) em relação à prior, sujeita a restrições de igualdade (e posteriormente desigualdade) sobre os valores esperados de um conjunto de funções $\{f_k\}$.

2. Metodologia

O trabalho propõe um novo framework baseado no Transporte Ótimo (OT) com restrições.

• Formulação do Problema:
  Dada uma medida a priori $\rho$ e um conjunto de funções $f_k$ com valores esperados alvo $\bar{f}_k$, busca-se a medida alvo $\mu$ que resolve:
  $$\min_{\mu} W_2(\rho, \mu) \quad \text{sujeito a} \quad \int f_k(y) d\mu = \bar{f}_k$$
  Onde $W_2$ é a distância de Wasserstein de ordem 2. Diferente do OT clássico, aqui a própria medida alvo $\mu$ é desconhecida e deve ser inferida.

• Soluções Analíticas (Exemplos 1D):
  Os autores demonstram que, para custos quadráticos em 1D, o mapa de transporte ótimo é monotônico. Eles comparam as soluções OT com as soluções baseadas em KL:

  • KL: "Estica" a distribuição verticalmente (muda a densidade).
  • OT: "Desloca" a massa horizontalmente (muda a localização das amostras).
  • Exemplos: Para funções indicadoras (suporte restrito) e funções RELU (opções financeiras), as soluções OT resultam em deslocamentos de massa e acúmulos nas fronteiras, enquanto o KL resulta em reescalonamento da densidade.

• Regularização e Suavização (Inequalities):
  Soluções puras de OT podem gerar medidas singulares (acúmulos de massa em pontos ou lacunas de probabilidade zero), o que pode ser indesejável em modelos reais. Para mitigar isso, o framework introduz restrições de desigualdade de suavização:

  1. Limitar a acumulação de massa em conjuntos pequenos (controlando a norma $L^2$ da densidade).
  2. Evitar densidades muito baixas em domínios específicos (controlando a integral de $1/p_\mu$).

• Algoritmo Numérico (Annealing):
  Como as restrições (especialmente as funções não suaves como RELU ou indicadoras) e as restrições de suavização tornam o problema analiticamente intratável para casos gerais, os autores desenvolvem um algoritmo numérico:

  • Aproximação Mollificada: As funções não suaves $f_k$ são substituídas por versões suaves $f_k^\epsilon$ (ex: usando $\tanh$).
  • Agendamento de Annealing: O parâmetro de suavização $\epsilon$ começa grande e é reduzido iterativamente ($\epsilon \leftarrow \epsilon/\beta$). Isso permite que o gradiente não desapareça durante a otimização, guiando as amostras para a solução correta sem estagnar.
  • Penalidade Quadrática: As restrições são tratadas via penalidades no objetivo, e as restrições de desigualdade são tratadas com funções barreira.
  • Otimização: Utiliza descida de gradiente com busca de linha (backtracking) para ajustar as amostras da distribuição alvo.

3. Contribuições Chave

1. Novo Framework de OT Constrained: Propõe minimizar a distância de Wasserstein sob restrições de expectativa, oferecendo uma alternativa geometricamente mais robusta à minimização de KL.
2. Análise Comparativa: Demonstra teoricamente e empiricamente que o OT desloca a massa horizontalmente (preservando a estrutura de suporte de forma mais natural para certos problemas), enquanto o KL altera a densidade verticalmente.
3. Técnica de Regularização: Introduz restrições de desigualdade para evitar artefatos de singularidade (acúmulos e lacunas) comuns em soluções de OT puro.
4. Algoritmo de Annealing: Desenvolve um método numérico eficiente para lidar com restrições não suaves e não lineares em dados amostrais, garantindo convergência para a solução das restrições originais.
5. Aplicação em Finanças: Validação do método na recuperação da medida de precificação de risco neutro a partir de preços de opções vanilla para precificar opções exóticas.

4. Resultados

• Exemplos Sintéticos (1D e 2D):

  • Em problemas de suporte restrito (ex: massa deve estar dentro de um intervalo ou círculo), o método OT com suavização consegue distribuir a massa de forma contínua e realista, evitando os delta-functions (acúmulos pontuais) presentes na solução OT não regularizada.
  • O método supera a abordagem KL em termos de suavidade e preservação da estrutura geométrica da distribuição.

• Estudo de Caso Financeiro (Precificação de Opções):

  • Cenário: Recuperação da distribuição de preços de um ativo a partir de 3 opções vanilla (preços de mercado) para precificar opções exóticas (Up-and-out, Cash-or-nothing, Asset-or-nothing).
  • Comparação: O método proposto (Wasserstein Suave) foi comparado com a distribuição a priori, a distribuição estimada por KL e a medida "ground truth" (surrogate).
  • Desempenho:
    • O método baseado em Wasserstein (padrão e suavizado) obteve os menores erros relativos em 5 de 6 casos de teste para opções exóticas.
    • O método KL apresentou erros maiores, sugerindo que a métrica de transporte ótimo é mais adequada para calibrar modelos de precificação onde a geometria da distribuição é crucial.
    • A regularização (suavização) melhorou a estabilidade sem sacrificar a precisão.

5. Significado e Impacto

Este trabalho é significativo porque expande a aplicabilidade do Transporte Ótimo para problemas de estimação de densidade sob restrições, uma área onde métodos baseados em divergência (como KL) são tradicionalmente dominantes.

• Finanças Quantitativas: Oferece uma ferramenta superior para a calibração de modelos de precificação de derivativos, especialmente para opções exóticas, onde a forma da cauda da distribuição e a continuidade da densidade são críticas.
• Inferência Estatística: Proporciona uma abordagem geometricamente intuitiva (deslocamento de massa) para ajustar distribuições a dados parciais ou restrições de momento, superando as limitações de métodos que apenas reescalonam a densidade.
• Versatilidade: O algoritmo desenvolvido é aplicável a problemas onde a distribuição a priori é apenas amostrada (empírica), tornando-o útil para cenários do mundo real onde dados completos não estão disponíveis.

Em resumo, o artigo estabelece que o Transporte Ótimo Constrained, quando combinado com técnicas de regularização e otimização por annealing, oferece uma abordagem mais robusta e precisa para a estimação de densidades em cenários de incerteza e restrições parciais do que os métodos baseados em divergência de entropia.