Regularized estimation of Monge-Kantorovich quantiles for spherical data

Resumo Técnico: Estimativa Regularizada de Quantis de Monge-Kantorovich para Dados Esféricos

Definição do Problema
Dados direcionais, observados como pontos na $d$-esfera unitária $S^{d-1}$, carecem de uma ordenação canônica, o que torna a definição de quantis estatísticos mais complexa do que no espaço euclidiano. Abordagens não paramétricas recentes utilizam a teoria do Transporte Ótimo (OT) para definir quantis de Monge-Kantorovich (MK). Especificamente, para dados direcionais, uma função quantil empírica $Q_n$ é construída resolvendo um problema de OT entre uma distribuição uniforme na esfera e a medida empírica dos dados.

No entanto, os estimadores de OT existentes para dados direcionais sofrem de duas limitações primárias:

1. Falta de Capacidade Out-of-Sample: O emparelhamento empírico entre duas distribuições discretas (os dados e uma grade regular) produz uma função constante por partes restrita ao conjunto das observações. Não pode fornecer estimativas para novos pontos de dados não observados ($X_{new}$), o que é essencial para aplicações como classificação baseada em profundidade ou medição de dispersão.
2. Complexidade Computacional: Resolver problemas de OT discretos tipicamente escala de forma cúbica com o número de observações, dificultando a escalabilidade.

Metodologia
Os autores propõem um framework para a estimativa regularizada de quantis MK direcionais utilizando Transporte Ótimo Entrópico (EOT) na 2-esfera ($S^2$). A metodologia procede da seguinte forma:

1. Regularização Entrópica: Em vez de resolver o problema discreto de Monge, os autores formulam um problema de OT contínuo entre a medida uniforme $\mu_{S^2}$ e a medida alvo $\nu$. Eles introduzem um termo de regularização entrópica com parâmetro $\varepsilon > 0$. Isso transforma o problema em uma otimização semi-dual sobre uma única função potencial $u$, definida como:
   $$\max_{u \in L^\infty(S^2)} \int_{S^2} u(x) d\mu_{S^2}(x) + \int_{S^2} u^{c,\varepsilon}(y) d\nu(y)$$
   onde $u^{c,\varepsilon}$ é a conjugada suave de $u$.

2. Parametrização Espectral: Para resolver este problema de dimensão infinita, o potencial dual $u$ é parametrizado usando harmônicos esféricos. A função é expandida como uma série de coeficientes $\bar{u} = (\bar{u}^m_l)$. Os autores provam que, para o caso regularizado, o potencial é duas vezes continuamente diferenciável, garantindo que a série de harmônicos esféricos pertença a $\ell^1$.

3. Algoritmo Estocástico: Um algoritmo de gradiente descendente estocástico é desenvolvido para otimizar os coeficientes dos harmônicos esféricos.

   • Entrada: Uma sequência de observações i.i.d. $X_1, \dots, X_n$ de $\nu$.
   • Mecanismo: Em cada iteração, o algoritmo atualiza os coeficientes usando o gradiente da função objetivo em relação a uma única amostra.
   • Eficiência: O algoritmo aproveita a Transformada Rápida de Fourier (FFT) na esfera (via biblioteca pyshtools) para computar as integrais e transformações necessárias. O custo computacional por iteração é $O(p^2 \log^2 p)$, onde $p$ é o tamanho da grade, melhorando significativamente a complexidade cúbica dos solvers de OT discretos.
   • Aprendizado Online: O algoritmo opera de forma online, processando dados sequencialmente sem a necessidade de armazenar uma matriz de custo completa $n \times n$.

4. Funções Quantil e de Distribuição Regularizadas:

   • Uma vez estimada a potencial ótima $u_\varepsilon$, a função quantil regularizada $Q_\varepsilon$ e a função de distribuição $F_\varepsilon$ são derivadas.
   • Ao contrário do caso não regularizado, estas funções são suaves e definidas via expressões de forma fechada envolvendo médias ponderadas no espaço tangente (projeções baricêntricas).
   • Especificamente, $Q_\varepsilon(x) = \text{Exp}_x \left( \int \text{Log}_x(z) \exp(\dots) d\nu(z) \right)$, permitindo a avaliação direta em qualquer ponto $x \in S^2$.

5. Profundidade Estatística Direcional: O artigo define uma Profundidade MK Direcional baseada na proximidade da função de distribuição $F(x)$ com a mediana de Fréchet. Esta medida de profundidade satisfaz versões adaptadas dos axiomas de Liu-Zuo-Serfling, incluindo invariância rotacional e monotonicidade ao longo de curvas de sinal.

Principais Contribuições

• Extensão de Mapas Entrópicos: Os autores estendem o conceito de mapa entrópico (previamente definido para espaços euclidianos) para o ambiente não euclidiano da esfera, fornecendo um estimador suave e regularizado para quantis MK.
• Estimativa Out-of-Sample: A função quantil regularizada proposta $Q_\varepsilon$ permite a estimativa de quantis para novas observações, uma capacidade ausente nos métodos anteriores de OT baseados em discretização.
• Algoritmo Espectral Estocástico: Um novo algoritmo estocástico é introduzido que resolve problemas de OT contínuos em $S^2$ expandindo potenciais em harmônicos esféricos, utilizando FFT para eficiência computacional.
• Definição de Profundidade Direcional: Uma nova noção de profundidade estatística MK direcional é introduzida, que herda propriedades desejáveis da profundidade MK euclidiana e satisfaz axiomas relevantes para estatística direcional.

Resultos e Alegações

• Propriedades Teóricas: O artigo estabelece que os potenciais regularizados são duas vezes continuamente diferenciáveis, garantindo que as funções quantil e de distribuição resultantes sejam suaves. Demonstra que, conforme $\varepsilon \to 0$, os potenciais regularizados convergem uniformemente para os potenciais de Kantorovich não regularizados.
• Eficiência Computacional: O algoritmo estocástico evita a complexidade $O(n^3)$ do OT discreto, reduzindo o custo por iteração para $O(p^2 \log^2 p)$, tornando-o adequado para grandes conjuntos de dados e cenários de aprendizado online.
• Utilidade Estatística: A metodologia permite classificação baseada em profundidade e medições de dispersão ao fornecer mapeamentos contínuos e diferenciáveis. O artigo ilustra esses benefícios através de experimentos numéricos (detalhados na Seção 6 do artigo completo), mostrando que a abordagem regularizada fornece contornos mais suaves e melhor desempenho out-of-sample comparado aos estimadores discretos não regularizados.

Significância
O artigo alega que sua principal significância reside em preencher a lacuna entre os quantis teóricos baseados em OT e aplicações estatísticas práticas para dados direcionais. Ao introduzir a regularização entrópica e um solver estocástico espectral, os autores fornecem um método computacionalmente tratável que supera a limitação "out-of-sample" de abordagens discretas anteriores. Isso permite a aplicação de quantis MK e medidas de profundidade a problemas do mundo real envolvendo dados direcionais, como classificação e medição de risco, onde suavidade e a capacidade de avaliar novos pontos de dados são mandatórias. O trabalho também contribui para o campo mais amplo de OT em variedades ao fornecer uma formulação explícita e tratável para a esfera.