Posterior uncertainty for kernel density estimates

Problema de Pesquisa
Este artigo investiga os fundamentos teóricos da estimativa de densidade kernel (KDE) dentro do arcabouço da inferência bayesiana preditiva. Embora trabalhos recentes tenham estabelecido interpretações bayesianas para vários algoritmos preditivos de um passo à frente, o comportamento específico das KDEs clássicas neste cenário requer uma análise rigorosa. O problema central é determinar se as medidas preditivas associadas ao reamostragem recursiva de KDE convergem fracamente quase certamente para uma medida de probabilidade limite. Além disso, os autores buscam caracterizar as propriedades desta medida limite — especificamente sua continuidade absoluta — e estabelecer a convergência dos estimadores de momentos. Uma lacuna crítica abordada é se essas sequências preditivas satisfazem critérios de convergência padrão (como serem condicionalmente identicamente distribuídas, c.i.d., ou quase c.i.d., a.c.i.d.) ou se representam uma nova classe de sequências convergentes que não o são.

Metodologia
Os autores empregam um esquema de reamostragem preditiva onde, dados os dados observados $y_{1:n_{obs}}$, uma estimativa de densidade kernel $f_0$ é construída. Observações subsequentes $Y_{n+1}$ são amostradas recursivamente de distribuições preditivas $f_n$ que atualizam a estimativa de densidade kernel incorporando os novos pontos de dados amostrados. A largura de banda $h_n$ decai como $n^{-a}$ para $a > 0$.

A análise baseia-se em diversas ferramentas matemáticas:

1. Teoria da Convergência Fraca: Os autores utilizam a equivalência entre a convergência fraca de medidas de probabilidade aleatórias e a convergência quase certa (a.s.) de integrais de funções contínuas limitadas (especificamente $C_b^\infty$).
2. Teoria de Martingais e Supermartinais: A convergência das medidas preditivas é analisada utilizando o teorema de Robbins-Siegmund para quase supermartinais não negativas.
3. Integrabilidade Uniforme: Para garantir a convergência de momentos, o artigo estabelece condições sob as quais a sequência de variáveis reamostradas é uniformemente integrável.
4. Provas de Continuidade Absoluta: Para kernels Gaussianos, os autores provam a continuidade absoluta da medida limite em relação à medida de Lebesgue, demonstrando a continuidade absoluta uniforme de integrais das funções de densidade e aplicando o teorema de Prokhorov e propriedades de compacidade em $L^1$.

Principais Contribuições e Resultados

• Convergência Fraca Quase Certa: O artigo prova que, para estimadores de densidade kernel que satisfazem $\int z K(z) dz = 0$ e $\int z^2 K(z) dz < \infty$, a sequência de medidas preditivas $\alpha_n$ converge fracamente quase certamente para uma medida de probabilidade aleatória $\alpha$. Isso implica que a sequência de reamostragem $(Y_n)_{n \ge 1}$ é assintoticamente permutável.
• Critérios de Convergência Não Padronizados: Uma descoberta teórica significativa é que, para kernels Gaussianos, a sequência preditiva não é condicionalmente identicamente distribuída (c.i.d.), nem forma um quase-martingal, nem é quase c.i.d. (a.c.i.d.). Isso fornece um exemplo não trivial de uma sequência preditiva que converge fracamente quase certamente sem satisfazer as condições suficientes padrão (c.i.d., quase-martingal ou a.c.i.d.) tipicamente encontradas na literatura.
• Continuidade Absoluta do Limite: Para kernels Gaussianos, os autores provam que a medida diretriz limite $\alpha$ é quase certamente absolutamente contínua em relação à medida de Lebesgue. Isso garante a existência de uma função de densidade de probabilidade limite, que é um pré-requisito para definir intervalos de credibilidade para a própria estimativa de densidade.
• Convergência de Momentos: O artigo demonstra que os momentos empíricos da sequência reamostrada convergem quase certamente para os momentos da distribuição limite. Isso permite a estimativa de funcionais da densidade (por exemplo, médias, variâncias) via o esquema de reamostragem preditiva.
• Preditivos Intrínsecos: Os resultados são estendidos para "preditivos intrínsecos", onde a distribuição preditiva inicial também é uma estimativa de densidade kernel derivada dos dados observados, garantindo que todo o processo seja autoconsistente.

Significância e Alegações
O artigo afirma fornecer uma justificativa rigorosa para o uso de reamostragem preditiva para avaliar a incerteza posterior de estimativas de densidade kernel. Ao estabelecer a existência de uma densidade limite (especificamente para kernels Gaussianos), os autores permitem a construção de intervalos de credibilidade para a própria KDE, uma capacidade que carecia neste framework preditivo específico.

Os autores destacam que seu trabalho oferece uma "rede de segurança teórica" ao ancorar o método na permutabilidade, embora as sequências preditivas específicas não satisfaçam as propriedades mais fortes de c.i.d. ou a.c.i.d. frequentemente assumidas na literatura de posterior de martingal. Os resultados são ilustrados em dois conjuntos de dados reais (tempos de espera do geiser Old Faithful e velocidades de galáxias), onde o método produz estimativas de média posterior e bandas de credibilidade que parecem estáveis e razoáveis, contrastando com o comportamento de Modelos de Mistura de Processo de Dirichlet em certas regiões de baixa densidade de dados.

O artigo conclui modestamente, observando que, embora o resultado de continuidade absoluta seja provado para kernels Gaussianos, conjectura-se que ele se aplique mais amplamente a outros kernels, embora isso ainda precise ser verificado. Da mesma forma, a questão de se a distância de variação total entre as medidas preditivas e o limite converge para zero permanece como um problema em aberto.