Posterior uncertainty for kernel density estimates

Probleemstelling
Dit artikel onderzoekt de theoretische fundamenten van kernel density estimation (KDE) binnen het kader van predictieve Bayesiaanse inferentie. Hoewel recent werk diverse Bayesiaanse interpretaties heeft vastgesteld voor verschillende one-step-ahead predictieve algoritmen, vereist het specifieke gedrag van klassieke KDE's in deze setting een rigoureuze analyse. Het centrale probleem is om te bepalen of de predictieve maten die geassocieerd worden met recursieve KDE-resampling zwak bijna zeker convergeren naar een limiterende willekeurige waarschijnlijkheidsmaat. Verder streven de auteurs ernaar om de eigenschappen van deze limiterende maat te karakteriseren—specifiek de absolute continuïteit ervan—en om de convergentie van moment-schatters vast te stellen. Een cruciale kloof die wordt geadresseerd is of deze predictieve sequenties voldoen aan standaard convergentiecriteria (zoals zijdan conditieel identiek verdeeld, c.i.d., of bijna c.i.d., a.c.i.d.) of dat zij een nieuwe klasse van convergente sequenties vertegenwoordigen die dat niet zijn.

Methodologie
De auteurs hanteren een predictief resampling-schema waarbij, gegeven geobserveerde data $y_{1:n_{obs}}$, een kernel density estimate $f_0$ wordt geconstrueerd. Vervolgbestanden $Y_{n+1}$ worden recursief gesampled uit predictieve verdelingen $f_n$ die de kernel density estimate bijwerken door de nieuw gesamplede datapunten te incorporeren. De bandbreedte $h_n$ vervalt als $n^{-a}$ voor $a > 0$.

De analyse steunt op verschillende wiskundige instrumenten:

1. Theorie van zwakke convergentie: De auteurs maken gebruik van de equivalentie tussen de zwakke convergentie van willekeurige waarschijnlijkheidsmaten en de bijna zekere (a.s.) convergentie van integralen van begrensde continue functies (specifiek $C_b^\infty$).
2. Martingaal- en supermartingaaltheorie: De convergentie van de predictieve maten wordt geanalyseerd met behulp van de Robbins-Siegmund stelling voor niet-negatieve bijna supermartingalen.
3. Uniforme integreerbaarheid: Om de convergentie van momenten te waarborgen, vestigt het artikel voorwaarden waaronder de sequentie van geresamplede variabelen uniform integreerbaar is.
4. Bewijzen van absolute continuïteit: Voor Gaussische kernels bewijzen de auteurs de absolute continuïteit van de limiterende maat ten opzichte van de Lebesgue-maat door de uniforme absolute continuïteit van integralen van de dichtheidsfuncties aan te tonen en Prokhorov's stelling en eigenschappen van $L^1$-compactheid toe te passen.

Belangrijkste bijdragen en resultaten

• Bijna zekere zwakke convergentie: Het artikel bewijst dat voor kernel density estimators met kernels die voldoen aan $\int z K(z) dz = 0$ en $\int z^2 K(z) dz < \infty$, de sequentie van predictieve maten $\alpha_n$ zwak bijna zeker convergeert naar een willekeurige waarschijnlijkheidsmaat $\alpha$. Dit impliceert dat de resampling-sequentie $(Y_n)_{n \ge 1}$ asymptotisch verwisselbaar is.
• Niet-standaard convergentiecriteria: Een significante theoretische bevinding is dat voor Gaussische kernels, de predictieve sequentie niet conditieel identiek verdeeld (c.i.d.) is, noch een quasi-martingaal vormt, noch bijna c.i.d. (a.c.i.d.) is. Dit biedt een niet-trivial voorbeeld van een predictieve sequentie die zwak bijna zeker convergeert zonder de standaard voldoende voorwaarden (c.i.d., quasi-martingaal of a.c.i.d.) te vervullen die gewoonlijk in de literatuur worden gevonden.
• Absolute continuïteit van de limiet: Voor Gaussische kernels bewijzen de auteurs dat de limiterende sturende maat $\alpha$ bijna zeker absoluut continu is ten opzichte van de Lebesgue-maat. Dit waarborgt het bestaan van een limiterende waarschijnlijkheidsdichtheidsfunctie, wat een vereiste is voor het definiëren van geloofwaardigheidsintervallen voor de dichtheidsschatting zelf.
• Convergentie van momenten: Het artikel demonstreert dat de empirische momenten van de geresamplede sequentie bijna zeker convergeren naar de momenten van de limiterende verdeling. Dit maakt het mogelijk om functionalen van de dichtheid (bijv. gemiddelden, varianties) te schatten via het predictieve resampling-schema.
• Intrinsieke predictieven: De resultaten worden uitgebreid naar "intrinsieke predictieven", waarbij de initiële predictieve verdeling ook een kernel density estimate is afgeleid van de geobserveerde data, wat het gehele proces zelfconsistent maakt.

Betekenis en claims
Het artikel claimt een rigoureuze rechtvaardiging te bieden voor het gebruik van predictieve resampling om de posterior onzekerheid in kernel density estimates te beoordelen. Door het bestaan van een limiterende dichtheid aan te tonen (specifiek voor Gaussische kernels), stellen de auteurs de constructie van geloofwaardigheidsbanden voor de KDE zelf mogelijk, een capaciteit die voorheen ontbrak in dit specifieke predictieve kader.

De auteurs benadrukken dat hun werk een "theoretisch vangnet" biedt door de methode te verankeren in verwisselbaarheid, zelfs wanneer de specifieke predictieve sequenties niet voldoen aan de sterkere c.i.d. of a.c.i.d. eigenschappen die vaak worden verondersteld in de martingaal posterior literatuur. De resultaten worden geïllustreerd op twee reële datasets (wachttijden van Old Faithful geisers en galactische snelheden), waarbij de methode stabiele en redelijke posterior gemiddelde schattingen en geloofwaardigheidsbanden produceert, in contrast met het gedrag van Dirichlet Process Mixture Models in bepaalde regio's met lage datadichtheid.

Het artikel concludeert bescheiden door op te merken dat hoewel de absolute continuïteitsresultaat bewezen is voor Gaussische kernels, het vermoeden bestaat dat dit algemener geldt voor andere kernels, hoewel dit nog geverifieerd moet worden. Tevens blijft de vraag of de totale variatie afstand tussen de predictieve maten en de limiet naar nul convergeert, een openstaand probleem.