$\lambda$-PSD: Scalable Approximate SNR-Optimised Polynomial Stein Discrepancies

Technische Samenvatting: $\lambda$-PSD: Schaalbare, benaderde SNR-geoptimaliseerde Polynomiale Stein-discrepanties

Probleemstelling
Polynomiale Stein-discrepanties (PSD) zijn naar voren gekomen als een schaalbaar, lineair-tijd alternatief voor Kernel Stein-discrepanties (KSD) voor het meten van de kwaliteit van steekproeven en het uitvoeren van goedheid-van-passing (GoF) testen wanneer de doelverdeling $p$ alleen bekend is tot aan een normaliserende constante. Hoewel PSD's computationele voordelen bieden door kernfuncties te vervangen door polynomiale kenmerken van orde $Q$, blijven hun statistische eigenschappen slecht begrepen. Specifiek suggereert empirisch bewijs dat de testkracht zeer gevoelig is voor de keuze van de polynomiale graad $Q$, waarbij vaak een niet-monotoon gedrag wordt vertoond waarbij intermediaire waarden van $Q$ een slechte prestatie leveren. Het artikel identificeert een fundamentele theoretische beperking: het verhogen van de polynomiale graad vergroot primair het signaal zonder het variantie adequaat te controleren, wat leidt tot een faalmodus waarbij de kwadratische signaal-ruisverhouding ($SNR^2$) exponentieel afneemt met $Q$ onder Gaussische instellingen. Deze afname ondermijnt de betrouwbaarheid van PSD-gebaseerde testen naarmate de modelcomplexiteit toeneemt.

Methodologie
De auteurs herformuleren de constructie van Stein-discrepanties als een expliciet $SNR^2$-maximalisatieprobleem.

1. Theoretische Analyse van PSD: Het artikel analyseert eerst de standaard $L_1$-gebaseerde Polynomiale Stein-discrepantie ($PSD_{L_1}$). Door de asymptotische schaling van $SNR^2$ voor de bijbehorende U-statistiek en split-sample z-statistiek af te leiden onder Gaussische aannames ($p = \mathcal{N}(0, I_d)$ en $q = \mathcal{N}(\delta, \sigma^2 I_d)$), bewijzen zij dat $SNR^2$ exponentieel afneemt als $Q \to \infty$. Dit wordt toegeschreven aan de ongecontroleerde inflatie van variantie in hogere-orde polynomiale termen ten opzichte van het signaal.
2. SNR-geoptimaliseerd Kader: Om dit aan te pakken, stellen de auteurs voor om de ratio van de gekwadrateerde verwachte waarde tot de variantie van de Stein-operator output te maximaliseren:
   $$\sup_h \frac{(\mathbb{E}_q[L_1 h(x)])^2}{\text{Var}_q[L_1 h(x)]}$$
   Deze formulering leidt tot een gegeneraliseerde Rayleigh-quotiënt over Stein-kenmerken. Theoretisch behelst de optimale oplossing het inverteren van de volledige covariantie-matrix van de kenmerkvector, wat computationeel onhaalbaar ($O(Q^3 d^6)$) en statistisch slecht gesteld is in hoge dimensies vanwege rangtekort.
3. $\lambda$-PSD (Benaderde Oplossing): Om schaalbaarheid te bereiken, introduceren de auteurs $\lambda$-PSD. In plaats van te optimaliseren over de volledige hoog-dimensionale kenmerkruimte, beperken zij de optimalisatie tot een laag-dimensionale subruimte gespannen door de ongewogen $PSD_{L_1}$ oplossing.
   • Zij definiëren een vector van Stein-kenmerken $\Psi(X)$ gebaseerd op de theoretisch optimale coëfficiënten van de standaard PSD.
   • Zij introduceren een scalaire gewichtsvector $\lambda \in \mathbb{R}^{Q+1}$ om deze kenmerken te herwegen.
   • Het optimalisatieprobleem reduceert tot het vinden van $\lambda$ dat de Rayleigh-quotiënt maximaliseert over deze gereduceerde subruimte: $\sup_{\lambda} \frac{(\lambda^\top \mu_\Psi)^2}{\lambda^\top \Sigma_\Psi \lambda}$.
   • Om dit efficiënt op te lossen en numerieke instabiliteit in de empirische covariantie-matrix $\hat{\Sigma}_\Psi$ te vermijden, gebruiken de auteurs een stochastische optimalisatiestrategie gebaseerd op de Cross-Entropy (CE) methode. Deze aanpak leert adaptief een steekproefverdeling voor $\lambda$, wat effectief werkt als impliciete regularisatie door componenten te snoeien die weinig bijdragen aan het signaal.

Belangrijkste Bijdragen

• Theoretische Karakterisering van Faalmodi: Het artikel biedt de eerste theoretische karakterisering die aantoont dat de $SNR^2$ van standaard PSD's exponentieel kan afnemen met de polynomiale graad onder Gaussische instellingen, wat de geobserveerde gevoeligheid voor $Q$ verklaart.
• SNR-geoptimaliseerd Kader: De auteurs stellen een nieuw kader voor dat de constructie van Stein-discrepanties behandelt als een expliciet $SNR^2$-maximalisatieprobleem, waarbij de focus verschuift van enkel het maximaliseren van het signaal naar het optimaliseren van de signaal-ruisverhouding.
• $\lambda$-PSD Estimator: Zij introduceren $\lambda$-PSD, een schaalbare, benaderde estimator die een stabiele $SNR^2$ bereikt onder Gaussische instellingen. Het behoudt een lineaire-tijd complexiteit met betrekking tot het aantal steekproeven, terwijl het de robuustheid tegen de keuze van de polynomiale orde $Q$ aanzienlijk verbetert.
• Praktische Implementatie: Het artikel beschrijft een split-sample testing framework met behulp van een een-steekproef z-test om de computationele overhead van bootstrapping van hoog-dimensionale U-statistieken te omzeilen, waardoor de methode toepasbaar is in grootschalige settings.

Resultaten

• Theoretische Stabiliteit: Onder Gaussische instellingen bewijzen de auteurs dat $\lambda$-PSD de inherente exponentiële $SNR^2$-instorting van standaard PSD's vermijdt, en een stabiele $SNR^2$ bereikt die begrensd wordt door de chi-kwadraat divergentie tussen de distributies.
• Empirische Prestaties: Simulatiestudies tonen aan dat $\lambda$-PSD de testkracht aanzienlijk verbetert ten opzichte van standaard PSD's. Cruciaal is dat het concurrerende prestaties levert voor goedheid-van-passing testen, terwijl het de lineaire-tijd complexiteit in het aantal steekproeven behoudt. De methode vertoont een verminderde gevoeligheid voor de specifieke keuze van de polynomiale graad $Q$, waarmee de eerder geobserveerde niet-monotone prestatieproblemen worden aangepakt.

Betekenis
Het artikel benadrukt het cruciale belang van $SNR$-bewuste vormgeving bij de ontwikkeling van schaalbare Stein-discrepanties. Door te identificeren dat bestaande PSD-kaders het verkeerde objectie optimaliseren (alleen signaal in plaats van de signaal-ruisverhouding), bieden de auteurs een principieel pad naar meer robuuste en betrouwbare statistische testen. De voorgestelde $\lambda$-PSD biedt een praktische oplossing die de kloof overbrugt tussen theoretische optimaliteit en computationele haalbaarheid, waardoor effectieve goedheid-van-passing testen mogelijk wordt in grootschalige Bayesiaanse berekeningsomgevingen waar doelverdelingen alleen bekend zijn tot aan een normaliserende constante.