$\lambda$-PSD: Scalable Approximate SNR-Optimised Polynomial Stein Discrepancies

Technische Zusammenfassung: $\lambda$-PSD: Skalierbare, approximative SNR-optimierte Polynomial Stein Discrepancies

Problemstellung
Polynomial Stein Discrepancies (PSD) haben sich als skalierbare, linear-zeitliche Alternative zu Kernel Stein Discrepancies (KSD) etabliert, um die Stichprobenqualität zu messen und Goodness-of-Fit-Tests (GoF) durchzuführen, wenn die Zielverteilung $p$ nur bis auf eine Normierungskonstante bekannt ist. Während PSDs durch den Ersatz von Kernel-Funktionen durch Polynomial-Features der Ordnung $Q$ computationale Vorteile bieten, sind ihre statistischen Eigenschaften bisher kaum verstanden worden. Insbesondere deutet empirische Evidenz darauf hin, dass die Testleistung hochsensibel gegenüber der Wahl des Polynomialgrades $Q$ ist und oft ein nicht-monotones Verhalten zeigt, bei dem intermediäre Werte von $Q$ eine schlechte Leistung erbringen. Das Paper identifiziert eine fundamentale theoretische Limitation: Eine Erhöhung des Polynomialgrades verstärkt primär das Signal, ohne das Rauschen adäquat zu kontrollieren, was zu einem Ausfallmodus führt, bei dem das Quadrat des Signal-Rausch-Verhältnisses ($SNR^2$) unter Gaußschen Einstellungen exponentiell mit $Q$ abnimmt. Dieser Zerfall untergräbt die Zuverlässigkeit von PSD-basierten Tests, wenn die Modellkomplexität steigt.

Methodik
Die Autoren reformulieren die Konstruktion von Stein-Discrepancies als explizites $SNR^2$-Maximierungsproblem.

1. Theoretische Analyse von PSD: Das Paper analysiert zunächst die Standard-$L_1$-basierte Polynomial Stein Discrepancy ($PSD_{L_1}$). Durch die Ableitung der asymptotischen Skalierung von $SNR^2$ für die entsprechende U-Statistik und die Split-Sample-z-Statistik unter Gaußschen Annahmen ($p = \mathcal{N}(0, I_d)$ und $q = \mathcal{N}(\delta, \sigma^2 I_d)$) beweisen sie, dass $SNR^2$ exponentiell mit $Q \to \infty$ abnimmt. Dies wird der unkontrollierten Inflation der Varianz in höheren Polynomtermen relativ zum Signal zugeschrieben.
2. SNR-optimierter Rahmen: Um dies zu adressieren, schlagen die Autoren vor, das Verhältnis des erwarteten Quadrats zum Varianzwert des Stein-Operators zu maximieren:
   $$\sup_h \frac{(\mathbb{E}_q[L_1 h(x)])^2}{\text{Var}_q[L_1 h(x)]}$$
   Diese Formulierung führt zu einem generalisierten Rayleigh-Quotienten über den Stein-Features. Theoretisch beinhaltet die optimale Lösung die Invertierung der vollen Kovarianzmatrix des Feature-Vektors, was jedoch rechentechnisch prohibitiv ($O(Q^3 d^6)$) und aufgrund von Rangdefizienz in hohen Dimensionen statistisch schlecht definiert ist.
3. $\lambda$-PSD (Approximative Lösung): Um Skalierbarkeit zu erreichen, führen die Autoren $\lambda$-PSD ein. Anstatt über den vollen hochdimensionalen Feature-Raum zu optimieren, beschränken sie die Optimierung auf einen niedrigdimensionalen Unterraum, der durch die ungewichtete $PSD_{L_1}$-Lösung aufgespannt wird.
   • Sie definieren einen Vektor von Stein-Features $\Psi(X)$ basierend auf den theoretisch optimalen Koeffizienten der Standard-PSD.
   • Sie führen einen skalaren Gewichtungsvektor $\lambda \in \mathbb{R}^{Q+1}$ ein, um diese Features umzugewichten.
   • Das Optimierungsproblem reduziert sich auf das Finden von $\lambda$, das den Rayleigh-Quotienten über diesen reduzierten Unterraum maximiert: $\sup_{\lambda} \frac{(\lambda^\top \mu_\Psi)^2}{\lambda^\top \Sigma_\Psi \lambda}$.
   • Um dies effizient zu lösen und numerische Instabilitäten in der empirischen Kovarianzmatrix $\hat{\Sigma}_\Psi$ zu vermeiden, nutzen die Autoren eine stochastische Optimierungsstrategie basierend auf der Cross-Entropy (CE)-Methode. Dieser Ansatz lernt adaptiv eine Sampling-Verteilung für $\lambda$ und führt so eine implizite Regularisierung durch, indem Komponenten eliminiert werden, die wenig zum Signal beitragen.

Zentrale Beiträge

• Theoretische Charakterisierung von Ausfallmodi: Das Paper liefert die erste theoretische Charakterisierung, die zeigt, dass das $SNR^2$ von Standard-PSDs unter Gaußschen Einstellungen exponentiell mit dem Polynomialgrad abnehmen kann, was die beobachtete Sensitivität gegenüber $Q$ erklärt.
• SNR-optimierter Rahmen: Die Autoren schlagen einen neuen Rahmen vor, der die Konstruktion von Stein-Discrepancies als explizites $SNR^2$-Maximierungsproblem behandelt und das Ziel von der bloßen Maximierung des Signals hin zur Optimierung des Signal-Rausch-Verhältnisses verschiebt.
• $\lambda$-PSD Schätzer: Sie führen $\lambda$-PSD ein, einen skalierbaren, approximativen Schätzer, der unter Gaußschen Einstellungen ein stabiles $SNR^2$ erreicht. Er behält eine lineare Zeitkomplexität in Bezug auf die Anzahl der Stichproben bei und verbessert gleichzeitig die Robustheit gegenüber der Wahl des Polynomialgrades $Q$ erheblich.
• Praktische Implementierung: Das Paper beschreibt ein Split-Sample-Testing-Framework unter Verwendung eines One-Sample-z-Tests, um den computationalen Overhead von Bootstrapping hochdimensionaler U-Statistiken zu umgehen, wodurch die Methode für großskalige Settings anwendbar wird.

Ergebnisse

• Theoretische Stabilität: Unter Gaußschen Einstellungen beweisen die Autoren, dass $\lambda$-PSD den inhärenten exponentiellen $SNR^2$-Kollaps von Standard-PSDs vermeidet und ein stabiles $SNR^2$ erreicht, das durch die Chi-Quadrat-Divergenz der Verteilungen begrenzt ist.
• Empirische Leistung: Simulationsstudien zeigen, dass $\lambda$-PSD die Testleistung im Vergleich zu Standard-PSDs erheblich verbessert. Entscheidend ist, dass es eine kompetitive Goodness-of-Fit-Testleistung erzielt, während es eine lineare Zeitkomplexität in Bezug auf die Stichprobenanzahl beibehält. Die Methode zeigt eine reduzierte Sensitivität gegenüber der spezifischen Wahl des Polynomialgrades $Q$, womit das zuvor beobachtete Problem der nicht-monotonen Leistung adressiert wird.

Bedeutung
Das Paper unterstreicht die kritische Bedeutung eines $SNR$-bewussten Designs bei der Entwicklung skalierbarer Stein-Discrepancies. Indem die Autoren aufzeigen, dass bestehende PSD-Frameworks das falsche Ziel optimieren (nur das Signal statt des Signal-Rausch-Verhältnisses), bieten sie einen fundierten Weg zu robusteren und zuverlässigeren statistischen Tests. Der vorgeschlagene $\lambda$-PSD-Ansatz bietet eine praktische Lösung, die die Lücke zwischen theoretischer Optimalität und computationaler Machbarkeit schließt und effektives Goodness-of-Fit-Testing in großskaligen Bayesschen Berechnungen ermöglicht, bei denen die Zielverteilungen nur bis auf eine Normierungskonstante bekannt sind.