$\lambda$-PSD: Scalable Approximate SNR-Optimised Polynomial Stein Discrepancies

Sintesi Tecnica: $\lambda$-PSD: Discrepanze di Stein Polinomiali Approssimate e Ottimizzate per il SNR

Problematica
Le Discrepanze di Stein Polinomiali (PSD) sono emerse come un'alternativa scalabile e a tempo lineare alle Discrepanze di Stein Kernel (KSD) per misurare la qualità dei campioni e condurre test di bontà di adattamento (GoF) quando la distribuzione target $p$ è nota solo a meno di una costante di normalizzazione. Sebbene le PSD offrano vantaggi computazionali sostituendo le funzioni kernel con caratteristiche polinomiali di ordine $Q$, le loro proprietà statistiche rimangono scarsamente comprese. Nello specifico, l'evidenza empirica suggerisce che la potenza del test sia altamente sensibile alla scelta del grado polinomiale $Q$, mostrando spesso un comportamento non monotono in cui valori intermedi di $Q$ producono prestazioni scarse. Il documento identifica un limite teorico fondamentale: l'aumento del grado polinomiale amplifica principalmente il segnale senza controllare adeguatamente la varianza, portando a un modo di guasto in cui il rapporto segnale-rumore al quadrato ($SNR^2$) decade esponenzialmente con $Q$ in configurazioni gaussiane. Questo decadimento mina l'affidabilità dei test basati su PSD all'aumentare della complessità del modello.

Metodologia
Gli autori riformulano la costruzione delle discrepanze di Stein come un problema esplicito di massimizzazione di $SNR^2$.

1. Analisi Teorica di PSD: Il documento analizza innanzitutto la standard $L_1$-based Polynomial Stein Discrepancy ($PSD_{L_1}$). Derivando la scalabilità asintotica di $SNR^2$ per il corrispondente statistico U e per lo statistico z a campioni divisi sotto assunzioni gaussiane ($p = \mathcal{N}(0, I_d)$ e $q = \mathcal{N}(\delta, \sigma^2 I_d)$), dimostrano che $SNR^2$ decade esponenzialmente quando $Q \to \infty$. Ciò è attribuito all'inflazione incontrollata della varianza nei termini polinomiali di ordine superiore rispetto al segnale.
2. Framework Ottimizzato per il SNR: Per affrontare questo problema, gli autori propongono di massimizzare il rapporto tra il quadrato del valore atteso e la varianza dell'output dell'operatore di Stein:
   $$\sup_h \frac{(\mathbb{E}_q[L_1 h(x)])^2}{\text{Var}_q[L_1 h(x)]}$$
   Questa formulazione porta a un quoziente di Rayleigh generalizzato sui tratti (features) di Stein. Teoricamente, la soluzione ottimale comporta l'inversione della matrice di covarianza completa del vettore di tratti, il che è computazionalmente proibitivo ($O(Q^3 d^6)$) e statisticamente mal posto in alta dimensione a causa della carenza di rango.
3. $\lambda$-PSD (Soluzione Approssimata): Per ottenere la scalabilità, gli autori introducono $\lambda$-PSD. Invece di ottimizzare su un intero spazio di tratti ad alta dimensione, restringono l'ottimizzazione a un sottospazio a bassa dimensione spaziato dalla soluzione $PSD_{L_1}$ non pesata.
   • Definiscono un vettore di tratti di Stein $\Psi(X)$ basato sui coefficienti teoricamente ottimali della PSD standard.
   • Introducono un vettore di pesi scalare $\lambda \in \mathbb{R}^{Q+1}$ per ripesare questi tratti.
   • Il problema di ottimizzazione si riduce alla ricerca di $\lambda$ che massimizza il quoziente di Rayleigh su questo sottospazio ridotto: $\sup_{\lambda} \frac{(\lambda^\top \mu_\Psi)^2}{\lambda^\top \Sigma_\Psi \lambda}$.
   • Per risolvere il problema in modo efficiente ed evitare l'instabilità numerica della matrice di covarianza empirica $\hat{\Sigma}_\Psi$, gli autori impiegano una strategia di ottimizzazione stocastica basata sul metodo Cross-Entropy (CE). Questo approccio apprende adattivamente una distribuzione di campionamento per $\lambda$, eseguendo una regolarizzazione implicita tramite l'eliminazione (pruning) dei componenti che contribuiscono poco al segnale.

Contributi Chiave

• Caratterizzazione Teorica dei Modi di Guasto: Il documento fornisce la prima caratterizzazione teorica che mostra come le $SNR^2$ delle PSD standard possano decadere esponenzialmente con il grado polinomiale in configurazioni gaussiane, spiegando la sensibilità osservata rispetto a $Q$.
• Framework Ottimizzato per il SNR: Gli autori propongono un nuovo framework che tratta la costruzione della discrepanza di Stein come un problema esplicito di massimizzazione di $SNR^2$, spostando l'obiettivo dal semplice massimizzare il segnale all'ottimizzazione del rapporto segnale-rumore.
• Stimatore $\lambda$-PSD: Introducono $\lambda$-PSD, uno stimatore approssimato e scalabile che raggiunge un $SNR^2$ stabile in configurazioni gaussiane. Esso mantiene la complessità temporale lineare rispetto al numero di campioni, migliorando sensibilmente la robustezza rispetto alla scelta dell'ordine polinomiale $Q$.
• Implementazione Pratica: Il documento dettaglia un framework di test a campioni divisi utilizzando un test z a campione unico per bypassare l'overhead computazionale del bootstrapping di statistici U ad alta dimensione, rendendo il metodo applicabile a contesti su larga scala.

Risultati

• Stabilità Teorica: In configurazioni gaussiane, gli autori dimostrano che $\lambda$-PSD evita il collasso esponenziale di $SNR^2$ intrinseco nelle PSD standard, raggiungendo un $SNR^2$ stabile limitato dalla divergenza chi-quadrato tra le distribuzioni.
• Prestazioni Empiriche: Gli studi di simulazione dimostrano che $\lambda$-PSD migliora sostanzialmente la potenza del test rispetto alle PSD standard. Fondamentalmente, raggiunge prestazioni competitive nei test di bontà di adattamento mantenendo la complessità temporale lineare rispetto al numero di campioni. Il metodo mostra una ridotta sensibilità alla specifica scelta del grado polinomiale $Q$, affrontando i problemi di prestazioni non monotone osservati nei lavori precedenti.

Significatività
Il documento evidenzia l'importanza critica della progettazione consapevole del SNR (rapporto segnale-rumore) nello sviluppo di discrepanze di Stein scalabili. Identificando che gli esistenti framework PSD ottimizzano l'obiettivo errato (il segnale da solo invece del rapporto segnale-rumore), gli autori forniscono una via fondata verso test statistici più robusti e affidabili. Il $\lambda$-PSD proposto offre una soluzione pratica che colma il divario tra l'ottimalità teorica e la fattibilità computazionale, consentendo test di bontà di adattamento efficaci in contesti di computazione bayesiana su larga scala dove le distribuzioni target sono note solo a meno di una costante di normalizzazione.