$\lambda$-PSD: Scalable Approximate SNR-Optimised Polynomial Stein Discrepancies

Resumo Técnico: $\lambda$-PSD: Discrepâncias de Stein Polinomiais Aproximadas e Otimizadas para SNR Escaláveis

Enunciado do Problema
As Discrepâncias de Stein Polinomiais (PSD) surgiram como uma alternativa escalável e de tempo linear às Discrepâncias de Stein de Kernel (KSD) para medir a qualidade das amostras e conduzir testes de adequação de ajuste (GoF) quando a distribuição alvo $p$ é conhecida apenas até uma constante de normalização. Embora as PSDs ofereçam vantagens computacionais ao substituir funções de kernel por características polinomiais de ordem $Q$, suas propriedades estatísticas permanecem pouco compreendidas. Especificamente, evidências empíricas sugerem que o poder do teste é altamente sensível à escolha do grau polinomial $Q$, frequentemente exibindo um comportamento não monotônico onde valores intermediários de $Q$ resultam em um desempenho insatisfatório. O artigo identifica uma limitação teórica fundamental: o aumento do grau polinomial amplia primariamente o sinal sem controlar adequadamente a variância, levando a um modo de falha onde a Razão Sinal-Ruído ao quadrado ($SNR^2$) decai exponencialmente com $Q$ sob configurações Gaussianas. Esse decaimento compromete a confiabilidade dos testes baseados em PSD à medida que a complexidade do modelo aumenta.

Metodologia
Os autores reformulam a construção das discrepâncias de Stein como um problema explícito de maximização de $SNR^2$.

1. Análise Teórica de PSD: O artigo analisa primeiro a Discrepância de Stein Polinomial padrão baseada em $L_1$ ($PSD_{L_1}$). Ao derivar a escala assintótica de $SNR^2$ para a correspondente estatística U e a estatística z de amostra dividida sob suposições Gaussianas ($p = \mathcal{N}(0, I_d)$ e $q = \mathcal{N}(\delta, \sigma^2 I_d)$), eles provam que o $SNR^2$ decai exponencialmente conforme $Q \to \infty$. Isso é atribuído à inflação descontrolada da variância nos termos polinomiais de ordem superior em relação ao sinal.
2. Estrutura Otimizada para SNR: Para abordar isso, os autores propõem a maximização da razão entre o valor esperado ao quadrado e a variância da saída do operador de Stein:
   $$\sup_h \frac{(\mathbb{E}_q[L_1 h(x)])^2}{\text{Var}_q[L_1 h(x)]}$$
   Esta formulação leva a um quociente de Rayleigh generalizado sobre características de Stein. Teoricamente, a solução ótima envolve a inversão da matriz de covariância completa do vetor de características, o que é computacionalmente proibitivo ($O(Q^3 d^6)$) e estatisticamente mal posto em altas dimensões devido à deficiência de posto (rank deficiency).
3. $\lambda$-PSD (Solução Aproximada): Para alcançar escalabilidade, os autores introduzem a $\lambda$-PSD. Em vez de otimizar sobre o espaço de características completo e de alta dimensão, eles restringem a otimização a um subespaço de baixa dimensão gerado pela solução $PSD_{L_1}$ não ponderada.
   • Eles definem um vetor de características de Stein $\Psi(X)$ baseado nos coeficientes teoricamente ótimos da PSD padrão.
   • Eles introduzem um vetor de pesos escalar $\lambda \in \mathbb{R}^{Q+1}$ para reponderar essas características.
   • O problema de otimização reduz-se a encontrar $\lambda$ que maximiza o quociente de Rayleigh sobre este subespaço reduzido: $\sup_{\lambda} \frac{(\lambda^\top \mu_\Psi)^2}{\lambda^\top \Sigma_\Psi \lambda}$.
   • Para resolver isso de forma eficiente e evitar instabilidade numérica na matriz de covariância empírica $\hat{\Sigma}_\Psi$, os autores empregam uma estratégia de otimização estocástica baseada no método de Entropia Cruzada (CE). Esta abordagem aprende adaptativamente uma distribuição de amostragem para $\lambda$, realizando efetivamente uma regularização implícita ao podar componentes que contribuem pouco para o sinal.

Principais Contribuições

• Caracterização Teórica de Modos de Falha: O artigo fornece a primeira caracterização teórica mostrando que o $SNR^2$ das PSDs padrão pode decair exponencialmente com o grau polinomial sob configurações Gaussianas, explicando a sensibilidade observada a $Q$.
• Estrutura Otimizada para SNR: Os autores propõem um novo framework que trata a construção da discrepância de Stein como um problema explícito de maximização de $SNR^2$, mudando o objetivo de apenas maximizar o sinal para otimizar a razão sinal-ruído.
• Estimador $\lambda$-PSD: Eles introduzem a $\lambda$-PSD, um estimador aproximado e escalável que alcança um $SNR^2$ estável sob configurações Gaussianas. Ele mantém a complexidade de tempo linear em relação ao número de amostras, enquanto melhora substancialmente a robustez à escolha da ordem polinomial $Q$.
• Implementação Prática: O artigo detalha um framework de teste de amostra dividida usando um teste z de uma amostra para contornar o custo computacional do bootstrapping de estatísticas U de alta dimensão, tornando o método aplicável a cenários de larga escala.

Resultados

• Estabilidade Teórica: Sob configurações Gaussianas, os autores provam que a $\lambda$-PSD evita o colapso exponencial de $SNR^2 inerente às PSDs padrão, alcançando um$SNR^2$ estável limitado pela divergência qui-quadrado entre as distribuições.
• Desempenho Empírico: Estudos de simulação demonstram que a $\lambda$-PSD melhora substancialmente o poder do teste em comparação com as PSDs padrão. Crucialmente, ela alcança um desempenho competitivo de teste de adequação de ajuste mantendo a complexidade de tempo linear no número de amostras. O método mostra redução de sensibilidade à escolha específica do grau polinomial $Q$, abordando os problemas de desempenho não monotônico observados em trabalhos anteriores.

Significância
O artigo destaca a importância crítica do design consciente de SNR no desenvolvimento de discrepâncias de Stein escaláveis. Ao identificar que os frameworks de PSD existentes otimizam o objetivo errado (apenas o sinal, em vez da razão sinal-ruído), os autores fornecem um caminho fundamentado para testes estatísticos mais robustos e confiáveis. A proposta $\lambda$-PSD oferece uma solução prática que une a otimalidade teórica à viabilidade computacional, permitindo testes de adequação de ajuste eficazes em configurações de computação bayesiana de larga escala onde as distribuições alvo são conhecidas apenas até uma constante de normalização.