Laplace--Fisher Gate Identities for Optimal Matrix-Gated Blended Score Estimation

Resumo Técnico: Identidades de Portão de Laplace–Fisher para Estimativa de Pontuação Misturada com Matriz de Portão Ótima

Enunciado do Problema
O artigo aborda o desafio de estimar a função de pontuação (gradiente do log-densidade) de uma lei marginal de Ornstein–Uhlenbeck (OU), $s_t(y) = \nabla_y \log p_t(y)$, que é necessária para reverter processos de difusão para amostrar de uma densidade alvo não normalizada $p_0$. Embora existam duas identidades exatas de esperança condicional para esta pontuação — a identidade de Tweedie (denoising) e a Identidade da Pontuação do Alvo (TSI) — combinar ambas para minimizar a variância em configurações de referência finita é não trivial. As abordagens existentes dependem frequentemente de coeficientes de mistura escalares, que falham em considerar as estruturas de curvatura anisotrópicas e singulares comuns em problemas científicos e de inferência Bayesiana. Especificamente, misturas escalares não conseguem otimizar simultaneamente a correção entre os sinais de Tweedie e TSI em diferentes direções de autovetores da Hessiana do alvo, levando a uma variância subótima e má calibração de densidade em regimes de alta curvatura.

Metodologia
Os autores formulam a mistura dos estimadores de pontuação de Tweedie e TSI como um problema de minimização de risco condicional sobre coeficientes de mistura de valor matricial, denominados "portões" (gates).

1. Estrutura Teórica:

   • O artigo define um sinal de pontuação misturado $z_G = b + G\delta$, onde $b$ é o sinal de Tweedie, $\delta$ é o desacordo de média zero entre os sinais de TSI e Tweedie, e $G(y,t)$ é um portão matricial.
   • O portão ótimo $G^\star$ é derivado pela minimização do risco de traço condicional (erro quadrático médio) do estimador.
   • Utilizando identidades de Fisher–Stein, os autores mostram que o portão ótimo pode ser expresso não como uma razão de covariâncias empíricas (que requer a inversão de matrizes de desacordo potencialmente mal condicionadas), mas como um resolvente da média condicional da informação observada (Hessiana) do alvo.

2. A Identidade de Portão de Laplace–Fisher (LFGI):

   • O resultado teórico central é a Identidade de Portão de Laplace–Fisher:
     $$G^\star(y, t) = \alpha_t^2 \left( \alpha_t^2 I_d + \gamma_t \mathbb{E}[H_0(X_0) \mid Y_t = y] \right)^{-1}$$
     onde $H_0 = -\nabla^2 \log p_0$ é a informação observada do alvo, e $\alpha_t, \gamma_t$ são coeficientes do processo de OU.
   • Esta identidade interpreta o portão ótimo como um filtro dependente da curvatura: direções com alta curvatura condicional (grandes autovalores da Hessiana) são atenuadas em direção ao sinal de Tweedie, enquanto direções de baixa curvatura permanecem mais próximas da Identidade da Pontuação do Alvo.

3. Estimativa de Referência Finita:

   • O artigo propõe um estimador prático usando dois bancos de referência independentes: um "banco de pontuação" para a média dos sinais de Tweedie/TSI e um "banco de portão" para estimar a média da Hessiana condicional.
   • O portão é construído aplicando o mapa resolvente à média ponderada das Hessianas (ou proxies de Gauss–Newton em configurações de PDE) do banco de portão.
   • Os autores estabelecem limites de consistência e estabilidade, mostrando que o estimador captura a redução de risco ótima da população, desde que o erro de média da Hessiana seja controlado em relação ao "fator de polo" do resolvente.

4. Aplicação à Avaliação de Densidade:

   • Ao contrário dos benchmarks de amostragem padrão, a principal aplicação é a construção de uma surrogate de densidade normalizada via ODE de fluxo de probabilidade.
   • Ao congelar o estimador de pontuação LFGI de referência finita, os autores derivam uma divergência de forma fechada, permitindo a avaliação da densidade normalizada $q_{PF}$ e a estimação da evidência do modelo (constantes de normalização) sem necessidade de amostragem MCMC adicional.

Principais Contribuições

• Derivação do Portão Matricial Ótimo: O artigo deriva a forma exata do portão matricial de variância-ótima para a mistura de estimadores de Tweedie e TSI, provando que portões escalares ou diagonais são insuficientes para alvos anisotrópicos.
• Identidade de Laplace–Fisher: Introduz uma nova identidade que liga o portão de mistura ótimo diretamente à média da Hessiana condicional, evitando a necessidade de estimar e inverter covariâncias de desacordo empíricas.
• Análise de Referência Finita: Os autores fornecem limites rigorosos de consistência e estabilidade para o estimador LFGI, identificando as condições específicas (concentração de Hessiana relativa e separação de polo) sob as quais o estimador tem sucesso.
• Surrogates de Densidade para Problemas Inversos: O trabalho demonstra como converter subprodutos de MCMC piloto (pontuações, Hessianas, amostras) em uma densidade surrogate exatamente normalizada que fornece calibração absoluta de evidência e diagnósticos de posterior, que normalmente não estão disponíveis a partir de amostras MCMC brutas.

Resultados
O artigo valida o método em vários benchmarks:

• GMMs de Subespaço Singular Desalinhados: Em dimensões $d=8$ e $d=24$, o LFGI supera significativamente as misturas escalares, misturas matriciais uniformes e a regressão de matriz primal centrada (que estima o portão via razões de covariância) em termos de RMSE de pontuação e métricas de qualidade de amostra downstream (Sliced KS, MMD, NLL). Os resultados confirmam que a atenuação dependente de direção é necessária para misturas anisotrópicas.
• Funil de Neal ($d=10$): Em um alvo não-gaussiano e não-mistura com anisotropia dependente do estado, o LFGI produz a melhor qualidade de amostra entre os estimadores aprendidos, capturando corretamente a geometria do funil onde métodos escalares e uniformes falham.
• Problema Inverso de Fluxo de Darcy: Em um cenário de restrição de PDE, a surrogate de fluxo de probabilidade baseada em LFGI melhora a calibração da densidade posterior e a estimação de evidência em comparação com baselines locais Gaussianos (MAP-Laplace) e outras classes de estimadores de pontuação.
• Calibração de Evidência: Experimentos em alvos de normalização conhecida (Gaussiano e mistura) verificam que a surrogate LFGI fornece estimativas de evidência absoluta precisas.

Significância e Alegações
O artigo alega que a Identidade de Portão de Laplace–Fisher fornece um mecanismo teoricamente fundamentado e de variância-ótima para a estimativa de pontuação em regimes onde a geometria do alvo é singular ou fortemente anisotrópica. Sua significância reside em:

1. Resolvendo a Limitação Escalar: Demonstra que a mistura escalar é estruturalmente insuficiente para alvos anisotrópicos e fornece a solução de valor matricial.
2. Robustez à Referência Finita: Ao estimar o portão via média de Hessiana em vez de inversão de covariância, o LFGI evita a instabilidade associada a matrizes de desacordo mal condicionadas em configurações não-gaussianas.
3. Além da Amostragem: O método permite a construção de densidades surrogate exatamente normalizadas a partir de subprodutos de MCMC, facilitando a estimação de evidência de modelo e diagnósticos baseados em densidade em problemas inversos Bayesianos, onde tais quantidades são tipicamente difíceis de obter.

Os autores posicionam o LFGI não como um substituto para o treinamento de pontuação amortizado, mas como um estimador baseado em referência e não-amortizado que aproveita a informação de derivada disponível para construir densidades de alta fidelidade para computação científica e problemas inversos.