Resumo Técnico: Estimativa da Pontuação Posterior Exata para Resolução de Problemas Inversos Lineares

Declaração do Problema

Problemas inversos lineares envolvem a recuperação de um sinal desconhecido $x_0$ a partir de medições lineares ruidosas $y = Ax_0 + \eta$, onde $A$ é um operador de propagação conhecido e $\eta$ é o ruído de observação. Esses problemas são onipresentes em processamento de imagens (ex: inpainting, super-resolução, desfoque/deblurring) e frequentemente são mal postos, o que significa que múltiplos sinais são consistentes com a mesma observação. O objetivo é amostrar da distribuição posterior $p(x_0|y)$ em vez de encontrar apenas uma estimativa de ponto único, para capturar a incerteza e equilibrar a fidelidade aos dados com a plausibilidade do prior.

Embora modelos de difusão e baseados em fluxo forneçam priors de dados poderosos ao aprenderem a reverter a corrupção Gaussiana, eles fornecem inerentemente a pontuação incondicional (unconditional score) $\nabla_{x_t} \log p(x_t)$. Resolver problemas inversos requer a pontuação posterior (posterior score) $\nabla_{x_t} \log p(x_t|y)$. As abordagens existentes dividem-se em duas categorias com limitações significativas:

1. Métodos sem treinamento (ex: DPS, DDNM, $\Pi$GDM) mantêm um denoiser pré-treinado fixo e aplicam correções aproximadas de correspondência de medição (ex: passos de gradiente, projeções) em cada passo reverso. Estes introduzem viés, levando frequentemente ao suavizamento excessivo (oversmoothing), estruturas alucinadas ou incerteza mal calibrada.
2. Métodos baseados em treinamento (ex: Palette, InDI) treinam um novo modelo condicional do zero ou via destilação. Embora expressivos, eles frequentemente abandonam a estrutura de denoising do prior, exigindo que a rede aprenda a dependência do operador de ponta a ponta, o que impede o início rápido (warm-starting) eficiente a partir de checkpoints pré-treinados e aumenta os custos de treinamento.

Metodologia: Pontuação Posterior Exata (EPS)

O artigo deriva uma expressão de forma fechada para a pontuação posterior exata sob problemas inversos Gaussianos lineares e interpolantes Gaussianos gerais. A ideia central é que a amostragem posterior permanece um problema de denoising, mas com um input consciente da medição e uma covariância de ruído anisotrópica dependente do operador.

Derivação Teórica

Os autores mostram que a pontuação posterior no tempo $t$ pode ser expressa como:
$$\nabla_{x_t} \log p(x_t|y) = \frac{1}{\beta_t^2} \left( \alpha_t D_{\Sigma^\star(t)}(\mu^\star(x_t, y, t)) - x_t \right)$$
onde:

• $D_{\Sigma^\star(t)}$ é um denoiser anisotrópico que estima $E[x_0 | x_0 + \xi = \mu^\star]$ com $\xi \sim \mathcal{N}(0, \Sigma^\star(t))$.
• $\mu^\star(x_t, y, t)$ é o pivô posterior (posterior pivot), uma fusão ponderada pela precisão do estado ruidoso atual $x_t$ e da medição $y$.
• $\Sigma^\star(t)$ é a covariância posterior, derivada dos parâmetros do problema inverso ($A, \sigma_y$) e do cronograma de difusão ($\alpha_t, \beta_t$).

Crucialmente, $\mu^\star$ atua como uma estatística suficiente para $(x_t, y)$, e $\Sigma^\star$ captura a incerteza anisotrópica: direções observadas por $A$ tornam-se mais certas, enquanto direções não observadas (no nulospaço de $A$) permanecem incertas.

O Objetivo de Treinamento EPS

Os autores definem a Pontuação Posterior Exata (EPS) como um objetivo de treinamento que aproveita esta identidade:

1. Transformação de Input: Em vez de treinar no padrão input ruidoso $x_t$, a rede é treinada no pivô $\mu^\star(x_t, y, t)$.
2. Ruído Anisotrópico: O alvo de treinamento é o denoising de $\mu^\star$ sob a covariância anisotrópica específica $\Sigma^\star(t)$.
3. Simulação Eficiente: Uma contribuição teórica chave (Proposição 3) mostra que a corrupção anisotrópica necessária é induzida naturalmente pela construção de forma fechada de $\mu^\star$. Assim, pode-se treinar usando o padrão de amostragem de ruído isotrópico ($x_t = \alpha_t x_0 + \beta_t \epsilon$) e computar $\mu^\star$ analiticamente, evitando a necessidade de amostrar o ruído anisotrópico diretamente.
4. Arquitetura: A arquitetura da rede é idêntica aos denoisers incondicionais pré-treinados, com os canais de entrada expandidos para concatenar o pivô $\mu^\star$ e a observação bruta $y$. Isso permite que o EPS seja treinado do zero ou, mais eficientemente, ajustado (fine-tuned) a partir de um denoiser incondicional pré-treinado.

Inferência

Na inferência, o EPS utiliza o mesmo sampler (ex: Euler ODE) que o backbone subjacente. A única modificação é substituir a chamada do denoiser padrão $D_\theta(x_t, t)$ por $D_\theta(\mu^\star(x_t, y, t), y, t)$. Isso requer nenhum gradiente de verossimilhança, nenhuma projeção e nenhum loop de otimização interna durante a amostragem.

Principais Contribuições

1. Identidade da Pontuação Posterior Exata: A derivação de uma pontuação posterior de forma fechada para problemas inversos Gaussianos lineares, mostrando que a amostragem posterior se reduz ao denoising em um pivô deslocado sob uma covariância anisotrópica.
2. Algoritmo EPS: Um objetivo de treinamento e algoritmo de amostragem que preserva a estrutura de input/output dos denoisers pré-treinados. Ele permite o ajuste fino eficiente de checkpoints pré-treinados e utiliza o sampler do backbone inalterado na inferência.
3. Eficiência e Desempenho: O EPS alcança resultados de estado da arte com significativamente menos avaliações de denoiser (NFE) do que os samplers baseados em gradiente. Ele converge em $\sim20$ passos, enquanto baselines como DPS ou $\Pi$GDM frequentemente requerem mais de 100 passos para atingir desempenho similar.
4. Limite de Alto Ruído: O método fornece um estimador de passo único para a média posterior $E[x_0|y]$ no limite de alto ruído, ofereando uma estimativa de ponto MMSE-ótima e rápida.

Resultados Experimentais

Os autores avaliam o EPS em cinco problemas inversos lineares (inpainting aleatório, inpainting de caixa, super-resolução 4$\times$, deblurring Gaussiano, deblurring de movimento) utilizando os datasets FFHQ e ImageNet.

• Métricas: O EPS supera tanto os métodos sem treinamento (DPS, DAPS, DDNM, $\Pi$GDM, MPGD) quanto os métodos baseados em treinamento (Palette) em termos de fidelidade pontual (PSNR, SSIM), qualidade perceptual (LPIPS, FID) e calibração de distribuição (CRPS, MMD).
• Eficiência de Amostragem: O EPS atinge seu platô de desempenho dentro de $\sim20$ NFE. Em contraste, os baselines de amostragem continuam a melhorar lentamente até 100 NFE e frequentemente falham em atingir o assíntota do EPS.
• Eficiência de Treinamento: Quando ajustado (fine-tuned) a partir de um checkpoint pré-treinado, o EPS converge em uma fração das iterações necessárias para outros métodos baseados em treinamento (ex: Palette), devido à preservação da geometria de denoising pré-treinada.
• Tempo de Execução: O EPS é o solver de problemas inversos mais rápido entre os métodos comparados, rodando essencialmente na mesma velocidade de tempo real que o denoiser incondicional pré-treinado (aprox. 1.006$\times$), pois evita as passagens de retropropagação (backward passes) exigidas pelos métodos baseados em gradiente.
• Ablações: Experimentos confirmam que o pivô deslocado $\mu^\star$ é o fator crítico para o desempenho, e que a geometria anisotrópica aprendida pelo EPS é essencial, visto que o uso de pivô zero-shot (usando um denoiser pré-treinado sem ajuste fino) apresenta um desempenho pobre.

Significância e Alegações

O artigo afirma que o EPS fornece uma abordagem principiada e calibrada para a amostragem posterior em problemas inversos lineares. Ao derivar a geometria posterior exata, ele une a eficiência dos métodos sem treinamento com a expressividade dos métodos baseados em treinamento.

• Alinhamento Estrutural: Diferente dos métodos de treinamento condicional que forçam a rede a aprender um novo caminho condicional do zero, o EPS adapta o prior pré-treinado à geometria anisotrópica específica induzida pela medição. Isso permite um ajuste fino rápido e o reuso de priors incondicionais poderosos.
• Transparência: O pivô e a covariância de forma fechada oferecem um controle transparente para analisar o sampler, separando explicitamente as direções medidas das não observadas.
• Praticidade: O método não requer loops de amostragem complexos ou computações de gradiente durante a inferência, tornando-o adequado para aplicações de baixa latência.

Os autores reconhecem limitações: a derivação exata assume um operador de propagação linear e ruído de observação Gaussiano. Operadores não lineares ou ruído não Gaussiano exigiriam linearização local ou treinamento contra a verdadeira verossimilhança, para os quais a forma fechada não se aplica diretamente. Além disso, backbones de difusão latente exigem cuidado, pois o decoder pode tornar operadores lineares no espaço de pixels não lineares no espaço latente.