Resumo Técnico: Difusão Condicional sob Restrições Lineares

Declaração do Problema

O artigo aborda o problema da amostragem condicional zero-shot para problemas inversos lineares (por exemplo, inpainting de imagens, super-resolução) utilizando modelos de difusão pré-treinados. Nessas situações, uma observação $y$ está relacionada a um sinal limpo $Z$ por meio de um operador linear $A$ tal que $y = AZ$. O objetivo é amostrar a partir da distribuição condicional $\text{Lei}(Z \mid AZ = y)$.

Métodos existentes baseados em projeção (por exemplo, DDRM, DDNM) impõem consistência de medição corrigindo analiticamente o componente "normal" do sinal (a parte determinada por $A$) durante o processo de difusão reversa. No entanto, os autores argumentam que a consistência de medição por si só é insuficiente. Enquanto o componente normal é fixado pela observação, o componente "tangente" (a parte no espaço nulo de $A$) permanece subdeterminado. Métodos padrão baseados em projeção deixam a dinâmica tangente governada inteiramente pela pontuação unconditional pré-treinada. Isso leva a um viés no espaço tangente, onde a massa de probabilidade é distribuída incorretamente ao longo do conjunto afim viável, frequentemente acumulando erros de modos dominantes do prior incondicional que são irrelevantes para a observação específica.

Metodologia

Os autores propõem um framework de amostragem em duas etapas fundamentado em uma decomposição normal–tangente da função de pontuação condicional sob ruído gaussiano.

1. Decomposição Normal–Tangente

Para um processo de difusão de explosão de variância (VE) $X_t = Z + W_t$, a pontuação condicional $s^*_t(x)$ pode ser decomposta em componentes normal ($P_\perp$) e tangente ($P_\parallel$) relativos ao espaço linha de $A$:

• Componente Normal: A pontuação normal $P_\perp s^*_t(x)$ está disponível em forma fechada via fórmula de Tweedie e a observação $b = P_\perp Z$. É dada por $\frac{1}{t}P_\perp(b - x)$.
• Componente Tangente: A pontuação tangente $P_\parallel s^*_t(x)$ é desconhecida. Métodos baseados em projeção aproximam isso pela pontuação tangente incondicional $P_\parallel s_t(x)$.

Os autores identificam que o erro na amostragem zero-shot padrão surge da substituição da pontuação tangente condicional desconhecida pela incondicional. Essa aproximação é mais problemática em altos níveis de ruído, onde a pontuação incondicional agrega informações de todos os modos de dados, potencialmente puxando a amostra para clusters irrelevantes.

2. Amostrador Proposto: Inicialização Langevin Projetada + Desruído Guiado

Para mitigar esse viés, os autores propõem um algoritmo de três etapas (Algoritmo 1):

1. Inicialização em Ruído Intermediário ($t^*$): Em vez de iniciar o processo reverso do nível de ruído mais alto ($T$), o amostrador inicia em um nível de ruído "seguro" intermediário $t^*$. Nesse nível, o componente normal é amostrado exatamente da lei condicional $\text{Lei}(P_\perp X_{t^*} \mid P_\perp Z = b)$.
2. Mistura Langevin Subamortecida Projetada: Antes de iniciar o desruído reverso, o amostrador executa uma fase curta de dinâmica Langevin subamortecida projetada (usando o integrador BAOAB) restrita ao conjunto afim definido pelo componente normal ruidoso. Esta etapa usa a pontuação incondicional projetada $P_\parallel s_{t^*}$ para misturar o componente tangente. O objetivo é produzir uma inicialização que já esteja bem misturada ao longo da variedade viável e consistente com a restrição, reduzindo o acúmulo de erros de incompatibilidade da pontuação tangente.
3. Desruído Reverso Guiado: A partir do estado inicial em $t^*$, o amostrador realiza desruído reverso guiado até $t=0$. A dinâmica usa o arrasto normal exato (para impor a restrição) e a pontuação tangente incondicional pré-treinada (para guiar as direções tangentes).

Contribuições Principais

O artigo faz quatro contribuições primárias:

1. Decomposição Teórica: Deriva uma decomposição normal–tangente rigorosa para difusão condicional afim, mostrando que a pontuação normal é exatamente determinada pela medição, isolando a pontuação tangente como a única fonte de erro de aproximação em configurações zero-shot.
2. Proposta Algorítmica: Introduz um amostrador que combina correção normal exata com uma fase de inicialização Langevin projetada. Esta fase mistura explicitamente as direções tangentes em um nível de ruído intermediário antes do desruído guiado, abordando o acúmulo de viés observado em métodos de projeção ingênuos.
3. Limites de Erro Teórico-Informacional: Os autores provam um limite de erro caminho a caminho (Teorema 4) mostrando que a divergência Kullback–Leibler (KL) entre o caminho condicional ideal e o caminho substituto é limitada superiormente pela informação mútua condicional $I(Z_\parallel; Z_\perp \mid X_{t^*})$. Isso fornece um critério teórico-informacional: o método é preciso quando a dependência estatística residual entre os componentes tangente e normal é pequena no nível de ruído escolhido.
4. Garantias Terminais: Sob uma suposição de modelo de mistura gaussiana latente, o artigo fornece um limite KL terminal (Teorema 9) que separa o erro em um termo de inicialização e um termo caminho a caminho. Além disso, sob uma condição de separação no código latente (Teorema 11), os autores mostram que ambos os termos de erro decaem exponencialmente com a razão de separação-para-ruído, estabelecendo regimes onde o método é altamente preciso.

Resultados Experimentais

O método proposto, denominado LCDM-BAOAB, foi avaliado em problemas inversos de imagem lineares padrão (inpainting e super-resolução 8×) nos conjuntos de dados CelebA-HQ, LSUN Church e ImageNet.

• Baselines: O método foi comparado contra DDNM, uma baseline forte baseada em projeção zero-shot.
• Métricas: O desempenho foi medido usando Distância de Inception Fréchet (FID) e Similaridade Aprendida de Patch de Imagem Perceptual (LPIPS) sob um orçamento de computação correspondente (100 avaliações de função de rede).
• Descobertas:
  • O LCDM-BAOAB superou consistentemente o DDNM em todos os conjuntos de dados e tarefas.
  • As melhorias foram mais significativas no ImageNet e para super-resolução 8×, configurações caracterizadas por alta ambiguidade no espaço tangente (muitas imagens de alta resolução consistentes com a mesma observação de baixa resolução).
  • Resultados visuais mostraram que o LCDM-BAOAB produziu reconstruções mais limpas e coerentes, com menos artefatos de textura em comparação ao DDNM, particularmente em cenários de alta ambiguidade.

Significado e Alegações

O artigo afirma que impor consistência de medição nas direções normais não é suficiente para resolver problemas inversos lineares altamente mal-postos com priores de difusão. O obstáculo central é a ambiguidade no espaço tangente, onde a pontuação incondicional falha em distribuir corretamente a massa de probabilidade ao longo do conjunto viável.

O significado deste trabalho reside em:

• Identificar a Fonte do Viés: Isola a aproximação da pontuação tangente como o mecanismo específico que causa viés em métodos zero-shot existentes.
• Garantias Independentes de Dimensão: Os limites teóricos são independentes de dimensão, dependendo, em vez disso, da informação mútua condicional e da sensibilidade da condicional tangente ao código normal.
• Eficácia Prática sem Ajuste Fino: O método alcança desempenho zero-shot state-of-the-art aproveitando a condicionamento no tempo de inferência e a mistura Langevin, sem exigir ajuste fino específico da tarefa ou aprendizado de modelos adicionais.
• Justificativa Teórica para Mistura Tangente: Fornece uma justificativa teórica para por que a mistura nas direções tangentes em níveis de ruído intermediários melhora a qualidade da amostragem, vinculando essa melhoria à redução da dependência estatística residual entre componentes observados e não observados.