Hallucination-Aware Diffusion Sampling for Inverse Problems via Robust Prior Updates

Resumo Técnico: Amostragem de Difusão Consciente de Alucinação para Problemas Inversos via Atualizações de Prior Robustas

1. Definição do Problema

Solucionadores de problemas inversos baseados em difusão são capazes de gerar reconstruções realistas a partir de medições incompletas ou corrompidas (ex: inpainting, deblurring, MRI). No entanto, o artigo identifica um modo de falha crítico denominado alucinação condicionada à medição. Diferente das falhas de geração incondicional (ex: anatomia distorcida), esta falha específica ocorre quando uma reconstrução parece visualmente plausível, mas contém detalhes que não são suportados pela medição observada $y$.

Os autores distinguem dois tipos de alucinação:

• Tipo-I: Artefatos visualmente implausíveis ou estruturas instáveis.
• Tipo-II: Detalhes de aparência plausível que são inconsistentes com a verdade fundamental (ground truth) $x^\star$ e não são suportados pelo modelo de medição.

Métricas padrão (PSNR, LPIPS, FID) frequentemente falham em detectar alucinações do Tipo-II porque medem o realismo distributivo ou a consistência ao nível de pixel, em vez da fidelidade ao nível de instância para a verdade fundamental específica. A questão central abordada é: Quando e como detalhes não suportados entram no processo de solução inversa baseado em difusão, e como eles podem ser mitigados sem comprometer a consistência da medição?

2. Metodologia: Otimização Alternada e RPU

O artigo reformula os solucionadores de problemas inversos baseados em difusão via regra de Bayes (especificamente o DPS) como um processo de otimização alternada consistindo em duas etapas distintas:

1. Atualização do Prior: O prior de difusão propõe um deslocamento para preencher conteúdo ausente ou ambíguo.
2. Condicionamento da Medição: Uma etapa de correção ancora a reconstrução à medição observada $y$ e ao operador $A$.

Os autores hipotetizam que as alucinações frequentemente entram durante a etapa de atualização do prior, onde o modelo generativo propõe conteúdo que é fracamente restringido pela medição. Para abordar isso, eles propõem a Atualização de Prior Robusta (RPU), um módulo ao nível do solucionador que intervém apenas na etapa de atualização do prior, deixando o condicionamento da medição inalterado.

O Mecanismo RPU:

• Sondagem (Probing): Antes de aceitar o deslocamento de prior nativo $d_\theta(x_t, t)$ proposto pelo modelo de difusão, o RPU realiza uma sonda de estabilidade local. Ele move uma pequena distância contra o deslocamento de prior normalizado por $K$ passos, criando um ponto perturbado $x_t^{adv}$.
• Reancoragem: O prior de difusão é avaliado neste ponto perturbado $x_t^{adv}$ para obter um novo deslocamento. Crucialmente, este deslocamento é reancorado ao iterado original $x_t$, em vez do ponto perturbado.
  • Fórmula: $\tilde{x}_{t-1}^{prior} = x_t + (p_\theta(x_t^{adv}, t) - x_t^{adv})$.
• Correção de Medição: A atualização de medição padrão é então aplicada usando a estimativa de denoising derivada do output do modelo sondado.

Esta abordagem estabiliza efetivamente a proposta generativa ao garantir que o deslocamento do prior seja localmente robusto a pequenas perturbações, reduzindo a injeção de detalhes não suportados antes que a restrição de medição seja reaplicada.

3. Principais Contribuições

1. Definição de Alucinação: O artigo define formalmente a alucinação em problemas inversos, separando-a em casos do Tipo-I (implausível) e Tipo-II (não suportado pela medição, mas plausível).
2. Decomposição Teórica: Deriva uma visão de otimização alternada para solucionadores baseados na regra de Bayes, separando explicitamente a etapa de consistência de medição da etapa de atualização de prior e identificando a atualização de prior como o ponto de intervenção para a alucinação.
3. Algoritmo RPU: A proposta do RPU, um módulo que sonda a estabilidade local da atualização do prior e reancora o deslocamento, desacoplando-o da atualização de medição.
4. Validação Empírica: Instanciação do RPU dentro do framework DPS e avaliação nos datasets FFHQ e ImageNet usando tanto métricas automáticas quanto estudos de fidelidade humana.

4. Resultados Experimentais

Os autores avaliaram o RPU no FFHQ (256x256) e ImageNet (256x256) em três problemas inversos: inpainting de caixa (box inpainting), deblurring Gaussiano e deblurring de movimento.

• Métricas Quantitativas (FFHQ):
  • Box Inpainting: O RPU melhorou o PSNR (19.72 $\to$ 20.40) e o LPIPS (0.400 $\to$ 0.394). O FID aumentou ligeiramente (45.44 $\to$ 50.35), sugerindo um trade-off onde o RPU sacrifica parte do realismo distributivo em favor da fidelidade à instância.
  • Deblurring: O RPU mostrou melhorias consistentes no PS |PSNR e LPIPS para tarefas de deblurring Gaussiano e de movimento.
• Estudos de Fidelidade Humana:
  • Pareamento Cego (Blind Pairwise): Em box inpainting, o RPU recebeu 91.9% das preferências majoritárias de não-empate sobre o DPS.
  • Assistido pela Verdade Fundamental (Ground-Truth-Assisted): Quando os leitores compararam os outputs contra a verdade fundamental, o RPU recebeu 91.1% das preferências de não-empate em box inpainting.
  • Deblurring: Embora as comparações cegas tenham resultado em muitos empates (indicando realismo visual semelhante), os estudos assistidos pela verdade fundamental mostraram uma forte preferência pelo RPU (86.2% para Gaussiano, 82.1% para deblurring de movimento), confirmando que o RPU reduz detalhes sutis inconsistentes com a medição que são difíceis de detectar cegamente.
• Transferência para ImageNet: No deblurring Gaussiano do ImageNet, o RPU melhorou o PSNR (20.406 $\to$ 20.509). Estudos humanos mostraram preferência pelo RPU nos casos de não-empate (72.7%), embora o estudo tenha sido rico em empates.

5. Significância e Alegações

O artigo alega que robustecer a atualização do prior é uma estratégia direcionada e eficaz para melhorar a fidelidade à instância em solucionadores de problemas inversos de difusão.

• Mecanismo: Os resultados apoiam a visão de que as alucinações frequentemente surgem da proposta do lado do prior antes da correção da medição. Ao estabilizar esta etapa específica, o RPU reduz a introdução de detalhes não suportados.
• Escopo: Os autores enfatizam que o RPU não é um substituto universal para métricas de reconstrução ou inspeção humana, nem é um detector de alucinação autônomo. Sua eficácia é mais pronunciada em cenários onde o prior molda o conteúdo fracamente restringido (ex: grandes máscaras de inpainting).
• Limitações: Os autores observam que o método é dependente da tarefa; em tarefas altamente restritas (como alguns cenários de deblurring) ou distribuições mais amplas (ImageNet), os benefícios são menos dramáticos e resultam em mais resultados de "empate" em estudos humanos. As alegações são modestas, posicionando o RPU como uma intervenção específica para melhorar a fidelidade, em vez de uma melhoria geral do solucionador.