Hallucination-Aware Diffusion Sampling for Inverse Problems via Robust Prior Updates

Resumen Técnico: Muestreo de Difusión Consciente de Alucinaciones para Problemas Inversos mediante Actualizaciones de Prior Robustas

1. Definición del Problema

Los resolvedores de problemas inversos basados en difusión son capaces de generar reconstrucciones realistas a partir de mediciones incompletas o corruptas (por ejemplo, inpainting, desenfoque/deblurring, MRI). Sin embargo, el artículo identifica un modo de falla crítico denominado alucinación condicionada por la medición. A diferencia de los fallos de generación incondicional (por ejemplo, anatomía distorsionada), este fallo específico ocurre cuando una reconstrucción parece visualmente plausible pero contiene detalles que no están respaldados por la medición observada $y$.

Los autores distinguen dos tipos de alucinación:

• Tipo-I: Artefactos visualmente implausibles o estructuras inestables.
• Tipo-II: Detalles de apariencia plausible que son inconsistentes con la verdad de campo $x^\star$ y no están respaldados por el modelo de medición.

Las métricas estándar (PSNR, LPIPS, FID) a menudo no logran detectar las alucinaciones de Tipo-II porque miden el realismo distributivo o la consistencia a nivel de píxel en lugar de la fidelidad a nivel de instancia con la verdad de campo específica. La pregunta central abordada es: ¿Cuándo y cómo entran los detalles no respaldados en el proceso de resolución inversa basado en difusión, y cómo pueden mitigarse sin comprometer la consistencia de la medición?

2. Metodología: Optimización Alternante y RPU

El artículo reformula los resolvedores de problemas inversos basados en la regla de Bayes (específicamente DPS) como un proceso de optimización alternante que consta de dos pasos distintos:

1. Actualización del Prior (Prior Update): El prior de difusión propone un desplazamiento para completar el contenido faltante o ambiguo.
2. Condicionamiento por Medición (Measurement Conditioning): Un paso de corrección que ancla la reconstrucción a la medición observada $y$ y al operador $A$.

Los autores hipotetizan que las alucinaciones suelen entrar durante el paso de actualización del prior, donde el modelo generativo propone contenido que está débilmente restringido por la medición. Para abordar esto, proponen la Actualización de Prior Robusta (RPU, Robust Prior Update), un módulo a nivel de solver que interviene únicamente en el paso de actualización del prior, dejando sin cambios el condicionamiento de la medición.

El Mecanismo RPU:

• Sondeo (Probing): Antes de aceptar el desplazamiento natural del prior $d_\theta(x_t, t)$ propuesto por el modelo de difusión, RPU realiza un sondeo de estabilidad local. Se mueve una pequeña distancia en contra del desplazamiento del prior normalizado durante $K$ pasos, creando un punto perturbado $x_t^{adv}$.
• Re-anclaje (Re-anchoring): El prior de difusión se evalúa en este punto perturbado $x_t^{adv}$ para obtener un nuevo desplazamiento. Crucialmente, este desplazamiento se re-ancla al iterado original $x_t$ en lugar de al punto perturbado.
  • Fórmula: $\tilde{x}_{t-1}^{prior} = x_t + (p_\theta(x_t^{adv}, t) - x_t^{adv})$.
• Corrección de Medición (Measurement Correction): Posteriormente, se aplica la actualización de medición estándar utilizando la estimación de denoise derivada del output del modelo sondeado.

Este enfoque estabiliza efectivamente la propuesta generativa al asegurar que el desplazamiento del prior sea localmente robusto a pequeñas perturbaciones, reduciendo la inyección de detalles no respaldados antes de que se reaplique la restricción de la medición.

3. Contribuciones Clave

1. Definición de Alucinación: El artículo define formalmente la alucinación en problemas inversos, separándola en casos de Tipo-I (implausible) y Tipo-II (no respaldado por la medición pero plausible).
2. Descomposición Teórica: Deriva una visión de optimización alternante para los solvers basados en la regla de Bayes, separando explícitamente el paso de consistencia de la medición del paso de actualización del prior e identificando la actualización del prior como el punto de intervención para la alucinación.
3. Algoritmo RPU: La propuesta de RPU, un módulo que sondea la estabilidad local de la actualización del prior y re-ancla el desplazamiento, desacoplándolo de la actualización de la medición.
4. Validación Empírica: Instanciación de RPU dentro del marco DPS y evaluación en los conjuntos de datos FFHQ e ImageNet utilizando tanto métricas automáticas como estudios de fidelidad humana.

4. Resultados Experimentales

Los autores evaluaron RPU en FFHQ (256x256) e ImageNet (256x256) a través de tres problemas inversos: inpainting de caja (box inpainting), desenfoque Gaussiano (Gaussian deblurring) y desenfoque de movimiento (motion deblurring).

• Métricas Cuantitativas (FFHQ):
  • Inpainting de Caja: RPU mejoró el PSNR (19.72 $\to$ 20.40) y el LPIPS (0.400 $\to$ 0.394). El FID aumentó ligeramente (45.44 $\to$ 50.35), lo que sugiere un compromiso donde RPU sacrifica algo de nitidez distributiva en favor de la fidelidad de la instancia.
  • Desenfoque (Deblurring): RPU mostró mejoras consistentes en PSNR y LPIPS tanto para las tareas de desenfoque Gaussiano como de movimiento.
• Estudios de Fidelidad Humana:
  • Parejas Ciego (Blind Pairwise): En el inpainting de caja, RPU recibió el 91.9% de las preferencias de la mayoría en comparaciones por pares ciegas sobre DPS.
  • Asistido por Verdad de Campo (Ground-Truth-Assisted): Cuando los lectores compararon los resultados contra la verdad de campo, RPU recibió el 91.1% de las preferencias de la mayoría en el inpainting de caja.
  • Desenfoque: Mientras que las comparaciones ciegas resultaron en muchos empates (indicando un realismo visual similar), los estudios asistidos por la verdad de campo mostraron una fuerte preferencia por RPU (86.2% para Gaussiano, 82.1% para desenfoque de movimiento), confirmando que RPU reduce los detalles sutiles e inconsistentes con la medición que son difíciles de detectar a ciegas.
• Transferencia a ImageNet: En el desenfoque Gaussiano de ImageNet, RPU mejoró el PSRE (20.406 $\to$ 20.509). Los estudios humanos mostraron una preferencia por RPU en los casos de no empate (72.7%), aunque el estudio tuvo muchos empates.

5. Significado y Reivindicaciones

El artículo afirma que robustecer la actualización del prior es una estrategia dirigida y efectiva para mejorar la fidelidad de la instancia en los resolvedores de difusión para problemas inversos.

• Mecanismo: Los resultados respaldan la visión de que las alucinaciones a menudo surgen de la propuesta del lado del prior antes de la corrección de la medición. Al estabilizar este paso específico, RPU reduce la introducción de detalles no respaldados.
• Alcance: Los autores enfatizan que RPU no es un reemplazo universal para las métricas de reconstrucción o la inspección humana, ni es un detector de alucinaciones independiente. Su efectividad es más pronunciada en escenarios donde el prior conforma contenido débilmente restringido (por ejemplo, máscaras de inpainting grandes).
• Limitaciones: Los autores señalan que el método depende de la tarea; en tareas altamente restringidas (como algunos escenarios de desenfoque) o distribuciones más amplias (ImageNet), los beneficios son menos dramáticos y resultan en más resultados de "empate" en los estudios humanos. Las afirmaciones son modestas, posicionando a RPU como una intervención específica para mejorar la fidelidad en lugar de una mejora general del solver.