Resumen Técnico: Difusión Condicional bajo Restricciones Lineales

Enunciado del Problema

El artículo aborda el problema del muestreo condicional zero-shot para problemas inversos lineales (por ejemplo, inpainting de imágenes, super-resolución) utilizando modelos de difusión preentrenados. En estos escenarios, una observación $y$ está relacionada con una señal limpia $Z$ mediante un operador lineal $A$ tal que $y = AZ$. El objetivo es muestrear desde la distribución condicional $\text{Law}(Z \mid AZ = y)$.

Los métodos existentes basados en proyección (por ejemplo, DDRM, DDNM) imponen la consistencia de la medición corrigiendo analíticamente el componente "normal" de la señal (la parte determinada por $A$) durante el proceso de difusión inversa. Sin embargo, los autores argumentan que la consistencia de la medición por sí sola es insuficiente. Mientras que el componente normal está fijado por la observación, el componente "tangente" (la parte en el espacio nulo de $A$) permanece indeterminado. Los métodos estándar basados en proyección dejan que la dinámica tangente esté gobernada enteramente por la puntuación incondicional preentrenada. Esto conduce a un sesgo en el espacio tangente, donde la masa de probabilidad se distribuye incorrectamente a lo largo del conjunto afín factible, acumulando a menudo errores provenientes de modos dominantes del prior incondicional que son irrelevantes para la observación específica.

Metodología

Los autores proponen un marco de muestreo de dos etapas fundamentado en una descomposición normal–tangente de la función de puntuación condicional bajo ruido gaussiano.

1. Descomposición Normal–Tangente

Para un proceso de difusión de explosión de varianza (VE) $X_t = Z + W_t$, la puntuación condicional $s^*_t(x)$ puede descomponerse en componentes normal ($P_\perp$) y tangente ($P_\parallel$) con respecto al espacio fila de $A$:

• Componente Normal: La puntuación normal $P_\perp s^*_t(x)$ está disponible en forma cerrada mediante la fórmula de Tweedie y la observación $b = P_\perp Z$. Viene dada por $\frac{1}{t}P_\perp(b - x)$.
• Componente Tangente: La puntuación tangente $P_\parallel s^*_t(x)$ es desconocida. Los métodos basados en proyección aproximan esta mediante la puntuación tangente incondicional $P_\parallel s_t(x)$.

Los autores identifican que el error en el muestreo zero-shot estándar surge de reemplazar la puntuación tangente condicional desconocida por la incondicional. Esta aproximación es más problemática a niveles altos de ruido, donde la puntuación incondicional agrega información de todos los modos de datos, potencialmente arrastrando la muestra hacia clusters irrelevantes.

2. Muestreador Propuesto: Inicialización Langevin Proyectada + Desruido Guiado

Para mitigar este sesgo, los autores proponen un algoritmo de tres pasos (Algoritmo 1):

1. Inicialización a Ruido Intermedio ($t^*$): En lugar de iniciar el proceso inverso desde el nivel de ruido más alto ($T$), el muestreador comienza en un nivel de ruido "seguro" intermedio $t^*$. A este nivel, el componente normal se muestrea exactamente desde la ley condicional $\text{Law}(P_\perp X_{t^*} \mid P_\perp Z = b)$.
2. Mezcla Langevin Subamortiguada Proyectada: Antes de comenzar el desruido inverso, el muestreador ejecuta una fase corta de dinámica Langevin subamortiguada proyectada (utilizando el integrador BAOAB) restringida al conjunto afín definido por el componente normal ruidoso. Este paso utiliza la puntuación incondicional proyectada $P_\parallel s_{t^*}$ para mezclar el componente tangente. El objetivo es producir una inicialización que ya esté bien mezclada a lo largo de la variedad factible y sea consistente con la restricción, reduciendo la acumulación de errores de desajuste de la puntuación tangente.
3. Desruido Inverso Guiado: Desde el estado inicial en $t^*$, el muestreador realiza un desruido inverso guiado hasta $t=0$. La dinámica utiliza la deriva normal exacta (para imponer la restricción) y la puntuación tangente incondicional preentrenada (para guiar las direcciones tangentes).

Contribuciones Clave

El artículo presenta cuatro contribuciones principales:

1. Descomposición Teórica: Deriva una descomposición normal–tangente rigurosa para la difusión condicional afín, mostrando que la puntuación normal está determinada exactamente por la medición, aislando la puntuación tangente como la única fuente de error de aproximación en configuraciones zero-shot.
2. Propuesta Algorítmica: Introduce un muestreador que combina una corrección normal exacta con una fase de inicialización Langevin proyectada. Esta fase mezcla explícitamente las direcciones tangentes a un nivel de ruido intermedio antes del desruido guiado, abordando la acumulación de sesgo observada en métodos de proyección ingenuos.
3. Límites de Error Teórico-Informático: Los autores prueban un límite de error pathwise (Teorema 4) que muestra que la divergencia de Kullback–Leibler (KL) entre la trayectoria condicional ideal y la trayectoria sustituta está acotada superiormente por la información mutua condicional $I(Z_\parallel; Z_\perp \mid X_{t^*})$. Esto proporciona un criterio teórico-informático: el método es preciso cuando la dependencia estadística residual entre los componentes tangente y normal es pequeña en el nivel de ruido elegido.
4. Garantías Terminales: Bajo la suposición de un modelo de mezcla gaussiana latente, el artículo proporciona un límite KL terminal (Teorema 9) que separa el error en un término de inicialización y un término pathwise. Además, bajo una condición de separación en el código latente (Teorema 11), los autores muestran que ambos términos de error decaen exponencialmente con la relación de separación-ruido, estableciendo regímenes donde el método es altamente preciso.

Resultados Experimentales

El método propuesto, denominado LCDM-BAOAB, fue evaluado en problemas inversos de imagen lineales estándar (inpainting y super-resolución 8×) en los conjuntos de datos CelebA-HQ, LSUN Church e ImageNet.

• Líneas Base: El método se comparó contra DDNM, una línea base fuerte basada en proyección zero-shot.
• Métricas: El rendimiento se midió utilizando la Distancia de Inception Fréchet (FID) y la Similitud de Parches de Imagen Perceptual Aprendida (LPIPS) bajo un presupuesto de cómputo igualado (100 evaluaciones de función de red).
• Hallazgos:
  • LCDM-BAOAB superó consistentemente a DDNM en todos los conjuntos de datos y tareas.
  • Las mejoras fueron más significativas en ImageNet y para super-resolución 8×, configuraciones caracterizadas por alta ambigüedad en el espacio tangente (muchas imágenes de alta resolución consistentes con la misma observación de baja resolución).
  • Los resultados visuales mostraron que LCDM-BAOAB produjo reconstrucciones más limpias y coherentes con menos artefactos de textura en comparación con DDNM, particularmente en escenarios de alta ambigüedad.

Significado y Afirmaciones

El artículo afirma que imponer consistencia de medición en las direcciones normales no es suficiente para resolver problemas inversos lineales mal planteados con priores de difusión. El obstáculo central es la ambigüedad del espacio tangente, donde la puntuación incondicional falla en distribuir correctamente la masa de probabilidad a lo largo del conjunto factible.

El significado de este trabajo radica en:

• Identificar la Fuente del Sesgo: Aísla la aproximación de la puntuación tangente como el mecanismo específico que causa sesgo en los métodos zero-shot existentes.
• Garantías Libres de Dimensión: Los límites teóricos son libres de dimensión, dependiendo en cambio de la información mutua condicional y la sensibilidad de la condición tangente al código normal.
• Eficacia Práctica sin Ajuste Fino: El método logra un rendimiento zero-shot de última generación aprovechando la condicionamiento en tiempo de inferencia y la mezcla Langevin, sin requerir ajuste fino específico de la tarea ni aprendizaje de modelos adicionales.
• Justificación Teórica para la Mezcla Tangente: Proporciona una justificación teórica de por qué mezclar en las direcciones tangentes a niveles de ruido intermedios mejora la calidad del muestreo, vinculando esta mejora a la reducción de la dependencia estadística residual entre los componentes observados y no observados.