Resumen Técnico: Modelado Generativo a partir de Corrupciones de Caja Negra mediante Interpolantes Estocásticos Autoconsistentes

1. Planteamiento del Problema

En muchos dominios científicos e ingenieriles, no están disponibles muestras de datos limpios de una distribución objetivo $\pi$. En su lugar, los investigadores solo observan mediciones corruptas $y$ generadas a través de un mapeo directo $y = \mathcal{F}(x)$, donde $\mathcal{F}$ es típicamente un canal ruidoso, mal condicionado y potencialmente no diferenciable. El objetivo es construir un modelo generativo para los datos limpios originales $\pi$ utilizando únicamente el conjunto de datos corrupto $\{y_i\}$ y acceso de caja negra al simulador directo $\mathcal{F}$.

Esta tarea constituye un problema inverso a nivel de distribuciones: encontrar una priori $\pi$ tal que el empuje de $\pi$ a través del operador de canal $\mathcal{K}$ (asociado con $\mathcal{F}$) sea igual a la distribución observada $\mu$ (es decir, $\mathcal{K}\pi = \mu$).

Los enfoques existentes enfrentan limitaciones significativas:

• Métodos de Bayes Empírico/EM: Requieren conocimiento explícito de la verosimilitud $P(y|x)$ y muestreo posterior computacionalmente costoso, a menudo necesitando suposiciones restrictivas como linealidad y ruido gaussiano.
• Métodos basados en difusión: Típicamente requieren datos limpios para el pre-entrenamiento o diferenciabilidad explícita del modelo directo para calcular gradientes.
• Limitaciones actuales: La mayoría de los métodos fallan cuando el modelo directo es no lineal, no diferenciable (por ejemplo, compresión JPEG) o implica ruido no gaussiano (por ejemplo, ruido de Poisson).

2. Metodología: Interpolantes Estocásticos Autoconsistentes (SCSI)

Los autores proponen Interpolantes Estocásticos Autoconsistentes (SCSI), un marco que aprende un mapa de transporte desde datos corruptos hasta datos limpios utilizando únicamente acceso de caja negra al proceso directo.

Concepto Central

El método aprovecha los Interpolantes Estocásticos (SI), que definen una trayectoria continua entre dos distribuciones mediante una ecuación diferencial estocástica (SDE) o una ecuación diferencial ordinaria (ODE). El entrenamiento estándar de SI requiere muestras emparejadas $(x_0, x_1)$ de las distribuciones limpia y corrupta. Dado que las muestras limpias no están disponibles, SCSI introduce un esquema iterativo autoconsistente:

1. Inicialización: Comenzar con un mapa de transporte inicial parametrizado por $\Theta^{(0)}$.
2. Actualización Iterativa (Optimización de dos niveles):
   • Bucle Externo (Equivalente al paso E): Utilizar el mapa de transporte actual $\Phi_{\Theta^{(k)}}$ para generar muestras "pseudo-limpia" $\hat{x} = \Phi_{\Theta^{(k)}}(y)$ a partir de los datos corruptos $y \sim \mu$.
   • Simulación Directa: Pasar estas muestras pseudo-limpia a través del modelo directo de caja negra para generar observaciones simuladas $\tilde{y} = \mathcal{F}(\hat{x})$.
   • Construcción del Interpolante: Construir un interpolante estocástico $I_t$ entre el $\hat{x}$ generado y el $\tilde{y}$ simulado (más ruido).
   • Bucle Interno (Equivalente al paso M): Entrenar los parámetros de transporte $\Theta$ para minimizar la pérdida estándar de SI (regresión de mínimos cuadrados del campo de velocidad y el desruidador) utilizando el interpolante construido.
   • Actualización: Actualizar $\Theta^{(k)} \to \Theta^{(k+1)}$.

Condición de Autoconsistencia

El procedimiento busca un punto fijo $\Theta^*$ tal que el mapa de transporte $\Phi_{\Theta^*}$ empuje la distribución corrupta $\mu$ hacia una distribución $\pi_{\Theta^*}$ la cual, al pasarla a través del canal directo, reproduzca la distribución corrupta original:
$$\mathcal{K}(\Phi_{\Theta^*})_\# \mu = \mu$$
Si el canal es inyectivo a nivel de distribución, este punto fijo corresponde a la verdadera distribución limpia $\pi$.

Eficiencia e Implementación

• Bucle Interno Truncado: Para eficiencia computacional, la optimización interna no se ejecuta hasta la convergencia; en su lugar, se toman un número fijo de pasos de gradiente ($T_{tr}$), inicializando desde los parámetros de la iteración anterior.
• Compatibilidad con Caja Negra: El método no requiere gradientes de $\mathcal{F}$, ni tampoco requiere evaluación explícita de la verosimilitud. Trata a $\mathcal{F}$ como un simulador.
• Generación Condicional: El marco se extiende naturalmente a la generación condicional (por ejemplo, cuando la corrupción implica una máscara o kernel aleatorio) "elevando" el espacio de estados para incluir las variables latentes del proceso directo.

3. Análisis Teórico

El artículo establece garantías de convergencia bajo suposiciones específicas:

• Inyectividad: El canal directo $\mathcal{K}$ debe ser inyectivo en el espacio de medidas de probabilidad (es decir, $\mathcal{K}\pi = \mathcal{K}\pi' \implies \pi = \pi'$).
• Contracción de Wasserstein: Bajo una suposición de estabilidad Lipschitz en el mapa de transporte inverso, el esquema converge linealmente en la métrica de Wasserstein ($W_2$) si la constante Lipschitz $R < 1$.
• Contracción de Divergencia KL: Para el caso SDE ($\epsilon > 0$), los autores prueban la convergencia lineal en la divergencia de Kullback-Leibler (KL). Esto depende de un "número de condición" $\chi$ del problema inverso regularizado y de una suposición Lipschitz en la deriva de la ecuación de Fokker-Planck.
• Caso de Estudio Gaussiano: En el caso específico de una priori gaussiana y Ruido Gaussiano Blanco Aditivo (AWGN), los autores derivan tasas de convergencia lineal explícitas. Muestran que el transporte basado en ODE ($\epsilon=0$) ofrece una tasa de convergencia más rápida en comparación con el algoritmo EM (que corresponde a una elección específica de SDE con $\epsilon=1$), particularmente en regímenes de baja relación señal-ruido (SNR).

4. Resultados Experimentales

Los autores evalúan SCSI en tres categorías de tareas:

1. Modelos Sintéticos de Baja Dimensión:

   • Demostraron que SCSI basado en ODE es robusto y computacionalmente eficiente, mientras que SCSI basado en SDE puede ser más robusto ante ruido alto pero es más sensible a los hiperparámetros.
   • Verificaron tasas de convergencia lineal en el caso AWGN gaussiano.

2. Tareas de Imagen (CIFAR-10, CelebA):

   • Corrupciones Probadas: Enmascaramiento aleatorio, desenfoque gaussiano, desenfoque de movimiento (no lineal) y compresión JPEG (no lineal, no diferenciable).
   • Rendimiento: SCSI logra una calidad de restauración (medida por LPIPS, FID, PSNR) comparable o superior a DPS (Muestreo Posterior de Difusión), una línea base sólida que requiere pre-entrenamiento en datos limpios y gradientes del modelo directo.
   • Eficiencia: SCSI es significativamente más eficiente computacionalmente que los métodos de difusión basados en EM (por ejemplo, ~86 horas de GPU frente a 512 horas de GPU para tareas comparables).
   • Robustez: SCSI maneja con éxito ruido no gaussiano (Poisson) y operadores no diferenciables (JPEG) donde los métodos basados en gradientes fallan o requieren aproximaciones.

3. Reconstrucción Científica (Espectros de Cuásares):

   • Aplicado a la recuperación de espectros de cuásares reales a partir de observaciones de telescopio ruidosas y de baja resolución.
   • SCSI superó a la línea base del filtro de Wiener en la recuperación de características espectrales críticas (alturas y ubicaciones de picos) a través de regímenes variables de SNR y resolución.

5. Significado y Afirmaciones

El artículo afirma el siguiente significado para el marco SCSI:

• Flexibilidad de Caja Negra: A diferencia de métodos anteriores que requieren modelos directos explícitos y diferenciables, SCSI funciona con procesos directos arbitrarios no lineales, no diferenciables y no gaussianos, siempre que puedan ser simulados.
• Eficiencia de Datos: Elimina la necesidad de datos de entrenamiento limpios, confiando únicamente en observaciones corruptas y un simulador.
• Garantías Teóricas: Proporciona las primeras garantías de convergencia para un esquema de entrenamiento autoconsistente en este contexto, estableciendo las condiciones bajo las cuales el procedimiento iterativo converge a la distribución real de datos.
• Superioridad Práctica: Los resultados empíricos muestran que SCSI iguala o supera el rendimiento de métodos que tienen acceso a datos limpios (para pre-entrenamiento) o gradientes explícitos, siendo al mismo tiempo más eficiente computacionalmente.
• ODE vs. SDE: El análisis y los experimentos sugieren que el transporte basado en ODE (flujo de probabilidad) a menudo ofrece tasas de convergencia y estabilidad superiores en comparación con los enfoques basados en SDE, particularmente en regímenes de bajo SNR.

Los autores posicionan su trabajo como una alternativa práctica y escalable a los enfoques de Bayes Empírico y control basado en modelos, estableciendo un paralelo conceptual con el aprendizaje por refuerzo sin modelo, donde las políticas se optimizan mediante la interacción con un simulador en lugar del conocimiento explícito de la dinámica del sistema.