Resumen Técnico: Un Marco de Optimización Distribucionalmente Robusta para Reconstrucciones Aprendidas en Problemas Inversos

Planteamiento del Problema

Los problemas inversos buscan recuperar una señal desconocida $x$ a partir de mediciones indirectas y ruidosas $y$, típicamente modeladas como $y = Hx + \eta$. Si bien los operadores de reconstrucción aprendidos (por ejemplo, redes neuronales) se han vuelto populares, generalmente se entrenan bajo supuestos fijos respecto al modelo de ruido y la distribución de los datos. En consecuencia, estos modelos suelen generalizar mal cuando la distribución de prueba diverge de la distribución de entrenamiento.

La Optimización Distribucionalmente Robusta (DRO) estándar aborda esto optimizando contra la peor distribución dentro de un conjunto de ambigüedad (típicamente una bola de Wasserstein) alrededor de la distribución empírica. Sin embargo, la DRO de Wasserstein estándar perturba la distribución conjunta completa $\mu \in \mathcal{P}(X \times Y)$ de manera uniforme. Este enfoque suele ser excesivamente conservador porque ignora la física específica del proceso de medición, tratando las incertidumbres en la distribución de entrada y el ruido de la medición (operador hacia adelante) como indistinguibles.

Metodología: DRO Estructurada

Los autores proponen la DRO Estructurada, un marco que restringe el conjunto de ambigüedad a perturbaciones alineadas con el proceso de adquisición de datos. La idea central es factorizar la ley generadora de datos como $\mu = \mu_X \otimes \mu_{Y|X}$, donde $\mu_X$ representa la distribución previa sobre las entradas y $\mu_{Y|X}$ representa la verosimilitud condicional de la medición (que codifica el operador hacia adelante y el ruido).

El Marco

En lugar de perturbar la distribución conjunta de forma arbitraria, el adversario está restringido a un subconjunto estructurado $\mathcal{K} \subseteq \mathcal{P}(X \times Y)$. El artículo se centra principalmente en las perturbaciones $Y|X$, donde la marginal de entrada $\mu_X$ es fija y solo se perturba la distribución condicional $\mu_{Y|X}$. Esto aisla la incertidumbre en el modelo de medición, alineándose con la realidad física de que el ruido y las imperfecciones del operador hacia adelante afectan a $y$ dado $x$, pero no alteran la distribución de la señal subyacente $x$.

El problema de optimización se formula como:
$$\inf_{G \in \mathcal{G}} \sup_{\pi_{S|S} \in \Omega_{\mathcal{K}, c, \varepsilon}} \int_S \int_S \ell(r, G) \, d\pi_{S|S=s}(r) \, d\mu^*(s)$$
donde $\mathcal{G}$ es el espacio de los operadores de reconstrucción, $\ell$ es la función de pérdida y $\Omega_{\mathcal{K}, c, \varepsilon}$ es el conjunto de núcleos de perturbación admisibles restringidos por una función de costo $c$ y un radio $\varepsilon$.

Contribuciones Teóricas

1. Dualidad Fuerte: Los autores establecen la dualidad fuerte para esta formulación general en espacios polacos compactos, extendiendo los resultados de Blanchet y Murthy [12] y Blanchet et al. [9] a conjuntos de perturbación estructurados.
2. Representaciones Duales Explícitas: Derivan formulaciones duales de dimensión finita para perturbaciones en las distribuciones conjunta, marginal y condicional.
   • Para las perturbaciones $P(Y|X)$, la formulación dual conduce a un límite de riesgo del peor caso explícito.
3. Conexión con la Regularización: Un resultado central es la derivación de un límite de riesgo del peor caso explícito para las perturbaciones $P(Y|X)$:
   $$\text{Riesgo} \leq \left( \sqrt{\mathbb{E}[\|G(y) - x\|^2]} + L_G \sqrt{\varepsilon} \right)^2$$
   donde $L_G$ es la constante de Lipschitz del operador de reconstrucción. Este límite induce una regularización de tipo Tikhonov sobre la constante de Lipschitz de $G$.
   • En el entorno lineal, esta regularización penaliza los valores singulares más grandes del operador inverso, recuperando efectivamente un análogo basado en datos de la regularización SVD truncada que trunca en la dimensión intrínseca de los datos.
   • Los autores demuestran que este límite estructurado es estrictamente menos conservador que la DRO conjunta estándar (que produce un factor de $\sqrt{1 + L_G^2}$) para problemas bien planteados, ya que elimina la penalización asociada con la perturbación de la marginal de entrada.

Implementación Computacional

Para hacer que el marco sea tratable, los autores emplean la distancia de Sinkhorn condicional (distancia de Wasserstein con regularización entrópica) como una aproximación. Utilizan un algoritmo de Descenso de Espejo Estocástico Sesgado (BSMD) con búsqueda por bisección para resolver el problema min-max, aproximando las variables duales y el operador de reconstrucción.

Resultados Experimentales

El marco fue evaluado en varios problemas inversos: diferenciación, deblurring (MNIST y CIFAR-10) y reconstrucción de sinograma a CT.

1. Robustez y Estabilidad: En todos los experimentos, la DRO Estructurada demostró una robustez superior ante cambios en la distribución (por ejemplo, variaciones en los niveles de ruido, diferentes tipos de ruido como Gaussiano vs. Poisson, y operadores hacia adelante mal especificados) en comparación con las líneas base de Error Cuadrático Medio (MSE) estándar y la DRO conjunta estándar.
2. Interpretabilidad: Los mapas de saliencia revelaron que los modelos entrenados con DRO se enfocan en características estructuralmente significativas (bordes, trazos) e ignoran el ruido de fondo, mientras que las líneas base de MSE exhibieron una sensibilidad difusa y no estructurada.
3. Comportamiento Espectral: En la tarea de diferenciación, se mostró que el inverso aprendido mediante DRO es efectivamente de bajo rango, truncando los valores singulares más allá de la dimensión intrínseca de los datos, lo que confirma el vínculo teórico con la SVD truncada.
4. Simulación hacia Adelante: El marco también se aplicó a un "simulador robusto" (aprendizaje de un mapa hacia adelante estable bajo perturbaciones de entrada), demostrando su flexibilidad más allá de los problemas inversos.
5. Reconstrucción de CT: En la reconstrucción de CT de baja dosis (alto ruido), el UNet de la DRO mantuvo la calidad de la imagen e la integridad estructural donde el UNet de MSE se degradó significamente con artefactos.

Significado y Reivindicaciones

El artículo afirma que la DRO Estructurada cierra la brecha entre la optimización distribucionalmente robusta y la regularización clásica de problemas inversos. Al restringir las perturbaciones a la distribución condicional $P(Y|X)$, el marco:

• Modela la incertidumbre de manera más fiel: Respeta la física del proceso de medición al separar la incertidumbre de la entrada del ruido de la medición.
• Reduce el Conservadurismo: Proporciona un límite de riesgo menos conservador que la DRO estándar para problemas bien planteados, evitando penalizaciones innecesarias en la distribución de entrada.
• Induce una Regularización Interpretable: Conduce naturalmente a la regularización de Lipschitz, que en entornos lineales se manifiesta como una SVD truncada basada en datos, ofreciendo una justificación teórica para la estabilidad de los inversos aprendidos.
• Mejora la Generalización: Produce operadores de reconstrucción que son más estables e interpretables bajo condiciones fuera de la distribución, incluyendo variaciones en los modelos de ruido y operadores hacia adelante mal especificados.

Los autores concluyen que, si bien la implementación actual depende de aproximaciones entrópicas, el marco proporciona un camino principiado hacia el aprendizaje de operadores de reconstrucción robustos que están inherentemente alineados con la estructura del problema inverso.