Active Learning for Conditional Generative Compressed Sensing

Enunciado del Problema
La compresión sensorial generativa (GCS) recupera señales estructuradas a partir de mediciones submuestreadas asumiendo que la señal se encuentra cerca del rango de un modelo generativo preentrenado $G$. Si bien la teoría existente establece garantías de recuperación para modelos incondicionales bajo mediciones gaussianas, las aplicaciones prácticas a menudo involucran transformadas unitarias estructuradas y submuestreadas (por ejemplo, mediciones de Fourier en MRI) y poseen información auxiliar disponible en el momento de la adquisición o inferencia. Este artículo aborda la brecha en la compresión sensorial generativa condicional, donde el modelo generativo se condiciona a indicaciones (por ejemplo, descripciones de texto, metadatos). El desafío central es que la condicionamiento introduce una interacción tripartita: la indicación que define la señal verdadera ($c^*$), la indicación utilizada para diseñar la distribución de muestreo ($c_s$) y la indicación utilizada para definir el modelo de recuperación ($c_r$). Las discrepancias entre estas indicaciones pueden conducir a estrategias de muestreo subóptimas o reconstrucciones sesgadas, sin embargo, los marcos existentes tratan mayoritariamente el condicionamiento como un prior estático en lugar de una variable de diseño dinámica tanto para la detección como para la recuperación.

Metodología
Los autores formulan un marco para el aprendizaje activo condicionado a indicaciones bajo mediciones de Fourier submuestreadas, adaptando el enfoque de Muestreo de Christoffel para Aprendizaje Automático (CS4ML).

1. Clases de Modelos Condicionados a Indicaciones: El espacio de señales se define mediante un generador condicional $G(z, c)$, donde $z$ es un vector latente y $c$ es una indicación. Los autores distinguen tres indicaciones:

   • $c^*$: La indicación de la señal verdadera (si $f^* \in F_{c^*}$).
   • $c_r$: La indicación de recuperación que define el conjunto candidato $F_{c_r}$.
   • $c_s$: La indicación de muestreo utilizada para construir la distribución de muestreo $\mu_{c_s}$.

2. Factor de Compatibilidad de Indicaciones ($\Lambda$): Para cuantificar la interacción entre estas indicaciones, los autores definen un Factor de Compatibilidad de Indicaciones:
   $$\Lambda(c_1, c_2, c_3) = \max_{i \in D} \frac{K(F_{c_1} - F_{c_2})(i)}{\mu_{c_3}(i)}$$
   donde $K$ es la función de Christoffel generalizada que mide la "informatividad" de una coordenada de Fourier para distinguir señales en una clase, y $\mu$ es la distribución de muestreo.

   • $\Lambda(c_r, c_r, c_s)$ controla la complejidad de la muestra requerida para una recuperación estable.
   • $\Lambda(c^*, c_r, c_s)$ controla el error de reconstrucción (error de aproximación) cuando la señal verdadera no coincide con la indicación de recuperación.

3. Análisis Teórico: El artículo deriva límites de complejidad de muestra para dos clases de generadores condicionales:

   • Redes ReLU: Asumiendo una red feedforward ReLU sin sesgo y de profundidad $d$.
   • Generadores Lipschitz: Asumiendo que el generador es $L$-Lipschitz en la bola latente.
     En ambos casos, los límites muestran que el número de mediciones $m$ escala con $\Lambda$, la complejidad del generador (por ejemplo, ancho/profundidad para ReLU, constante Lipschitz $L$) y la probabilidad mínima de muestreo $\mu$.

4. Garantías de Recuperación: Bajo la Condición de Autovalores Restringidos al Conjunto (S-REC), los autores demuestran que el error de reconstrucción está acotado por el mejor error de aproximación en la clase de recuperación, amplificado por $\sqrt{\Lambda(c^*, c_r, c_s)}$, más términos para el ruido y el error de optimización.

Contribuciones Clave

• Formulación: Un marco unificado para GCS condicionado a indicaciones que separa explícitamente los roles de las indicaciones en el diseño de muestreo y el modelado de recuperación.
• Métrica Teórica: La introducción del Factor de Compatibilidad de Indicaciones $\Lambda$, que unifica el análisis de la discrepancia entre muestreo y recuperación y la discrepancia entre señal y recuperación en una sola estadística que gobierna tanto la complejidad de la muestra como los límites de error.
• Límites de Complejidad de Muestra: Límites explícitos para generadores condicionales ReLU y Lipschitz, demostrando que la discrepancia de indicaciones incurre en una penalización (complejidad de muestra aumentada) proporcional a la divergencia entre las geometrías de muestreo y recuperación.
• Validación Empírica: Experimentos utilizando Stable Diffusion 1.5 (SD15) demuestran que:
  • Las indicaciones remodelan significativamente las distribuciones de muestreo de Christoffel (concentrando la masa en diferentes frecuencias de Fourier).
  • Las discrepancias entre las indicaciones de muestreo y recuperación ($c_s \neq c_r$) aumentan el factor de compatibilidad $\Lambda$.
  • El rendimiento de reconstrucción es sensible a estas discrepancias, aunque los autores notan que la recuperación incondicional ($c_r = \text{""}$) a menudo se comportó de manera robusta en su configuración experimental específica, posiblemente debido a la flexibilidad del modelo incondicional o a la dinámica de optimización específica.

Resultados

• Teóricos: El artículo demuestra que la recuperación estable es posible con alta probabilidad si el número de mediciones escala con $\Lambda(c_r, c_r, c_s)$. Si $c_s = c_r$, $\Lambda$ se reduce a la constante de complejidad de Christoffel estándar. Si $c_s \neq c_r$, $\Lambda$ puede crecer, reflejando la necesidad de más muestras para capturar características de la señal relevantes para $c_r$ que están subrepresentadas en el muestreo basado en $c_s$.
• Experimentales:
  • Distribuciones de Muestreo: Diferentes indicaciones (por ejemplo, "playa al atardecer" vs. "gato") inducen distribuciones de muestreo distintas, con pares coincidentes minimizando $\Lambda$.
  • Reconstrucción: En experimentos "dentro del rango" (donde la señal verdadera es generada por el modelo), el muestreo con una indicación semánticamente similar ($c_s$ cercana a $c^*$) mejoró la PSNR y la SSIM en comparación con indicaciones discordantes.
  • Ablación de CFG: Los autores encontraron que valores altos de Guía Libre de Clasificador (CFG) (por ejemplo, 7.5) restringieron demasiado al generador, lo que llevó a un rendimiento de reconstrucción peor en comparación con valores CFG más bajos (por ejemplo, 1), sugiriendo que la clase de recuperación "efectiva" depende altamente de los hiperparámetros.

Significado y Afirmaciones
El artículo afirma establecer que las indicaciones deben tratarse como variables de diseño con efectos distintos en la detección (distribución de muestreo), la aproximación (clase de recuperación) y la interacción entre ambas. El significado principal radica en extender la teoría de GCS a entornos condicionales, mostrando que:

1. El Aprendizaje Activo Depende de la Indicación: La estrategia de muestreo óptima depende de la indicación específica utilizada para la recuperación, no solo de la clase de señal.
2. Penalizaciones por Discrepancia: Existe un costo teórico explícito (en términos de complejidad de muestra y amplificación de error) cuando la indicación de muestreo no se alinea con la indicación de recuperación.
3. Implicaciones Prácticas: Si bien la teoría asume generadores idealizados, los experimentos con Stable Diffusion sugieren que el condicionamiento por indicaciones puede alterar sustancialmente las distribuciones de muestreo inducidas e influir en la calidad de la reconstrucción, aunque la interacción con los hiperparámetros de optimización (como CFG) es compleja.

Los autores notan modestamente que su teoría se aplica a clases de generadores idealizadas (ReLU/Lipschitz) y que los modelos de difusión modernos son abstracciones complejas de estas clases. Sugieren que el trabajo futuro debería investigar versiones basadas en divergencia de $\Lambda$ y caracterizar mejor las constantes Lipschitz efectivas de los modelos de difusión prácticos bajo diferentes escalas de CFG.