Deep Probabilistic Unfolding for Quantized Compressive Sensing

Resumen Técnico: Despliegue Probabilístico Profundo para Sensación Compresiva Cuantizada

Enunciado del Problema
La Sensación Compresiva Cuantizada (QCS) aborda el desafío de reconstruir señales a partir de mediciones comprimidas que han sufrido una cuantización gruesa (por ejemplo, de 1 bit o de pocos bits). Si bien la cuantización gruesa reduce significativamente el ancho de banda y el consumo de energía —haciéndola vital para aplicaciones como MIMO masivo, radar y redes de sensores inalámbricos—, introduce una no linealidad severa y pérdida de información con respecto a la amplitud de la señal. Los métodos de reconstrucción existentes enfrentan una dicotomía:

1. Algoritmos Tradicionales Basados en Modelos: Estos dependen de priores diseñados a mano y optimización iterativa. Aunque son robustos, a menudo sufren de altos costos computacionales y calidad de reconstrucción limitada.
2. Enfoques Generativos Basados en Aprendizaje Profundo: Los métodos recientes (por ejemplo, QCS-SGM, QCS-SGM+) utilizan modelos generativos basados en puntuaciones para realizar muestreo posterior mediante dinámicas de Langevin recocidas. Aunque logran alta calidad perceptual, son computacionalmente costosos, requiriendo actualizaciones estocásticas iterativas sobre múltiples niveles de ruido. Esto los hace inadecuados para la implementación en tiempo real debido a restricciones de latencia y rendimiento. Además, estos métodos a menudo dependen de suposiciones restrictivas (por ejemplo, ortogonalidad por filas de la matriz de detección) para aproximaciones de verosimilitud tratables, o requieren un preentrenamiento pesado en conjuntos de datos a gran escala que pueden no coincidir con configuraciones de dominio específicas.

Metodología: Red de Despliegue Probabilístico Profundo (DPUNet)
Los autores proponen DPUNet, un marco de despliegue profundo determinista y entrenable de extremo a extremo que cierra la brecha entre la inferencia bayesiana principial y el aprendizaje profundo eficiente.

• Proyección de Gradiente de Verosimilitud en Forma Cerrada:
  A diferencia de los métodos de despliegue anteriores que aplican proyección $L_2$ o dependen de aproximaciones de Propagación de Expectación (EP), DPUNet deriva un gradiente de verosimilitud numéricamente estable y en forma cerrada.

  • Mecanismo: El método trata las restricciones de cuantización como guía probabilística suave en lugar de restricciones duras. Modela el dominio de medición como perturbado por ruido (ya sea inherente o artificial).
  • Caso de 1 bit: Utiliza la relación de Mills para calcular el gradiente del log-verosimilitud para mediciones binarias ($y = \text{Sign}(Mx + n)$).
  • Caso de varios bits: Utiliza la diferencia de Funciones de Distribución Acumulada (CDF) de Gaussianas sobre intervalos de cuantización para derivar el gradiente.
  • Ventaja: Este enfoque evita la necesidad de suposiciones de ortogonalidad por filas requeridas por los métodos basados en EP y elimina los pasos de muestreo iterativo de los modelos basados en puntuaciones, permitiendo un único pase de alimentación directa.

• Bloque Mamba de Doble Dominio (DMB):
  Para servir como red de refinamiento dentro de las etapas de despliegue, los autores diseñan un novedoso Bloque Mamba de Doble Dominio que captura tanto características locales como globales de manera eficiente.

  • Rama Espacial: Implementa un Modelo de Espacio de Estados (SSM) estándar en secuencias espaciales aplanadas para capturar dependencias locales.
  • Rama Espectral (S3M): Introduce una capa espectral compleja condicionada por frecuencia. En lugar de escaneo secuencial de tokens (que depende del orden), S3M opera sobre modos de Fourier. Parametriza un sistema estable de espacio de estados complejo en el dominio de la frecuencia, produciendo una solución en forma cerrada para la respuesta espectral.
  • Interacción Cruzada de Frecuencias: Para abordar la limitación del filtrado puramente diagonal (que asume independencia de frecuencia), el S3M incorpora un término de proyección-difusión estructurado de rango bajo. Esto permite interacciones cruzadas de frecuencia eficientes con complejidad $O(LR)$, evitando el costo cuadrático de la mezcla espectral densa.
  • Invarianza de Orden: Al operar en el dominio de Fourier, el campo receptivo global se vuelve invariante al orden, superando la dependencia de orden inherente de las arquitecturas Mamba basadas en escaneo estándar.

• Objetivo de Entrenamiento:
  La red se optimiza minimizando una función de pérdida compuesta que consiste en el error de reconstrucción $L_2$ y un término de Negativo Log-Likelihood (NLL). El término NLL asegura que la salida se adhiera a las restricciones de consistencia de datos cuantizados derivadas del modelo probabilístico.

Contribuciones Clave

1. Marco DPUNet: Una nueva arquitectura de despliegue profundo que convierte las restricciones de cuantización duras en guía probabilística suave mediante una proyección de gradiente de verosimilitud en forma cerrada. Esto permite inferencia determinista de un solo pase sin la carga computacional del muestreo posterior iterativo.
2. Bloque Mamba de Doble Dominio: Un módulo de refinamiento novedoso que fusiona el modelado de espacio de estados espacial con un operador espectral invariante al orden y condicionado por frecuencia. Logra interacción de características globales a través de operadores espectrales estructurados en lugar de recurrencias repetidas, reduciendo significativamente el costo computacional.
3. Rendimiento y Eficiencia: El método demuestra un rendimiento de vanguardia (SOTA) en precisión de reconstrucción (PSNR/SSIM) a través de niveles de cuantización de 1 bit a 3 bits, manteniendo velocidades de inferencia órdenes de magnitud más rápidas que las líneas base de muestreo basadas en puntuaciones.

Resultados Experimentales
Los autores evaluaron DPUNet en los conjuntos de datos CelebA (64×64) y FFHQ (256×256), comparándolo con QCS-SGM, QCS-SGM+ y una línea base de despliegue profundo convencional.

• Precisión: DPUNet logró puntuaciones superiores de PSNR y SSIM en todos los bits de cuantización. Por ejemplo, en FFHQ con mediciones de 1 bit, DPUNet alcanzó 27.18 dB de PSNR en comparación con 13.26 dB para QCS-SGM+.
• Eficiencia: El tiempo de inferencia para DPUNet fue de aproximadamente 0.25 segundos para imágenes de 256×256, en comparación con 558 segundos para QCS-SGM y 1072 segundos para QCS-SGM+.
• Estudios de Ablación: Eliminar la proyección de gradiente de verosimilitud causó la degradación de rendimiento más severa (una caída de aproximadamente 10.57 dB), validando la formulación probabilística central. La rama espectral y el acoplamiento de rango-R también contribuyeron significativamente al rendimiento.
• Fuera de Distribución (OOD): El modelo demostró capacidades de reconstrucción robustas en el conjunto de datos CSet8 (OOD) cuando se entrenó en FFHQ, superando a métodos anteriores incluso en escenarios de 1 bit.

Significado y Afirmaciones
El artículo afirma que DPUNet ofrece una alternativa principial a los métodos existentes de reconstrucción QCS al unificar la interpretabilidad del despliegue basado en modelos con el poder representacional del aprendizaje profundo, sin la sobrecarga computacional del muestreo generativo.

• Implementación Práctica: Al eliminar el muestreo iterativo y reducir la dependencia de suposiciones restrictivas sobre la matriz de detección, el método se posiciona como una solución viable para aplicaciones del mundo real donde la latencia y el rendimiento son críticos.
• Potencial Futuro: Los autores sugieren que este marco sirve como prototipo para futuras optimizaciones conscientes de la tarea o con hardware en el bucle, donde el pipeline de reconstrucción puede ajustarse conjuntamente para objetivos posteriores como reconocimiento o transmisión segura. El método se presenta como un paso hacia diseños más eficientes y razonables de extremo a extremo para la sensación compresiva cuantizada.