Lightweight Diffusion Models for Resource-Constrained Semantic Communication

Resumen Técnico: Q-GESCO – Modelos de Difusión Ligeros para Comunicación Semántica con Recursos Limitados

Enunciado del Problema
Los marcos de Comunicación Semántica Generativa (GSC) han revolucionado el campo al permitir la transmisión de información semántica comprimida (por ejemplo, mapas semánticos, vectores latentes) y la regeneración de contenido multimedia de alta calidad en el receptor. Si bien los modelos de difusión representan el estado del arte en modelado generativo, su despliegue en entornos con recursos limitados —como dispositivos móviles y plataformas de computación en el borde— se ve obstaculizado por demandas computacionales significativas. La naturaleza iterativa de los modelos de difusión requiere numerosas pasadas hacia adelante, lo que conduce a altos tiempos de inferencia, huellas de memoria sustanciales y cargas computacionales pesadas. Estos factores hacen que el despliegue de modelos de difusión de precisión completa sea poco práctico para escenarios de comunicación en tiempo real o de bajo consumo, a pesar de sus superiores capacidades generativas.

Metodología
El artículo propone Q-GESCO (Comunicación Semántica Generativa Cuantizada), un marco diseñado para reducir las cargas computacionales y de memoria de los modelos de difusión semántica, preservando al mismo tiempo el rendimiento generativo. El núcleo de Q-GESCO es una técnica de Cuantización Post-Entrenamiento (PTQ) aplicada al modelo de difusión semántica en el receptor. La metodología sigue una tubería de cuatro pasos:

1. Entrenamiento Consciente del Ruido: Un modelo de difusión semántica de precisión completa (basado en el marco GESCO) se entrena o ajusta finamente en un conjunto de datos objetivo. Durante esta fase, los mapas semánticos se corrompen con niveles variables de ruido para emular el ruido del canal, asegurando que el modelo aprenda a regenerar contenido de manera robusta bajo condiciones adversas.
2. Cuantización: El modelo de precisión completa entrenado se cuantiza utilizando PTQ. Los pesos se redondean a un conjunto discreto de valores, reduciendo significativamente el tamaño del modelo y la complejidad computacional.
3. Calibración Consciente del Ruido y del Paso de Tiempo: Para mitigar los errores de cuantización que se acumulan durante el proceso iterativo de eliminación de ruido, se introduce un paso de calibración especializado.
   • Conciencia del Paso de Tiempo: El conjunto de datos de calibración se construye muestreando entradas intermedias uniformemente a través de todos los pasos de tiempo de difusión, capturando la evolución gradual de las distribuciones de activación.
   • Conciencia del Ruido: Las entradas de calibración consisten en mapas semánticos corruptos por Ruido Gaussiano Blanco Aditivo (AWGN) en niveles variables de Relación Señal-Ruido de Pico (PSNR) (que van desde 1 hasta 100). Esto asegura que los parámetros de cuantización estén optimizados para la robustez frente a perturbaciones del canal.
   • Cuantización Dividida: El U-Net de eliminación de ruido se divide en bloques, y la cuantización se aplica antes de las operaciones de concatenación en las capas de conexión para gestionar distribuciones de activación anormales.
4. Inferencia: El modelo cuantizado se despliega en el receptor para regenerar imágenes de alta calidad a partir de mapas semánticos comprimidos y ruidosos transmitidos a través del canal.

Contribuciones Clave

• Marco Q-GESCO: La introducción de un nuevo marco de comunicación semántica cuantizado específicamente adaptado para dispositivos con recursos limitados.
• Estrategia Avanzada de PTQ: El desarrollo de un mecanismo de calibración "consciente del ruido y del paso de tiempo". A diferencia de la PTQ estándar, este enfoque cuenta explícitamente con la naturaleza iterativa de los modelos de difusión y la variabilidad del ruido del canal, previniendo la acumulación de errores de cuantización.
• Compresión Sin Datos: El proceso de cuantización se realiza de una manera completamente libre de datos en lo que respecta a la regeneración de nuevos datos de entrenamiento, dependiendo en cambio de un conjunto de calibración pequeño y eficientemente construido.

Resultados Experimentales
Los experimentos se realizaron utilizando el conjunto de datos Cityscapes (resolución 256 × 512) bajo un escenario de canal con Ruido Gaussiano Blanco Aditivo (AWGN). El modelo cuantizado (Q-GESCO) se comparó con su contraparte de precisión completa (GESCO).

• Eficiencia: Q-GESCO logró una reducción del 75% en la huella de memoria (de 2699 MB a 674 MB) y una reducción del 79% en la carga computacional (FLOPs, de 13.82 TFLOPs a 2.87 TFLOPs) al reducir la precisión de los pesos de 32 bits a 8 bits.
• Rendimiento: A pesar de la cuantización, el modelo mantuvo un rendimiento generativo comparable. En un PSNR de canal de 10, Q-GESCO alcanzó un LPIPS de 0.63 y un FID de 15.82, que son comparables o ligeramente mejores que el modelo de precisión completa (LPIPS 0.65, FID 16.43).
• Robustez: El modelo demostró robustez a través de diferentes niveles de ruido (PSNR 0–100), regenerando con éxito imágenes ricas en semántica incluso bajo condiciones de canal pobres.
• Estudios de Ablación: Las comparaciones entre los métodos de calibración confirmaron que la calibración "consciente del ruido y del paso de tiempo" propuesta produjo resultados superiores en las métricas tanto de LPIPS como de FID en comparación con la calibración utilizando solo datos conscientes del paso de tiempo.

Significado y Afirmaciones
Los autores afirman que Q-GESCO cierra efectivamente la brecha entre el alto rendimiento de la comunicación semántica generativa y las estrictas limitaciones de recursos de los dispositivos de borde. Al reducir significativamente los requisitos de memoria y computación sin sacrificar la calidad de la imagen ni la robustez, el marco permite el despliegue práctico de la comunicación semántica basada en difusión en hardware con recursos limitados. El artículo postula que este enfoque amplía el rango de aplicaciones para la comunicación semántica generativa, haciéndola viable para sistemas del mundo real donde la latencia, el consumo de energía y la memoria son restricciones críticas. El código se pone a disposición para facilitar investigaciones adicionales en este dominio.