Diffusion-Aided Bandwidth-Efficient Semantic Communication with Adaptive Requests

Resumen Técnico: Comunicación Semántica con Ayuda de Difusión, Eficiente en Ancho de Banda y con Solicitudes Adaptativas

Planteamiento del Problema
Los sistemas de comunicación tradicionales priorizan la recuperación exacta de bits, mientras que la comunicación semántica tiene como objetivo transmitir el significado relevante para una tarea. En la transmisión de imágenes utilizando receptores generativos (por ejemplo, modelos de difusión latente), confiar únicamente en descripciones de texto a menudo no logra preservar los detalles visuales específicos de la instancia, mientras que la transmisión de representaciones latentes densas incurre en un gasto significativo de ancho de banda. Un desafío crítico surge en entornos inalámbricos: el receptor carece de acceso a la imagen fuente original, lo que hace imposible determinar a priori cuánta evidencia visual (bloques latentes) es suficiente para la fidelidad semántica. Las estrategias de transmisión de presupuesto fijo son ineficientes porque desperdician recursos en imágenes simples o no proporcionan suficiente evidencia para las complejas. Además, los mecanismos clásicos de Solicitud de Repetición Híbrida Automática (HARQ), que dependen de la detección de errores a nivel de bit, son inaplicables aquí ya que no hay una imagen fuente en el receptor para verificar la corrección de los bits.

Metodología
El artículo propone un esquema de comunicación semántica de bucle cerrado dirigido por el receptor que ajusta dinámicamente la carga útil transmitida basándose en la consistencia semántica en lugar de la fiabilidad de los bits.

1. Arquitectura del Sistema:

   • Transmisor: Codifica una imagen de entrada $x$ en una incrustación latente $\tilde{z}$ mediante un codificador VAE. El espacio latente se particiona en bloques cuadrados. El transmisor envía una breve descripción de texto (generada mediante un conversor de imagen a texto) y un subconjunto inicial disperso de bloques latentes, enmascarando el resto. Ambos flujos son modulados y transmitidos a través de un canal AWGN.
   • Receptor: Tras recibir la descripción ruidosa $\hat{y}$ y los bloques latentes dispersos $\hat{z}$, el receptor reconstruye la imagen utilizando inpaint de difusión latente condicionada por descripción. El modelo de difusión rellena las regiones faltantes (enmascaradas) manteniendo fijos los bloques recibidos.

2. Bucle de Retransmisión Adaptativo:

   • Regla de Parada Semántica: Dado que la imagen fuente no está disponible, el receptor evalúa la calidad de la reconstrucción $\hat{x}$ generando una nueva descripción $\bar{y}$ a partir de ella (utilizando un generador de descripciones como BLIP-2) y computando una puntuación de similitud semántica (ROUGE-L, denotada como $\Phi$) entre $\bar{y}$ y la descripción recibida $\hat{y}$.
   • Lógica de Decisión: Si la puntuación $r_t = \Phi(\bar{y}_t, \hat{y})$ cumple con un umbral predefinido $\tau$, la transmisión se detiene. Si no es así, el receptor solicita un pequeño subconjunto aleatorio de los bloques latentes retenidos.
   • Refinamiento: Los nuevos bloques recibidos se integran en la representación latente, y el proceso de inpaint de difusión se vuelve a ejecutar con parámetros actualizados.
   • Mecanismo de Robustez: Para manejar el ruido, el receptor genera dos candidatos por ronda: uno con difusión guiada (usando una escala de guía $w$) y uno con difusión no guiada ($\gamma=0$). Selecciona el candidato que arroja la mayor puntuación semántica.

3. Parámetros: El sistema utiliza un umbral ajustable $\tau$ para controlar la compensación entre el ancho de banda (número de rondas/bloques) y la calidad semántica. La fuerza del inpaint se ajusta heurísticamente basándose en la Relación Señal-Ruido (SNR) y la fracción actual de bloques retenidos.

Contribuciones Clave

• Control Semántico en el Lado del Receptor: Los autores proponen una regla de activación y de parada temprana novedosa que permite la transmisión de longitud variable sin requerir que el receptor acceda a la imagen fuente. El criterio de parada se define enteramente en el espacio semántico (consistencia de la descripción).
• Refinamiento Latente Incremental: El trabajo acopla las solicitudes de bloques latentes incrementales con el inpaint de difusión latente condicionada por descripción, permitiendo un refinamiento progresivo de la reconstrucción donde la evidencia visual faltante se rellena solo cuando es necesario.
• Robustez al Ruido: El sistema mejora la fiabilidad bajo enlaces ruidosos al seleccionar dinámicamente entre reconstrucciones guiadas y no guiadas basándose en la misma puntuación de consistencia semántica, en lugar de depender de parámetros de generación fijos.

Resultados Experimentales
Los experimentos se realizaron en el conjunto de datos Flickr30k sobre canales AWGN, comparando el esquema propuesto con varias líneas base:

• Sin guía (No-guidance): Transmisión de solo latentes sin condicionamiento de texto.
• Máscara completa (Full-mask): Transmisión de solo descripción (sin bloques latentes).
• Presupuesto fijo (Fixed-budget): Transmisión de un solo paso de un número de bloques latentes que coincide con la carga útil promedio del esquema propuesto.
• Rondas fijas (Fixed-round): Una referencia de alta sobrecarga que siempre ejecuta el número máximo de rondas sin parada temprana.

Hallazgos:

• Alineación Semántica: El esquema adaptativo propuesto logró los puntajes ROUGE-L más altos y la menor probabilidad de fallo semántico ($P_{fail}$) en comparación con todas las líneas base. Superó a la transmisión de un solo paso de presupuesto fijo, demostrando que adaptar la carga útil a la dificultad de la imagen mejora la alineación semántica.
• Eficiencia: Aunque el esquema de "rondas fijas" logró una mejor fidelidad a nivel de píxel (SSIM/LPIPS) debido a la transmisión de más datos, el esquema propuesto logró una calidad de píxel/perceptual comparable a la línea base de presupuesto fijo utilizando menos bloques latentes en promedio para imágenes fáciles.
• Control de la Compensación: El umbral $\tau$ controla eficazmente la compensación entre tasa y calidad; valores de $\tau$ más altos resultan en más rondas y una mayor consistencia semántica, pero un mayor uso de ancho de banda.
• Tasas de Fallo: El esquema adaptativo mantuvo consistentemente la tasa de fallo más baja, ya que inyecta evidencia adicional específicamente cuando la puntuación semántica es insuficiente, mientras que los esquemas de rondas fijas no garantizan una mejora monotónica en las puntuaciones semánticas debido a la naturaleza estocástica de la difusión.

Significancia y Reivindicaciones
El artículo sostiene que el control semántico en el lado del receptor puede mejorar significativamente la fiabilidad para receptores generativos que operan bajo un presupuesto de evidencia promedio fijo. Al desplazar el mecanismo de retroalimentación de la corrección de errores a nivel de bit hacia la verificación de la consistencia semántica, el sistema logra una compensación controlable entre tasa y calidad. Los resultados sugieren que este enfoque supera a la transmisión de un solo paso con presupuesto igualado en alineación semántica y tasas de fallo, mientras que típicamente requiere menos bloques latentes que los esquemas de retransmisión continua. Los autores señalan que el trabajo futuro abordará la selección de bloques consciente de su importancia, las descripciones/retroalimentación no fiables y las extensiones a escenarios de video y multiusuario.