Diffusion-Aided Bandwidth-Efficient Semantic Communication with Adaptive Requests

Résumé Technique : Communication Sémantique à Bande Passante Efficace Assistée par Diffusion avec Requêtes Adaptatives

Énoncé du Problème
Les systèmes de communication traditionnels privilégient la récupération exacte des bits, tandis que la communication sémantique vise à transmettre une signification pertinente pour la tâche. Dans la transmission d'images utilisant des récepteurs génératifs (par exemple, des modèles de diffusion latente), s'appuyer uniquement sur des légendes textuelles ne suffit souvent pas à préserver les détails visuels spécifiques à l'instance, tandis que la transmission de représentations latentes denses entraîne une surcharge de bande passante significative. Un défi critique surgit dans les environmes sans fil : le récepteur n'a pas accès à l'image source de vérité terrain, ce qui rend impossible de déterminer a priori quelle quantité de preuves visuelles (blocs latents) est suffisante pour la fidélité sémantique. Les stratégies de transmission à budget fixe sont inefficaces car elles gaspillent soit des ressources sur des images simples, soit ne fournissent pas assez de preuves pour les images complexes. De plus, les mécanismes classiques de demande de réémission hybride (HARQ), qui reposent sur la détection d'erreurs au niveau du bit, sont inapplicables ici car il n'y a pas d'image source au récepteur pour vérifier la correction des bits.

Méthodologie
L'article propose un schéma de communication sémantique en boucle fermée, piloté par le récepteur, qui ajuste dynamiquement la charge utile transmise en fonction de la cohérence sémantique plutôt que de la fiabilité des bits.

1. Architecture du Système :

   • Émetteur : Encode une image d'entrée $x$ en une plongée latente $\tilde{z}$ à l'aide d'un encodeur VAE. L'espace latent est partitionné en blocs carrés. L'émetteur envoie une courte légende textuelle (générée via un convertisseur image-texte) et un sous-ensemble initial épars de blocs latents, masquant le reste. Les deux flux sont modulés et transmis sur un canal AWGN.
   • Récepteur : Dès réception de la légende bruitée $\hat{y}$ et des blocs latents épars $\hat{z}$, le récepteur reconstruit l'image en utilisant l'inpainting de diffusion latente conditionnée par la légende. Le modèle de diffusion remplit les régions manquantes (masquées) tout en maintenant les blocs reçus fixes.

2. Boucle de Retransmission Adaptative :

   • Règle d'Arrêt Sémantique : Puisque l'image source est indisponible, le récepteur évalue la qualité de la reconstruction $\hat{x}$ en générant une nouvelle légende $\bar{y}$ à partir de celle-ci (en utilisant un outil de légende comme BLIP-2) et en calculant un score de similitude sémantique (ROUGE-L, noté $\Phi$) entre $\bar{y}$ et la légende reçue $\hat{y}$.
   • Logique de Décision : Si le score $r_t = \Phi(\bar{y}_t, \hat{y})$ atteint un seuil prédéfini $\tau$, la transmission s'arrête. Sinon, le récepteur demande un petit sous-ensemble aléatoire des blocs latents retenus.
   • Affinement : Les nouveaux blocs reçus sont fusionnés dans la représentation latente, et le processus d'inpainting par diffusion est réexécuté avec des paramètres mis à jour.
   • Mécanisme de Robustesse : Pour gérer le bruit, le récepteur génère deux candidats par cycle : l'un avec une diffusion guidée (utilisant une échelle de guidage $w$) et l'autre avec une diffusion non guidée ($\gamma=0$). Il sélectionne le candidat produisant le score sémantique le plus élevé.

3. Paramètres : Le système utilise un seuil ajustable $\tau$ pour contrôler le compromis entre la bande passante (nombre de cycles/blocs) et la qualité sémantique. La force de l'inpainting est ajustée de manière heuristique en fonction du rapport signal sur bruit (SNR) et de la fraction actuelle de blocs retenus.

Contributions Clés

• Contrôle Sémantique Côté Récepteur : Les auteurs proposent un nouveau déclencheur et une règle d'arrêt précoce qui permettent une transmission de longueur variable sans nécessiter que le récepteur accède à l'image source. Le critère d'arrêt est défini entièrement dans l'espace sémantique (cohérence de la légende).
• Affinement Latent Incrémental : Ce travail couple les requêtes incrémentales de blocs latents avec l'inpainting de diffusion latente conditionnée par la légende, permettant un affinement progressif de la reconstruction où les preuves visuelles manquantes sont complétées uniquement lorsque nécessaire.
• Robustesse au Bruit : Le système améliore la fiabilité sous des liaisons bruitées en sélectionnant dynamiquement entre des reconstructions guidées et non guidées sur la base du même score de cohérence sémantique, plutôt que de s'appuyer sur des paramètres de génération fixes.

Résultats Expérimentaux
Des expériences ont été menées sur le jeu de données Flickr30k sur des canaux AWGN, comparant le schéma proposé à plusieurs lignes de base :

• Sans guidage (No-guidance) : Transmission latente seule sans conditionnement textuel.
• Masque complet (Full-mask) : Transmission de la légende uniquement (aucun bloc latent).
• Budget fixe (Fixed-budget) : Transmission en une seule étape d'un nombre de blocs latents correspondant à la charge utile moyenne du schéma proposé.
• Cycles fixes (Fixed-round) : Une référence à haut débit qui exécute toujours le nombre maximal de cycles sans arrêt précoce.

Constats :

• Alignement Sémantique : Le schéma adaptatif proposé a obtenu les scores ROUGE-L les plus élevés et la plus faible probabilité d'échec sémantique ($P_{fail}$) par rapport à toutes les lignes de base. Il a surpassé la transmission en une étape à budget fixe, démontant que l'adaptation de la charge utile à la difficulté de l'image améliore l'alignement sémantique.
• Efficacité : Bien que le schéma "cycles fixes" ait obtenu une meilleure fidélité au niveau des pixels (SSIM/LPIPS) en raison de la transmission de plus de données, le schéma proposé a atteint une qualité de pixel/perceptuelle comparable à la ligne de base à budget fixe, tout en utilisant moins de blocs latents en moyenne pour les images faciles.
• Contrôle du Compromis : Le seuil $\tau$ contrôle efficacement le compromis débit-qualité ; des valeurs de $\tau$ plus élevées entraînent plus de cycles et une cohérence sémantique plus élevée, mais une utilisation accrue de la bande passante.
• Taux d'Échec : Le schéma adaptatif a maintenu de manière constante les taux d'échec les plus bas, car il injecte des preuves supplémentaires spécifiquement lorsque le score sémantique est insuffisant, alors que les schémas à cycles fixes ne garantissent pas une amélioration monotone des scores sémantiques en raison de la nature stochastique de la diffusion.

Signification et Revendications
L'article affirme que le contrôle sémantique côté récepteur peut considérablement améliorer la fiabilité des récepteurs génératifs opérant sous un budget moyen de preuves fixé. En déplaçant le mécanisme de rétroaction de la correction d'erreurs au niveau du bit vers la vérification de la cohérence sémantique, le système parvient à un compromis débit-qualité contrôlable. Les résultats suggèrent que cette approche surpasse la transmission en une étape avec budget égal pour l'alignement sémantique et les taux d'échec, tout en nécessitant généralement moins de blocs latents que les schémes de retransmission continue. Les auteurs notent que les travaux futurs aborderont la sélection de blocs sensible à l'importance, les légendes/rétroactions non fiables, et les extensions à la vidéo et aux scénarios multi-utilisateurs.