Diffusion-Aided Bandwidth-Efficient Semantic Communication with Adaptive Requests

Technische Samenvatting: Diffusie-ondersteunde Bandbreedte-efficiënte Semantische Communicatie met Adaptieve Verzoeken

Probleemstelling
Traditionele communicatiesystemen geven prioriteit aan exacte bit-voor-bit herstel, terwijl semantische communicatie zich richt op het overbrengen van de taak-relevante betekenis. Bij beeldtransmissie met generatieve ontvangers (bijv. latente diffusiemodellen) schiet het vertrouwen op louter tekstuele bijschriften vaak tekort om de instantie-specifieke visuele details te behouden, terwijl het verzenden van dichte latente representaties een aanzienlijke bandbreedte-overhead veroorzaakt. Een kritieke uitdaging ontstaat in draadloze omgevingen: de ontvanger heeft geen toegang tot de bronafbeelding van de grondwaarheid (ground-truth), waardoor het onmogelijk is om vooraf te bepalen hoeveel visueel bewijs (latente blokken) voldoende is voor semantische getrouwheid. Vastgestelde budget-transmissiestrategieën zijn inefficiënt omdat ze ofwel middelen verspillen aan eenvoudige afbeeldingen, ofwel onvoldoende bewijs leveren voor complexe afbeeldingen. Bovendien zijn klassieke Hybrid Automatic Repeat Request (HARQ)-mechanismen, die gebaseerd zijn op foutdetectie op bitniveau, niet toepasbaar hier, aangezien er geen bronafbeelding aan de ontvanger beschikbaar is om de juistheid van bits te verifiëren.

Methodologie
Het artikel stelt een door de ontvanger gestuurde, gesloten-lus semantische communicatieschema voor dat de getransmitteerde payload dynamisch aanpast op basis van semantische consistentie in plaats van bitbetrouwbaarheid.

1. Systeemarchitectuur:

   • Zender: Codeert een invoerbeeld $x$ naar een latente embedding $\tilde{z}$ met behulp van een VAE-encoder. De latente ruimte wordt opgedeeld in vierkante blokken. De zender verzendt een kort tekstueel bijschrift (gegenereerd via een image-to-text converter) en een initiële ijle subset van latente blokken, waarbij de rest wordt gemaskeerd. Beide stromen worden gemoduleerd en getransmitteerd over een AWGN-kanaal.
   • Ontvanger: Bij ontvangst van het ruizige bijschrift $\hat{y}$ en de ijle latente blokken $\hat{z}$, reconstrueert de ontvanger de afbeelding met behulp van caption-conditioned latent diffusion inpainting. Het diffusiemodel vult de ontbrekende (gemaskeerde) regio's aan terwijl de ontvangen blokken vast blijven staan.

2. Adaptieve Retransmissie-lus:

   • Semantische Stopregel: Omdat de bronafbeelding niet beschikbaar is, evalueert de ontvanger de kwaliteit van de reconstructie $\hat{x}$ door een nieuw bijschrift $\bar{y}$ te genereren (met behulp van een captioner zoals BLIP-2) en een semantische gelijkenissscore (ROUGE-L, aangeduid als $\Phi$) te berekenen tussen $\bar{y}$ en het ontvangen bijschrift $\hat{y}$.
   • Beslissingslogica: Als de score $r_t = \Phi(\bar{y}_t, \hat{y})$ een vooraf ingestelde drempelwaarde $\tau$ bereikt, stopt de transmissie. Indien niet, vraagt de ontvanger een kleine, willekeurige subset van de achtergehouden latente blokken aan.
   • Verfijning: De nieuw ontvangen blokken worden samengevoegd met de latente representatie, en het proces van latent-diffusion inpainting wordt opnieuw uitgevoerd met bijgewerkte parameters.
   • Robuustheidsmechanisme: Om ruis te hanteren, genereert de ontvanger per ronde twee kandidaten: één met guided diffusion (met een guidance scale $w$) en één met unguided diffusion ($\gamma=0$). De ontvanger selecteert de kandidaat die de hogere semantische score oplevert.

3. Parameters: Het systeem maakt gebruik van een instelbare drempelwaarde $\tau$ om de afweging tussen bandbreedte (aantal rondes/blokken) en semantische kwaliteit te controleren. De inpainting-sterkte wordt heuristisch aangepast op basis van de signaal-ruisverhouding (SNR) en het huidige deel van de achtergehouden blokken.

Belangrijkste Bijdragen

• Semantische Controle aan de Ontvangerzijde: De auteurs stellen een nieuwe trigger en vroegtijdige stopregel voor die variabele lengte-transmissie mogelijk maakt zonder dat de ontvanger toegang hoeft te hebben tot de bronafbeelding. Het stopcriterium wordt volledig gedefinieerd in de semantische ruimte (bijschrift-consistentie).
• Incrementele Latente Verfijning: Het werk koppelt incrementele latente-blokverzoeken aan caption-conditioned latent diffusion inpainting, wat progressieve reconstructieverfijning mogelijk maakt waarbij ontbrekend visueel bewijs alleen wordt aangevuld wanneer dat nodig is.
• Robuustheid tegen Ruis: Het systeem verbetert de betrouwbaarheid onder ruisige verbindingen door dynamisch te kiezen tussen guided en unguided reconstructies op basis van dezelfde semantische-consistentiescore, in plaats van te vertrouwen op vaste generatieparameters.

Experimentele Resultaten
Experimenten werden uitgevoerd op de Flickr30k dataset over AWGN-kanalen, waarbij het voorgestelde schema werd vergeleken met verschillende baselines:

• No-guidance: Alleen latente transmissie zonder tekstuele conditionering.
• Full-mask: Alleen bijschrift-transmissie (geen latente blokken).
• Fixed-budget: Eénmalige transmissie van een aantal latente blokken dat overeenkomt met de gemiddelde payload van het voorgestelde schema.
• Fixed-round: Een high-overhead referentie die altijd het maximale aantal rondes doorloopt zonder vroegtijdige stopzetting.

Bevindingen:

• Semantische Uitlijning: Het voorgestelde adaptieve schema behaalde de hoogste ROUGE-L scores en de laagste semantische faalkans ($P_{fail}$) vergeleken met alle baselines. Het presteerde beter dan de fixed-budget one-shot transmissie, wat aantoont dat het aanpassen van de payload aan de moeilijkheidsgraad van de afbeelding de semantische uitlijning verbetert.
• Efficiëntie: Hoewel het "fixed-round" schema een betere pixel-getrouwheid (SSIM/LPIPS) bereikte door meer data te verzenden, bereikte het voorgestelde schema een vergelijkbare pixel/perceptuele kwaliteit als de fixed-budget baseline, terwijl het gemiddeld minder latente blokken gebruikte voor eenvoudigere afbeeldingen.
• Afweging Controle: De drempelwaarde $\tau$ controleert effectief de rate-quality tradeoff; hogere $\tau$-waarden resulteren in meer rondes en een hogere semantische consistentie, maar verhogen het bandbreedtegebruik.
• Faalkansen: Het adaptieve schema behield consequent de laagste faalkans, aangezien het specif