Technische Samenvatting: Knowledge Distillation Driven Semantic NOMA voor Beeldtransmissie met een Diffusiemodel

Probleemstelling

Het artikel behandelt de uitdagingen van multi-user uplink draadloze beeldtransmissie in 6G-netwerken, specifiek binnen de context van Semantic Non-Orthogonal Multiple Access (NOMA). Hoewel semantische communicatie de bandbreedte-efficiëntie verhoogt door semantische kenmerken in plaats van ruwe bits te verzenden, introduceren multi-user NOMA-scenario's aanzienlijke hindernissen:

1. Dynamische Kanaalcondities: Prestaties verslechteren onder variërende omstandigheden zoals Additive White Gaussian Noise (AWGN) en Rayleigh-fading.
2. Semantische Interferentie: In NOMA worden signalen van meerdere gebruikers op elkaar gestapeld, wat leidt tot niet-orthogonale interferentie die semantische kenmerken verstoort en de pixel-niveau getrouwheid vermindert.
3. Perceptuele Kwaliteit: Traditionele Deep Joint Source-Channel Coding (DeepJSCC) optimaliseert vaak voor pixel-niveau distortie (bijv. MSE), maar faalt in het behouden van een hoge perceptuele kwaliteit, vooral onder slechte kanaalcondities of hoge compressieratio's.
4. Resourcebeperkingen: Bestaande multi-user oplossingen vertrouwen vaak op orthogonale resource-allocatie, wat de overhead verhoogt naarmate het aantal gebruikers groeit, of missen robuuste strategieën voor interferentie-mitigatie in niet-orthogonale settings.

Methodologie

De auteurs stellen KDD-SemNOMA voor, een tweestaps raamwerk ontworpen om zowel de pixel-niveau nauwkeurigheid als de perceptuele kwaliteit te verbeteren voor multi-user beeldtransmissie.

1. Kernarchitectuur: ConvNeXt-gebaseerde DeepJSCC met een Verbeterde AF-Module

De basis is een DeepJSCC-netwerk gebaseerd op de ConvNeXt architectuur, aangepast voor semantische transmissie.

• Verbeterde Adaptive Feature (AF) Module: Om robuustheid tegen dynamische kanalen te garanderen, introduceren de auteurs een AF-Module. Deze module neemt kanaal-zij-informatie (Signal-to-Noise Ratio $\gamma$, en Rayleigh-fading parameters amplitude $a$ en fase $\phi$) als input. Het moduleert dynamisch semantische kenmerken via een adaptieve maskering gegenereerd via een fusienetwerk, waardoor het systeem ruis-gecorrumpeerde componenten kan onderdrukken en robuuste kenmerken kan benadrukken.
• Gebruikersdifferentiatie: Bij de zender worden gebruikersspecifieke embeddings geconcateneerd met de invoerbeelden om het model in staat te stellen tussen gebruikers te onderscheiden, ondanks de niet-orthogonale superpositie.

2. Fase Eén: Knowledge Distillation (KD-SemNOMA)

Om de prestatiekloof veroorzaakt door niet-orthogonale interferentie te verkleinen, gebruiken de auteurs een Knowledge Distillation (KD) strategie:

• Teacher Model: Een model dat getraind is op orthogonale transmissie (waarbij gebruikers niet met elkaar interfereren, er is enkel kanaalruis aanwezig). Dit model leert "interferentievrije" semantische representaties.
• Student Model: Het eigenlijke SemNOMA model getraind op niet-orthogonale transmissie.
• Distillatiemechanisme: Het student model wordt door de teacher gestuurd via twee specifieke losses:
  • Feature Affinity (FA) Distillatie: Brengt de ruimtelijke affiniteitsmatrices van de tussenliggende feature maps tussen de teacher en de student op één lijn, waardoor de student de structurele relaties van interferentievrije kenmerken leert.
  • Cross-Head Prediction (CrossKD) Distillatie: Transfereert tussenliggende kenmerken van de decoder van de student naar de decoder van de teacher om "cross-head" voorspellingen te genereren, waardoor de kloof tussen supervised en distillatie-objectieven wordt overbrugd.
• Efficiëntie: Tijdens inferentie wordt alleen het lichte student model gebruikt, wat geen extra computationele overhead met zich meebrengt vergeleken met standaard SemNOMA.

3. Fase Twee: Diffusion Model-gebaseerde Verfijning (KDD-SemNOMA)

Om de perceptuele kwaliteit verder te verbeteren en verloren fijne details te herstellen, maakt een tweede fase gebruik van een vooraf getraind Diffusiemodel:

• Error Contraction: De initiële reconstructie ($x_{init}$) uit de KD-SemNOMA fase wordt behandeld als een grove schatting. Het raamwerk past een forward diffusieproces toe op $x_{init}$, waarbij gebruik wordt gemaakt van de wiskundige eigenschap dat het diffusieproces de voorspellingsfout die bij de initiële schatting hoort, contracteert.
• Reverse Diffusion: Een reverse diffusieproces (met behulp van DDIM sampling) denoist iteratief de gecontracteerde staat, geleid door de generatieve priors van het vooraf getrainde diffusiemodel. Dit transformeert de initiële output naar een hoogwaardig beeld ($x_0$) met verbeterde textuur en semantische coherentie.

Belangrijkste Bijdragen

1. Niet-orthogonaal Semantisch Transmissie Raamwerk: De voorstel van een ConvNeXt-gebaseerde DeepJSCC-architectuur met een verbeterde AF-Module die dynamisch aanpast aan zowel AWGN als Rayleigh-fading kanalen, wat zorgt voor een robuuste transmissie van kenmerken.
2. Knowledge Distillation voor Interferentie-mitigatie: De innovatieve integratie van een teacher-student distillatieschema in het SemNOMA-raamwerk. Door een orthogonale teacher te gebruiken om de niet-orthogonale student te sturen via feature affinity en cross-head prediction, bereikt de methode significante PSNR-winsten (0,2–0,8 dB) zonder de inferentiecomplexiteit te verhogen.
3. Diffusion-Enhanced Image Refinement: De ontwikkeling van een tweestaps reconstructie-aanpak (KDD-SemNOMA) die de pixel-niveau nauwkeurigheid van KD-SemNOMA combineert met de generatieve priors van diffusiemodellen. Deze fase richt zich specifiek op het verbeteren van de perceptuele kwaliteit, waarbij details effectief worden hersteld en artefacten in omgevingen met een lage SNR worden gemitigeerd.

Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op de CIFAR-10 (lage resolutie) en FFHQ-256 (hoog-resolutie gezichtsbilder) datasets onder AWGN en Rayleigh-fading kanalen.

• Pixel-niveau Getrouwheid (PSNR/SSIM):
  • Het voorgestelde KD-SemNOMA presteert beter dan de baseline DeepJSCC-NOMA (ResNet-gebaseerd) en traditionele BPG+LDPC+QAM+SIC schema's.
  • Onder Rayleigh-fading biedt de verbeterde AF-Module PSNR-verbeteringen van 1–3 dB ten opzichte van baselines.
  • Knowledge distillation levert een aanvullende PSNR-winst van ongeveer 0,2–0,8 dB ten opzichte van de niet-gedistilleerde SemNOMA.
  • De methode vertoont "graceful degradation" bij een lage SNR, waardoor het "cliff effect" vermijdt dat bij traditionele gescheiden coderingsschema's wordt gezien.
• Perceptuele Kwaliteit (LPIPS/FID):
  • Het volledige KDD-SemNOMA (inclusclusief diffusie-verfijning) presteert significant beter dan eenstapsmethoden en GAN-gebaseerde verfijning (SemNOMA-CGAN) in termen van LPIPS en FID-scores.
  • In regimes met een lage SNR (bijv. 0 dB), vermindert KDD-SemNOMA de LPIPS en FID waarden met respectievelijk ongeveer 23% en 36% vergeleken met GAN-gebaseerde methoden, wat een superieure capaciteit aantoont om semantische details te herstellen en mode collapse te vermijden.
  • Visuele vergelijkingen bevestigen dat KDD-SemNOMA gezichtscontouren en textuurdetails beter behoudt dan concurrerende methoden onder zware kanaalcondities.

Betekenis en Claims

Het artikel claimt dat KDD-SemNOMA een significante vooruitgang vertegenwoordigt in multi-user semantische communicatie door effectief de dubbele uitdagingen van interferentie-mitigatie en perceptuele kwaliteitsverbetering aan te pakken.

• Schaalbaarheid en Efficiëntie: Het raamwerk bereikt een hoge prestatie zonder de inferentie-overhead te verhogen (door de distillatiestrategie) en vermindert de transmissie-overhead vergeleken met orthogonale schema's (NOMA vs. OMA).
• Robuustheid: Het systeem is zeer robuust gebleken over diverse kanaalcondities (AWGN en Rayleigh) en compressieratio's, wat het geschikt maakt voor bandbreedtebeperkte 6G-scenario's.
• Perceptuele Superioriteit: Door diffusiemodellen te integreren, beweegt dit werk voorbij traditionele distortie-metrieken en levert het een hoogwaardige beeldreconstructie die beter aansluit bij de menselijke visuele perceptie, zelfs in extreem slechte kanaalcondities.

De auteurs concluderen dat hun aanpak effectief de kloof overbrugt tussen pixel-niveau nauwkeurigheid en perceptuele kwaliteit, en een levensvatbare oplossing biedt voor schaalbare, hoogwaardige multi-user beeldtransmissie in toekomstige 6G-netwerken.