Residual Diffusion Models for Variable-Rate Joint Source Channel Coding of MIMO CSI

Probleemstelling

In moderne draadloze netwerken, met name Massive MIMO-systemen, is accurate Channel State Information (CSI) cruciaal voor effectieve precoding en hoge doorvoersnelheden. In Frequency Division Duplexing (FDD) systemen moet de CSI van de gebruiker (UE) naar de basisstation (BS) worden teruggekoppeld.

• Huidige beperkingen: Bestaande methoden behandelen CSI-compressie vaak als een puur broncoderingsprobleem, waarbij transmissiefouten worden genegeerd. Traditionele scheiding van bron- en kanaalcodering leidt tot het "cliff-effect": bij slechte kanaalcondities stort de reconstructiekwaliteit abrupt in.
• Auto-encoder tekortkomingen: Bestaande deep learning-benaderingen op basis van auto-encoders (AE) kunnen weliswaar worden uitgebreid naar Joint Source-Channel Coding (JSCC), maar ze worstelen met complexe kanaalverdelingen en vertonen slechte schaalbaarheid bij toenemend aantal parameters. Ze hebben moeite om de complexe statistieken van MIMO-kanalen (zoals die in de COST2100-dataset) nauwkeurig te modelleren.

Methodologie: RD-JSCC

De auteurs stellen RD-JSCC (Residual Diffusion Joint Source-Channel Coding) voor, een hybride framework dat een lichtgewicht auto-encoder combineert met een residu-diffusiemodule.

1. Twee-staps Decodering:

   • Stap 1 (Auto-encoder): De UE comprimeert de CSI naar een compacte, continue latente vector $s$. De decoder op de BS produceert een ruwe, grove schatting ($\hat{H}_d$) van het kanaal. Dit is een laag-complexiteit proces.
   • Stap 2 (Residu Diffusie): Als de kanaalkwaliteit slecht is of hoge precisie vereist, wordt een denoising diffusion model (gebaseerd op U-Net) ingeschakeld. In tegenstelling tot traditionele generatieve modellen die starten met willekeurige ruis, start dit model met de ruwe schatting van de auto-encoder. Het model leert vervolgens het residu (het verschil tussen de ware CSI en de ruwe schatting) te denoisen en iteratief te verfijnen.

2. Residu Diffusie Formulier:

   • Het proces wordt geformuleerd als het leren van de fout $r = \hat{H}_d - H_d$.
   • Door te starten met een goede initiatie (de AE-uitvoer) in plaats van pure ruis, is het model veel efficiënter en gericht op reconstructie in plaats van generatie.
   • $\chi$-predictie: Het model voorspelt direct de schone data ($\chi$) in plaats van de toegevoegde ruis. Dit maakt inferentie met zeer weinig stappen (bijv. 2 stappen) mogelijk met minimale kwaliteitsverlies, wat essentieel is voor lage latentie.

3. Variabele Snelheid (Variable-Rate) via MRL:

   • Het framework gebruikt Matryoshka Representation Learning (MRL). Hierdoor leert het model één hiërarchische representatie die kan worden afgeknipt op verschillende lengtes.
   • Dit stelt het systeem in staat om meerdere compressiepercentages (bandbreedtes) te ondersteunen met één enkel model, zonder dat er voor elke snelheid een nieuw model getraind hoeft te worden of dat er tussen modellen moet worden geschakeld.

4. Praktische Robuustheid:

   • SNR-adaptatie: Het model gebruikt side-information over de Signal-to-Noise Ratio (SNR) om de feature-schaling dynamisch aan te passen.
   • Kwantisering: Het systeem is robuust tegen vaste-bit kwantisatie (tot 4 bits per dimensie) dankzij companding-technieken.
   • Onvolmaakte CSI: Het model kan worden getraind met ruis in de kanaalschatting, waardoor het robuust is in realistische scenario's.

Belangrijkste Bijdragen

• Hybride Architectuur: Introductie van een flexibel tweestapsframework dat de snelheid van auto-encoders combineert met de modelleercapaciteit van diffusiemodellen voor residu-verfijning.
• Adaptieve Decodering: Het systeem kan dynamisch schakelen tussen een snelle 1-staps decodering (alleen AE) en een hoogwaardige 2-staps diffusie-verfijning, afhankelijk van de omstandigheden van het omhoogkanaal.
• Eén Model voor Alle Snelheden: Implementatie van MRL voor variabele-rate compressie binnen één unified model, wat overhead voor opslag en schakeling elimineert.
• Prestatieverbetering: Aantonen dat diffusie-modellen aanzienlijk beter presteren dan geavanceerde auto-encoders bij complexe kanaalverdelingen (COST2100 outdoor), terwijl ze voor eenvoudigere kanalen (3GPP indoor) efficiënt blijven.

Resultaten

De prestaties zijn geëvalueerd op de COST2100 outdoor en 3GPP indoor datasets:

• NMSE (Normalized Mean Squared Error): RD-JSCC presteert een orde van grootte beter dan bestaande JSCC-baselines (zoals ADJSCC en CSINet+). Op de COST2100 dataset bereikt het een NMSE van < -12 dB met slechts 2 diffusiestappen, terwijl baselines verzadigen rond -4 tot -9 dB.
• BLER (Block Error Rate): De verbetering in reconstructiekwaliteit vertaalt zich direct naar een drastische daling van de foutkans. Bij een uplink SNR van 5 dB bereikt RD-JSCC een BLER van $\approx 10^{-6}$, terwijl auto-encoder baselines vastlopen op $\approx 10^{-4}$.
• Efficiëntie: Hoewel diffusie meer rekenkracht vereist, biedt de 2-staps inferentie een goede balans. De doorvoer is aanzienlijk hoger dan bij 20-staps diffusie, met slechts een verwaarloosbaar verlies in kwaliteit.
• Ablatie-studies:
  • De residu-aanpak (starten met AE-uitvoer) is cruciaal en levert tot 1 dB SNR-winst op ten opzichte van standaard diffusie (starten met ruis).
  • De complexiteit van de encoder is belangrijker dan vaak gedacht; een te simpele encoder degradeert de prestaties aanzienlijk.
  • SNR-adaptatie levert tot 0.35 dB winst op.

Betekenis en Conclusie

Dit paper markeert een belangrijke stap in de fysieke laag van draadloze communicatie door generatieve diffusiemodellen succesvol toe te passen op CSI-compressie.

• Paradigmaverschuiving: Het paper toont aan dat voor complexe kanalen traditionele supervised learning (auto-encoders) ontoereikend is en dat generatieve modellen, specifiek ontworpen voor reconstructie (via residu-diffusie), de oplossing bieden.
• Praktische Toepasbaarheid: Door de hybride aanpak (early exit) en variabele-rate ondersteuning, is de methode niet alleen theoretisch superieur, maar ook praktisch inzetbaar in dynamische netwerken met beperkte bandbreedte en rekenkracht.
• Toekomstperspectief: De resultaten onderstrepen het potentieel van diffusiemodellen om de betrouwbaarheid van Massive MIMO-systemen te verhogen, zelfs onder uitdagende omstandigheden, en bieden een blauwdruk voor toekomstige 6G-ontwikkelingen.