Diffusion-OAMP for Joint Image Compression and Wireless Transmission

1. Probleemstelling

Het artikel adresseert de uitdaging van Gecombineerde Beeldcompressie en Draadloze Transmissie (JCWT). In tegenstelling tot generieke beeldherstel, omvat JCWT het herstellen van een bronafbeelding ($s$) uit een ontvangen signaal ($y$) dat twee distincte lineaire transformaties heeft ondergaan:

1. Compressie en Modulatie: De bronafbeelding wordt gecomprimeerd en gemoduleerd tot een transmissiesignaal ($x$) via een operator $F$.
2. Draadloze Transmissie: Het signaal passeert een draadloos kanaal ($A$) dat is verstoord door Additief Witte Gaussische Ruis (AWGN, $n$).

Het systeem wordt gemodelleerd als een lineair invers probleem:
$$y = A(Fs) + n = Ax + n$$
waarbij $A$ de kanaalmatrix voorstelt en $F$ de gecombineerde compressie/modulatie-operator.

Belangrijkste Uitdagingen:

• Slecht Geconditioneerdheid: De gecombineerde operator $AF$ resulteert vaak in een ernstig slecht geconditioneerd systeem, vooral in fading-kanaals (bijv. 3GPP TDL-A) en bij lage compressieverhoudingen.
• Prior-mismatch: Traditionele herstelalgoritmen zoals Orthogonal Approximate Message Passing (OAMP) vertrouwen op analytische priors (bijv. Bernoulli-Gaussisch) of handgemaakte denoisers (bijv. BM3D). Deze falen in het vastleggen van de complexe, hoogdimensionale verdeling van natuurlijke afbeeldingen, wat leidt tot suboptimale prestaties wanneer de aangenomen prior niet overeenkomt met de werkelijke afbeeldingsverdeling.

2. Methodologie: Diffusion-OAMP

De auteurs stellen Diffusion-OAMP voor, een trainingsvrij reconstructiekader dat vooraf getrainde generatieve diffusiemodellen integreert in het OAMP-algoritme. De kernidee is het gebruik van het diffusiemodel als een krachtige Niet-Lineaire Schatter (NLE) binnen de OAMP-iteratielus.

A. Systeemarchitectuur

Het kader werkt in het transmissiedomein ($x$), maar maakt gebruik van het brondomein ($s$) voor generatieve priors:

1. Lineaire Schatter (LE): Een LMMSE-schatter verwerkt de ruisbeïnvloede observatie $y$ om een posterior-schatting van $x$ te produceren.
2. Orthogonalisatie: De output wordt georthogonaliseerd om de lineaire schatter te ontkoppelen van de niet-lineaire schatter, waardoor "extrinsieke" pseudo-observaties worden gegenereerd.
3. Inverse Random Multiplexing (RM): De schatting wordt vanuit het transmissiedomein teruggemapt naar het bronafbeeldingsdomein ($s$) met behulp van de inverse van de compressie-operator ($F^{-1}$).
4. SNR-Afstemming: Het algoritme berekent de effectieve ruisvariatie van de huidige schatting en mapt deze af naar een specifieke diffusietijdstap ($t^*$). Dit zorgt ervoor dat het diffusiemodel werkt op het juiste ruisniveau dat overeenkomt met de onzekerheid van de huidige iteratie.
5. Niet-Lineaire Schatter (NLE): Een vooraf getraind diffusiemodel (ofwel DDIM of Flow Matching) fungeert als denoiser en projecteert de ruisbeïnvloede afbeeldingsschatting op de geleerde data-manifold.
6. MMSE-Correctie: De gedenoiste afbeelding wordt hermoduleerd ($F$), en een correctiestap update de prior voor de volgende OAMP-iteratie met behulp van Stein's Unbiased Risk Estimator (SURE) om orthogonaliteit te waarborgen.

B. Belangrijkste Technische Componenten

• Random Multiplexing (RM): De compressie-operator $F$ combineert een willekeurige tekenmatrix, een DCT-matrix, een permutatiematrix en een rijselecteur. Dit ontwerp zorgt ervoor dat de equivalente kanaalmatrix rechts-unitair invariant is, een vereiste voor de state-evolutie-analyse van OAMP.
• SNR-Afstemmingsregel: De diffusietijdstap $t^*$ wordt dynamisch geselecteerd op basis van de OAMP-foutvariatie ($v_{post}^{orth}$):
  • Voor Flow Matching: $t^* = \frac{1}{1 + \sqrt{v_{post}^{orth}}}$
  • Voor DDIM: $t^* = \frac{1}{1 + v_{post}^{orth}}$
  • Naarmate de iteraties vorderen en de foutvariatie afneemt, beweegt $t^*$ zich naar het "schone" einde van de diffusietrajectorie.
• Trainingsvrij: Het kader vereist geen hertraining van de diffusiemodellen; het maakt gebruik van bestaande vooraf getrainde modellen (bijv. op CelebA) als plug-and-play-componenten.

3. Belangrijkste Bijdragen

1. Nieuw Kader: Introductie van Diffusion-OAMP, het eerste kader dat diffusiemodellen specifiek inbedt in het OAMP-algoritme voor de gezamenlijke taak van beeldcompressie en draadloze transmissie.
2. Prior-flexibiliteit: De methode is compatibel met meerdere generatieve priors. De auteurs implementeren dit met zowel DDIM (Denoising Diffusion Implicit Models) als Flow Matching, wat veelzijdigheid demonstreert.
3. SNR-Afstemmingsmechanisme: Een nieuwe regel om de interne ruisvariatie van het OAMP-algoritme af te stemmen op het ruischema van het diffusiemodel, wat naadloze integratie mogelijk maakt zonder fijnafstelling.
4. Robuustheid tegen Kanaalvervorming: Het kader behandelt effectief de slechte conditionering veroorzaakt door realistische draadloze fading-kanaals (3GPP TDL-A), waarbij traditionele methoden vaak falen.

4. Experimentele Resultaten

De auteurs evalueerden het kader op de CelebA-dataset (256x256) onder variërende compressieverhoudingen ($\beta \in \{0.1, 0.4, 0.7\}$) en ruisniveaus ($\sigma \in \{0.05, 0.5\}$).

• Pure Beeldcompressie (AWGN):
  • Diffusion-OAMP (DDIM) behaalde de hoogste PSNR, vooral in hoog-ruisregimes ($\sigma=0.5$), en presteerde beter dan OAMP+BM3D en DDRM.
  • Flow Matching toonde in sommige gevallen superieure SSIM (structurele gelijkenis) en snellere convergentie (bereiken van bijna optimale PSNR in ~6 NFE's).
• Gecombineerde Compressie & Draadloze Transmissie (Fading-kanaals):
  • In realistische 3GPP TDL-A fading-kanaals wordt de observatiematrix ernstig slecht geconditioneerd.
  • Diffusion-OAMP behield een stabiele reconstructie en presteerde aanzienlijk beter dan de baselines. Bijvoorbeeld, bij lage compressie ($\beta=0.1$) en hoge ruis ($\sigma=0.5$) behaalde Diffusion-OAMP (DDIM) 21,95 dB PSNR, terwijl OAMP+BM3D daalde naar 16,20 dB.
  • Visuele resultaten toonden een superieure behoud van gezichtsdetails en identiteit, zonder de vervaging en artefacten die bij baselines werden waargenomen.
• Convergentie:
  • Het algoritme convergeert snel en stabiliseert binnen 3 OAMP-iteraties in alle geteste scenario's.

5. Betekenis

• Brug tussen Generatieve AI en Communicatie: Dit werk demonstreert een praktische toepassing van grootschalige generatieve modellen (Diffusion/Flow Matching) in fysieke laagcommunicatie, verdergaand dan eenvoudige beeldherstel naar complexe gezamenlijke bron-kanaalcoderingsproblemen.
• Omgaan met Slecht Gestelde Problemen: Door een geleerde generatieve prior te gebruiken, regulariseert het kader het invers probleem effectiever dan handgemaakte priors, waardoor het robuust is tegen ernstige kanaalvervormingen en bandbreedtebeperkingen.
• Efficiëntie: De "trainingsvrije" aard van de aanpak betekent dat het bestaande, state-of-the-art generatieve modellen kan benutten zonder de computerkosten van het hertrainen voor specifieke kanaalcondities.
• Toekomstrichting: Het opent een nieuw pad voor "Semantische Communicatie" of "Deep Learning-gebaseerd Fysieke Laag"-ontwerp, waarbij geavanceerde generatieve modellen dienen als de kernontvangerlogica voor intelligente communicatiesystemen van de volgende generatie.