Deep Probabilistic Unfolding for Quantized Compressive Sensing

Technische Samenvatting: Diepe Probabilistische Ontvouwing voor Gekwantiseerde Compressieve Sensing

Probleemstelling
Gekwantiseerde Compressieve Sensing (QCS) adresseert de uitdaging van het reconstrueren van signalen uit gecomprimeerde metingen die onderhevig zijn aan grove kwantisatie (bijvoorbeeld 1-bit of low-bit). Hoewel grove kwantisatie de bandbreedte en energieverbruik aanzienlijk verlaagt – wat essentieel is voor toepassingen zoals massive MIMO, radar en draadloze sensornetwerken – introduceert het ernstige non-lineariteit en informatieverlies met betrekking tot signaalamplitude. Bestaande reconstructiemethoden staan voor een dichotomie:

1. Traditionele Model-Gedreven Algoritmen: Deze vertrouwen op handgemaakte priors en iteratieve optimalisatie. Hoewel ze robuust zijn, lijden ze vaak onder hoge rekenkosten en beperkte reconstructiekwaliteit.
2. Op Diep Leeren Gebaseerde Generatieve Benaderingen: Recente methoden (bijvoorbeeld QCS-SGM, QCS-SGM+) maken gebruik van score-gebaseerde generatieve modellen om posterior-sampling uit te voeren via geanimeerde Langevin-dynamica. Hoewel deze een hoge perceptuele kwaliteit bereiken, zijn ze rekenkundig duur en vereisen ze iteratieve stochastische updates over meerdere ruisniveaus. Dit maakt ze ongeschikt voor realtime implementatie vanwege hoge latentie en doorvoerbeperkingen. Bovendien vertrouwen deze methoden vaak op restrictieve aannames (bijvoorbeeld rij-orthogonaliteit van de sensormatrix) voor hanteerbare likelihood-benaderingen, of vereisen ze zware vooropleiding op grote datasets die mogelijk niet overeenkomen met specifieke domeinstellingen.

Methodologie: Diep Probabilistisch Ontvouwingnetwerk (DPUNet)
De auteurs stellen DPUNet voor, een deterministisch, end-to-end trainbaar diep-ontvouwingframework dat de kloof overbrugt tussen principiële Bayesiaanse inferentie en efficiënt diep leren.

• Gesloten-Vorm Likelihood-Gradientenprojectie:
  In tegenstelling tot eerdere ontvouwingmethoden die $L_2$-projectie toepassen of vertrouwen op Expectation Propagation (EP)-benaderingen, leidt DPUNet een numeriek stabiele, gesloten-vorm likelihood-gradient af.

  • Mechanisme: De methode behandelt kwantisatiebeperkingen als zachte probabilistische begeleiding in plaats van harde beperkingen. Het modelleert het meetdomein als verstoord door ruis (hetzij inherent of kunstmatig).
  • 1-bit Geval: Maakt gebruik van de Mills-ratio om de gradient van de log-likelihood voor binaire metingen te berekenen ($y = \text{Sign}(Mx + n)$).
  • Multi-bit Geval: Gebruikt het verschil van Gaussische Cumulatieve Verdelingsfuncties (CDF's) over kwantisatie-intervallen om de gradient af te leiden.
  • Voordeel: Deze aanpak elimineert de noodzaak van rij-orthogonaliteitsaannames die door EP-gebaseerde methoden worden vereist en verwijdert de iteratieve samplingstappen van score-gebaseerde modellen, waardoor een enkele feed-forward pass mogelijk wordt.

• Dual-Domein Mamba-Blok (DMB):
  Om te dienen als het verfijningsnetwerk binnen de ontvouwingstappen, ontwerpen de auteurs een nieuw Dual-Domein Mamba-Blok dat zowel lokale als globale kenmerken efficiënt vastlegt.

  • Ruimtelijke Tak: Implementeert een standaard State Space Model (SSM) op afgevlakte ruimtelijke sequenties om lokale afhankelijkheden vast te leggen.
  • Spectrale Tak (S3M): Introduceert een complexwaardige, frequentie-geconditioneerde spectrale laag. In plaats van sequentiële token-scanning (wat orde-afhankelijk is), werkt S3M op Fourier-modi. Het parameteriseert een stabiel complex state-space-systeem in het frequentiedomein, wat een gesloten-vorm oplossing voor de spectrale respons oplevert.
  • Cross-Frequentie Interactie: Om de beperking van puur diagonaal filteren aan te pakken (wat frequentie-onafhankelijkheid veronderstelt), incorporateert de S3M een gestructureerde low-rank projectie-broadcast-term. Dit maakt efficiënte cross-frequentie-interacties mogelijk met $O(LR)$ complexiteit, waardoor de kwadratische kost van dichte spectrale menging wordt vermeden.
  • Orde-Invariantie: Door te opereren in het Fourier-domein wordt het globale receptieve veld orde-invariant, waardoor de inherente orde-afhankelijkheid van standaard scan-gebaseerde Mamba-architecturen wordt overwonnen.

• Trainingsdoel:
  Het netwerk wordt geoptimaliseerd door het minimaliseren van een samengestelde verliesfunctie die bestaat uit de $L_2$-reconstructiefout en een Negative Log-Likelihood (NLL)-term. De NLL-term zorgt ervoor dat de output voldoet aan de afgeleide kwantisatie-dataconsistentie-beperkingen van het probabilistische model.

Belangrijkste Bijdragen

1. DPUNet Framework: Een nieuw diep-ontvouwingarchitectuur dat harde kwantisatiebeperkingen omzet in zachte probabilistische begeleiding via een gesloten-vorm likelihood-gradientprojectie. Dit maakt deterministische, single-pass inferentie mogelijk zonder de rekenkundige last van iteratieve posterior-sampling.
2. Dual-Domein Mamba-Blok: Een nieuw verfijningsmodule die ruimtelijke state-space-modellering combineert met een frequentie-geconditioneerde, orde-invariante spectrale operator. Het bereikt globale kenmerkinteractie via gestructureerde spectrale operatoren in plaats van herhaalde recurrenties, wat de rekenkosten aanzienlijk verlaagt.
3. Prestatie en Efficiëntie: De methode toont state-of-the-art (SOTA) prestaties in reconstructienauwkeurigheid (PSNR/SSIM) over kwantisatieniveaus van 1-bit tot 3-bit, terwijl het inferentiesnelheden behoudt die ordes van grootte sneller zijn dan score-gebaseerde sampling-baselines.

Experimentele Resultaten
De auteurs evalueerden DPUNet op de CelebA (64×64) en FFHQ (256×256) datasets, waarbij ze het vergeleken met QCS-SGM, QCS-SGM+ en een vanille diep-ontvouwingbaseline.

• Nauwkeurigheid: DPUNet behaalde superieure PSNR- en SSIM-scores over alle kwantisatiebits. Bijvoorbeeld, op FFHQ met 1-bit metingen behaalde DPUNet een PSNR van 27,18 dB tegenover 13,26 dB voor QCS-SGM+.
• Efficiëntie: De inferentietijd voor DPUNet was ongeveer 0,25 seconden voor 256×256 afbeeldingen, tegenover 558 seconden voor QCS-SGM en 1072 seconden voor QCS-SGM+.
• Ablatiestudies: Het verwijderen van de likelihood-gradientprojectie veroorzaakte de ernstigste prestatiedegradatie (ongeveer 10,57 dB daling), wat de kern van de probabilistische formulering valideert. De spectrale tak en rank-R koppeling droegen ook aanzienlijk bij aan de prestaties.
• Out-of-Distribution (OOD): Het model toonde robuuste reconstructievermogens op de CSet8-dataset (OOD) wanneer getraind op FFHQ, en presteerde beter dan eerdere methoden zelfs in 1-bit scenario's.

Betekenis en Claims
Het artikel claimt dat DPUNet een principiële alternatief biedt voor bestaande QCS-reconstructiemethoden door de interpreteerbaarheid van model-gebaseerde ontvouwing te verenigen met de representatieve kracht van diep leren, zonder de rekenkundige overhead van generatieve sampling.

• Praktische Implementatie: Door iteratieve sampling te elimineren en de afhankelijkheid van restrictieve sensormatrix-aannames te verminderen, wordt de methode gepositioneerd als een levensvatbare oplossing voor real-world toepassingen waar latentie en doorvoer kritiek zijn.
• Toekomstig Potentieel: De auteurs suggereren dat dit framework dient als prototype voor toekomstige taakbewuste of hardware-in-the-loop optimalisatie, waarbij de reconstructiepiplijn gezamenlijk kan worden afgestemd op downstream-doelen zoals herkenning of beveiligde transmissie. De methode wordt gepresenteerd als een stap naar efficiëntere en redelijker end-to-end ontwerpen voor gekwantiseerde compressieve sensing.