Complex-Valued 2D Gaussian Representation for Computer-Generated Holography

Technische Samenvatting: Complex-waardige 2D Gaussische Representatie voor Computer-Generated Holografie

Probleemdefinitie
Computer-Generated Holography (CGH) beoogt hologrammen te synthetiseren die 3D-scènes reconstrueren door lichtintensiteit, interferentie en diffractie vast te leggen. In tegenstelling tot natuurlijke afbeeldingen vertonen hologrammen dichte, hoogfrequente en willekeurige ruimtelijke variaties. Bestaande representatiemethoden hebben moeite met dit domein:

• Implicit Neural Representations (INRs) en Autoencoders neigen naar het bevoordelen van gladde, laagfrequente data, waardoor ze er niet in slagen de hoogfrequente details die inherent zijn aan hologrammen te vangen.
• Per-pixel optimalisatie creëert een enorme parameterzoekruimte, wat schaalbaarheid en efficiëntie belemmert.
• Bestaande Gaussische methoden (bijv. 3D Gaussian Splatting-varianten) zijn vaak ontworpen voor natuurlijke afbeeldingen of 3D novel view synthesis (NVS) en modelleren niet expliciet golfoptica (interferentie en diffractie) of de complex-waardige aard van holografische velden.

Methodologie
De auteurs stellen een gestructureerde representatie voor met behulp van Complex-waardige 2D Gaussische Primitieven, specifiek geoptimaliseerd voor single-view hologram schatting.

1. Definitie van de primitief:
   De methode definieert een primitief $G_n$ geparametriseerd door pre-activatie positie ($\tilde{\mathbf{x}}_n$), schalen ($\tilde{\mathbf{s}}_n$), rotatie ($\theta_n$), kleuramplitudes ($\mathbf{c}_n$), opaciteit ($\tilde{\alpha}_n$) en per-kanaal fase ($\boldsymbol{\varphi}_n$).

   • In tegenstelling tot naïeve benaderingen die twee reële-waardige Gaussische functies paren voor de reële en imaginaire delen (wat 18 parameters en twee rendering-passes vereist), gebruikt deze verenigde formulering 12 parameters en een enkele rendering-pass.
   • De bijdrage van een primitief op pixel $p$ is $H_n(p) = \alpha_n \mathbf{c}_n g_n(p) \exp(j \boldsymbol{\varphi}_n)$, waarbij $g_n(p)$ de 2D Gaussische ruimtelijke distributie is.

2. Theoretische Fundering (Gabor's Theorie):
   Geïnspireerd door Gabor's onzekerheidsprincipe, betogen de auteurs dat Gaussische functies de minimale ruimte-frequentie onzekerheid bereiken ($\Delta x \Delta f_x = 1/2$). Dit maakt hen tot de optimale compacte primitief voor het representeren van hologrammen, die gelijktijdig codering van ruimte- en frequentie-informatie vereisen. De methode demonstreert dat hoewel Gaussische functies de per-pixel kwaliteit niet overtreffen bij een volledig parameterbudget, zij de reconstructiefidelity aanzienlijk beter behouden wanneer het parameterbudget krimpt.

3. Differentiabele Pipeline:

   • Rasterisatie: Een aangepaste differentiabele rasterizer voor complex-waardige 2D Gaussische functies is ontwikkeld, die complexe rekenkunde afhandelt (trigonometrische evaluatie voor reële/imaginaire decompositie) en gradiëntberekening voor amplitude en fase.
   • Lichtvoortplanting: De pipeline integreert een GPU-geoptimaliseerde Band-limited Angular Spectrum Method (BLASM) kernel. Dit simuleert vrije-ruimte lichtvoortplanting, waardoor het systeem het hologramveld $H$ kan optimaliseren zodat de gepropageerde intensiteit $|U(d)|^2$ de doelafbeeldingen op meerdere dieptevlakken evenaart.
   • Loss Functie: Optimalisatie minimaliseert een reconstructie-loss die MSE, structurele gelijkenis (SSIM) en specifieke termen voor defocus-regio's combineert, gesuperviseerd tegen multi-plane focal stacks.

4. POH Conversie:
   Omdat commerciële displays doorgaans Phase-Only Holograms (POH) zijn, introduceren de auteurs een conversieprocedure:

   • Smooth POH: Gebruikt Double Phase-Amplitude Coding (DPAC) om amplitude en fase ruimtelijk te multiplexen.
   • Random POH: Gebruikt de complex-waardige Gaussische representatie als structurele begeleiding om een willekeurig phase-only hologram te optimaliseren, waarbij de intensiteit en de complex-waardige verschillen gezamenlijk worden geminimaliseerd.

Belangrijkste Bijdragen

• Nieuwe Representatie: Migratie van complex-waardige 3D Gaussische functies naar complex-waardige 2D Gaussische primitieven voor directe hologram optimalisatie, wat de parameterzoekruimte met een 5:1 ratio vermindert ten opzichte van dichte per-pixel parametrisatie.
• Systeemimplementatie: Ontwikkeling van een differentiabele rasterizer en een GPU-geoptimaliseerde BLASM kernel voor end-to-end training, wat significante versnellingen en geheugenefficiëntie oplevert ten opzichte van standaard PyTorch implementaties.
• Conversiekader: Een procedure om de complex-waardige representatie aan te passen aan praktische Smooth en Random POH formaten, waardoor de representatie wordt ontkoppeld van hardware-specifieke codering.
• Theoretische Rechtvaardiging: Demonstratie dat de voorgestelde primitief een minimale ruimte-frequentie onzekerheid bereikt, wat een theoretische basis biedt voor de efficiëntie ervan in hologram representatie.

Resultaten
Uitgebreide experimenten op de DIV2K dataset en hardwarevalidatie (met behulp van een LASOS MCS4 laser en Jasper JD7714 SLM) tonen aan:

• Kwaliteit: De methode bereikt 30.7 dB PSNR voor complex-waardige hologrammen, waarmee zij eerdere Gaussische methoden (bijv. Image-GS op 17.2 dB, GI op 22.6 dB) en geleerde representaties (MLP, SIREN) overtreft. Voor Random POH bereikt het 29.4 dB PSNR, een 4.1 dB winst ten opzien van Wirtinger Holography.
• Efficiëntie:
  • VRAM Gebruik: Verminderd met ~30% vergeleken met standaard autodiff-gebaseerde implementaties.
  • Optimalisatiesnelheid: Versneld met 50% (bijv. 1.4 minuten versus 5.1 minuten voor GWS).
  • Rendering Snelheid: Bereikt tot 3200× snellere rendering vergeleken met GWS-gebaseerde benaderingen.
• Schaalbaarheid: De methode schaalt naar resoluties van 3200×1800 zonder Out-of-Memory (OOM) fouten.
• Ablatie: De verenigde complex-waardige formulering levert +6.3 dB hogere PSNR en 33% minder parameters op vergeleken met naïeve gepaarde reële-waardige Gaussische functies.

Betekenis
Het artikel stelt dat door de parameterzoekruimte van het hologram te reduceren via een theoretisch onderbouwde, compacte representatie, het een meer schaalbare hologram schatting mogelijk maakt voor volgende generatie CGH-systemen. Het werk overbrugt de kloof tussen efficiënte Gaussische rendering en de fysieke beperkingen van golfoptica, en biedt een algemene intermediaire representatie die naar diverse praktische hologramformaten kan worden geconverteerd terwijl de hoge reconstructiefidelity behouden blijft. De auteurs merken op dat hoewel de methode zich richt op center-eyebox reconstructie, het een fundament biedt voor toekomstig werk in real-time video en camera-in-the-loop technieken.