Complex-Valued 2D Gaussian Representation for Computer-Generated Holography

기술 요약: 컴퓨터 생성 홀로그래피를 위한 복소수 값 2D 가우시안 표현법

문제 정의
컴퓨터 생성 홀로그래피(CGH)는 빛의 강도, 간섭, 회절을 포착하여 3D 장면을 재구성하는 홀로그램을 합성하는 것을 목표로 한다. 자연스러운 이미지와 달리, 홀로그램은 조밀하고 고주파이며 무작위적인 공간적 변화를 나타낸다. 기존의 표현 방식들은 이 도메인에서 어려움을 겪는다:

• 암시적 신경 표현(Implicit Neural Representations, INRs) 및 **오토인코더(Autoencoders)**는 부드러운 저주파 데이터에 치중하는 경향이 있어, 홀로그램에 내재된 고주파 세부 사항을 포착하지 못한다.
• 픽셀당 최적화(Per-pixel optimization) 방식은 방대한 파라미터 탐색 공간을 생성하여 확장성과 효율성을 저해한다.
• 기존 가우시안 기반 방식(예: 3D 가우시안 스플래팅 변형 모델)은 주로 자연스러운 이미지나 3D 신규 시점 합성(NVS)을 위해 설계되었으며, 파동 광학(간섭 및 회절)이나 홀로그래픽 장(field)의 복소수 특성을 명시적으로 모델링하지 않는다.

방법론
저자들은 단일 뷰 홀로그램 추정을 위해 특별히 최적화된 **복소수 값 2D 가우시안 프리미티브(Complex-Valued 2D Gaussian Primitives)**를 이용한 구조적 표현을 제안한다.

1. 프리미티브 정의:
   본 방법은 사전 활성화 위치($\tilde{\mathbf{x}}_n$), 스케일($\tilde{\mathbf{s}}_n$), 회전($\theta_n$), 색상 진폭($\mathbf{c}_n$), 불투명도($\tilde{\alpha}_n$), 그리고 채널별 위상($\boldsymbol{\varphi}_n$)으로 매개변수화된 프리미티브 $G_n$을 정의한다.

   • 두 개의 실수 값 가우시안을 실수부와 허수부에 각각 쌍으로 사용하는 나이브한 접근 방식(18개의 파라미터와 두 번의 렌더링 패스 필요)과 달리, 이 통합된 정식화는 12개의 파라미터를 사용하며 단 한 번의 렌더링 패스로 수행된다.
   • 픽셀 $p$에서의 프리미티브 기여도는 $H_n(p) = \alpha_n \mathbf{c}_n g_n(p) \exp(j \boldsymbol{\varphi}_n)$이다 (여기서 $g_n(p)$는 2D 가우시안 공간 분포이다).

2. 이론적 기초 (Gabor의 이론):
   가보(Gabor)의 불확정성 원리에서 영감을 받아, 저자들은 가우시안 함수가 최소 공간-주파수 불확정성($\Delta x \Delta f_x = 1/2$)을 달성한다고 주장한다. 이는 공간 정보와 주파수 정보를 동시에 인코딩해야 하는 홀로그램을 표현하기 위한 최적의 압축된 프리미티브임을 의미한다. 본 방법은 가우시안이 전체 파라미터 예산 상황에서는 픽셀당 품질을 능가하지 못할지라도, 파라미터 예산이 줄어들수록 재구성 충실도를 훨씬 더 잘 유지함을 입증한다.

3. 미분 가능한 파이프라인:

   • 래스터화(Rasterization): 복소수 값 2D 가우시안을 위한 커스텀 미분 가능 래스터화 도구가 개발되었으며, 이는 복소 산술(실수/허수 분해를 위한 삼각함수 평가)과 진폭 및 위상에 대한 그래디언트 계산을 처리한다.
   • 빛의 전파(Light Propagation): 파이프라인은 GPU에 최적화된 대역 제한 각 스펙트럼 방법(Band-limited Angular Spectrum Method, BLASM) 커널을 통합한다. 이는 자유 공간에서의 빛 전파를 시뮬레이션하여, 시스템이 여러 깊이 평면에서 타겟 이미지와 일치하는 전파된 강도 $|U(d)|^2$를 갖도록 홀로그램 장 $H$를 최적화할 수 있게 한다.
   • 손실 함수(Loss Function): 최적화는 다중 평면 초점 스택(focal stacks)을 대상으로 MSE, SSIM, 그리고 디포커스 영역을 위한 특정 항들을 결합한 재구성 손실을 최소화한다.

4. POH 변환:
   상업용 디스플레이는 일반적으로 위상 전용 홀로그램(Phase-Only Hologram, POH)이므로, 저자들은 다음과 같은 변환 절차를 도입한다:

   • Smooth POH: 이중 위상-진폭 코딩(Double Phase-Amplitude Coding, DPAC)을 사용하여 진폭과 위상을 공간적으로 다중화한다.
   • Random POH: 복소 가우시안 표현을 구조적 가이드로 사용하여, 강도와 복소 장의 차이를 공동으로 최소화하면서 무작위 위상 전용 홀로그램을 최적화한다.

핵심 기여

• 새로운 표현법: 복소수 값 3D 가우시안을 복소수 값 2D 가우시안 프리미티브로 전환하여 직접적인 홀로그램 최적화를 수행함으로써, 밀집한 픽셀당 파라미터화 대비 파라미터 탐색 공간을 5:1 비율로 감소시켰다.
• 시스템 구현: 엔드 투 엔드 학습을 위해 미분 가능한 래스터화 도구와 GPU 최적화 BLASM 커널을 개발하였으며, 표준 PyTorch 구현보다 상당한 속도 향상과 메모리 효율성을 달ach했다.
• 변환 프레임워크: 복소 표현을 실용적인 Smooth 및 Random POH 형식에 적응시키는 절차를 제공하여, 표현법을 하드웨어 특정 인코딩으로부터 분리하였다.
• 이론적 정당성: 제안된 프리미티브가 최소 공간-주파수 불확정성을 달성함을 입증하여, 홀로그램 표현을 위한 효율적인 이론적 근거를 제시하였다.

결과
DIV2K 데이터셋에 대한 광범로한 실험과 하드웨어 검증(LASOS MCS4 레이저 및 Jasper JD7714 SLM 사용) 결과는 다음과 같다:

• 품질: 본 방법은 복소수 홀로그램에 대해 30.7 dB PSNR을 달성하여, 기존 가우시안 기반 방식(예: Image-GS 17.2 dB, GI 22.6 dB) 및 학습된 표현(MLP, SIREN)을 능가한다. Random POH의 경우, Wirtinger Holography보다 4.1 dB 높은 29.4 dB PSNR에 도달한다.
• 효율성:
  • VRAM 사용량: 표준 자동 미분 기반 구현 대비 약 30% 감소하였다.
  • 최적화 속도: 50% 가속화되었다 (예: GWS의 경우 5.1분 대비 1.4분).
  • 렌더링 속도: GWS 기반 접근 방식에 비해 최대 3200배 빠른 렌더링을 달성한다.
• 확장성: 본 방법은 OOM(Out-of-Memory) 오류 없이 3200×1800 해상도까지 확장 가능하다.
• 어블레이션(Ablation): 통합된 복소수 정식화는 나이브한 쌍 형태의 실수 가우시안에 비해 6.3 dB 높은 PSNR과 33% 적은 파라미터를 보여준다.

의의
본 논문은 이론적으로 근거가 확실하고 압축된 표현을 통해 홀로그램 파라미터 탐색 공간을 줄임으로써, 차세대 CGH 시스템을 위한 더 확장 가능한 홀로그램 추정을 가능하게 한다고 주장한다. 이 연구는 효율적인 가우시안 기반 렌더링과 파동 광학의 물리적 제약 사이의 간극을 메우며, 높은 재구성 충실도를 유지하면서 다양한 실용적 홀로그램 형식으로 변환될 수 있는 일반적인 중간 표현을 제공한다. 저자들은 본 방법이 센터 아이박스(center-eyebox) 재구성에 집중하고 있으나, 실시간 비디오 및 카메라 인 더 루프(camera-in-the-loop) 기술을 위한 토대를 제공한다고 언급하였다.