기술 요약: QuantumGS

문제 정의

표준 3D 가우시안 스플래팅(3DGS)은 복잡한 장면의 실시간 신경 렌더링을 위한 선도적인 방법으로 자리 잡았습니다. 그러나 이 방식은 시점 의존적 색상(view-dependent color)을 모델링하기 위해 저차 구면 조화 함수(Spherical Harmonics, SH)에 의존합니다. 이러한 의존성은 저역 통과 필터(low-pass filter)로 작용하여, 날카로운 경면 반사(specular reflections), 광택이 있는 표면, 복잡한 투명도 변화와 같은 고주파 시점 의존 효과를 정확하게 포착하지 못한다는 한계가 있습니다.

VDGS(Viewing Direction Gaussian Splatting)와 같은 하이브리드 확장 방식은 고전적인 다층 퍼셉트론(MLP)을 도입하여 이를 완화하려고 시도는 하지만, 실시간 성능 유지를 위해 요구되는 저파라미터 영역에서 고전적 네트워크의 제한된 표현력에 여전히 제약을 받습니다. 또한, QRF(Quantum Radiance Fields)나 QKAN-GS와 같은 기존의 양자 기계 학습(QML) 응용 분야는 주로 암시적 표현(implicit representations)이나 압축에 집중해 왔으며, 양자-기하학적 인코딩을 통해 시점 의존적 휘도를 명시적으로 모델링하는 영역에는 공백이 존재합니다.

방법론

저자들은 변분 양자 회로(Variational Quantum Circuits, VQCs)를 3DGS 파이프라인에 직접 통합한 하이브리드 프레임워크인 QuantumGS를 소개합니다. 핵심 혁신은 고전적인 색상 변조 네트워크를 대신하여, 큐비트의 자연스러운 기하학적 구조를 활용해 3D 방향 데이터를 표현하는 양자 회로를 사용하는 데 있습니다.

1. 블로흐 구(Bloch Sphere) 방향 인코딩

시점 방향을 이산적인 유클리드 좌표로 취급하는 고전적 방식과 달리, QuantumGS는 정규화된 시점 방향 $\mathbf{d} \in S^2$를 블로흐 구에 직접 매핑합니다.

• 매핑: 시점 방향을 극각($\theta$)과 방위각($\phi$)으로 변환하여 큐비트 상태 $|\psi\rangle$를 매개변수화합니다.
• 구현: 이는 3-큐비트 시스템으로 확장되어, 회전 게이트($R_y$ 및 $R_z$)를 사용하여 시점 방향을 힐베르트 공간(Hilbert space) 내의 연속적인 회전으로 인코딩합니다. 이 공식화는 구(sphere)의 매니폴드 구조를 보존하며, 각도 데이터에 내재된 회전 연속성과 위상 관계를 포착합니다.

2. 변분 양자 회로 (VQC)

인코딩된 상태는 4개의 레이어로 구성된 VQC 안사츠(ansatz)를 통해 처리됩니다. 각 레이어는 다음을 교대로 수행합니다:

• 매개변수화된 회전: 각 큐비트에 대한 국소 회전을 통해 시점 방향이 초기 인코딩을 어떻게 변형하는지 학습합니다.
• 원형 얽힘(Circular Entanglement): 순환적 CNOT 시퀀스($0\to1\to2\to0$)를 통해 모든 큐비트를 얽히게 합니다. 이는 색상 채널(RGB)과 불투명도 사이의 상호 의존성을 모델링하는 상관관관계를 생성합니다.
• 출력: Z-기저(Z-basis)에서의 측정을 통해 3D 양자 특징 벡터를 얻으며, 이는 경량화된 고전 MLP로 전달되어 시점 의존적 잔차($\Delta c$ 및 $\Delta \alpha$, 즉 색상 및 불투명도 변화량)를 생성합니다.

3. 이중 파이프라인 프레임워크

국소적 표현력과 전역적 확장성 사이의 균형을 맞추기 위해, 저자들은 두 가지 제어 전략을 제안합니다:

• 파이프라인 I (Per-Gaussian / Hyper-Quantum): 고전적 하이퍼네트워크가 각 가우시안의 공간 해시 인코딩을 기반으로 고유한 VQC 파라미터(회전각)와 MLP 가중치를 생성합니다. 이는 정교한 광학 효과를 위한 국소적 정밀도를 극대화하며, 합성 장면(synthetic scenes)에 적합합니다.
• 파이프라인 II (Global / Joint-Hash): 전역 파라미터를 가진 공유 VQC가 가우시안 위치와 시점 방향의 결합된 해시 인코딩에 의해 조건화됩니다. 이 접근 방식은 대규모 실제 장면으로 확장 가능하면서도 양자 강화된 모델링을 유지합니다.

4. 미분 가능한 렌더링

본 프레임워크는 표준 3DGS 래스터화 파이프라인을 유지합니다. 최종 속성은 기본 SH 색상 및 불투명도에 대한 곱셈 업데이트로 계산됩니다:
$$c_{final}(\mathbf{d}) = c(\mathbf{d}) \cdot \Delta c(\mathbf{d}), \quad \alpha_{final}(\mathbf{d}) = \alpha(\mathbf{d}) \cdot \Delta \alpha(\mathbf{d})$$
시스템은 결합된 $L_1$ 및 $D$-SSIM 손실 함수를 사용하여 엔드 투 엔드로 최적화됩니다.

주요 기여

1. 블로키 구 방향 인코딩: 시점 방향을 큐비트 상태로 매핑하는 새로운 임베딩 전략으로, 비등방성 반사(anisotropic reflections)와 투명도를 물리적으로 의미 있게 표현합니다.
2. 이중 양자 제어 메커니즘: 국소적 정확도와 대규모 일반화 사이의 조절 가능한 균형을 제공하는 두 가지 상보적 체계(Hyper-Quantum 및 Joint-Hash Global)를 제공합니다.
3. 향상된 시점 의존적 렌더링: 본 프레임워크는 고주파 경면 효과와 복잡한 투명도를 모델링함에 있어 기존 3DGS 및 고전적 베이스라인보다 개선된 표현력과 일반화 성능을 입증했습니다.

실험 결과

저자들은 NeRF Synthetic, Mip-NeRF 360, Tanks and Temples, Deep Blending을 포함한 표준 데이터셋을 통해 QuantumGS를 평가했습니다.

• 정량적 성능:
  • NeRF Synthetic 데이터셋(Pipeline I)에서 QuantumGS는 PSNR 33.98, SSло SSIM 0.970을 달성하여, 표준 3DGS(33.30 PSNR) 및 VDGS(33.37 PSNR)를 능가하는 최첨단(SOTA) 결과를 보여주었습니다.
  • 대규모 실제 데이터셋(Pipeline II)에서 QuantumGS는 우수한 일반화 성능을 보였습니다. Deep Blending에서 가장 높은 PSNR(30.15)과 SSIM(0.916)을 기록했으며, Tanks and Temples에서는 PSNR 24.70, SSIM 0.888로 향상된 성능을 보였습니다.
• 정성적 개선:
  • 투명도 및 경면 효과: "Truck" 장면에서 QuantumGS는 표준 3DGS에서 흐릿하게 처리되었던 앞 유리를 통한 배경 가시성과 고주파 세부 사항을 복구했습니다.
  • 아티팩트 감소: "Ship" 및 "Room" 장면에서, 이 방법은 베이스라인 방식에서 흔히 나타나는 "플로터(floater)" 아티팩트와 울퉁불퉁한 기하학적 불일치를 제거했습니다.
  • 재질 정의: "Drums", "LEGO"와 같은 객체 중심 장면에서, QuantumGS는 VDGS 및 표준 3DGS에서 손실되거나 흐려졌던 뚜렷한 반사 기하 구조와 차폐 그림자를 보존했습니다.
• 성능: 고전적 GPU에서 양자 회로를 시뮬레이션하는 데 따른 계산 오버헤럼에도 불구하고, 효율적인 3-큐비트 설계 덕분에 QuantumGS는 고해상도 장면에서도 10 ~ 16 FPS 이상의 실시간 렌더링 속도를 유지할 수 있었습니다.

의의 및 주장

본 논문은 QuantumGS가 신경 렌더링 엔진을 실제 양자 하드웨어로 전환하기 위한 토대를 마련한다고 주장합니다. 양자 회로를 단순히 파라미터 효율적인 함수 근사기로 사용하는 것을 넘어, 양자 상태 공간 기하학(블로흐 구 인코딩)을 명시적으로 활용함으로써, 고전적 네트워크가 저파라미터 영역에서 모델링하기 어려워하는 시점 의존적 빛-물질 상호작용을 포착합니다.

저자들은 양자 얽힘을 고전적 GPU에서 시뮬레이션하는 비용이 현재로서는 주요한 한계이며, 이것이 매우 빠른 3DGS의 래스터화 속도에 도달하는 것을 방해한다는 점을 인정합니다. 그러나 이 방법이 인터랙티브한 프레임 레이트를 유지하면서도 복잡한 광학 현상에 대한 렌더링 충실도를 크게 향상시킨다는 점에서 그 타당성이 확인되었다고 주장합니다. 이 연구는 향후 NISQ(노이즈가 있는 중간 규모 양자) 하드웨어가 시뮬레이션 병목 현상을 해결함으로써, 양자 강화 렌더링의 실용성을 더욱 높일 수 있음을 시사합니다.