Non-line-of-sight imaging with arbitrary relay surface geometries via 3D Gaussian Transient Rendering

기술 요약: 3D 가우시안 과도 렌더링을 통한 임의의 릴레이 표면 기하 구조를 갖는 비가시선(NLOS) 이미징

문제 정의
비가시선(NLOS) 이미징은 가시적인 릴레이 표면으로부터 산란되는 빛을 분석하여 숨겨진 물체를 재구성하는 것을 목표로 한다. ToF(Time-of-Flight) 기반의 NLOS 이미징은 크게 발전해 왔으나, 기존 방식들의 제한적인 가정들로 인해 실제 환경 배포에 어려움을 겪고 있다. 대부분의 최첨단 기술들은 크고 연속적이며 평면적인 릴레이 벽과 조밀하고 균일한 샘플링을 가정한다. 자율 주행이나 로봇 인지력과 같은 실제 시나리오에서는 측정값이 공간적으로 제한된 영역이나 임의의 비평면 기하 구조(예: 보행자의 등 또는 불규칙한 벽)를 통해 획득되는 경우가 많다. 모델 기반 반복 프레임워크와 학습 기반 뉴럴 필드를 포함한 현재의 접근 방식들은 이러한 조건 하에서 어려움을 겪으며, 긴 최적화 시간을 요구하거나, 복잡한 기하 구조에 대한 강건성이 부족하거나, 릴레이 표면이 제약되지 않은 경우 타겟을 분해하는 데 실패하곤 한다.

방법론
저자들은 릴레이 표면의 기하학적 가정을 제거하는 LOS 유도 NLOS 이미징 파이프라인을 제안한다. 이 방법의 핵심은 **3D 가우시안 과도 렌더링(3D-GTR)**이며, 이는 다음 구성 요소들을 통합한다:

1. LOS 유도 기하 구조 회복: 시스템은 먼저 LOS ToF 측정을 활용하여 릴레이 표면의 포인트 클라우드를 재구성한다. 이 포인트 클라우드는 국부 표면 법선(normal)을 추정하기 위해 후처리되며, 이를 통해 실제 측정 환경의 임의의 기하 구조를 정확하게 반영하는 "가상 릴레이 표면"을 생성한다.
2. 3D 가우시안 표현: 숨겨진 장면은 볼륨 그리드나 암시적 뉴럴 필드가 아닌, 3D 가우시안 프리미티브(primitive) 세트로 표현된다. 각 프리미티브는 평균 위치($\mathbf{x}_g$), 공간적 확산을 정의하는 공분산 행렬($\mathbf{\Sigma}$), 그리고 산란 강도를 제어하는 알베도($\rho$)에 의해 매개변수화된다.
3. 미분 가능한 과도 렌더링: 물리 기반의 미분 가능한 렌더링 모델은 이러한 3D 가우시안 프리미티브를 1D 시간적 가우시안 커널로 매핑한다. 이 모델은 다음을 명시적으로 고려한다:
   • 빛 전달 기하 구조: 조명 지점으로부터 프리미티브를 거쳐 검출기까지의 광경로 길이를 프리미티브의 평균 주변에서 선형화하며, 이는 경로 길이 영역에서 가우시안 분포를 유도한다.
   • 복사 휘도 가중치(Radiometric Weighting): 모델은 조명 및 검출 지점에 대한 프리미티브가 점유하는 입체각과 표면 법선($\mathbf{n}_i, \mathbf{n}_d$)을 통한 양방향 반사 분포 함수(BRDF) 효과를 포함한다. 그 결과, NLOS 순방향 모델의 전형적인 역 4제곱 거리 의존성을 따르는 물리적으로 근거 있는 복사 휘도 가중치를 생성한다.
4. 엔드 투 엔드 최적화: 시스템은 렌더링된 과도 신호와 측정된 과도 신호 사이의 $L_2$ 손실을 최소화하기 위해 역전파를 통해 3D 가우시안 프리미티브의 파라미터(위치, 스케일, 방향 및 알베도)를 최적화한다. 이 과정은 공초점(confocal) 및 비공초점(non-confocal) 획득 구성을 모두 지원한다.
5. 합성 및 재구성: 최적화가 완료되면, 3D 가우시안 표현은 정규 가상 그리드 상의 조밀하고 물리적으로 일관된 과도 측정을 합성하는 데 사용된다. 이렇게 합성된 과도 신호는 전통적인 솔버(예: Light-Cone Transform 또는 RSD)로 전달되어 최종적인 볼륨 재구성을 생성한다.

주요 기여

• 기하 구조 불가지론적 파이프라인: 제안된 프레임워크는 릴레이 표면 기하 구조에 대한 어떠한 사전 가정도 부과하지 않으며, 임의의 조명-검출 쌍 구성을 가진 공초점 및 비공초점 획득을 자연스럽게 지원한다.
• 3D 가우시안 과도 렌더링 (3D-GTR): 저자들은 경량 3D 가우시안 프리미티브를 기반으로 한 효율적이고 완전 미분 가능한 물리 기반 과도 렌더링 모델을 도입한다. 물리 인지적 빛 전달과 표면 법선을 명시적으로 통합함으로써, 모델은 다양한 획득 설정에서 신뢰할 수 있는 성능을 달enc한다.
• 강건성 및 효율성: 본 방법은 공개 데이터셋과 자체 구축된 캡처 시스템의 실제 측정을 통해 검증되었다. 이는 기존 방식들(예: NeTF, CC-SOCR, FBP)에 비해 공간적으로 제한되고 희소하게 샘플링된, 임의의 형태를 가진 릴레이 표면 조건에서도 현저히 향상된 강건성과 재구성 충실도를 보여준다.

실험 결과
본 논문은 세 가지 도전적인 샘플링 레짐(regime)에 대해 방법을 평가한다:

• 영역 제한(Region-Limited): 희소한 공간 샘플링(예: "NLOS" 모양의 마스크 또는 무작위 3,000개 지점) 시나리오에서, 3D-GTR은 다중 물체 기하 구조를 보존하며 다른 방법들이 실패하는 지점에서도 높은 충실도를 유지한다.
• 개구부 제한(Aperture-Limited): 측정 개구부가 심하게 제한될 때(숨겨진 물체보다 작을 때), 본 방법은 기존 방식보다 더 명확한 형상을 재구성한다.
• 해상도 제한(Resolution-Limited): 본 방법은 초해상도(super-resolution) 효과를 나타내며, 샘플링 피치(4cm)가 타겟 해상도를 초과함에도 불구하고 2cm 특징을 성공적으로 분해하여, 언더샘플링 시 성능이 저하되는 경쟁 방법들을 능가한다.
• 비공초점 및 임의의 기하 구조: 곡선형 릴레이 표면(예: 마네킹 상체)을 사용하는 비공포점 설정에서, 3D-GTR은 베이스라인보다 타겟 형상을 더 명확하게 회복한다. 렌더링 모델에 표면 법선을 포함하는 것이 다양한 표면 방향을 처리하는 데 결정적이라는 점이 절제 연구(ablation studies)를 통해 입증되었다.
• 실행 시간: 본 방법은 상당한 효율성 이점을 보여준다. GPU 상의 가우시안 프리미티브의 병렬성을 활용하여 NeTF보다 훨씬 빠르게 수렴하며, 반복 최적화 방법보다 수십 배 빠른 추론 시간을 기록한다.

의의
본 논문은 이 연구가 기하 구조를 가정하는 파이프라인에서 측정 기반 프레임워크로 패러다임을 전환하는 새로운 NLOS 이미징 프레임워크를 구축한다고 주장한다. LOS 측정을 사용하여 릴레이 표면 기하 구조를 회복하고, 효율적인 미분 가능한 렌더링을 위해 3D 가우시안 프리미티브를 활용함으로써, 이 접근 방식은 이론적인 NLOS 이미징과 복잡한 실제 환경에서의 실질적 배포 사이의 간극을 메운다. 저자들은 이를 릴레이 표면이 평면적이거나 조밀하지 않은 자율 주행 및 공공 안전과 같은 응용 분야에서 NLOS 이미징을 실용화하기 위한 구체적인 단계로 제시한다. 또한, 본 방법이 기존 베이스라인보다 빠르기는 하지만 아직 실시간은 아니라고 인정하면서도, 물리적으로 근거를 둔 미분 가능한 표현 방식이 향후 비디오 재구성 기술과의 통합을 위한 유망한 경로을 제공한다고 시사한다.