기술 요약: VENI: 자연스러운 조명을 위한 변분 인코더 (Variational Encoder for Natural Illumination)

문제 정의

역 렌더링(Inverse rendering)은 하나의 이미지가 형상, 재질, 조명의 다양한 조합으로 생성될 수 있기 때문에 부적절하게 정의된 문제(ill-posed problem)입니다. 인간은 조명 공간에 대한 강력한 학습된 사전 지식(prior)을 활용하여 이를 해결하지만, 기존의 계산적 접근 방식은 자연스러운 조명을 적절히 모델링하는 데 종종 실패합니다. 현재의 최첨단 방법론들은 두 가지 주요 한계점에 직면해 있습니다:

1. 회전 등변성(Rotation-Equivariance)의 결여: 많은 모델이 구형 및 회전 등변적인 조명 환경의 특성을 무시합니다. 최근의 일부 연구(예: RENI++)가 이를 해결하려고 시도하지만, 이들은 왜곡을 유발하는 2D 투영(equirectangular 또는 cube map)에 의존하거나 인코더에서 등변성을 유지하지 못하는 경우가 많습니다.
2. 부실한 잠재 공간(Latent Space) 특성: RENI++와 같은 기존의 회전 등변 사전 지식은 "오토디코더(autodecoder)" 구조를 활용합니다. 이 설정에서는 각 이미지에 대해 잠재 코드를 무작위로 초기화하고 모델과 함께 공동 최적화합니다. 이는 유사한 이미지가 매우 다른 잠재 코드로 표현될 수 있는 비고유한(non-unique) 잠서 공간을 초래합니다. 또한, 이 방식은 매 이미지마다 새로운 잠재 코드를 최적화해야 하므로 대규모 데이터셋으로 확장하기 어렵습니다.

방법론

저자들은 2D 투영에 의존하지 않고 구체 위에서 자연스러운 조명을 모델링하도록 설계된 회전 등변 변분 오토인코더(VAE)인 VENI(Variational Encoder for Natural Illumination)를 제안합니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. SO(2)-등변 완전 연결 계층 (SO(2)-Equivariant Fully Connected Layer)

자연스러운 야외 조명의 특정한 대칭성을 처리하기 위해, 저자들은 Vector Neuron 프레임워크를 확장했습니다. 표준 Vector Neuron은 SO(3)-등변성을 제공하지만, 자연스러운 조명 환경은 정해진 "위(up)" 방향을 가지고 있어 수직축을 중심으로 한 회전(SO(2))만이 물리적으로 의미가 있습니다. 저자들은 다음과 같은 기능을 갖춘 새로운 SO(2)-등변 완전 연결 계층을 설계했습니다:

• 입력을 등변 성분(x, y 차원)과 불변 성분(z 차원 및 색상)으로 분리합니다.
• 단일 뉴런 내에서 불변 연산과 등변 연산을 결합합니다.
• 불변 차원(색상, 수직축)이 xy 평면 회전에 대해 불변을 유지하면서도 여전히 등변 차원에 영향을 미칠 수 있도록 보장합니다.
• 이 계층은 SO(2)-등변 모델 내에 적용되었을 때 표준 Vector Neuron보다 우수한 성능을 보이는 것으로 나타났습니다.

2. 벡터 뉴런 비전 트랜스포머 (Vector Neuron Vision Transformer, VN-ViT) 인코더

인코더의 핵심은 구형 데이터 및 회전 등변성을 위해 조정된 비전 트랜스포머입니다:

• 입력 표현: 2D 투영 대신 모델은 직접 3D 도메인에서 동작합니다. 패치는 구체 상의 수직 스트라이프(vertical stripes) 형태로 샘플링됩니다. 등변성을 유지하기 위해(위치 인코딩은 등변성을 깨뜨릴 수 있음), 색상 값은 샘플링된 픽셀의 3D 방향 벡터와 결합됩니다.
• 아키텍처: 모든 표준 ViT 구성 요소는 그에 상응하는 Vector Neuron 버전으로 교체됩니다. 학습 가능한 "클래스 토큰(class token)"이 패치 임베딩 앞에 추가되는데, 이 토큰은 등변성을 보존하기 위해 불변 차원에서만 학습 가능합니다.
• 출력: 트랜스포머 출력은 두 개의 SO(2)-등변 완전 연결 계층을 통해 잠재 코드의 평균($\mu$)과 분산($\sigma$)을 생성하도록 투영됩니다.

3. 회전 등변 변분 샘플링 및 디코더

• 샘플링: 잠재 공간이 회전 등변성을 갖도록 보장하기 위해, 저자들은 세 개의 독립적인 1D 분포에서 샘PLING하는 대신, 3D 평균 벡터와 1D 분산으로 정의된 3D 등방성 구형 정규 분포에서 샘플링합니다.
• 디코더: 모델은 회전 등변 조건부 신경장(conditional neural field)인 RENI++ 디코더를 채택합니다. 이 디코더는 방향 벡터와 3D 잠재 벡터를 입력받아 색상을 출력합니다. 컨디셔닝은 방향을 잠재 코드에 상대적으로 인코딩하고 Vector Neuron 불변 계층을 사용하여 수행됩니다.

학습 전략

모델은 자연광의 전체 동적 범위를 다루기 위해 다음과 같은 데이터셋 조합으로 학습됩니다:

• RENI++ 데이터셋: 1,694개의 고품질 HDR equirectangular 이미지 (야외 장면).
• StreetLearn 데이터셋: Google Street View에서 가져온 43,310개의 LDR 360° 이미지를 HDR로 변환한 것.
• 커리큘럼 학습 (Curriculum Learning): 모델은 먼저 대규모 StreetLearn 데이터셋에서 사전 학습된 후, 더 작고 고품질인 RENI++ 데이터셋에서 미세 조정(fine-tuning)됩니다.
• 손실 함수: 모델은 인간의 시각적 인식을 맞추기 위한 로그 공간 손실(log-space loss), 고주파 세부 사항을 포착하기 위한 평균 절대 그래디언트 오차(MAGE), 스케일 불변 손실(scale-invariant loss), 색상 정확도를 위한 코사인 유사도 손실, 그리고 3D 등방성 분포에 맞춰 조정된 Kullback-Leibler 발산(KLD) 항을 사용합니다.

주요 기여

1. 새로운 인코더 아키텍처: 2D 투영 왜곡 없이 구형 신호를 직접 처리할 수 있게 해주는 새로운 SO(2)-등변 확장이 적용된 벡터 뉴런 기반의 회전 등변 파노라마 비전 트랜스포머(VN-ViT).
2. 잘 정돈된 잠재 공간: RENI++와 같은 오토디코더 기반 접근 방식의 비고유성 문제를 극복하고, 고유한 잠재 공간을 생성하는 회전 등변 자연 조명 사전 지식.
3. 확장성: 이미지를 매번 최적화하는 대신 순방향 패스(forward pass)를 통해 인코딩함으로써, 모델은 대규모 데이터셋으로 확장할 수 있습니다.
4. 포괄적인 평가: 잠재 공간의 고유성과 재구성 일관성에 대한 직관적인 지표를 사용한 광범위한 평가.

결과

논문은 다양한 잠재 차원($D=27, 147, 300$)에 대해 VENI를 RENI++와 비교 평가합니다:

• 재구성 품질: VENI는 특히 저차원 설정($D=27$)에서 RENI++보다 우수한 성능을 보이며, LDR 톤 매핑 및 선형 HDR 공간 모두에서 더 높은 PSNR, SSIM 및 더 낮은 LPIPS를 달축합니다.
• 잠재 공간의 고유성: 저자들은 VENI의 잠재 공간이 훨씬 더 고유하다는 것을 입증합니다. 두 개의 잠재 코드가 동일한 이미지에 대해 최적화될 때, VENI는 두 코드 사이의 보간(interpolation)이 일관된 결과를 낳는 반면, RENI++는 상당한 편차를 보입니다 (D=27에서 MSE 기준 0.04 대 1.46).
• 보간: 정성적 결과는 VENI가 (일출에서 정오로 전환되는 것과 같이) 부적절한 광원이나 노이즈와 같은 아티팩트를 도입하지 않고 부드럽고 의미 있는 보간을 가능하게 함을 보여줍니다. 이는 RENI++의 보간에서 관찰되는 현상과 대조됩니다.
• 확장성: 실험 결과, RENI++는 (이미지당 최적화가 필요하므로) 대규모 StreetLearn 데이터셋으로 효과적으로 확장할 수 없는 반면, VENI는 대규모 StreetLearn 데이터셋에서도 성능을 유지함을 보여줍니다.

의의

본 논문은 회전 등변성과 잘 구조화된 고유한 잠재 공간을 결과의 결합함으로써, 자연스러운 조명 사전 지식의 결정적인 한계를 해결한다고 주장합니다. 변분 인코더를 통해 오토디코더 패러다임에서 벗어남으로써, 모델은 유사한 이미지가 유사한 잠재 코드로 매핑되도록 보장하며, 이는 부드러운 보간을 용이하게 하고 대규모 데이터셋의 사용을 가능하게 합니다. 결과적으로, 이는 구형 기하학적 제약을 준수하면서 자연스러운 야외 조명의 복잡한 통계적 규칙성을 다룰 수 있는, 역 렌더링 작업을 위한 더욱 견고한 사전 지식을 제공합니다.