Low-Cost Neural Radiance Fields

기술 요약: 저비용 신경 방사장 (NeRF)

문제 제기
신경 방사장 (NeRF) 은 새로운 뷰 합성에 있어 높은 기준을 확립했으나, 과도한 훈련 시간과 밀집된 입력 뷰에 대한 중대한 의존성으로 인해 어려움을 겪고 있습니다. 이러한 제약 조건은 계산 자원이 제한적이거나 데이터 가용성이 낮은 사용자에게 NeRF 의 접근성을 제한합니다. 본 연구에서 다루는 주요 과제는 재구성 품질을 크게 희생하지 않으면서 NeRF 훈련을 가속화하고 데이터 요구 사항을 줄이는 방법을 찾는 것입니다.

방법론
저자들은 제한된 컴퓨팅 및 데이터 환경 하에서 세 가지 가속화된 NeRF 변형인 DS-NeRF, TensoRF, HashNeRF 에 대한 비교 연구를 수행했습니다. 이 연구에는 이러한 기준 모델을 구현하고 구체적인 아키텍처 및 훈련 수정 사항을 제안하는 작업이 포함되었습니다:

1. 깊이 감독이 적용된 TensoRF (TensoRF-DS):

   • 접근법: 저자들은 TensoRF 프레임워크에 깊이 감독 손실 항을 통합했습니다. 정답 깊이 값은 COLMAP 키 포인트 (3D 위치 및 2D 픽셀 좌표) 에서 파생되었습니다.
   • 손실 함수: 모델이 추정한 깊이와 COLMAP 에서 파생된 정답 깊이 사이에 평균 제곱 오차 (MSE) 깊이 손실 ($L_{\hat{D}}$) 을 계산했습니다. 이를 가중치 하이퍼파라미터 $\lambda_i$를 사용하여 표준 NeRF 색상 손실 ($L_{\hat{C}}$) 과 결합했습니다.
   • 데이터셋: 실험은 전체 데이터셋과 비교하여 9 장의 이미지 (훈련 4 장, 테스트 4 장, 검증 1 장) 만을 사용하는 "저데이터" 환경에서 LLFF 데이터셋을 활용하여 수행되었습니다.

2. TensoRF 제거 분석 및 다운샘플링:

   • 다운샘플링: 메모리 예산에 맞추고 실행 시간을 단축하기 위해 저자들은 입력 이미지를 4 배로 다운샘플링했습니다.
   • 아키텍처 제거 분석: TensoRF 의 특징 디코딩 다층 퍼셉트론 (MLP) 에 선형 계층을 추가하거나 제거하여 피크 신호 대 잡음비 (PSNR) 및 실행 시간에 미치는 영향을 파악했습니다.

3. HashNeRF 아키텍처 변형:

   • 접근법: 저자들은 다중 해상도 해시 인코딩 이후 색상 및 밀도 네트워크에 대한 네 가지 아키텍처 수정을 제안했습니다.
   • 변형 사항:
     • 파라미터를 줄이기 위해 선형 계층을 1D 합성곱 계층으로 대체.
     • 시그마 (sigma) 및 색상 MLP 에서 초기 입력으로부터 후속 계층으로 잔차 연결 추가.
     • 공간 정보를 보존하기 위해 두 계층 이전의 대체 계층으로부터 잔차 연결 추가.
     • 색상 변동을 미세 조정하기 위해 네트워크를 심화.
   • 평가: 모델들은 합성 Lego 장면에서 평가되었으며, 고정된 반복 횟수 예산 (500 회 및 1000 회) 에서 PSNR 및 훈련 시간을 기준으로 기준 모델과 비교되었습니다.

주요 결과

• TensoRF-DS: 저데이터 조건에서 TensoRF 에 깊이 감독을 추가한 것은 미미한 개선만 가져왔습니다. 저데이터 기준 모델은 성능이 크게 저하되었으나 (전체 데이터 대비 26.32 에 비해 테스트 PSNR 15.23), 깊이 감독 변형은 테스트 PSNR 을 0.01 (15.24) 만 향상시켰습니다. 시각화 결과, 색상 출력은 유사했으나 근본적인 깊이 구조는 불완전한 것으로 나타났으며, 픽셀 비교에 비해 COLMAP 키 포인트의 부족으로 인해 깊이 손실 기울기가 볼륨 공간의 작은 부분에만 영향을 미쳤습니다.
• TensoRF 다운샘플링: 입력을 4 배로 다운샘플링한 결과, 모델은 단 2,500 회 반복 (10 분 미만 훈련) 에서 테스트 PSNR 31.297 을 달성하여 원본 NeRF 의 성능과 유사하면서도 계산 비용을 크게 줄였습니다. 특징 디코딩 MLP 에 대한 제거 분석 연구는 계층 수 변경으로 인한 유의미한 성능 향상이 없음을 보여주어 기본 아키텍처가 이미 효율적임을 시사합니다.
• HashNeRF 변형: 제안된 네 가지 아키텍처 변형 중 가장 깊은 네트워크 (변형 4) 가 1,000 회 반복 시 27.119 의 최고 PSNR 을 달성했습니다. 그러나 이는 기본 구성에서 원래 HashNeRF 저자들이 보고한 28.2 PSNR 보다 낮았습니다. 수렴할 때까지 훈련이 허용되었을 때 제안된 네트워크는 기준 모델을 능가했으나, 고정 시간 (고정 반복) 평가에서는 출판된 기준 모델을 명확하게 능가하지는 못했습니다.

의의 및 주장
이 논문은 고정 시간 평가 하에서 제안된 확장 중 어느 것도 출판된 기준 모델을 명확하게 능가하지 못했다고 결론지었습니다. 그러나 이 연구는 제한된 환경에서 어떤 확장이 실현 가능한지 특징짓고 향후 연구를 위한 설계 문제를 표면화하는 역할을 합니다.

• 다운샘플링의 실용성: 이 연구는 품질을 크게 저하시키지 않고 계산 효율성을 향상시키는 효과적인 기법으로서 다운샘플링을 검증하여, 제한된 하드웨어를 가진 연구자들에게 TensoRF 를 더 접근 가능하게 만들었습니다.
• 깊이 감독의 한계: 결과는 희소 데이터로 TensoRF 에 단순히 깊이 감독을 추가하는 것만으로는 부족함을 강조합니다. 정답 깊이 점의 부족은 볼륨 재구성을 개선하는 데 필요한 기울기 전파를 제한합니다.
• 향후 방향: 저자들은 향후 연구에서 깊이 감독을 더 잘 활용하기 위해 더 많은 지점에서 3D 정답 메쉬를 계산하고, 성능 격차가 더 많은 훈련으로 해소되는지 확인하기 위해 반복 예산을 확장하며, TensoRF 구성 요소에 대한 더 철저한 제거 분석 연구를 수행할 것을 제안합니다.

궁극적으로 이 논문은 현재 저비용 NeRF 적응의 한계를 식별하는 비교 연구로서 자신의 위치를 설정합니다. 엄격한 시간 제약 하에서는 구체적인 개선이 이루어지지 않았지만, 실험들은 자원 제약 환경에서 이러한 모델들이 어떻게 동작하는지 이해하는 기초를 제공한다는 점을 지적합니다.