기술 요약: ActMVS – 단안 다중 뷰 스테레오를 이용한 능동적 장면 재구성

1. 문제 정의

능동적 장면 재구성은 로봇과 무인 항공기(UAV)가 미지의 환경을 자율적으로 탐색하고 매핑하는 데 필수적이며, 특히 수동적인 데이터 수집 비용이 높은 산업 점검이나 재난 대응과 같은 시나리오에서 매우 중요합니다. SfM이나 SLAM과 같은 수동 방식은 사전에 수집된 데이터를 처리하는 반면, 능동적 재구성은 커버리지를 극대화하면서도 충돌 없는 항행을 보장하기 위해 센서 궤적을 실시간으로 계획해야 합니다.

현재의 능동적 재구성 접근 방식은 주로 깊이 센서(예: LiDAR, 구조광)에 의존하여 안전한 공간 추론을 위한 신뢰도 높은 점유 지도를 생성합니다. 그러나 이러한 센서들은 자원이 제한된 플랫폼에 과도한 비용, 무게 및 전력 제한을 초라합니다. 저자들은 비전 전용 단안 솔루션을 개발하는 것을 목표로 합니다.

핵심 과제는 단 하나의 카메라만을 사용하여 프레임 레이트 수준의 속도로 미터 단위의 정확도를 가진 조밀한 깊이 예측을 획득하는 것입니다. 기존의 단안 깊이 추정 방식은 미터 단위의 정확도가 부족하며, 표준 다중 뷰 스테레오(MVS) 기술은 능동적 설정에서 두 가지 결정적인 한계에 직면합니다:

1. 불충분한 기선(Baseline): 인접한 프레임을 사용하면 시차(parallax)나 가시성(covisibility)이 부족하여 최적이 아닌 깊이 값을 얻게 됩니다.
2. 글로벌 컨텍스트의 부재: 최근의 학습 기반 MVS 방식은 일반적으로 제한된 수의 참조 프레임(예: 8개)만을 처리하므로, 오차 누적이 발생하고 글로벌 일관성이 결여되어 계획의 안전성과 재구성 품질을 저해합니다.

2. 방법론: ActMVS 프레임워크

ActMVS는 단안 능동 장면 재구성을 위한 최초의 프레임워크로 소개됩니다. 이 시스템은 온라인에서 고품질의 글로벌 일관성을 갖춘 조밀한 깊이 지도를 생성할 수 있도록 새로운 뷰 팩터 그래프(View Factor Graph)와 글로벌 깊이 최적화를 통합한 하이브리드 장면 표현 방식을 사용합니다.

A. 하이브리드 장면 표현

시스템은 세 가지의 동시 실행되는 표현 방식을 유지합니다:

• 뷰 팩터 그래프 ($G_f$): 프레임 간의 기하학적 관계를 모델링합니다. 노드는 뷰 이미지, 최적화된 깊이 지도, 포즈 및 내부 파라미터를 저장합니다. 엣지는 기하학적 중첩을 나타내는 복셀-프레임 가시성 가중치를 인코딩합니다.
• 복셀 맵 ($M_v$): 점유 확률을 저장하는 OctoMap을 기반으로 구축됩니다. 이는 충돌 없는 계획을 위한 점유 지도이자 공통 가시 영역(co-visible surfaces)을 위한 가시성 모델 역할을 합니다.
• 가우시안 스플래팅 맵 ($M_g$): 가우시안 서펠(surfel)을 사용하여 고정밀 표면 재구성을 수행하며, 미분 가능한 렌더링을 통해 색상, 깊이, 법선 및 불투명도 지도를 생성합니다.

B. 온라인 능동 재구성 프로세스

프레임워크는 두 단계의 반복적인 과정을 거쳐 작동합니다:

1. 계획 단계 (Next-Best-View):
   • 안전 및 탐사 경계 내에서 후보 뷰포인트를 샘в링합니다.
   • 뷰 완결성(가시적인 미탐사 복셀)과 이동 거리(A* 경로 탐색을 통해 계산됨)를 결합한 가중치 점수를 통해 차기 최적 뷰(NBV)를 결정합니다.
   • 후속 MVS 깊이 예측을 위해 충분한 가시성을 확보할 수 있도록 A* 경로를 따라 궤적을 보간합니다.
2. 매핑 단계:
   • 가시성 모델링: 복셀 가시성을 통해 쌍별 중첩($\Omega_{tj}$)을 계산하고, 현재 뷰를 상위 $k$개의 이웃과 연결하여 뷰 팩터 그래프를 업데이트합니다.
   • 깊이 예측: 선택된 이웃들을 참조 뷰로 사용하여 조밀한 깊이를 추정하기 위해 피드포워드 MVS 방식인 MVSA를 적응시킵니다.
   • 글로벌 깊이 최적화: 그래프 내의 쌍별 깊이 워핑(warping)을 통해 깊이 지도에 대해 $N_{iter}$ 단계의 글로벌 최적화를 수행합니다.
   • 업데이트: 확률적 점유 통합을 통해 복셀 맵을 업데이트하고, 저불투명도 영역에 프리미티브를 초기화하고 광도/깊이 손실을 최소화함으로써 가우시안 맵을 정교화합니다.

C. 주요 기술 혁신

1. 복셀-프레임 가시성 모델링을 포함한 뷰 팩터 그래프:

   • 참조 프레임 선택 시 발생하는 폐쇄(occlusion) 문제를 해결하기 위해, 복셀 중심을 카메라 평면에 투영하고 렌더링된 가우시안 깊이와 대조하여 프레임별 프러스텀 마스크($M_t$)를 계산합니다.
   • 이를 통해 논리적 AND 연산을 통해 효율적인 중첩 계산이 가능하며, 가려진 복셀을 필터링합니다.
   • 상관관계 점수는 가시성($\Omega_{ij}$)과 카메라 이동 사이의 균형을 맞추어, 의미 있는 기선을 제공하는(너무 가깝거나 너무 멀지 않은 포즈를 선택하는) 참조 프레임을 선택합니다.

2. 글로벌 깊이 최적화:

   • 표준 MVS(약 8개 프레임 처리)의 제한된 컨텍스트를 극복하기 위해, ActMVS는 전체 뷰 팩터 그래프에 걸쳐 3D 일관성을 강제합니다.
   • 깊이 일관성 계수: 깊이를 역투영하고 포인트를 워핑한 후, 유효한 대응 관계에 로그 공간 Huber 손실을 적용하여 프레임 쌍 간의 공통 가시 3D 구조를 정렬합니다.
   • 정규화: 기하학적 타당성과 매끄러움을 보장하기 위해 총 변동(Total Variation) 정규화를 포함합니다.
   • 시스템은 반복적인 역전파(Adam 옵티마이저)를 통해 이 비선형 최적화 문제를 해결하며, 기하학적 제약을 점진적으로 전파합니다.

3. 실험 결과

실험은 Habitat 시뮬레이터를 사용하여 Replica 데이터셋(9개 장면)에서 수행되었으며, ActM2S를 최신 RGB-D 베이스라인인 ActiveGS 및 NARUTO와 비교하였습니다.

• 정량적 성능:

  • ActMVS는 렌더링 메트릭(PSNS, SSIM, LPIPS) 및 메쉬 품질 메트릭(Accuracy, Completion, Chamfer distance) 모두에서 모든 RGB 전용 방법 중 최고의 성능을 달연했습니다.
  • RGB-D 방식(ActiveGS)이 일반적으로 더 우수한 성능을 보이지만, ActMVS는 그 성능에 근접하여 다중 뷰 제약 기반의 깊이 최적화가 깊이 센서의 부재를 효과적으로 보완함을 입증했습니다.
  • 절제 연구(Ablation Studies):
    • w/o OPT: 글로벌 최적화를 제거하면 표면 저하와 깊이 불안정이 심각하게 발생합니다.
    • w/o REF: 복셀 기반 참조 선택을 단순 인접 프레임 선택으로 대체하면 불충분한 시차로 인해 MVS 실패가 발생합니다.
    • w/o MVS: MVS를 단안 미터 추정기(DepthAnythingV2)로 대체하면 오차 누적으로 인해 재구성이 완전히 실패합니다.

• 정성적 결과:

  • 시각적 비교 결과, ActMVS는 고품질 메쉬와 새로운 뷰 렌더링을 생성하며, 희소한 뷰포인트로 인해 성능이 저하되는 NARUTO보다 우수하고 ActiveGS의 시각적 충실도에 근접하는 결과를 보여줍니다.

• 확장 시뮬레이션:

  • 프레임워크는 궤적 실행을 위한 Ego-planner를 사용하는 AirSim 내의 쿼드로터 UAV에서 테스트되었습니다.
  • 시스템은 복잡한 환경을 충돌 없이 성공적으로 항행하며, 경로 계획과 재구성 루프의 실현 가능성을 입증했습니다.
  • 참고: 저자들은 현재 3DGS 기반 재구성이 일반적인 온보드 장치의 용량을 초과하는 상당한 비디오 메모리를 요구하므로, 현재 구현에서는 서버 측 처리가 필요함을 인정했습니다.

4. 의의 및 주장

본 논문은 ActMVS를 단안 능동 장면 재구성을 위한 최초의 프레임워크라고 주장합니다. 그 의의는 다음과 같습니다:

• 공간 지능의 발전: 비싼 고중량 깊이 센서 없이도 단 하나의 모노큘러 카메라만으로 로봇/UAV가 안전하고 자율적인 탐사 및 재구성을 수행할 수 있게 합니다.
• 격차 해소: MVS의 미터 단위 정확도와 온라인 매핑에 필요한 글로벌 일관성 사이의 트레이드오프를 성공적으로 해결했습니다.
• 경쟁력 있는 성능: 비전 전용 접근 방식이 RGB-D 방식에 필적하는 성능을 달성할 수 있음을 입증하여, 고성능 능동 재구성을 자원이 제한된 플랫폼에서도 가능하게 만들었습니다.

저자들은 현재 시스템이 상당한 컴퓨팅 자원을 요구하지만, 향후 연구는 물리적 제약 조건이 있는 완전 자율 드론에 대한 실시간 배포를 위해 최적화하는 데 집중할 것이라고 결론지었습니다.