Hestia: Voxel-Face-Aware Hierarchical Next-Best-View Acquisition for Efficient 3D Reconstruction

기술 요약: Hestia – 볼록-면 인지 계층적 차기 최적 시점 획득

문제 제기
3D 재구성과 새로운 시점 합성 (Novel View Synthesis) 의 발전으로 사실적인 렌더링이 가능해졌으나, 재구성을 위한 이미지 획득은 여전히 병목 현상으로 남아 있습니다. 현재의 데이터 수집은 대부분 수동이거나 시간이 많이 소요되며, 단순한 사전 계획된 카메라 궤적에 제한되어 종종 가려진 영역을 포착하지 못합니다. 기존 학습 기반 차기 최적 시점 (Next-Best-View, NBV) 플래너, 특히 다양한 장면에서 일반화를 위해 강화 학습 (RL) 을 사용하는 방법들은 다양한 물체 기하학 구조에 걸쳐 견고성과 성능 측면에서 한계를 겪습니다. 구체적으로, 이전의 일반화 가능한 방법들은 종종 볼록 (voxel) 을 점으로 취급하여 정보 손실을 초래하고, 5 자유도 (5-DoF: x, y, z, yaw, pitch) 의 고차원 연속 행동 공간과 현재 행동과 먼 미래 보상 간의 허위 상관관계 (spurious correlations) 에 직면하여 어려움을 겪습니다.

방법론
본 논문은 물체 중심 장면을 위해 설계된 일반화 가능하고 RL 기반의 NBV 플래너인 Hestia(Hestia: Voxel-Face-Aware Hierarchical Next-Best-View Acquisition for Efficient 3D Reconstruction) 를 소개합니다. Hestia 는 네 가지 핵심 구성 요소를 통해 기존 접근법의 단점을 해결합니다:

1. 볼록-면 인지 표현 (Voxel-Face-Aware Representation):
   볼록을 점 (광선) 으로 취급하는 이전 연구들과 달리, Hestia 는 각 볼록을 정육면체로 취급하여 그 6 개의 면의 가시성을 명시적으로 모델링합니다. 이는 "쿠폰 수집 문제 (coupon collector's problem)"에 기반을 두는데, 점 - 볼록에 대해 광선을 샘플링할 경우 $k$개의 정육면체가 있는 장면에서 약 $k^{-1/6}$의 면이 보이지 않게 남는다는 것입니다. 면 가시성을 관찰 상태와 보상 함수 모두에 통합함으로써, Hestia 는 최소한의 계산 오버헤드로 더 포괄적인 기하학적 포착을 보장합니다.

2. 계층적 행동 공간 (Hierarchical Action Space):
   고차원 연속 5-DoF 행동 공간을 관리하기 위해 Hestia 는 계층적 네트워크 구조를 사용합니다. 전체 시점을 한 단계에서 예측하는 대신, 정책은 먼저 제안 네트워크 (자기 주의 메커니즘이 포함된 3D CNN) 를 사용하여 **주시점 (look-at point, $L_t$)**을 예측합니다. 이후 그리드 인코더와 삼선형 보간 (trilinear interpolation) 이 $L_t$를 기반으로 특징을 추출하여 3-DoF 카메라 위치 ($a_t$) 를 예측합니다. 이 분해는 탐색 공간을 단순화하며, 비행 경로를 계획하기 전에 목표에 집중한다는 직관과 부합합니다.

3. 근접 탐욕 최적화 전략 (Close-Greedy Optimization Strategy):
   Hestia 는 NBV 작업을 근접 탐욕 최적화 문제로 공식화합니다. 보상 함수는 큰 최종 보상에 의존하기보다 즉시적인 커버리지 비율 개선을 우선시합니다. 작은 보상 할인 인자 ($\gamma = 0.1$) 를 사용하여 허위 상관관계를 완화합니다. 이는 하위 최적의 현재 행동이 큰 미래 보상과 잘못 연관되는 현상을 방지합니다. 보상은 새로 가시화된 볼록 면의 증가분에 기반하여 계산되며, 충돌이나 무효 행동에 대한 페널티와 긍정적 이득 사이의 균형을 맞추기 위해 스케일링됩니다.

4. 다양한 데이터셋 및 학습:
   모델은 이전 벤치마크인 Houses3K 에서 발견된 제한된 정육면체 형태를 넘어, Objaverse에서 처리된 훨씬 더 크고 다양한 데이터셋 (18 개 이상의 카테고리 전반에 걸친 120,000 개의 형태) 으로 학습됩니다. 학습 설정은 상태에 그레이스케일 이미지, 카메라 포즈, 시점, 그리고 누적 면 가시성을 포함하는 집계된 점유 그리드가 포함된 마르코프 결정 과정 (MDP) 을 사용합니다.

주요 기여

• 볼록 - 정육면체 패러다임: 볼록을 점이 아닌 정육면체로 취급하는 새로운 관찰 및 보상 설계로, 정보 손실을 줄이고 기하학적 커버리지를 개선합니다.
• 계층적 계획: RL 기반 일반화 계획에서 5-DoF 연속 행동 공간을 효과적으로 처리하는 2 단계 예측 네트워크 (주시점 예측 후 위치 예측).
• 견고한 학습 체계: 허위 상관관계를 줄이기 위한 근접 탐욕 전략의 통합과 다양한 물체 모양 및 배치에 걸쳐 견고성을 보장하기 위한 대규모 다양 데이터셋의 사용.
• 실제 적용 가능성: RGB 카메라 (상태 추정을 위한 깊이 예측기 사용) 가 장착된 드론에서 실제 실내 환경으로 Hestia 를 작동시키는 시연으로, 시뮬레이션 이상의 적용 가능성을 검증했습니다.

실험 결과
Hestia 는 OmniObject3D, Objaverse, Houses3K 세 가지 데이터셋에서 평가되었으며, 최첨단 일반화 및 온라인 학습 베이스라인 (GenNBV, ScanRL, NeU-NBV 등) 과 비교되었습니다.

• 성능 향상: Hestia 는 기존 방법 대비 커버리지 비율 (CR) 에서 최소 4%, 곡선 아래 면적 (AUC) 에서 **6%**의 개선을 달성했으며, 체머 거리 (Chamfer Distance, CD) 는 50% 감소시켰습니다.
• 효율성: 5 장의 이미지라는 제한된 예산으로 Hestia 는 92% 의 커버리지 비율을 달성하여 차기 최선 방법 (GenNBV) 보다 최소 12% 더 높은 성능을 보였습니다.
• 견고성: 이 방법은 다양한 물체 배치 위치 (중앙 대 모서리) 와 다양한 물체 카테고리에서 일관된 성능을 유지하며 베이스라인보다 변동성이 적었습니다.
• 속도: Hestia 는 **초당 25 프레임 (25 FPS)**으로 작동하여 후보 시점 샘플링이나 온라인 최적화 없이 실시간 추론이 가능합니다.
• 절대 연구 (Ablation Studies): 핵심 구성 요소 (면 인지 설계, 탐욕 전략, 또는 계층적 구조) 중 하나를 제거하면 성능이 저하되어 전체 시스템의 필요성을 확인했습니다.

의의
본 논문은 Hestia 가 기존 NBV 플래너에 비해 미미하지 않은 개선을 제공하며, 견고성, 기하학적 세부 사항 포착, 행동 공간 복잡성에서의 중요한 한계를 해결한다고 주장합니다. 볼록을 정육면체로 취급하고 계층적이며 탐욕적으로 최적화된 학습 체계를 적용함으로써, Hestia 는 엄격한 획득 예산 하에서 효율적인 3D 재구성을 가능하게 합니다. 실제 드론 시스템에서의 성공적인 배포는 일반화 가능한 RL 기반 NBV 계획이 특히 신속한 자율 데이터 수집이 필요한 전력 제약 시나리오와 같은 실제 응용 분야에서 실현 가능함을 보여줍니다. 이 연구는 향후 다중 에이전트 확장 및 대규모 야외 스캐닝을 위한 기초를 마련합니다.