기술 요약: CasaMaestro

문제 정의

가정 환경을 위한 임바디드 AI(Embodied AI)의 급격한 발전은 내비게이션 및 장기 과제 실행을 지원하기 위해 주거 공간에 대한 빠르고 미터법적으로 정확한 3D 재구성을 필요로 한다. 현재의 최첨단 3D 재구성 파이프라인은 주로 핀홀 카메라(pinhole camera) 기반의 시각 파운데이션 모델(VFM)에 의존한다. 이러한 방식은 다음과 같은 이유로 주택 규모의 실내 장면 적용 시 상당한 한계에 직면한다:

1. 제한된 시야각(FoV): 핀홀 카메라는 여러 방을 커버하기 위해 조밀한 이미지 시퀀스(수천 장의 이미지)를 필요로 하며, 이는 높은 계산 비용과 인간의 노력을 초래한다.
2. 드리프트 및 누적 오차: 조밀한 시퀀스에서의 긴 점진적 정렬 체인은 드리프트를 악화시켜 심각한 재구성 오류를 유발한다.
3. 희소 캡처 실패: 기존의 핀홀 모델은 희소한 뷰포인트(적은 수의 이미지)에서 어려움을 겪으며, 불충분한 중첩으로 인해 장면 기하학을 복구하는 데 실패하는 경우가 많다.
4. 하드웨어 의존성: LiDAR는 고품질 자산을 제공하지만 비용이 많이 들고 하드웨어 종속적인 반면, 비전 기반 솔루션은 대규모의 희소 파노라마 입력에 대한 강건성이 부족하다.

기존의 파노라마 접근 방식은 주로 단일 뷰 깊이 예측이나 소규모의 단거리 다중 뷰 설정(예: 2~5개 뷰)에 국한되어 있어, 희소한 다중 뷰 파노라마를 이용한 주택 규모 재구성의 과제를 해결하지 못하고 있다.

방법론

CasaMaestro는 외부 파라미터(extrinsic) 정보 없이도 희소한 주택 규모 캡처(20~50개의 파노라마)를 사용하여 피드포워드 방식으로 다중 뷰 파노라마 3D 재구성을 수행할 수 있는 최초의 모델로 소개된다. 이 아키텍처는 깊이(depth)와 포즈(pose)를 위한 특화된 헤드를 갖춘 DINOv2 백본을 기반으로 한 미니멀리스트 디자인 철학을 따른다.

1. 통합 다중 뷰 백본 (Unified Multi-View Backbone)

모델은 임의의 개수의 입력 파노라마 뷰($V$)를 처리하기 위해 바닐라 DINOv2 트랜스포머 백본을 활용한다.

• 토큰화(Tokenization): 입력 파노라마는 별개의 뷰로 취급된다. 각 뷰에 대해 패치 임베딩이 생성된다.
• 어텐션 메커즘: 백본은 뷰 내부 셀프 어텐션(개별 뷰를 독립적으로 처리)과 크로스 뷰 셀프 어텐션(뷰 차원을 평탄화하여 서로 다른 뷰의 토큰들이 정보를 교환할 수 있도록 함)을 교대로 수행한다. 이러한 글로벌 상호작용은 포괄적인 장면 컨텍스트를 주입하여 큰 뷰포인트 변위에도 대한 강건성을 향상시킨다.
• 출력: 백본은 깊이 및 포즈 추정에 사용되는 공유 표현(representation)을 생성한다.

2. 파노라마 카메라 포즈 디코더 (Panoramic Camera Pose Decoder)

파노라마 입력의 특정 기하학적 문제를 해결하기 위해, 포즈 추정을 메인 백본에서 분리한 전용 경량 카메라 포즈 디코더가 도입되었다.

• 동기: 백본은 조밀한 특징을 추출하지만, 포즈 추정은 뷰 간의 정렬을 요구하는 글로벌 기하학적 작업이다. 독립적인 회귀(뷰당 MLP)는 명시적인 정보 교환이 부족하다.
• 아키텍처:
  • 특징 투영(Feature Projection): 입력은 모델 차원으로 투영된다.
  • 뷰별 정교화(Per-view Refinement): 잔차 연결(residual connections)을 가진 프리-어텐션 MLP가 토큰을 조건화한다.
  • 크로스 뷰 어텐션: 트랜스포머 디코더 레이어가 뷰 차원 전반에서 정보를 집계하며, 무효한 영역(예: 카메라 폴)을 처리하기 위해 선택적 어텐션 마스크를 활용한다.
  • 포즈 헤드: 별도의 선형 헤드가 이동($\mathbf{t} \in \mathbb{R}^3$)과 회전(단위 쿼터니언 $\mathbf{q} \in \mathbb{R}^4$)을 회귀한다. 회전은 기하학적 타당성을 보장하기 위해 명시적으로 정규화된다.
• 장점: 이 설계는 백본이 특징 추출에 집중하게 하는 동시에, 디코더가 포즈 예측을 위한 글로벌 일관성을 명시적으로 강제할 수 있게 한다.

3. ERP 데이터 증강 (ERP Data Augmentation)

기존 데이터셋(뷰 간 상대적 회전이 최소한인 경우)의 다양한 뷰포인트 부족 문제를 극복하기 위해, 저자들은 새로운 등방성 에퀴렉탱귤러 투영(Equirectangular Projection, ERP) 데이터 증강 전략을 제안한다.

• 프로세스: 레이 회전(ray rotation) 및 리매핑을 통해 소스 파노라마에 적용될 무작위 회전(yaw, pitch, roll)을 샘플링하고 적용한다.
• 일관성: 이 증강은 RGB 이미지와 깊이 지도를 동시에 워핑(warping)하고, 우측 곱셈(right-multiplication)을 통해 카메라 외부 파라미터(회전 블록)를 업데이트함으로써 3D 기하학을 엄격하게 보존한다.
• 영향: 이를 통해 풍부한 포즈-뷰 쌍을 생성하여, 모델의 방향 변화에 대한 강건성을 크게 높이고 크로스 뷰 추론을 촉진한다.

주요 기여

1. CasaMaestro 모델: 미터법 기반의 주택 규모 파노라마 재구성을 위한 최초의 피드포워드 모델이다. 20~50개의 희소한 실내 파노라마를 입력받아 미터법 깊이와 카메라 포즈를 직접 예측하여, 집 전체의 즉각적인 포인트 클라우드 재구성을 가능하게 한다.
2. 경량 포즈 디코더: 파노라마 입력의 큰 변위를 처리하도록 설계된 특화된 디코더로, 크로스 뷰 어텐션 메커직을 통해 우수한 포즈 추정 정확도를 달ien한다.
3. ERP 데이터 증강: 기존 데이터의 제한된 뷰포인트 회전 문제를 해결하기 위해 다양한 포즈-뷰 쌍을 생성하는 새로운 전략이다.

실험 결과

모델은 Realsee3D 데이터셋에서 학습되었으며, 실제 및 합성 장면 모두에서 평가되었고, 보지 못한 데이터셋(PanoSUNCG, HM3D, Replica)에 대한 제로샷 테스트도 수행되었다.

• 포즈 추정: CasaMaestro는 기존 방법들(PanoPose, SPR, VGGT, Pi3 포함)을 크게 능가한다.
  • Realsee-Real에서 AUC@30 0.903을 달성하였으며, 이는 기존 최고 결과 대비 84% 개선된 수치이다.
  • Realsee-Syn에서 AUC@30 0.927을 달성하였으며, 이는 119% 개선된 수치이다.
  • 다른 방법들이 높은 회전 오차를 겪거나 희소 뷰에서 구조 재구성에 실패하는 것과 달리, CasaMastro는 균형 잡힌 낮은 회전 및 이동 오차를 보여준다.
• 깊이 추정:
  • CasaMaestro는 Realsee-Real에서 AbsRel 0.078, Realsee-Syn에서 0.079를 달성하였다.
  • 보지 못한 데이터셋에 대한 제로샷 평가에서, 명시적으로 깊이만을 위해 설계되지 않았음에도 불구하고 기존 최고의 파노라마 깊이 추정 방법들과 비교하여 평균 21.98%의 AbsRel 감소를 보여주었다.
• 정성적 성능: 시각적 비교를 통해, 희소한 입력 상황에서 다른 방법들이 지저분하거나 손상된 재구성을 생성하는 반면, CasaMaestro는 완전한 커버리지와 기하학적 일관성을 갖춘 주택 구조를 정확하게 복원함을 보여준다.

의의 및 주장

본 논문은 CasaMaestro가 피드포워드 "Any-view" 재구성이 핀홀 카메라에만 국한되지 않음을 입증함으로써 3D 재구성의 새로운 패러다임을 구축한다고 주장한다. 다중 뷰 파노라마를 활용함으로써 모델은 다음을 달성한다:

• 효율성: 주택 규모 장면에 대해 재구성 시간을 약 25초(조밀한 핀홀 방식)에서 0.56초로 단축한다.
• 강건성: 기존 방식들이 실패하는 희소한 입력(20~50개 뷰)을 성공적으로 처리한다.
• 시뮬레이션을 위한 기반: 임바디드 AI의 폐쇄 루프 시뮬레이션을 위한 주택 규모 3D 실내 자산 획득의 강력한 토대를 제공한다.

저자들은 파노라마와 피쉬아이 카메라를 기반으로 구축된 비전 파운데이션 모델의 부상이 좁은 시야각의 핀홀 모델의 한계를 넘어 3D 작업의 새로운 혁명을 제공할 수 있다고 결론짓는다.