UniScale: Unified Scale-Aware 3D Reconstruction for Multi-View Understanding via Prior Injection for Robotic Perception

이 논문은 사전 지식을 모듈식으로 통합하여 카메라 내부 파라미터와 외부 파라미터, 깊이 및 포인트 맵, 그리고 장면의 절대 크기를 단일 네트워크로 추정함으로써 로봇 비전 응용을 위한 강력하고 확장 가능한 3D 재구성 프레임워크인 'UniScale'을 제안합니다.

핵심

1. 문제점: "로봇이 세상을 볼 때 겪는 혼란"

상상해 보세요. 로봇이 카메라로 주변을 비추고 있습니다.

• 문제 1 (크기 모호성): 로봇이 사진만 보고 "저 건물이 얼마나 크지?"라고 생각할 때, 사진 속 건물이 작아 보인다고 해서 실제로 작은 건물이 아닐 수 있습니다. (가까이 있는 작은 장난감과 멀리 있는 큰 건물이 사진에서는 비슷해 보일 수 있죠.) 기존 AI 는 이 '실제 크기 (미터 단위)'를 알기 어려워했습니다.
• 문제 2 (부족한 정보): 로봇이 이미 알고 있는 정보 (예: "내 카메라는 이런 렌즈를 썼어", "나는 지금 이 각도로 돌아갔어") 를 활용하는 데는 한계가 있었습니다.
• 문제 3 (비효율): 정확한 지도를 그리려면 매번 처음부터 다시 공부 (학습) 해야 해서 시간과 계산 능력이 많이 들었습니다.

2. 해결책: UniScale 의 마법 같은 능력

UniScale 은 이 모든 문제를 한 번에 해결하는 **'만능 3D 지도 제작자'**입니다.

🧩 비유 1: "유연한 요리사" (유니버설 설계)

기존의 AI 모델들은 "오직 사진만 주는 요리사"이거나 "오직 지도만 주는 요리사"처럼 역할이 딱딱하게 나뉘어 있었습니다. 하지만 UniScale 은 유연한 요리사입니다.

• 로봇이 "사진만 줘"라고 하면 사진만으로 요리를 하고,
• "내 카메라 정보도 줄게"라고 하면 그 정보를 섞어서 더 맛있는 요리를 합니다.
• 핵심: 처음부터 새로 배우지 않아도, 이미 배운 지식을 바탕으로 새로운 정보를 쉽게 받아들여 더 정확한 3D 지도를 그립니다.

📏 비유 2: "자 (Scale) 를 가진 눈" (미터 단위 재구성)

기존 기술들은 "이건 10 배로 확대된 거야"라고만 알려주지, "정말 10 미터야"라고 알려주지 못했습니다. UniScale 은 **특별한 '자 (Scale Head)'**를 달았습니다.

• 이 '자'는 사진 속의 객체들, 카메라의 위치, 그리고 주변 환경의 맥락을 종합해서 **"이건 실제로 5 미터야, 저건 20 미터야"**라고 정확한 숫자를 알려줍니다.
• 마치 로봇이 눈으로 볼 때, 단순히 모양만 보는 게 아니라 실제 거리감까지 느끼는 것과 같습니다.

🧭 비유 3: "내비게이션과 협력하는 GPS" (사전 지식 주입)

로봇이 길을 찾을 때, 이미 가지고 있는 지도 (사전 지식) 를 활용하면 훨씬 빠르고 정확합니다. UniScale 은 로봇이 가진 **카메라 정보 (초점 거리) 나 위치 정보 (자세)**를 "내비게이션 신호"처럼 받아들입니다.

• 중요한 점은, 이 정보를 무작위로 섞는 게 아니라 역할에 맞게 정확히 전달한다는 것입니다.
  • 카메라 위치 정보는 '카메라 담당'에게,
  • 렌즈 정보는 '화면 담당'에게
  • 각각 필요한 곳에 전달해서 혼란을 줄이고 정확도를 높입니다.

3. 왜 이것이 로봇에게 중요한가요?

• 안전한 이동: 로봇이 "저기 장애물이 2 미터 떨어져 있어"라고 정확히 알면, 부딪히지 않고 안전하게 지나갈 수 있습니다.
• 빠른 적응: 새로운 환경에 가도 처음부터 공부를 다시 할 필요 없이, 기존 지식을 바탕으로 즉시 3D 지도를 그릴 수 있습니다.
• 자원 절약: 무거운 컴퓨터가 없어도, 작은 로봇에서도 이 기술을 쉽게 실행할 수 있도록 설계되었습니다.

4. 요약: 한 줄로 정리하면?

"UniScale 은 로봇에게 '눈'만 주는 게 아니라, '실제 크기'를 재는 '자'와 '지도'를 함께 주는 똑똑한 기술로, 복잡한 세상에서도 로봇이 정확한 3D 지도를 그려 안전하게 활동할 수 있게 해줍니다."

이 기술은 로봇이 우리 일상생활 (물건 나르기, 청소하기, 탐험하기 등) 에서 더 똑똑하고 안전하게 일할 수 있는 기반을 마련해 줍니다.

기술 요약

1. 문제 정의 (Problem)

로봇 비전 및 내비게이션 분야에서 3D 장면 재구성은 핵심적인 과제입니다. 기존 학습 기반의 다중 뷰 (Multi-View) 3D 재구성 방법들은 원시 이미지로부터 뛰어난 성능을 보이지만, 실제 로봇 시스템에 배포할 때 다음과 같은 한계점을 가지고 있습니다.

• 스케일 모호성 (Scale Ambiguity): 단일 이미지나 시퀀스로부터 절대적인 물리적 스케일 (미터 단위) 을 복원하는 것은 본질적으로 잘 정의되지 않은 (ill-posed) 문제입니다. 많은 기존 모델 (VGGT 등) 이 아핀 변환 불변 (affine-invariant) 이나 스케일 불변 (scale-invariant) 출력을 생성하여, 실제 로봇 작업에 필요한 정밀한 거리 측정을 제공하지 못합니다.
• 기하학적 사전 지식의 유연성 부족: 로봇 시스템은 종종 카메라 내부 파라미터 (Intrinsics) 나 외부 파라미터 (Pose) 와 같은 기하학적 사전 정보 (Priors) 를 가지고 있습니다. 하지만 기존 통합 모델들은 이러한 정보를 유연하게 주입하거나, 이를 강제로 이미지 특징에 융합하여 구조화된 기하학적 정보를 활용하는 데 한계가 있었습니다.
• 계산 비용: 기존 방법론들은 종종 처음부터 훈련 (Training from scratch) 을 요구하거나, 복잡한 최적화 파이프라인을 사용하여 로봇의 제한된 컴퓨팅 자원에 부담을 줍니다.

2. 방법론 (Methodology)

UniScale은 VGGT 를 기반으로 확장된 통합 프레임워크로, 단일 순방향 (Feed-forward) 네트워크를 통해 카메라 파라미터, 깊이, 포인트 클라우드, 그리고 절대 스케일을 동시에 추정합니다.

A. 아키텍처 개요

• 백본 (Backbone): DINOv2 를 기반으로 한 트랜스포머 (Transformer) 를 사용하여 이미지 패치 토큰, 클래스 토큰, 그리고 학습 가능한 카메라 토큰을 추출합니다.
• 어그리게이터 (Aggregator): 프레임 간 (Cross-frame) 및 프레임 내 (Intra-frame) 상호작용을 위한 글로벌 어텐션 모듈을 통해 국부적 세부 사항과 글로벌 기하학적 맥락을 인코딩합니다.
• 예측 헤드 (Prediction Heads):
  • 카메라 헤드: 카메라 내부/외부 파라미터를 추정합니다.
  • 밀도 예측 헤드: 정규화된 깊이 맵과 포인트 클라우드를 생성합니다.
  • 스케일 헤드 (Metric-Scale Head): 핵심 구성 요소로, 학습된 특징을 기반으로 장면의 절대적인 물리적 스케일 (S) 을 추정합니다.

B. 핵심 기술: 의미 인식 사전 주입 (Semantic-Aware Prior Injection)

기존의 균일한 주입 방식과 달리, UniScale 은 사전 정보의 역할에 따라 다른 토큰에 주입하는 의미 인식 (Semantic-Aware) 전략을 사용합니다.

• 포즈 인코더 (Pose Encoder): 카메라의 회전 (6D 표현 사용, 불연속성 문제 해결) 과 이동 정보를 카메라 토큰과 스케일 헤드에 주입합니다.
• 내부 파라미터 인코더 (Intrinsics Encoder): 카메라의 초점 거리 등을 '원점 없는 (origin-free)' 레이 이미지 (Raymap) 로 인코딩하여 패치 토큰에 주입합니다.
• 이 방식은 관련 없는 노이즈를 최소화하면서 기하학적 정보를 가장 적합한 헤드로 전달합니다.

C. 메트릭 스케일 예측 (Metric-Scale Prediction)

• 스케일 헤드: 클래스 토큰 (전체 장면 맥락), 어그리게이트된 카메라 토큰 (카메라 정보), 그리고 다운샘플링된 패치 토큰 (패치 간 관계) 을 결합합니다.
• 사전 정보 활용: 사용 가능한 경우, 포즈와 레이 임베딩을 스케일 헤드의 입력에 통합하여 절대 스케일 추정의 정확도를 높입니다.
• 손실 함수: 로그 공간 (Logarithmic space) 에서의 L2 손실을 사용하여 실내/실외 장면의 큰 스케일 변동을 효과적으로 처리합니다.

D. 훈련 전략

• 사전 훈련 모델 활용: VGGT 와 DINOv2 의 가중치를 초기화하여 훈련하므로, 처음부터 훈련하는 것보다 효율적입니다.
• 확률적 사전 주입: 훈련 시 내부 파라미터와 포즈를 확률적으로 무작위로 주입하여, 입력이 누락된 상황에서도 견고한 (Robust) 모델을 만듭니다.
• 데이터셋: Argoverse2, ScanNet, MegaDepth 등 10 개의 합성 및 실제 데이터셋을 혼합하여 훈련했습니다.

3. 주요 기여 (Key Contributions)

1. 통합 메트릭 3D 재구성 프레임워크: 카메라 사전 정보 주입을 지원하며, 로봇 응용을 위한 절대 스케일 복원이 가능한 단일 모델을 제안했습니다.
2. 모듈형 스케일 헤드: VGGT 에서 학습된 글로벌 특징을 미세 조정하여 실제 세계의 스케일을 복원하는 전용 헤드를 설계했습니다.
3. 의미 인식 사전 주입 메커니즘: 각 임베딩의 역할 (카메라 vs 이미지) 에 따라 사전 정보를 지능적으로 라우팅하는 방식을 도입하여 성능을 극대화했습니다.
4. 유연한 통합성: 모듈형 아키텍처 덕분에 기존 통합 3D 인식 프레임워크에 쉽게 통합될 수 있습니다.
5. 성능 입증: 다양한 벤치마크에서 기존 통합 모델 및 단일 작업 모델보다 우수한 일반화 성능과 일관된 결과를 보였습니다.

4. 실험 결과 (Results)

Robust-MVD, KITTI, ScanNet, ETH3D 등 여러 벤치마크에서 SOTA(State-of-the-Art) 방법들과 비교 평가되었습니다.

• 다중 뷰 메트릭 예측: 카메라 파라미터가 알려지지 않은 '이미지만' 입력 조건에서도 기존 모델 (MASt3R, MUSt3R, MapAnything 등) 보다 낮은 상대 오차 (rel) 를 기록하며 SOTA 성능을 달성했습니다.
• 사전 정보 활용: 카메라 내부 파라미터 (Intrinsics) 나 포즈 (Poses) 가 주어질 경우, 성능이 더욱 향상되었으며 특히 포즈 주입 시 메트릭 깊이 예측 정확도가 크게 개선되었습니다.
• 밀도 재구성: ETH3D 및 ScanNet++ 에서 포인트 맵, 깊이, 레이 방향 추정 등 다양한 지표에서 VGGT 와 MapAnything 을 능가했습니다. 특히 깊이 추정 오류가 가장 낮았습니다.
• 실제 환경 (In-the-Wild): EuRoC, TUM RGBD, Oxford Spires 등 훈련 데이터와 다른 환경에서도 강력한 일반화 능력을 보여주었습니다.
• 효율성: MapAnything 이 처음부터 훈련된 반면, UniScale 은 사전 훈련된 모델을 미세 조정하여 훈련 비용을 절감하면서도 더 나은 성능을 냈습니다.

5. 의의 및 결론 (Significance & Conclusion)

UniScale 은 로봇 공학 분야에서 **실제 물리적 스케일 (Metric Scale)**을 가진 3D 지도를 실시간으로 생성할 수 있는 중요한 진전을 이뤘습니다.

• 로봇 적용성: 내비게이션, 매핑, 상호작용 등 하위 작업 (Downstream tasks) 에 필수적인 절대 거리 정보를 제공하여 로봇의 자율성을 높입니다.
• 자원 효율성: 처음부터 훈련할 필요 없이 기존 모델의 지식을 활용하므로, 컴퓨팅 자원이 제한된 로봇 팀에게 적합합니다.
• 유연성: 사전 정보 (카메라 파라미터 등) 가 있든 없든 유연하게 작동하며, 이를 활용할 경우 성능을 극대화하는 'Co-design' 접근법을 제시했습니다.

결론적으로 UniScale 은 스케일 불변성 문제를 해결하고 기하학적 사전 지식을 효율적으로 통합함으로써, 실제 로봇 환경에서 신뢰할 수 있는 3D 재구성을 가능하게 하는 강력한 통합 솔루션입니다.