Geometric Foundation Model Distillation for Efficient Lunar 3D Reconstruction

기술 요약: 효율적인 달 3D 재구성을 위한 기하학적 파운데이션 모델 증류(Distillation)

문제 정의
대규모 3D 파운데이션 모델(예: MASt3R, VGGT)은 거대한 트랜스포머 백본과 사전 학습을 활용하여 다중 뷰 스테레오 재구성에서 최첨단 성능을 달est했습니다. 그러나 이러한 모델들은 일반적으로 수억 개에서 10억 개 이상의 파라미터를 포함하고 있어, 메모리와 계산 자원이 부족한 환경에서는 사용하기 어렵습니다. 이러한 제한 사항은 특히 자원 제약이 심한 환경인 행성 탐사, 예를 들어 달 탐사 임무에서 매우 중요합니다. 달의 온보드 컴퓨팅 유닛은 메모리, 전력, 지연 시간 측면에서 엄격한 제약을 받기 때문입니다. 또한, 달 환경은 저질감 표면, 극단적인 조명, 제한된 시차(parallax)와 같은 독특한 과제를 안고 있어, 표준적인 지상 모델은 도메인 적응 없이는 이를 해결하기 어렵습니다. 본 논문은 대규모 도메인 적응형 파운데이션 모델의 밀도 높은 기하학적 능력이 온보드 배포에 적합한 경량 학생 네트워크로 효과적으로 전이될 수 있는지 조사합니다.

방법론
저자들은 달 이미지에 미세 조정된 688.6M 파라미터의 MASt3R 교사(teacher) 모델을 경량 학생(student) 네트워크 제품군으로 압축하는 지식 증류 프레임워크를 제안합니다. 이 접근 방식은 세 가지 핵심 구성 요소를 포함합니다:

1. 학생 아키텍처 설계:

   • 인코더(Encoders): 연구는 다양한 인코더 백본을 평가하며, 합성곱 신경망(MobileNetV3-Large)과 비전 트랜스포머(ViT-Small 및 ViT-Tiny)를 비교합니다.
   • 디코더(Decoders): 저자들은 다양한 디코더 너비와 깊이를 실험합니다. 이들은 "축소된(reduced)" 디코더 구성(임베딩 차원 512, 깊이 6)과 더 공격적으로 압축된 변형(256, 4)을 테스트하며, 예측 헤드(pointmap, descriptors, confidence)는 교사와 동일하게 유지합니다.
   • 학습 전략: 인코더를 동결할 것인지 또는 미세 조정할 것인지, 그리고 특징 수준(feature-level) 또는 출력 수준(output-level) 감독을 사용할 것인지를 탐구하는 실험을 진행합니다.

2. 구조화된 SVD 기반 초기화:
   교사와 학생 간의 차원 불일치를 해결하기 위해, 저자들은 절단된 특이값 분해(truncated Singular Value Decomposition, SVD)를 사용하는 구조화된 초기화 전략을 제안합니다.

   • 교사의 가중치 행렬을 SVD를 통해 분해합니다.
   • 학생의 가중치는 상위 $r$개의 특이 성분(여기서 $r$은 학생의 차원)을 유지함으로써 초기화되며, 이는 교사의 지식을 더 작은 학생의 잠재 공간으로 효과적으로 투영합니다.
   • 다층 디코더의 경우, 균일한 스트라이드 매핑을 사용하여 학생 레이어를 대응하는 교사 레이어와 정렬함으로써 교차 뷰 상관관계의 계층적 구조를 보존합니다.
   • 이 "웜 스타트(warm start)" 방식은 무작위 초기화에 비해 수렴 안정성과 최종 성능을 크게 향상시킵니다.

3. 증류 손실(Distillation Losses):

   • 출력 수준 감독: 학생은 신뢰도 기반 3D 회귀와 대비적 디스크립터 매칭을 결합한 기하학적 손실($L_{geo}$)을 사용하여 교사의 밀도 높은 기하학적 예측(3D 포인트 맵, 신뢰도 점수, 로컬 디스크립터)을 재현하도록 학습됩니다. 교사의 예측은 의사 정답(pseudo ground truth) 역할을 하며, 카메라 포즈 주석이 필요하지 않게 합니다.
   • 특징 수준 정렬: 내부 추론을 유도하기 위해, 특징 수준 손실은 중간 인코더 표현을 정렬합니다. 학습 가능한 선형 투영이 학생의 특징을 교사의 특징 공간으로 매핑한 후, 정렬되지 않은 영역에 집중하는 마진 필터링 코사인 유사도 손실을 적용합니다.

주요 결과
실험은 실제 3D 정보를 담은 벤치마크인 StereoLunar 데이터셋을 대상으로 수행되었습니다. 결과는 다음과 같습니다:

• 압축 효율성: 가장 성능이 우수한 학생 모델(S2)은 ViT-Small 인코더와 표준 디코더를 사용하여 모델 크기를 4.4배(154.9M 파라미터) 줄이면서도 높은 재구성 품질을 유지합니다. 이 모델은 교사 대비 약 15% 높은 Chamfer 오차만을 기록했습니다.
• 디코더 중복성: 축소된 디코더를 가진 학생(S3, 94.0M 파라미터, 교사보다 7.3배 작음)도 경쟁력 있는 성능을 보여, 교사의 디코더 용량 중 상당 부분이 이 작업에서 중복적임을 시사합니다.
• 인코더의 중요성: 트랜스포머 인코더를 경량 CNN(MobileNet, S1)으로 교체하면, S2와 유사한 파라미터 수를 가짐에도 불구하고 경사면 아티팩트와 포즈 추정에서 명확한 성능 저하가 나타납니다. 이는 트랜스포머의 셀프 어텐션이 이 도메인의 교차 뷰 기하학적 추론에 결정적임을 나타냅니다.
• 희소 감독(Sparse Supervision) 대비 우위: 교사의 의사 정답을 사용한 증류는 희소한 실제 정답 주석을 사용하여 직접 학습시킨 베이스라인보다 우수한 성능을 보였으며, Chamfer 오차를 약 18% 감소시켰습니다.
• 포즈 추정: 증류된 모델들은 정확한 카메라 포즈 추정을 달est했습니다. 가장 우수한 학생(S2)은 이미지 대각선의 3.56%에 해당하는 중앙값 가상 대응 재투영 오차(VCRE)를 기록했습니다.

의의 및 주장
본 논문은 자원이 제한된 환경, 특히 행성 탐사를 목표로 하는 3D 재구성 모델 배포를 위한 실질적인 가이드라인을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 일반적인 증류 프레임워크: 688M 파라미터의 교사를 포즈 주석 없이도(교사의 예측을 밀도 높은 감독으로 사용하여) 컴팩트한 네트워크로 압축할 수 있음을 입증했습니다.
2. 아키텍처 통찰: 인코더 유형(ViT vs. CNN)과 디코더 용량 사이의 트레이드오프를 정량화하여, 달 스테레오 재구성을 위해서는 디코더의 규모를 유지하는 것보다 인코더의 용량을 보존하는 것이 더 중요하다는 것을 확립했습니다.
3. 초기화 혁신: 차원 불일치를 해소하여 최적화 안정성과 최종 성능을 개선하는 구조화된 SVD 기반 초기화 방식을 도입했습니다.
4. 학습 전략 절제 실험(Ablation): 특징 수준 증류와 SVD 웜 스타트의 영향을 분리하여, 이들이 고충실도 압축에 필수적임을 보여주었습니다.

저자들은 도메인 적응된 3D 교사를 효율적인 학생 모델로 증류하는 이들의 "레시피"가 고용량 연구 모델과 실제 하드웨어 제약이 있는 애플리케이션 사이의 간극을 메워, 달 착륙선 및 로버에 고급 기하학적 추론을 배포할 수 있는 실행 가능한 경로을 제공한다고 결론짓습니다.