기술 요약: 공간 인지를 위한 마스크된 깊이 모델링 (LingBot-Depth)

1. 문제 정의

정확한 3D 공간 인지는 자율 주행 및 로봇 조작과 같은 물리적 세계 응용 분야에서 매우 중요합니다. RGB-D 카메라는 실시간, 절대적 미터법 스케일(metric scale), 그리고 픽셀 정렬된 밀집 기하 구조를 제공할 수 있는 유일한 모달리티이지만, 고유한 하드웨어 한계를 가집니다. 구체적으로, 이러한 센서에 사용되는 스테레오 매칭 알고리즘은 외관의 모호성에 매우 취약하여, 저질감 표면, 경면 반사(specular reflections), 복잡한 조명과 같은 까다로운 시나리오에서 심각한 데이터 손상 및 결측치(holes)를 초래합니다.

기존의 접근 방식들은 이러한 누락된 측정값을 버려야 할 노이즈로 취급하는 경우가 많습니다. 그러나 본 논문은 이러한 부정확성이 단순한 오류가 아니라, 근저에 깔린 기하학적 및 외관적 모호성을 본질적으로 반영하는 "마스크된(masked)" 신호라고 주장합니다. 핵심 과제는 자연적으로 발생하는 이러한 누락 영역을 활용하여, 센서가 실패하는 지점에서도 기하 구조를 완성할 수 있는 견고하고 미터법 스케일의 깊이 표현을 학습하는 것입니다.

2. 방법론: 마스크된 깊이 모델링 (MDM)

저자들은 새로운 마스크된 깊이 모델링 (Masked Depth Modeling, MDM) 프레임워크를 기반으로 한 깊이 완성 모델인 LingBot-Depth를 제안합니다. 이 접근 방식은 자기 지도 학습 기반의 마스크된 이미지 모델링(예: MAE)의 원리를 채택하되, 목적을 외관 재구성이 아닌 RGB-D 입력을 사용한 깊이 맵 예측으로 전환합니다.

2.1 핵심 아키텍처

모델은 Vision Transformer (ViT-Large) 인코더와 ConvStack 디코더를 사용합니다.

• 분리된 패치 임베딩 (Separated Patch Embedding): RGB 이미지와 깊이 맵은 별도의 패치 임베딩 레이어를 통해 처리되어 정렬된 RGB 및 깊이 토큰을 생성합니다.
• 위치 임베딩 (Positional Embeddings): 시스템은 공유된 2D 공간 위치 임베딩과 모달리티별 임베딩(RGB와 깊이 토큰 구분)을 모두 사용하여 공간적 위치와 입력 소스의 정체성을 포착합니다.
• 결합 임베딩 (Joint Embedding): 인코더는 전체의 마스크되지 않은 RGB 컨텍스트와 남은 유효한 깊이 토큰에 어텐션을 수행함으로써 결합된 표현을 학습합니다.
• ConvStack 디코더: 픽셀 재구성을 위해 얕은 Transformer 디코더를 사용하는 표준 MAE와 달리, LingBot-Depth는 계층적 ConvStack 디코더를 사용합니다. 이는 밀집한 기하학적 예측에 더 적합합니다. 디코더는 잠재적인 깊이 토큰을 버리고, 강화된 컨텍스트 토큰(전역 장면 컨텍스트를 통해 풍부해진 RGB 특징)으로부터 전체 깊이 맵을 재구성합니다.

2.2 마스킹 전략

핵심적인 혁신은 센서의 실패를 "자연스러운 마스크"로 해석하는 것입니다.

• 자연스러운 마스킹 (Natural Masking): 무작위 마스킹 대신, 모델은 누락되거나 유효하지 않은 센서 측정값에 해당하는 깊이 토큰을 마스킹합니다.
• 적응형 마스킹 (Adaptive Masking): 유효한 값과 유효하지 않은 값이 혼합된 패치의 경우, 높은 확률(예: 0.75)로 마스킹이 적용됩니다. 자연스러운 마스크 비율이 불충분할 경우, 목표 비율인 60~90%에 도달할 때까지 추가적인 유효 토큰들이 무작위로 마스킹됩니다.
• 학습 신호 (Learning Signal): 모델은 완전한 RGB 컨텍스트와 희소한 유효 깊이 토큰 사이의 상관관계를 추론하도록 강제됩니다. 이는 단안 깊이 추정(모든 깊이가 마스킹되었을 때)과 깊이 완성(유효하지 않은 토큰만 마스킹되었을 때)의 목적을 통합합니다.

2.3 데이터 큐레이션 파이프라인

대규모 MDM 학습을 지원하기 위해, 저자들은 3백만 개의 RGB-D 쌍(실제 데이터 2백만 개, 합성 데이터 1백만 개)을 생성하는 확장 가능한 데이터 파이프라인을 구축했습니다.

• 합성 브랜치 (LingBot-Depth-S): Blender의 자체 호스팅 3D 에셋을 사용하여 RGB 이미지, 완벽한 깊이, 스테레오 쌍을 렌더링합니다. 결정적으로, 스테레오 쌍에 Semi-Global Matching (SGM)을 적용하여 자연스러운 결함이 포함된 "센서와 유사한" 깊이 맵을 생성함으로써 실제 세계의 센서 아티팩트를 시뮬레이션합니다.
• 실제 세계 브랜치 (LingBot-Depth-R): 다양한 소비자용 RGB-D 카메라(예: Intel RealSense, Orbbec Gemini, ZED)와 호환되는 모듈형 3D 프린팅 캡처 리그를 활용합니다. 캡처된 IR 쌍에 대한 스테레오 매칭을 통해 의사 깊이(pseudo-depth) 라벨을 생성하며, 오류를 필터링하기 위한 일관성 검사를 수행합니다.
• 보충 데이터: 학습 세트는 7개의 오픈 소스 RGB-D 데이터셋으로 증강되었으며, 각 데이터의 특성에 맞게 마스킹 전략이 조정되었습니다.

3. 주요 결과

3.1 깊이 완성 (Depth Completion)

LingBot-Depth는 두 가지 프로토콜(블록 단위 깊이 마스킹 및 희소 SfM 입력) 하에서 표준 벤치마크(iBims, NYUv2, DIODE, ETH3D)를 통해 평가되었습니다.

• 성능: 모델은 모든 난이도 수준에서 기존의 최첨단 방법들(OMNI-DC, PromptDA, PriorDA)을 일관되게 능가했습니다.
• 지표: 실내 벤치마크에서 극단적인 설정 시 경쟁 모델 대비 RMSE를 40% 이상 감소시켰습니다. 도전적인 ETH3D 희소 SfM 프로토콜에서, 실내에서는 RMSE를 47%, 실외에서는 38% 줄이며 최첨단 성능(SOTA)을 달립했습니다.
• 정성적 결과: 모델은 특히 심각한 폐쇄(occlusion) 또는 희소한 관측이 있는 영역에서 더 날카로운 깊이 경계와 더 일관된 구조를 생성합니다.

3.2 단안 깊이 추정 (Monocular Depth Estimation)

MoGe의 백본(DINOv2 대체)으로 사용되었을 때, MDM으로 사전 학습된 인코더는 10개의 다양한 벤치마크(실내, 실외, 합성 및 실제 세계)에서 우수한 단안 깊이 추정 성능을 보여주었습니다.

• 일반화: 모델은 affine-invariant, scale-invariant, disparity-invariant 지표 전반에서 일관된 개선을 보였으며, 이는 MDM이 인코더에 3D 기하학적 지식을 효과적으로 증류(distill)했음을 시사합니다.

3.3 FoundationStereo 통합

LingBot-Depth를 FoundationStereo의 사전 지식(prior)으로 사용한 결과:

• 빠른 수렴: 모델은 에포크 5에서 강력한 성능을 달성하여, 바닐라 베이스라인을 크게 앞질렀습니다.
• 안정성: MoGe 기반 변체에서 관찰되는 학습 불안정성을 피했습니다.
• 최종 정확도: 에포크 15까지 테스트된 모든 벤치마크(ETH3D, Middlebury, Booster 등)에서 최고 수준 혹은 그에 준하는 결과를 달성했습니다.

3.4 다운스트림 애플리케이션

본 논문은 Ling-Depth의 제로샷 또는 최소 파인튜닝 시나리오에서의 유용성을 입증합니다.

• 비디오 깊이 완성: 정적 이미지로 학습되었음에도 불구하고, 모델은 시간적으로 일관된 깊이 스트림을 생성합니다. 투명하거나 반사되는 표면(예: 유리 벽, 수족관 터널)과 같이 구조광(structured-light) 및 스테레오 센서가 모두 실패하는 영역에서도 성공적으로 누락된 영역을 채웁니다.
• 3D 포인트 트래킹: SpatialTrackerV2에 통합된 정교한 깊이는 광범위한 유리 표면이 있는 장면에서 더 부드럽고 정확한 카메라 궤적 추정 및 동적 객체 트래킹을 가능하게 합니다.
• 로봇 파지 (Robotic Grasping): 실제 데스털러스 파지 작업(Rokae arm + X Hand-1)에서, 모델은 일반적인 센서가 해결하지 못하는 까다로운 물체(투명한 유리그릇, 반사되는 그릇)를 성공적으로 잡을 수 있게 했습니다. 성공률이 유의미하게 향상되었습니다 (예: 강철 컵의 경우 17/20 vs 13/20; 투명한 컵의 경우 16/20 vs 12/20).

4. 의의 및 주장

본 논문은 LingBot-Depth가 RGB-D 센서의 한계를 다루는 데 있어 패러다임의 전환을 나타낸다고 주장합니다. 센서의 실패를 노이즈가 아닌 "자연스러운 마스크"로 취급함으로써, 모델은 시각적 컨텍스트로부터 기하 구조를 추론하는 법을 배우며, 희소하거나 유효하지 않은 센서 데이터와 밀집하고 미터법적으로 정확한 3D 인지 사이의 간극을 효과적으로 메웁니다.

저자들은 다음과 같은 점을 강조합니다:

1. 하드웨어를 능가함: 모델은 특히 어려운 조명 및 재질 조건에서 깊이 정밀도와 픽셀 커버리지 모두에서 최고 수준의 상용 RGB-D 카메라보다 뛰어난 성능을 보입니다.
2. 태스크 통합: MDM 프레임_워크는 마스킹 전략에 따라 깊이 완성 도구와 단안 깊이 추정기 모두로 기능할 수 있는 다재다능한 범용 모델 역할을 합니다.
3. 로봇 활용 가능성: 견고한 깊이 예측과 정렬된 잠재 표현은 일반적으로 기존 센서를 무력화시키는 물체의 신뢰할 수 있는 조작을 가능하게 하여, 로보틱스 분야의 공간 인지에 대한 즉각적인 실용적 가치를 입증합니다.

저자들은 공간 인지에 대한 추가 연구를 촉진하기 위해 코드, 체크포인트 및 큐레이션된 3백만 개의 RGB-깊이 데이터셋을 커뮤니티에 공개합니다.