Any to Full: Prompting Depth Anything for Depth Completion in One Stage

이 논문은 희소하고 불규칙한 깊이 정보를 단일 단계에서 보정하기 위해 사전 학습된 모노큘러 깊이 추정 모델을 스케일 프롬프트로 적응시키는 범용 프레임워크인 'Any2Full'을 제안하며, 기존 방법들보다 뛰어난 정확도와 효율성을 입증합니다.

핵심

1. 문제: 왜 깊이를 재는 게 힘들까? 🕵️‍♂️

상상해 보세요. 안경을 쓴 채로 흐릿하게 보이는 사진을 찍었는데, 그 사진에 검은색 점들이 무작위로 찍혀서 일부는 보이고 일부는 안 보이는 상태라고 가정해 봅시다.

• 기존 센서의 한계: LiDAR(레이저 거리계) 나 ToF(시간 비행) 센서 같은 상용 센서들은 빛이 반사되지 않는 검은색 물체나 먼 곳에서는 정보가 끊기거나 (Sparse), 구멍이 생깁니다 (Hole).
• 기존 AI 의 문제:
  • 과도한 학습 (Domain Specificity): "이 사진은 실내야, 저 사진은 실외야"라고 구분해서 배우다 보니, 훈련하지 않은 환경 (예: 갑자기 어두워지거나 바닥 재질이 달라짐) 에서는 엉뚱한 답을 내놓습니다.
  • 두 단계의 비효율 (Two-stage): 기존 방법들은 먼저 "대충 추정"을 하고, 그다음 "세부 수정"을 하는 두 단계로 나눕니다. 이는 마치 먼저 대충 그림을 그리고, 그 위에 다시 색칠을 하는 것처럼 시간이 오래 걸리고, 중간에 생긴 실수가 최종 결과에 영향을 줍니다.

2. 해결책: "Any2Full"의 마법 🪄

이 논문에서 제안한 Any2Full은 이 문제를 **한 단계 (One-stage)**로 해결합니다. 핵심 아이디어는 **"이미 잘 알고 있는 전문가 (MDE 모델) 에게 힌트만 주면, 그 전문가가 스스로 완벽하게 채워준다"**는 것입니다.

🎨 비유: "미완성 그림을 채우는 화가"

1. 전문가 (MDE 모델): 이미 수만 장의 사진을 보며 "물체와 배경의 관계", "그림자", "원근감"을 완벽하게 이해하고 있는 천재 화가가 있습니다. 이 화가는 사진만 보면 대략적인 깊이 (어디가 가깝고 어디가 먼지) 를 눈으로만도 알 수 있습니다. 하지만 정확한 '미터 (m)' 단위의 거리는 모릅니다. (예: "저기 나무가 있네"는 알지만, "정확히 5.2 미터 떨어져 있네"는 모릅니다.)
2. 힌트 (Sparse Depth): 우리가 가진 건 점점 끊긴 깊이 정보뿐입니다. 마치 화가에게 "여기 3 미터, 저기 10 미터"라고 몇 군데만 점 (점) 을 찍어준 상태입니다.
3. Any2Full 의 역할 (Scale-Aware Prompt):
   • 기존 방식은 이 점들을 보고 화가에게 "이 점들을 연결해서 그림을 그려봐"라고 시키면, 화가가 혼란을 겪거나 잘못된 선을 그립니다.
   • Any2Full은 화가에게 **"이 점들의 비율을 봐! (Scale Prompt)"**라고 스케일 (크기) 에 대한 힌트만 줍니다.
   • 화가는 자신의 **천재적인 직감 (기하학적 사전 지식)**을 유지하면서, 우리가 준 **힌트 (점들의 상대적 크기)**만 참고해서 전체 그림을 한 번에 완벽하게 채웁니다.

3. 핵심 기술: "스케일-aware 프롬프트 인코더" 🧠

이 기술은 두 가지 단계로 작동합니다.

1. 국부적 풍부화 (Local Enrichment):
   • 끊긴 점들 사이사이를 화가의 **눈 (MDE 모델의 특징)**과 연결합니다.
   • "여기 점과 저기 점의 거리는 이렇고, 화가의 눈으로 볼 때 이 부분은 벽이야"라고 국부적인 맥락을 잡아줍니다.
2. 전역적 전파 (Global Propagation):
   • 이 정보가 그림 전체로 퍼지도록 돕습니다.
   • 중요한 점: 이 전파는 점들의 모양 (패턴) 에 의존하지 않고, 오직 **화가가 본 '기하학적 구조' (벽, 바닥, 물체의 형태)**를 따라 퍼집니다.
   • 비유: 비가 내릴 때 물방울이 땅에 떨어지는 모양 (무작위) 이 아니라, **물이 흐르는 길 (강의 흐름)**을 따라 퍼지도록 하는 것과 같습니다. 그래서 어떤 모양으로 점이 끊겨 있든 (구멍이 났든, 랜덤하게 흩어졌든) 항상 똑똑한 화가가 올바른 길을 찾아냅니다.

4. 왜 이 기술이 대단한가요? 🚀

• 한 번에 끝내기 (One-Stage): "대충 그렸다가 수정"하는 과정을 없애서 속도가 1.4 배 빨라졌습니다.
• 어떤 상황에서도 통함 (Domain Generalization): 훈련한 데이터와 전혀 다른 환경 (실내, 실외, 어두운 곳, 밝은 곳) 에서도 실수 없이 작동합니다.
• 패턴 무관 (Pattern-Agnostic): 깊이가 끊긴 모양이 랜덤이든, 구멍이 났든, 특정 거리만 측정되었든 상관없이 일관된 결과를 냅니다.
• 실제 적용: 이 기술은 실제로 창고 로봇에 적용되었습니다. 검은색 택배 상자는 빛을 흡수해서 센서가 보지 못해 로봇이 잡지 못했는데, Any2Full 이 이 검은 상자의 3D 모양을 완벽하게 복원해 잡기 성공률을 28% 에서 91.6% 로 끌어올렸습니다! 📦🤖

5. 요약: 한 줄로 정리하면?

"이미 세상을 잘 아는 천재 AI(화가) 에게, 끊긴 깊이 정보 (점) 를 '크기 비율'이라는 힌트로만 주면, 그 AI 가 한 번에 완벽한 3D 지도를 그려낸다는 것!"

이 기술은 로봇이 더 똑똑하고 빠르게 세상을 이해하도록 도와주며, 앞으로 우리가 사용하는 모든 자동화 시스템의 눈이 될 것입니다. 👁️✨

기술 요약

Any to Full: Depth Anything 를 활용한 원스텝 (One-Stage) 깊이 완성 (Depth Completion) 기술 요약

1. 문제 정의 (Problem Statement)

로봇 인식 및 자율주행 분야에서 정밀하고 밀도 높은 (dense) 깊이 정보는 필수적입니다. 그러나 LiDAR, ToF(시간비행), 구조광 카메라와 같은 상용 센서는 해상도, 거리, 빛의 반사/흡수 등의 물리적 한계로 인해 희소 (sparse) 이거나 불완전한 깊이 맵을 생성하는 경우가 많습니다. 이를 해결하기 위해 RGB 이미지와 결합하여 밀도 높은 깊이 맵을 복원하는 '깊이 완성 (Depth Completion)' 작업이 필요합니다.

기존 방법론의 주요 한계점은 다음과 같습니다:

• 도메인 특이성 (Domain Specificity): 기존 RGB-D 퓨전 기반 방법들은 훈련 데이터의 RGB 분포와 특정 깊이 패턴에 과도하게 적합되어 있어, 조명, 질감, 장면 변화가 있는 새로운 도메인 (Zero-shot) 에서 성능이 급격히 저하됩니다.
• 깊이 패턴 민감성 (Depth Pattern Sensitivity): 센서의 종류나 결손 패턴 (무작위 결손, 구멍, 거리 제한 등) 이 변하면 성능이 불안정해집니다.
• 2 단계 (Two-Stage) 방식의 비효율성: 최근 단안 깊이 추정 (MDE) 모델을 활용하는 방법들은 두 단계로 나뉩니다. 1 단계에서 상대적 깊이를 메트릭 깊이로 정렬하고, 2 단계에서 세부 정보를 보정합니다. 이 과정에서 **명시적인 정렬 (Explicit Alignment)**은 MDE 가 가진 기하학적 사전 지식 (Geometric Priors) 을 왜곡시키고, 구조적 아티팩트를 유발하며, 추가적인 계산 오버헤드를 발생시킵니다.

2. 제안 방법론 (Methodology: Any2Full)

저자들은 위 문제들을 해결하기 위해 Any2Full이라는 새로운 프레임워크를 제안합니다. 이는 깊이 완성을 사전 훈련된 MDE 모델의 '스케일 프롬프팅 (Scale-Prompting)' 적응 과정으로 재정의하는 원스텝 (One-Stage) 프레임워크입니다.

핵심 아이디어

• 원스텝 아키텍처: 중간 단계의 거친 깊이 맵 (Coarse Depth) 생성이나 별도의 정렬/보정 단계를 거치지 않고, 희소 입력을 바로 MDE 모델에 주입하여 밀도 있는 메트릭 깊이를 한 번의 추론으로 생성합니다.
• 스케일 프롬프팅: MDE 모델은 본질적으로 상대적 깊이 (Relative Depth) 를 예측하므로 스케일 불일치 문제가 있습니다. Any2Full 은 희소 깊이 입력에서 **스케일 단서 (Scale Cues, 점 간의 상대적 비율)**를 추출하여 MDE 모델에 '프롬프트'로 전달함으로써, MDE 의 강력한 기하학적 사전 지식을 유지하면서도 전역적으로 스케일 일관성 (Scale-consistent) 을 갖는 예측을 유도합니다.

주요 구성 요소: 스케일 인식 프롬프트 인코더 (Scale-Aware Prompt Encoder, SAPE)

희소 깊이의 불규칙한 공간 분포와 다양한 희소도 (Sparsity) 문제를 해결하기 위해 설계된 SAPE 는 두 단계의 계층적 모듈로 구성됩니다.

1. 로컬 풍부화 (Local Enrichment):

   • 희소 깊이 특징과 MDE 의 밀도 있는 기하학적 특징을 결합합니다.
   • FiLM (Feature-wise Linear Modulation) 메커니즘을 사용하여 희소 깊이의 스케일 단서를 MDE 의 잠재 공간 (Latent Space) 에 고정시킵니다. 이는 다양한 희소도 수준에서도 안정적인 특징 추출을 가능하게 합니다.

2. 글로벌 전파 (Global Propagation):

   • 로컬에 국한된 스케일 단서를 장면 전체로 확산시킵니다.
   • **MDE 기하학 가이드 어텐션 (MDE Geometry-guided Attention)**을 사용합니다. 여기서 어텐션 가중치는 MDE 의 RGB 기반 기하학적 특징 (Query, Key) 에서만 계산되며, 희소 깊이 (Value) 는 확산 매개체로만 사용됩니다.
   • 이 설계는 희소 깊이의 불규칙한 샘플링 패턴에 편향되지 않고, MDE 가 학습한 기하학적 구조를 따라 스케일 정보가 전파되도록 하여 **패턴 무관성 (Pattern-agnostic)**을 보장합니다.

3. 프롬프트 퓨전 (Scale Prompt Fusion):

   • 생성된 통합 스케일 프롬프트를 MDE 디코더의 여러 계층에 주입하여, 최종 예측이 전역적으로 스케일 일관성을 갖도록 조정합니다.

3. 주요 기여 (Key Contributions)

1. Any2Full 프레임워크: MDE 의 기하학적 사전 지식을 활용하면서도 희소 깊이의 스케일 정보를 프롬프트로 주입하여, 도메인 일반화 (Domain-General) 및 **패턴 무관 (Pattern-Agnostic)**한 깊이 완성을 원스텝으로 수행하는 새로운 패러다임을 제시했습니다.
2. Scale-Aware Prompt Encoder (SAPE): 희소하고 불규칙한 깊이 패턴을 MDE 의 기하학적 가이드 하에 전역적으로 일관된 스케일 특징으로 변환하는 효율적인 모듈을 설계했습니다. 이는 추가적인 계산 부하를 최소화하면서 강력한 스케일 프롬프팅을 가능하게 합니다.
3. 성능 및 효율성: 기존 SOTA 방법들보다 뛰어난 정확도와 속도를 달성했으며, 실제 로봇 그리핑 (Grasping) 환경에서의 배포를 통해 실용성을 입증했습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (NYU-Depth V2, KITTI, iBims-1, DIODE 등) 와 실제 로봇 창고 데이터 (Logistic-Black) 에서 평가되었습니다.

• 정량적 성능:
  • OMNI-DC 대비 평균 AbsREL 32.2% 향상.
  • 동일한 MDE 백본 (Depth Anything v2-Large) 을 사용하는 PriorDA 대비 1.4 배 빠른 추론 속도 (0.49s vs 0.68s) 를 유지하면서 더 높은 정확도를 기록했습니다.
  • 모든 도메인과 깊이 패턴 (Hole, Range, Sparse 등) 에서 일관된 최상위 성능을 보였으며, 특히 기존 방법들이 취약했던 'Range(거리 제한)' 및 'Hole(구멍)' 패턴에서 뛰어난 강건성을 입증했습니다.
• 효율성:
  • MDE 백본에 약 20% 미만의 파라미터만 추가하여 (60.6M), PriorDA 나 Test-time Adaptation 기반 방법들 (Marigold-DC 등) 에 비해 훨씬 경량화되었습니다.
  • 가장 작은 모델 (DA-S) 은 PriorDA 보다 약 7 배, TestPromptDC 보다 1000 배 빠른 속도를 내면서도 기존 방법들보다 높은 정확도를 달성했습니다.
• 실제 적용 (Robotic Grasping):
  • 로봇 창고 환경에서 검은색 패키지를 잡는 작업에 적용되었습니다. 검은색 패키지는 ToF 센서에서 깊이 손실이 심해 기존에는 성공률이 28% 였으나, Any2Full 을 도입한 후 **91.6%**로 크게 향상되었습니다.

5. 의의 및 결론 (Significance)

Any2Full 은 깊이 완성 작업을 단순히 데이터 퓨전 문제가 아닌, 사전 훈련된 MDE 모델의 적응 (Adaptation) 문제로 재해석했습니다.

• 패러다임 전환: 기존의 2 단계 방식 (Coarse 예측 -> 정렬 -> 보정) 이 가진 구조적 왜곡과 계산 비효율성을 제거하고, MDE 의 강력한 기하학적 priors 를 그대로 활용하는 원스텝 스케일 프롬프팅 방식을 제시했습니다.
• 실용성: 도메인 변화와 다양한 센서 결손 패턴에 대한 뛰어난 일반화 능력과 높은 추론 속도로 인해, 자율주행, 로봇 조작, 3D 재구성 등 실시간이 요구되는 실제 응용 분야에 즉시 배포 가능한 솔루션을 제공합니다.
• 미래 지향성: 이 연구는 MDE 기반의 보편적 깊이 인식 프레임워크의 새로운 기준을 제시하며, 향후 더 다양한 시각 입력과 메트릭 깊이 예측을 위한 확장 가능성을 열어주었습니다.

결론적으로, Any2Full 은 정확성, 속도, 일반화 능력을 모두 만족시키는 차세대 깊이 완성 모델로서, 로봇 비전 시스템의 핵심 기술로 자리매김할 것으로 기대됩니다.