🤖 AI

Vanishing Depth: Training Generalized Depth Adapters with Sinusoidal Depth Preprocessing for Pretrained RGB Encoders

본 논문은 사전 학습된 RGB 인코더를 사인파 형태의 깊이 인코딩 어댑터로 확장하여, 미세 조정 없이도 일반화되고 견고한 메트릭 깊이 이해를 달능하고 다양한 RGB-D 다운스트림 작업에서 우수한 성능을 달성하는 자기 지도 학습 방식을 제안한다.

원저자: Paul Koch, Jörg Krüger

게시일 2026-06-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Paul Koch, Jörg Krüger

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑하고 잘 훈련된 로봇의 눈(사전 학습된 RGB 인코더)을 상상해 보세요. 이 눈은 2D 사진 속의 사물, 색상, 모양을 인식하는 데 매우 뛰어납니다. 이 눈은 "의자"가 어떻게 생겼는지는 알지만, 그 의자가 얼마나 멀리 떨어져 있는지는 전혀 모릅로다. 즉, 평면적인 세상을 보고 있는 것입니다.

로봇이 실제로 무언가를 수행하려면(예: 컵을 집거나 방 안을 이동하기 위해) 깊이(3D 공간에서 사물이 얼마나 떨어져 있는지)를 이해해야 합니다. 보통 로봇에게 이러한 기술을 가르치려면 전체 뇌를 처음부터 다시 훈련시켜야 하는데, 이는 시간이 오래 걸리고 비용이 많이 들며, 이미 학습한 모양이나 색상에 대한 영리한 지식들을 망가뜨리는 경우가 많습니다.

이 논문은 **"Vanishing Depth(소멸하는 깊이)"**와 **"Sinusoidal Depth Preprocessing(사인파 기반 깊이 전처리)"**이라는 영리한 "플러그인" 솔루션을 소개합니다. 이 기술이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. "Depth Adapter (깊이 어댑터)" (만능 번역기)

로봇의 기존 뇌를 2D 음식 사진을 요리하는 데 능숙한 숙련된 셰프로 생각해 보세요. 저자들은 이 셰프의 주방에 끼워 넣을 수 있는 작고 탈착 가능한 어댑터("Depth Adapter")를 만들었습니다.

역할: 이 어댑터는 셰프의 2D 지식을 가져와 새로운 3D 깊이 정보와 혼합합니다.
마법 같은 점: 셰프가 기존의 요리법을 잊어버리게 강요하지 않습니다. 대신, 셰프가 거리까지도 이해할 수 있도록 가르칩니다. 원래의 뇌는 변함없이 그대로 유지되지만, 이제 로봇은 세상을 3D로 볼 수 있게 됩니다.
이점: 셰프 전체를 다시 훈련시킬 필요가 없습니다. 어댑터를 꽂기만 하면 로봇은 세그멘테이션(객체 분할), 포즈 추정(객체의 위치 파악), 또는 누락된 깊이 데이터 채우기와 같은 새로운 작업에 바로 투입될 준비가 됩니다.

2. "Vanishing Depth (소멸하는 깊이)" 훈련 (눈 가리고 하는 게임)

단순히 특정 사진을 암기하는 것이 아니라, 이 어댑터가 깊이를 이해하도록 어떻게 가르칠 수 있을까요? 저자들은 **"Vanishing Depth"**라는 게임을 사용했습니다.

당신이 누군가에게 산맥을 인식시키는 법을 가르치고 있다고 상상해 보세요. 완벽한 사진을 보여주는 대신, 당신은 다음과 같이 합니다:

사진의 일부를 숨깁니다: 눈가리개(무작위 노이즈)로 사진의 50%를 가립니다.
규모를 변경합니다: 무작위로 확대하거나 축소하여 산이 거대하게 보이거나 아주 작게 보이게 만듭니다.
위치를 이동합니다: 산을 왼쪽이나 오른쪽으로 움직입니다.
목표: 학생(AI)은 보이는 부분과 그 형태를 보고 숨겨진 부분이 어떻게 생겼을지 추측해야 합니다.

이 과정을 수천 개의 서로 다른 깊이 지도(depth map)를 대상으로 반복함으로써, AI는 단순히 특정 사진을 외우는 것이 아니라 깊이의 진정한 구조를 학습하게 됩니다. 이를 통해 AI는 누락된 데이터, 노이즈가 섞인 센서, 그리고 다양한 거리에 매우 견고하게 대응하는 법을 배웁니다.

3. "Sinusoidal Depth Preprocessing (사인파 기반 깊이 전처리)" (무한한 눈금이 있는 자)

AI에게 깊이를 가르치는 일반적인 방식은 1미터, 2미터, 3미터에만 눈금이 있는 자를 사용하는 것과 같습니다. 만약 1.5미터 지점에 있는 물체를 보여주면 AI는 혼란에 빠집니다.

저자들은 **"Sinusoidal Depth Preprocessing (SDP)"**라고 불리는 새로운 깊이 측정 방식을 발명했습니다.

비유: 이 자는 단순히 직선 형태가 아니라, 계속해서 반복되는 부드러운 물결 패턴(사인파와 같은 형태)을 가지고 있습니다.
왜 더 나은가: 이 물결 패턴 덕분에 AI는 깊이를 고정된 숫자 사이를 건너뛰는 것이 아니라, 부드럽고 연속적인 흐름으로 이해할 수 있습니다. 이를 통해 AI는 1.001미터와 같은 미세한 차이부터 500미터와 같은 큰 차이까지 동일한 능숙함으로 다룰 수 있습니다.
결과: 이는 특히 깊이 데이터가 지저 혹은 드문드문할 때(예: 몇 개의 점을 놓치는 레이저 스캐너) AI를 훨씬 더 정밀하고 안정적으로 만들어 줍니다.

무엇을 증명했는가?

저자들은 이 "어댑터"를 다양한 작업에 테스트했으며, 특정 작업을 위한 추가 훈련(파인튜닝) 없이도 현재 사용 가능한 거의 모든 방식보다 뛰어난 성능을 보였습니다.

세그멘테이션 (Segmentation): 방 안의 객체를 식별하고 윤곽을 그리는 작업에서, 이 시스템은 SUN-RGBD 데이터셋 기준 최고 수준의 점수(56.05 mIoU)를 기록하며 복잡한 다중 모달 시스템들을 제쳤습니다.
포즈 추정 (Pose Estimation): 객체가 3D 공간에서 정확히 어떻게 회전되어 있는지 파악하는 작업에서, 이 시스템은 이전 방식들을 크게 압도했습니다.
견고성 (Robustness): 깊이 데이터에 노이즈가 있거나, 누락되었거나, 이상한 왜곡이 발생하더라도 이 시스템은 잘 작동했습니다. 반면 다른 시스템들은 오류가 나거나 잘못된 답을 내놓았습니다.

핵심 요약

이 논문은 "범용 깊이 플러그인"을 제시합니다. 이는 똑똑한 2D 인식 AI를 가져와 즉시 3D 인식 기능으로 업그레이드합니다. 저자들은 "빈칸 채우기" 게임(Vanishing Depth)을 통해 AI가 깊이를 이해하도록 가르치고, 매우 정밀한 물결 모양의 측정 도구(Sinusoidal Preprocessing)를 사용하여 이를 달성했습니다. 그 결과, 이 로봇 시각 시스템은 정확하고 견고하며, 재학습 없이도 새로운 작업에 즉시 투입될 수 있는 준비가 되어 있습니다.

기술 요약: Vanishing Depth: 사전 학습된 RGB 인코더를 위한 사인 함수 기반 깊이 전처리(Sinusoidal Depth Preprocessing)를 이용한 일반화된 깊이 어댑터 학습

문제 정의

DINOv2와 같은 자기 지도 학습(SSL) 기반의 최신 상태(SOTA) 비전 파운데이션 모델들은 RGB 이미지로부터 일반화된 특징을 추출하는 데 탁월합니다. 그러나 이들은 로보틱스, 포즈 추정(pose estimation), 깊이 완성(depth completion)과 같이 절대적인 3D 위치 정보가 필수적인 다운스트림 작업에 중요한 메트릭 깊이 이해(metric depth understanding) 능력이 결핍되어 있습니다. 깊이를 통합하기 위한 기존 방식들은 다음과 같은 문제점을 가집니다:

태스크 특화 미세 조정(Task-specific finetuning): 이는 사전 학습된 과정에서 학습된 일반화된 특징을 손상시킬 수 있습니다.
깊이 인코더의 무작위 초기화(Random initialization of depth encoders): 다양한 데이터셋에 대한 일반화 능력 부족으로 이어집니다.
멀티모달 사전 학습(Multi-modal pretraining): OmniVec이나 MultiMAE와 같은 방법들은 모달리티를 정렬하지만, 분류나 세그멘테이션을 위한 일반적인 컨텍스트에 집중할 뿐 픽셀 단위의 메트릭 깊이 정밀도를 강제하는 데는 종종 실패합니다.

결과적으로, 태스크별 미세 조정 없이도 사전 학습된 RGB 잠재 공간(latent space)에 메트릭 깊이를 통합하면서, 깊이 밀도, 분포 및 노이즈의 변화에 견고하게 대응할 수 있는 일반화된 RGBD 인코더에 대한 문헌적 공백이 존재합니다.

방법론

저자들은 Vanishing Depth 파이프라인을 통해 학습되는 두 가지 주요 구성 요소인 **깊이 어댑터(Depth Adapter, DA)**와 사인 함수 기반 깊이 전처리(Sinusoidal Depth Preprocessing, SDP) 프레임워크를 제안합니다.

1. 깊이 어댑터 (DA) 구조

베이스(Base): 이 방법은 기존의 사전 학습된 RGB 인코더(예: DINOv2 기반의 ViT-B)를 확장하여 병렬적인 깊이 인코더 브랜치를 추가합니다.
융합(Fusion): 특정 중간 계층(예: 레이어 3, 6, 9, 12)에서 RGB와 깊이 신호를 융합하기 위해 "Skip & Embed (S&E)" 메커니즘을 사용합니다. 이를 통해 깊이 인코더가 동결된 RGB 인코더의 일반화된 의미론적 특징을 활용할 수 있게 합니다.
학습 전략: 사전 학습된 RGB 인코더는 일반화된 특징을 보존하기 위해 **동결(frozen)**됩니다. 오직 깊이 어댑터와 디코더 헤드만이 학습됩니다. 이는 모델이 견고한 RGB 표현력을 "망각(unlearn)"하지 않도록 보장합니다.
디코더(Decoder): 조밀한 메트릭 깊이 예측을 위해 4개의 특징 피라미드 네트워크(FPN) 헤드를 갖춘 경량 U-Net 디코더를 사용합니다.

2. 사인 함수 기반 깊이 전처리 (SDP)

동기(Motivation): 표준적인 깊이 정규화(예: [0,1] 스케일링 또는 변위(disparity) 맵 사용)는 다양한 깊이 분포, 밀도 및 섭동(perturbations)에 취약합니다.
메커니즘: SDP는 연속적인 깊이 값 $d_j$ 를 다음과 같은 사인 함수 특징 세트로 인코딩합니다:
$SDP(d_j, 2i) = \sin(l/T^{2i/c}), \quad SDP(d_j, 2i+1) = \cos(l/T^{2i/c})$
여기서 $l = 2\pi(d_j / \max(d))$ 입니다.
정규화(Normalization): SDP는 전역 최대 깊이(GSDP)와 지역 최대 깊이(LSDP)를 모두 지원합니다. LSDP의 경우, 최대 깊이 값이 벡터로 인코딩되어 CLS 토큰에 더해지며, 이를 통해 모델이 메트릭 깊이를 동적으로 디코딩할 수 있게 합니다.
이점: 이 접근 방식은 클래식한 위치 인코딩(positional encodings)이 토큰 로컬라이제이션을 위해 설계된 것과 달리, 입력 깊이 분포나 절대적 스케일에 관계없이 [-1, 1] 범위 내에서 안정적인 특징 추출을 제공합니다.

3. Vanishing Depth 학습 파이프라인
모델이 깊이 밀도 및 분포 불변(depth density and distribution invariant) 표현을 학습하도록 하기 위해, 학습 파이프라인은 인페인팅(inpainting)에서 영감을 얻은 "vanishing depth" 전략을 채택합니다.

데이터 증강(Data Augmentation): 다양한 비율(1~99%)의 깊이 픽셀을 제거하기 위해 Perlin 노이즈와 무작위 크기 조정 노이즈를 사용하여 깊이 맵을 조작합니다.
분포 불변성(Distribution Invariance): RGB로부터의 단안 깊이 단서(monocular depth cues)에만 의존하는 것을 방지하기 위해 깊이 샘플에 무작위 오프셋, 스칼라 및 리스케일링을 적용합니다.
손실 함수(Loss Function): 다중 스케일 균형 스케일 불변(Multi-scale Balanced Scale-Invariant, SI) 손실을 사용하여, 존재하는 깊이 픽셀의 재구성과 누락된(마스킹된) 깊이 픽셀의 예측 사이의 균형을 맞춤으로써 모델이 조밀하거나 희소한 입력 모두에서 잘 작동하도록 보장합니다.

주요 기여

일반화된 깊이 어댑터: 베이스 인코더를 미세 조정하지 않고도 메트릭 깊이를 처리할 수 있도록 사전 학습된 RGB 인코더를 확장하는 방법으로, 다양한 RGBD 태스크에 "즉시 사용 가능한(out-of-the-box)" 적응을 가능하게 합니다.
사인 함수 기반 깊이 전처리 (SDP): 다양한 깊이 분포, 밀도 및 노이즈 수준을 처리하는 데 있어 표준 정규화보다 뛰어난 성능을 보이는 새로운 전처리 기술입니다.
Vanishing Depth 학습: 희소하고 노이즈가 많은 깊이 입력을 시뮬레이션함으로써, 모델이 데이터 누락 및 분포 변화에 견고해지도록 학습시키는 자가 지도 학습 파이프라인입니다.
제로 미세 조정 적응성 (Zero-Finetuning Adaptability): 결과 모델은 동결된 인코더와 경량 디코더 헤드만을 사용하여 다양한 다운스트림 태스크(세그멘테이션, 깊이 완성, 6D 객체 포즈 추정)에 적용될 수 있으며, 이를 통해 전체 미세 조정의 계산 비용과 과적합 위험을 피할 수 있습니다.

실험 결과

저자들은 SUN-RGBD, NYU-v2, KITTI, Void, YCBV 등의 데이터셋을 포함한 세그멘테이션, 깊이 완성, 6D 객체 포즈 추정 작업에 대해 이 접근 방식을 평가했습니다.

세그멘테이션: 제안된 방법은 SUN-RGBD 데이터셋에서 56.05 mIoU를 달 기록하며, 기존의 SOTA 깊이 인식 및 멀티모달 인코더(예: OmniSegmentor, DFormerV2)를 능가하였고, RGB 베이스라인(DINOv2)보다 크게 향상된 성능을 보였습니다. 또한 단안 추정을 통해 합성된 깊이를 사용하는 RGB 전용 데이터셋에서도 효과적임을 입증했습니다.
깊이 완성: 희소 깊이 완성 작업(KITTI, Void)에서 SDP 기반 어댑터는 정규화 기반 깊이 인코딩 및 다른 SOTA 방법들과 비교하여, 특히 희소한 입력 처리 시 우수한 정밀도를 보여주었습니다.
포즈 추정: 6D 객체 포즈 추정(YCBV, HomeBrew, LM-O)에서 깊이 어댑터는 동결된 RGB 인코더의 성능을 크게 개선했습니다 (예: YCBV에서 DINOv2 단독 72.5 AUC 대비 DINOv2 + DA는 84.1 AUC 달성). 이 방법은 깊이가 도입되었을 때 성능이 저하되는 경우가 많은 Omnivore 및 MultiMAE와 같은 멀티모달 베이스라인보다 뛰어난 성능을 보였습니다.
견고성: 절제 연구(Ablation studies)를 통해 SDP가 표준 정규화보다 노이즈와 희소성에 더 탄력적임을 확인했습니다. 정규화 기반 방법들이 무작위 노이즈와 누락된 깊이에서 어려움을 겪는 반면, SDP는 안정성을 유지했습니다.

의의 및 주장

본 논문은 이 연구가 일반화된 파운데이션 모델과 메트릭 깊이 이해 사이의 간극을 메운다고 주장합니다. 태스크별 미세 조정을 피함으로써, 이 방법은 새로운 환경에 대한 빠른 적응이 필요한 로보틱스 및 다중 에이전트 시스템을 위한 모듈식이고 효율적인 솔루션을 제공합니다.

일반성: 이 접근 방식은 특정 데이터셋에 국한되지 않으며, 다양한 깊이 밀도와 분포에 걸쳐 일반화됩니다.
효율성: 대규모 멀티모달 모델을 처음부터 학습할 필요 없이, 이미 학습된 대규모 RGB 인코더를 재사용할 수 있게 합니다.
로보틱스 관련성: 저자들은 VLA(Vision-Language-Action) 및 로봇 정책 학습의 잠재력을 강조합니다. 이러한 분야에서는 사전 학습된 인코더가 유용하지만, 종종 과적합을 유발하는 미세 조정이 필요합니다. 이 방법은 베이스 인코더의 일반화 능력을 해치지 않으면서 깊이 인식을 포함할 수 있는 방법을 제공합니다.

저자들은 표준화된 "즉시 사용 가능한" 비교 프레임워크의 부재로 인해 VLA 및 정책 학습 벤치마크를 직접 다루지는 않았으나, 본 아키텍처가 향후 이러한 애플리케이션을 지원하도록 설계되었음을 명시했습니다. 또한 극단적인 깊이 범위(예: >15m)의 경우, 리스케일링이나 최대 깊이 파라미터 조절이 필요할 수 있지만, SDP의 주파수 밀도가 그러한 경우에도 확장될 수 있음을 언급했습니다.