DepthCache: Depth-Guided Training-Free Visual Token Merging for Vision-Language-Action Model Inference

DepthCache 는 깊이 정보를 활용하여 훈련 없이 시각 토큰을 압축함으로써 비전 - 언어 - 행동 (VLA) 모델의 추론 지연을 줄이면서도 로봇 제어에 필수적인 공간 추론 능력을 유지하는 프레임워크입니다.

핵심

🤖 DepthCache: 로봇의 "눈"을 더 똑똑하고 빠르게 만드는 마법

이 논문은 로봇이 세상을 보고 행동을 결정할 때, 계산 속도를 획기적으로 높이면서도 실수를 거의 하지 않게 해주는 새로운 기술을 소개합니다. 이름은 **DepthCache(딥캐시)**입니다.

기존의 로봇 AI 는 너무 많은 정보를 처리하려고 하느라 "머리가 멍해져서" 느리게 반응했습니다. DepthCache 는 이 문제를 로봇이 보는 '깊이 (거리)' 정보를 활용하여 해결했습니다.

---

🧐 문제: 로봇은 왜 느릴까요?

로봇이 "책상 위의 빨간 컵을 들어줘"라는 명령을 받으면, 카메라로 찍은 사진 수백 장을 AI 가 분석합니다.

• 기존 방식: 사진 속 모든 부분 (가까운 컵, 먼 벽, 천장, 바닥) 을 똑같이 세세하게 분석합니다.
• 문제점: 마치 수천 개의 픽셀을 모두 확대해서 보느라 로봇이 "어, 뭐가 중요하지?"라고 고민하는 사이에 시간이 지나버립니다. 로봇이 실시간으로 반응하려면 너무 느립니다.

💡 해결책: DepthCache 의 "초점" 전략

DepthCache 는 인간의 눈을 닮았습니다. 우리가 물건을 잡을 때, 손이 닿는 가까운 곳 (작업 공간) 은 선명하게 보지만, 먼 배경은 흐릿하게 인식하죠.

이 기술을 3 가지 핵심 아이디어로 설명해 드릴게요.

1. 📏 "거리"를 기준으로 나누기 (Depth-Guided Partitioning)

DepthCache 는 로봇이 보는 화면을 거리 (깊이) 에 따라 나눕니다.

• 가까운 곳 (작업 공간): 로봇이 잡으려는 컵이나 손이 있는 곳은 정말 선명하게 유지합니다. (정보를 버리지 않음)
• 먼 곳 (배경): 벽이나 멀리 있는 사물은 정보를 조금 줄여서 처리합니다. (배경은 대충 봐도 되니까)
• 비유: 현미경을 생각해보세요. 우리가 세포를 볼 때, 초점을 맞춘 부분은 선명하고 주변은 흐릿해지죠. DepthCache 는 로봇의 시선을 이렇게 초점을 맞출 곳과 그렇지 않은 곳으로 자동 조절합니다.

2. 🌊 "물결"처럼 부드럽게 줄이기 (Progressive Merging)

기존 기술들은 한 번에 정보를 줄여서 로봇이 "깜짝 놀라"서 행동을 망설이게 만들었습니다.

• DepthCache 방식: 정보를 한 번에 뚝뚝 잘라내는 게 아니라, 시간이 지남에 따라 천천히, 부드럽게 줄입니다.
• 비유: 사진을 압축할 때 한 번에 100% 줄이면 화질이 깨지지만, 10 초에 걸쳐 서서히 줄이면 눈이 적응해서 화질 저하를 느끼지 못하죠. 로봇도 마찬가지입니다. 프레임마다 조금씩 정보를 정리해서 로봇이 "어? 뭐가 변했어?"라고 당황하지 않게 합니다.

3. 🏃‍♂️ "움직임"에 맞춰 변신하기 (Motion-Adaptive)

로봇의 손목에 달린 카메라는 상황에 따라 다르게 작동합니다.

• 팔을 움직일 때: 손목 카메라는 흔들려서 흐릿한 영상만 찍습니다. 이때는 정보를 대폭 줄여서 가볍게 처리합니다.
• 물건을 잡을 때: 손이 멈추고 정교하게 조작할 때는 모든 정보를 다 챙겨서 정밀하게 처리합니다.
• 비유: 카메라의 줌 (Zoom) 기능처럼, 멀리서 팔을 움직일 때는 '광각 (넓게 보지만 가볍게)'으로, 가까이서 잡을 때는 '망원 (세밀하게 보지만 무겁게)'으로 자동으로 전환합니다.

---

🚀 실제 효과는 어떨까요?

이 기술은 로봇을 재교육 (학습) 시키지 않고도 기존 로봇에 바로 적용할 수 있습니다.

• 속도: 로봇이 명령을 받아서 행동하기까지 걸리는 시간이 약 1.3 배 빨라졌습니다. (예: 1 초 걸리던 게 0.75 초로 줄음)
• 정확도: 속도가 빨라졌는데도, 성공률은 거의 떨어지지 않았습니다. (99% → 98.9% 수준)
• 실제 로봇 실험: 실제 로봇 팔로 실험했을 때, 로봇이 더 빠르게 움직이고, 물건을 밀었을 때 더 빨리 반응해서 다시 잡는 등 훨씬 민첩해졌습니다.

🎯 결론: 왜 이 기술이 중요할까요?

지금까지 로봇은 "더 많은 정보를 더 많이 보면 잘할 것"이라고 생각했습니다. 하지만 DepthCache 는 **"중요한 곳에 집중하고, 중요하지 않은 곳은 과감히 줄여라"**는 현명한 전략을 보여줍니다.

마치 유능한 비서가 매일 쌓이는 수천 개의 이메일 중 중요한 것만 먼저 처리하고, 나머지는 나중에 보거나 요약해서 처리하는 것과 같습니다. 덕분에 로봇은 더 빠르게, 더 똑똑하게 우리와 함께 일할 수 있게 된 것입니다.

기술 요약

1. 문제 정의 (Problem)

비전 - 언어 - 행동 (VLA, Vision-Language-Action) 모델은 로봇의 범용 조작 능력을 가능하게 하지만, 높은 추론 지연 (Inference Latency) 이라는 치명적인 병목 현상에 직면해 있습니다.

• 원인: 대규모 언어 모델 (LLM) 백본이 처리해야 하는 시각 토큰 (Visual Tokens) 의 수가 방대하기 때문입니다. 단일 카메라 뷰만으로도 수백 개의 패치 토큰이 생성되며, 다중 뷰 설정 시 이는 기하급수적으로 증가합니다.
• 기존 방법의 한계:
  • 토큰 가지치기 (Pruning): 관련성이 낮은 토큰을 제거하는 방식은 공간적 관계 (Spatial Relationships) 를 파괴하여 로봇 조작에 필수적인 정밀한 공간 추론 능력을 저하시킵니다.
  • 균일한 토큰 병합 (Uniform Merging): 기존 병합 방법들은 이미지 전체에 동일한 병합 비율을 적용하거나, 비전 인코더 내부에서만 작동하여 아키텍처별 수정이 필요하고, 작업과 무관한 배경까지 과도하게 압축하거나 중요한 영역을 누락시킵니다.
• 핵심 요구사항: 로봇 조작은 근거리 작업 공간 (Near-field workspace) 에서는 고해상도 정보가 필요하지만, 원거리 배경은 상대적으로 낮은 정보 밀도를 가집니다. 또한, 연속된 프레임 간의 시간적 중복성을 활용해야 합니다.

2. 방법론 (Methodology: DepthCache)

저자들은 DepthCache를 제안합니다. 이는 모델 재학습 (Training-free) 이 필요 없으며, 깊이 정보 (Depth Map) 를 시각적 토큰 압축을 위한 구조적 사전 지식 (Structural Prior) 으로 활용하는 프레임워크입니다.

핵심 구성 요소:

1. 깊이 기반 영역 분할 (Depth-Based Region Partitioning):

   • 관찰된 장면을 깊이 값에 따라 $K$개의 영역으로 클러스터링합니다.
   • 차별화된 병합 비율: 작업 공간 (근거리) 은 낮은 병합 비율 (높은 해상도 유지) 을, 배경 (원거리) 은 높은 병합 비율 (강력한 압축) 을 적용합니다. 이는 인간의 시야 (중앙 시야는 선명하고 주변 시야는 압축됨) 에서 영감을 받았습니다.

2. 이중 보호 메커니즘 (Dual Protection Mechanism):

   • 의미론적 보호 (Semantic Protection): LLM 의 크로스 어텐션 (Cross-attention) 맵을 누적하여 작업과 관련된 객체 (목표물, 수용기 등) 를 식별하고 보호합니다.
   • 기하학적 보호 (Geometric Protection): 깊이 맵의 경계 (Depth Gradient) 를 감지하여 객체의 윤곽선과 가려짐 (Occlusion) 경계를 보호합니다.
   • 이 두 가지 보호 집합에 포함된 토큰은 절대 병합되지 않습니다.

3. 점진적 토큰 병합 (Progressive Token Merging):

   • 기존 방법들이 한 번의 순전파 (Forward pass) 에서 모든 병합을 수행하는 것과 달리, DepthCache 는 연속된 프레임에 걸쳐 병합을 분산시킵니다.
   • 동기: 로봇 제어의 시간적 연속성을 활용하여 프레임 간 토큰 매핑의 불일치를 방지하고, 시각적 조건 신호의 급격한 변화를 완화합니다.
   • 동적 복구: 장면의 깊이 변화가 감지되면 (예: 객체 이동), 해당 영역의 토큰을 즉시 전체 해상도로 복원하여 적응합니다.

4. 보조 뷰 적응 (Auxiliary View Adaptation):

   • 손목 카메라 (Wrist Camera) 의 경우, 팔 이동 시에는 모션 블러로 인해 정보가 적고, 정밀 조작 시에는 고해상도 정보가 필요합니다.
   • 그리퍼의 개폐 상태와 엔드 이펙터의 운동량을 기반으로 상태 머신을 통해 압축 여부를 동적으로 제어합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 깊이 기반 구조적 사전 지식 활용: VLA 추론 시 깊이 정보를 외부 구조적 사전 지식으로 활용하여 공간적으로 차별화된 토큰 압축을 수행하는 최초의 프레임워크입니다.
2. 모델 수정 없는 범용성: 비전 인코더 내부 수정이나 재학습이 필요 없으며, $\pi0.5$, OpenVLA, GR00T 등 다양한 아키텍처의 VLA 모델에 즉시 적용 가능합니다.
3. 시간적 일관성 있는 압축 파이프라인: 프레임 간 불안을 제거하고 균일한 병합 비율의 한계를 극복하는 시간적 일관성 (Temporal Coherence) 을 갖춘 병합 방식을 도입했습니다.
4. 실제 로봇 검증: 시뮬레이션뿐만 아니라 실제 물리적 로봇 팔 (PIPER 6-DoF) 을 통한 실험을 통해 지연 시간 민감한 시나리오에서의 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

시뮬레이션 (LIBERO 벤치마크):

• 성능: 3 가지 VLA 모델 ($\pi0.5$, OpenVLA, GR00T) 에서 최대 1.28 배의 추론 속도 향상을 달성했습니다.
• 정확도: 평균 성공률 (Success Rate) 저하가 1% 미만으로 매우 미미했습니다.
• 비교: 기존 가지치기 (FastV 등) 나 균일 병합 (ToSA) 방법은 유사한 압축률에서 4~24% 의 성공률 저하를 보였습니다. 특히 공간적 추론이 필요한 작업 (Spatial, Object) 에서 DepthCache 의 우월성이 두드러졌습니다.

실제 로봇 실험:

• 작업 처리량: 실제 조작 작업 (Pick & Place, Stack Blocks 등) 에서 1.33 배의 속도 향상을 기록했습니다.
• 지연 민감 시나리오:
  • 다중 객체 정렬: 전체 작업 완료 시간을 22.7% 단축했습니다.
  • 외란 복구 (Perturbation Recovery): 객체를 강제로 이동시켰을 때, 낮은 지연 시간 덕분에 재계획 (Re-planning) 이 더 빠르게 이루어져 복구 시간을 21.3% 단축하고 성공률을 높였습니다.

Ablation Study:

• Depth Partitioning (깊이 분할): 가장 중요한 요소로, 이를 제거할 경우 성공률이 18.2% 급감했습니다.
• Progressive Merge (점진적 병합): 한 번에 병합하는 방식보다 점진적 방식이 공간적 일관성을 유지하는 데 필수적이었습니다.

5. 의의 및 결론 (Significance)

DepthCache 는 VLA 모델의 추론 병목 현상을 해결하기 위해 깊이 정보를 '지각 입력'이 아닌 '구조적 가이드'로 재해석한 혁신적인 접근법입니다.

• 실시간성 확보: 로봇 조작의 실시간 요구사항을 충족시키면서도, 공간적 정밀도를 희생하지 않는 균형을 찾았습니다.
• 실용성: 모델 재학습 없이 기존 VLA 모델에 바로 적용 가능하여, 실제 로봇 시스템에의 배포 장벽을 낮춥니다.
• 향후 방향: 추론 단계의 속도 향상뿐만 아니라, 액션 디코딩 단계의 가속화 및 KV-cache 최적화와 결합하여 더 큰 성능 향상을 기대할 수 있습니다.

이 연구는 로봇이 복잡한 환경에서 더 빠르고 민첩하게 반응할 수 있도록 하는 핵심 기술로서, VLA 기반 로봇 공학의 실용화를 가속화할 것으로 기대됩니다.