Efficient Long-Horizon Vision-Language-Action Models via Static-Dynamic Disentanglement

이 논문은 비동적 배경 정보를 정적 토큰과 동적 토큰으로 분리하여 KV 캐시를 재사용하고 컨텍스트 길이를 줄이는 'SD-VLA' 프레임워크를 제안함으로써, 장기 작업 수행 능력을 크게 향상시키고 추론 속도를 2.26 배 가속화하는 효율적인 비전 - 언어 - 행동 (VLA) 모델을 제시합니다.

핵심

이 논문은 로봇이 더 똑똑하고 빠르게 일할 수 있도록 도와주는 새로운 기술, SD-VLA에 대해 설명합니다. 어렵게 들릴 수 있는 기술 용어들을 일상적인 비유로 쉽게 풀어보겠습니다.

🤖 핵심 문제: 로봇이 "기억"을 못 하고, "생각"이 느린 이유

지금까지의 로봇용 인공지능 (VLA) 은 두 가지 큰 고민이 있었습니다.

1. 기억력이 부족함 (Long-Horizon 문제): 로봇이 "먼저 컵을 들고, 10 초 뒤엔 식탁에 놓아라"라고 지시를 받으면, 10 초가 지났을 때 "아, 컵을 들었지?"라고 기억해야 합니다. 하지만 기존 로봇은 매 순간 눈앞의 사진만 보고 "지금 뭐 하지?"라고 매번 처음부터 생각해서, 긴 작업을 하다가 길을 잃거나 같은 행동을 반복하는 실수를 저지릅니다.
2. 생각이 너무 느림 (효율성 문제): 로봇이 매순간 눈앞의 모든 장면을 다시 분석하려면 컴퓨터가 엄청나게 많은 계산을 해야 합니다. 마치 매번 새로운 집을 지을 때, 벽돌 하나하나부터 다시 구워내야 하는 것처럼 비효율적입니다. 그래서 로봇이 명령을 받고 행동하기까지 시간이 너무 오래 걸립니다.

---

💡 해결책: SD-VLA (정적/동적 분리 기술)

이 논문은 **"무엇이 변하고, 무엇이 그대로인지"**를 구분하는 지혜를 로봇에게 심어주었습니다.

1. 비유: "사진관"과 "무대"

로봇이 보는 장면을 두 가지로 나누어 생각해보세요.

• 정적 (Static) 요소: 배경, 벽, 바닥, 식탁 같은 것들. 이건 로봇이 일을 하든 말든 시간이 지나도 거의 변하지 않습니다.
• 동적 (Dynamic) 요소: 로봇의 손 (그리퍼), 움직이는 컵, 사람 같은 것들. 이건 매순간 변합니다.

기존 로봇은 이 모든 것을 매번 다시 다 분석했습니다. 하지만 SD-VLA는 이렇게 합니다:

"배경 (정적) 은 한 번만 찍어서 기억해 두자 (캐시). 그리고 손과 컵 (동적) 만 매번 새로 보고 업데이트하자."

2. 어떻게 작동할까요? (스마트한 메모리 관리)

• 한 번만 찍은 사진 재사용: 배경이 변하지 않는다면, 로봇은 매번 배경을 다시 계산할 필요가 없습니다. 이전에 계산해 둔 '배경 데이터'를 꺼내서 씁니다.
• 스마트한 갱신 (Recache Gate): 로봇은 "아, 지금 배경이 변했나?"를 스스로 판단합니다. 예를 들어, 식탁 위에 컵이 놓여 배경이 바뀌었다면, 그때만 배경 데이터를 새로 계산하고, 변하지 않았다면 예전 데이터를 그대로 씁니다. 마치 스마트폰이 배터리 아끼기 모드로 화면 밝기를 조절하듯, 필요할 때만 에너지를 쓰는 것입니다.

---

🚀 이 기술의 놀라운 효과

이 방식을 적용하자 로봇은 두 가지 면에서 비약적으로 발전했습니다.

1. 긴 작업을 잘하게 됨 (기억력 UP):

   • 로봇이 "컵을 데우고, 10 초 뒤엔 원래 자리로 돌려놓고, 다른 컵을 데워라" 같은 복잡한 순서 작업을 할 때, 과거의 일을 잊지 않고 정확히 수행합니다.
   • 실험 결과, 기존 로봇보다 성공률이 39.8%나 급상승했습니다. (기존 로봇은 중간에 길을 잃거나 잊어버리는 경우가 많았지만, 이 로봇은 기억력을 발휘했습니다.)

2. 훨씬 빨라짐 (속도 UP):

   • 매번 배경을 다시 계산하지 않으므로, 로봇의 두뇌 (컴퓨터) 가 훨씬 덜 일합니다.
   • 결과적으로 기존보다 2.26 배나 더 빠르게 명령을 처리하고 행동합니다. 집안일을 돕는 로봇이 "잠시만 기다려요"라고 말하지 않고, 바로바로 움직일 수 있게 된 셈입니다.

---

📝 새로운 시험지 (벤치마크)

연구팀은 기존에 로봇을 테스트하던 방법들이 "기억력"을 제대로 평가하지 못한다고 생각했습니다. 그래서 **"과거의 일을 기억해야만 풀 수 있는 새로운 시험 (LIBERO-Memory)"**을 만들었습니다.

• 예시: "첫 번째 캔을 데우고, 10 초 뒤엔 원래 위치로 돌려놓고, 두 번째 캔을 데워라."
• 이 시험에서 SD-VLA 는 다른 모든 로봇을 압도하며 1 위를 차지했습니다. 이는 로봇이 단순히 눈앞의 상황만 보는 게 아니라, 시간의 흐름을 이해하고 기억할 수 있음을 증명합니다.

🌟 결론

이 논문은 로봇에게 **"무엇은 변하지 않으니 한 번만 기억해 두라"**는 지혜를 가르쳤습니다. 덕분에 로봇은 더 긴 작업을 실수 없이 수행할 수 있게 되었고, 더 빠르고 효율적으로 움직일 수 있게 되었습니다. 이는 앞으로 우리 집이나 공장에서 일할 로봇이 더 똑똑하고 빠르며, 실제로 쓸모 있게 될 수 있는 중요한 디딤돌이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

시각 - 언어 - 행동 (VLA, Vision-Language-Action) 모델은 범용 로봇 제어에 유망한 패러다임으로 부상했으나, 두 가지 주요 한계에 직면해 있습니다.

• 제한된 장기 컨텍스트 (Limited Long-Horizon Context): 기존 VLA 모델은 대부분 현재 관측치 (단일 프레임) 만을 입력으로 받아 메모리 없이 작동합니다. 과거 관측을 입력에 포함시키면 트랜스포머의 이차적 (quadratic) 인과적 복잡도로 인해 컨텍스트 길이가 급격히 증가하여 계산 비용이 prohibitive(부담스러울 정도로 큰) 해집니다. 이로 인해 시간적 의존성 (예: 버튼이 이미 눌렸는지 기억하기) 이 필요한 장기 작업 수행이 어렵습니다.
• 비효율적인 추론 (Inefficient Inference): 대규모 파라미터와 긴 시퀀스 길이로 인해 추론 지연 (latency) 이 큽니다. 기존 가속화 기법 (양자화, 토큰 가지치기 등) 은 VLA 작업의 고유한 특성을 활용하지 못하며, 특히 픽셀 공간의 유사성이 잠재 공간 (latent space) 의 불변성을 보장한다는 잘못된 가정에 기반한 KV 캐시 재사용 기법들은 성능 저하를 초래할 수 있습니다.

2. 제안 방법: SD-VLA (Methodology)

저자들은 VLA 작업 중 장면의 많은 시각적 정보 (배경, 정지된 물체 등) 가 시간에 따라 정적 (static) 이거나 느리게 변한다는 통찰을 바탕으로 SD-VLA를 제안합니다. 핵심은 시각 토큰을 **정적 (Static)**과 **동적 (Dynamic)**으로 명시적으로 분리하는 것입니다.

2.1. 정적 - 동적 분리 (Static-Dynamic Disentanglement)

• 토큰 분리: 입력 이미지를 시각 토큰으로 인코딩할 때, 이를 다중 레벨의 정적 토큰 (배경, 전체 레이아웃 등 장기적 지속성) 과 동적 토큰 (그리퍼, 움직이는 물체 등 단기적 변화) 으로 분리합니다.
• 컨텍스트 최적화: 정적 토큰은 시간 단계 (timestep) 간에 한 번만 입력 시퀀스에 포함시키고, 동적 토큰만 여러 프레임에 걸쳐 연결합니다. 이를 통해 전체 컨텍스트 길이를 획기적으로 줄이면서도 장기적 시간적 맥락을 유지합니다.

2.2. 학습 가능한 리캐시 게이트 (Learnable Recache Gate)

• 적응형 캐싱: 정적 토큰이 언제 다시 계산 (refresh) 되어야 하는지, 언제 기존 캐시를 재사용해야 하는지 결정하기 위해 학습 가능한 리캐시 게이트를 도입합니다.
• 동작 원리: 게이트는 현재 관측과 캐시된 참조를 비교하여 재계산 확률을 예측합니다. (Gumbel-softmax trick 사용).
• 계층적 구조: 더 높은 레벨의 캐시 (예: L1) 가 갱신되면, 하위 레벨 (예: L2) 도 강제로 갱신되도록 설계하여 일관성을 유지합니다.

2.3. 학습 목표 (Training Objectives)

• 정적 토큰 학습 (Contrastive Learning): 동일한 궤적 내의 다른 시간 단계 관측을 양의 쌍 (positive pairs), 다른 궤적의 관측을 음의 쌍 (negative pairs) 으로 간주하여 InfoNCE 손실을 적용합니다. 이는 정적 토큰이 시간적으로 일관되게 유지되도록 강제합니다.
• 게이트 학습: 게이트가 불필요하게 자주 갱신되는 것을 방지하기 위해, 시간 간격 ($\Delta$) 이 클수록 갱신 확률이 높아지도록 사전 확률 (prior) 을 기반으로 한 정규화 항을 추가합니다.

3. 주요 기여 (Key Contributions)

1. SD-VLA 프레임워크: 이미지 토큰을 다양한 시간적 지속성을 가진 정적 및 동적 토큰으로 분리하여 장기 메모리 통합과 효율적인 추론을 동시에 가능하게 함.
2. 학습 가능한 리캐시 게이트: 캐시 갱신 시기를 적응적으로 결정하여 성능과 추론 지연 사이의 균형을 최적화.
3. LIBERO-Memory 벤치마크: 기존 벤치마크가 평가하지 못했던 '장기 시간적 의존성 모델링 능력'을 효과적으로 평가하기 위해 인간 일화 기억 (episodic memory) 원리에 기반한 새로운 벤치마크를 제안.

4. 실험 결과 (Results)

4.1. 시간적 의존성 모델링 성능 (LIBERO-Memory)

제안된 벤치마크 (물체 위치 기억, 가열 시간 추적, 어떤 물체를 선택할지 기억 등) 에서 기존 모델 대비 압도적인 성능을 보였습니다.

• 성공률: 기존 최상위 모델 (ContextVLA) 대비 39.8%p 절대적인 성공률 향상.
• 가열 시간 정확도: 목표 시간과의 오차를 29.8% 개선.
• 비교: 단일 프레임 기반 모델 (TraceVLA 등) 은 거의 실패했고, 기존 메모리 기법들도 정보 손실이나 모델 용량 제한으로 인해 성능이 낮았습니다.

4.2. 추론 가속화 (SimplerEnv 및 LIBERO)

• SimplerEnv: 성공률 4.9% 향상과 동시에 2.26 배의 추론 속도 향상 (Speedup).
• LIBERO: 성공률 0.7% 향상과 1.70 배의 속도 향상.
• 계산 효율성: 정적 토큰의 KV 캐시 재사용으로 인해 LLM 백본의 FLOPs 가 이론적으로 $(1-r)$배로 감소하며, 실제 실험에서도 큰 속도 향상을 입증했습니다.

4.3. 애블레이션 연구

• 대비 학습 제거: 정적 토큰의 시간적 일관성이 깨져 성능이 저하됨.
• 다중 레벨 캐시 제거 (L2 제거): 단일 레벨만 사용할 경우 성능이 떨어짐 (다중 레벨 설계의 중요성 입증).
• 고정 간격 갱신: 학습 가능한 게이트를 고정 간격으로 대체하면 성능이 크게 떨어짐 (적응형 갱신의 필요성 입증).

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 VLA 모델이 직면한 장기 컨텍스트 처리의 비효율성과 메모리 부족 문제를 해결하기 위해, 시각 정보의 정적/동적 특성을 분리하는 새로운 접근법을 제시했습니다.

• 기술적 혁신: 단순한 KV 캐시 재사용을 넘어, 학습 가능한 게이트를 통해 '언제' 재사용할지 결정함으로써, Transformer 기반 아키텍처의 인과적 어텐션 메커니즘과 호환되는 효율적인 구조를 설계했습니다.
• 실용성: 로봇이 실제 환경에서 장기 작업을 수행할 때 필요한 빠른 추론 속도와 정확한 시간적 추론 능력을 동시에 확보하여, 실세계 로봇 배포의 실용성을 크게 높였습니다.
• 향후 방향: 현재는 사전 학습된 VLA 를 기반으로 하지만, 향후 이 아키텍처를 처음부터 (from scratch) 사전 학습하는 방향으로 연구가 확장될 수 있음을 시사합니다.

요약하자면, SD-VLA는 불필요한 계산을 제거하고 필요한 기억만 효율적으로 유지함으로써, 로봇이 복잡한 장기 작업을 빠르고 정확하게 수행할 수 있는 새로운 기준을 제시한 연구입니다.