🤖 machine learning

HeiSD: Hybrid Speculative Decoding for Embodied Vision-Language-Action Models with Kinematic Awareness

이 논문은 로봇 제어용 시각 - 언어 - 행동 (VLA) 모델의 추론 속도를 높이기 위해 드래프트 기반과 검색 기반 추측적 디코딩의 장점을 결합하고, 검증 - 스킵 메커니즘과 운동학적 융합 지표를 도입하여 하이브리드 방식의 HeiSD 프레임워크를 제안합니다.

원저자: Zihao Zheng, Zhihao Mao, Sicheng Tian, Maoliang Li, Jiayu Chen, Xinhao Sun, Zhaobo Zhang, Xuanzhe Liu, Donggang Cao, Hong Mei, Xiang Chen

게시일 2026-03-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zihao Zheng, Zhihao Mao, Sicheng Tian, Maoliang Li, Jiayu Chen, Xinhao Sun, Zhaobo Zhang, Xuanzhe Liu, Donggang Cao, Hong Mei, Xiang Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 로봇이 더 빠르고 똑똑하게 움직일 수 있도록 도와주는 새로운 기술에 대해 설명합니다. 제목은 HeiSD (Hybrid Speculative Decoding) 인데, 어렵게 들리지만 쉽게 비유해서 설명해 드릴게요.

🤖 로봇의 딜레마: "생각은 빠르지만, 몸이 느려!"

요즘 로봇은 눈 (카메라) 과 뇌 (거대 언어 모델) 를 연결해서 "과일을 집어라" 같은 명령을 듣고 직접 움직입니다. 하지만 이 '뇌'가 너무 무거워서 생각하는 데 시간이 너무 오래 걸립니다. 마치 아주 똑똑한 교수님이 매번 한 글자씩 천천히 글을 쓰느라, 로봇이 명령을 받자마자 움직이려면 몇 초를 기다려야 하는 상황과 비슷합니다. 로봇은 실시간으로 반응해야 하므로 이 '지연'이 치명적입니다.

🚀 기존 해결책의 한계: "두 가지 길, 둘 다 완벽하지 않아"

이 문제를 해결하기 위해 연구자들은 '예측 (Speculative Decoding)' 기술을 썼습니다. 즉, 로봇이 정답을 찾기 전에 "아마 이쪽으로 갈 거야"라고 미리 몇 가지 시나리오를 짠 뒤, 본인이 확인하는 방식입니다.

기존에는 두 가지 방법이 있었는데, 둘 다 단점이 있었습니다.

작은 모델 (Draft Model) 을 쓰는 방법: 로봇이 스스로 미리 시나리오를 짭니다.
- 장점: 예측이 꽤 정확합니다.
- 단점: 작은 모델도 생각해야 하므로 시간과 전기가 추가로 듭니다.
데이터베이스 검색 (Retrieval) 을 쓰는 방법: 과거에 다른 로봇이 성공했던 기록 (데이터베이스) 에서 비슷한 상황을 찾아옵니다.
- 장점: 검색만 하면 되므로 순간적으로 매우 빠릅니다.
- 단점: 과거 기록이 지금 상황과 완벽히 같지 않아 잘못된 예측을 할 확률이 높습니다. (예: 과거에는 문이 열려 있었는데, 지금은 닫혀 있는 경우)

💡 HeiSD 의 핵심 아이디어: "상황에 따라 두 방법을 섞어라!"

이 논문은 **"어떤 상황에서는 검색이 좋고, 어떤 상황에서는 스스로 예측하는 게 좋다"**는 사실을 발견했습니다.

직진하는 구간 (평범한 상황): 로봇이 평범하게 직진하거나 단순한 동작을 할 때는 과거 기록을 검색해서 바로 가져와도 됩니다. (빠름!)
꺾이는 구간 (복잡한 상황): 로봇이 물건을 피하거나 정교하게 조작해야 할 때는 과거 기록만 믿으면 안 됩니다. 이때는 스스로 생각해서 (작은 모델을 써서) 예측해야 합니다. (정확함!)

이처럼 상황을 보고 두 방법을 섞어서 쓰는 것이 바로 HeiSD 의 핵심입니다.

🛠️ HeiSD 가 해결한 세 가지 문제

하지만 두 방법을 섞는 게 쉽지는 않았습니다. HeiSD 는 이걸 어떻게 해결했을까요?

1. "잘못된 검색 결과를 무조건 거절하지 않는 지혜" (Verify-Skip)

비유: 과거 기록을 검색했을 때, 결과가 90% 는 맞는데 10% 는 살짝 어긋난다고 가정해 봅시다. 기존 방식은 "100% 완벽하지 않으니 버린다"고 해서 다시 검색하거나 다시 생각하게 만들었습니다.
HeiSD 의 해결: "대충 비슷하면 그냥 통과시켜 버려!"라고 합니다. 로봇의 움직임은 연속적이기 때문에 약간의 오차는 바로 고쳐질 수 있습니다. 이렇게 하면 불필요한 확인 과정을 건너뛰어 속도를 높입니다.

2. "실수 반복을 막는 '다양한 선택지' 전략" (Sequence-Wise Relaxed Acceptance)

비유: 검색 결과가 "과일을 왼쪽으로 가져가라"라고 했는데, 실제로는 "오른쪽"이 필요했다면? 기존 방식은 같은 실수를 계속 반복하다가 멈췄습니다.
HeiSD 의 해결: 검색할 때 '가장 비슷한 것 1 개'만 찾는 게 아니라, '비슷한 것 10 개'를 다 가져옵니다. 그리고 그중에서 조금씩 다른 방향을 가진 것들을 섞어서 시도해 봅니다. 마치 길에서 막혔을 때 "이 길은 안 되네? 저 길로 가보자"라고 여러 갈래를 동시에 탐색하는 것과 같습니다.

3. "로봇의 몸짓을 읽는 나침반" (Kinematic Metric)

비유: 언제 검색을 하고 언제 스스로 생각할지 결정하는 기준이 필요했습니다.
HeiSD 의 해결: 로봇이 움직일 때 궤적을 분석합니다.
- 직진하고 빠르게 움직일 때 (곡률 반경이 큼): 검색을 사용합니다. (과거 기록과 비슷할 확률이 높음)
- 서서히 꺾이거나 정교하게 움직일 때 (곡률 반경이 작음): 스스로 생각합니다. (과거 기록과 다를 확률이 높음)
- 이 기준을 자동으로 계산해서, 로봇이 움직이는 순간순간 가장 적합한 방법을 선택하게 합니다.

🏆 결과는 어땠나요?

실험 결과, HeiSD 를 적용한 로봇은 기존보다 2 배 이상 (최대 2.45 배) 빨라졌습니다.

시뮬레이션: 2.45 배 빨라짐
실제 로봇: 2.06 배 ~ 2.41 배 빨라짐

그리고 속도가 빨라졌다고 해서 로봇이 일을 못 하는 건 아닙니다. 작업 성공률은 거의 떨어지지 않았습니다. (약간의 실수는 있지만, 전체적인 성공률은 유지됨)

📝 한 줄 요약

"로봇이 과거의 성공 기록 (검색) 과 현재의 상황 판단 (예측) 을 상황에 따라 똑똑하게 섞어서, 더 빠르고 정확하게 움직이게 만든 기술"

이 기술은 앞으로 우리가 집이나 공장에서 로봇과 함께 살 때, 로봇이 더 자연스럽게, 더 빠르게 반응할 수 있는 기반이 될 것입니다. 마치 운전할 때 직진할 때는 크루즈 컨트롤을 켜고, 복잡한 교차로에서는 직접 핸들을 잡는 것과 같은 원리입니다! 🚗💨

1. 연구 배경 및 문제 정의 (Problem)

배경: 비전 - 언어 - 행동 (Vision-Language-Action, VLA) 모델은 로봇 제어의 주류 솔루션으로 자리 잡았으나, 대규모 모델의 특성상 추론 속도가 느려 실시간 로봇 제어 요구사항을 충족하지 못하는 한계가 있습니다.
기존 방법의 한계: 추론 속도를 가속화하기 위해 'Speculative Decoding (SD, 추측적 디코딩)' 기법이 도입되었습니다. SD 는 크게 두 가지 유형으로 나뉩니다.
1. Draft 기반 SD: 작은 모델 (Draft Model) 을 사용하여 토큰 시퀀스를 생성합니다. 높은 품질의 Draft 를 제공하지만, Draft 모델 자체의 추론 오버헤드가 발생합니다.
2. Retrieval 기반 SD: 사전 구축된 벡터 데이터베이스에서 관련 내용을 검색하여 Draft 를 생성합니다. Draft 모델 오버헤드가 없어 이론적 가속도가 높지만, 검색된 Draft 의 품질이 낮아 검증 (Verification) 단계에서 거절될 확률이 높고, 오류가 지속될 수 있습니다.
핵심 문제: 기존 연구들은 이 두 가지 SD 방식을 단독으로 사용하거나 최적화하는 데 그쳤습니다. VLA 모델이 제어하는 로봇의 궤적 패턴을 분석한 결과, 두 방식의 장점을 결합한 '하이브리드 방식'이 필요함에도 불구하고, 이를 구현하는 데에는 다음과 같은 도전 과제가 존재했습니다.
1. Retrieval 기반 SD 의 낮은 Draft 품질로 인한 검증 거절 및 지속적 오류 (Persistent Errors).
2. 언제 Draft 기반 SD 를 사용하고 언제 Retrieval 기반 SD 를 사용할지 결정하는 하이브리드 경계 (Hybrid Boundary) 를 자동으로 설정하는 것의 어려움.

2. 제안 방법론: HeiSD Framework

저자들은 위 문제를 해결하기 위해 HeiSD (Hybrid Speculative Decoding) 프레임워크를 제안합니다.

A. 핵심 통찰 (Key Insight)

로봇의 궤적 (Trajectory) 을 분석한 결과, 데이터베이스 검색 (Retrieval) 으로 생성된 궤적 중 VLA 추론 결과와 겹치는 (Overlapping) 구간은 높은 정확도를 보이지만, 겹치지 않는 구간은 편차가 큽니다. 따라서 겹치는 구간에는 Retrieval 기반 SD 를, 겹치지 않는 구간에는 Draft 기반 SD 를 적용하는 하이브리드 전략이 최적의 성능 (Pareto Frontier) 을 달성함을 발견했습니다.

B. 주요 구성 요소 및 기술적 기여

Retrieval 기반 SD 최적화 (Optimization of Retrieval-Based SD)
- 적응형 검증-스킵 메커니즘 (Adaptive Verify-Skip Mechanism):
  - VLA 모델의 마지막 레이어 (lm_head) 입력 특징 (Feature) 의 유사도를 기반으로 검증 단계를 생략합니다.
  - 궤적 점 사이의 거리가 가까울수록 특징 유사도가 높아지므로, 이 경우 검증을 건너뛰어 (Skip) 속도를 높입니다.
  - 태스크 수행 피드백을 기반으로 최소 허용 유사도 임계값을 동적으로 조정하여 정확도 손실을 최소화합니다.
- 시퀀스 단위 완화 수용 전략 (Sequence-Wise Relaxed Acceptance Strategy):
  - 지속적 오류 (Persistent Errors) 를 해결하기 위해 Top-1 검색을 Top-K 검색으로 확장하여 Draft 다양성을 높입니다.
  - 토큰 단위가 아닌 **시퀀스 단위 (예: 위치 X,Y,Z, 회전 각도 rX,rY,rZ, 그리퍼 제어 G)**로 그룹화하여 트리를 구성합니다.
  - 개별 토큰의 편차는 허용하되 전체 시퀀스의 편차가 일정 범위 내라면 수용하는 전략을 도입하여, Draft 의 다양성을 확보하면서도 정확도를 유지합니다.
운동학적 기반 융합 메트릭 (Kinematic-Based Fused Metric)
- 하이브리드 경계를 자동으로 결정하기 위해 **궤적의 곡률 반경 (Curvature Radius, $R^{[w]}$ )**과 **누적 변위 (Cumulative Displacement, $D^{[w]}$ )**를 결합한 메트릭 ( $F^{[w]}$ ) 을 설계했습니다.
- 직선적이고 빠른 운동 (큰 $R^{[w]}$ 과 $D^{[w]}$ ): Retrieval 기반 SD 적용 (데이터베이스 검색 결과와 잘 일치할 확률 높음).
- 곡선적이고 정밀한 운동 (작은 $R^{[w]}$ 과 $D^{[w]}$ ): Draft 기반 SD 적용 (신중한 추론 필요).
- 이 메트릭을 통해 VLA 추론 단계마다 실시간으로 어떤 SD 방식을 사용할지 자동 결정 및 전환합니다.
시스템 구현 (System Implementation)
- 이종 하드웨어 협업 (CPU+GPU): 벡터 데이터베이스를 CPU 메모리에 배치하여 GPU 메모리 부족 (OOM) 문제를 해결하고, 데이터 전송 오버헤드가 무시할 수준임을 검증했습니다.
- 전체 파이프라인은 GPU 에서 ViT 인코딩과 LLM 추론을 수행하되, 데이터베이스 검색은 CPU 에서 수행하여 효율성을 극대화합니다.

3. 실험 결과 (Results)

시뮬레이션 벤치마크 (LIBERO):
- 기존 자동회귀 (Autoregressive) 추론 대비 최대 2.45 배의 속도 향상 (Speedup) 을 달성했습니다.
- Draft 기반 SD 만 사용하는 방법이나 Retrieval 기반 SD 만 사용하는 방법보다 모두 우수한 성능을 보였습니다.
- SOTA 인 SpecVLA 대비 1.51 배~2.22 배의 속도 향상과 더 높은 작업 성공률 (SR) 을 기록했습니다.
실제 환경 (Real-World):
- AgileX PIPER 로봇 팔을 이용한 실제 테이블탑 조작 실험에서 2.06 배~2.41 배의 속도 향상을 달성했습니다.
- 속도 향상에도 불구하고 작업 성공률 (SR) 은 1.2%~3.9% 미만의 감소만 보이며 높은 정확도를 유지했습니다.
수용 길이 (Acceptance Length, AL): 최적화 기법 (Verify-Skip 및 Sequence-Wise Relax) 으로 인해 평균 수용 길이가 약 4.75~4.96 으로 크게 증가하여, 한 번의 검증으로 더 많은 토큰을 처리할 수 있게 되었습니다.

4. 의의 및 결론 (Significance)

하이브리드 접근법의 유효성 증명: VLA 모델에서 Draft 기반과 Retrieval 기반 SD 의 장점을 결합하는 것이 단일 방식보다 훨씬 효과적임을 처음 체계적으로 증명했습니다.
운동학적 인식 (Kinematic Awareness): 로봇 제어의 고유한 특성인 궤적의 운동학적 패턴을 분석하여 추론 가속화 전략에 적용한 점이 혁신적입니다.
실용성: CPU+GPU 이종 아키텍처를 통해 고사양 GPU 없이도 대규모 데이터베이스를 활용한 효율적인 추론이 가능함을 보여주어, 실제 로봇 시스템 배포에 큰 기여를 할 것으로 기대됩니다.

요약하자면, HeiSD는 로봇의 운동 특성을 이해하고, 데이터베이스 검색과 작은 모델 추측을 상황에 맞게 동적으로 전환하며, 검증 과정을 지능적으로 생략/완화함으로써 VLA 모델의 추론 속도를 획기적으로 가속화하면서도 높은 작업 성공률을 유지하는 새로운 패러다임을 제시한 연구입니다.