🤖 machine learning

KERV: Kinematic-Rectified Speculative Decoding for Embodied VLA Models

KERV는 VLA 모델의 추론 속도를 높이기 위해 로봇 기구학(Kinematics) 기반의 칼만 필터와 동적 임계값 조절 전략을 결합하여, 성공률 저하 없이 추론 속도를 27%~37% 가속화하는 스펙큘러티브 디코딩(Speculative Decoding) 프레임워크입니다.

원저자: Zihao Zheng, Zhihao Mao, Maoliang Li, Jiayu Chen, Xinhao Sun, Zhaobo Zhang, Donggang Cao, Hong Mei, Xiang Chen

게시일 2026-04-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zihao Zheng, Zhihao Mao, Maoliang Li, Jiayu Chen, Xinhao Sun, Zhaobo Zhang, Donggang Cao, Hong Mei, Xiang Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🤖 배경: "똑똑하지만 느린 로봇 요리사"

현재 로봇 AI(VLA 모델)는 아주 똑똑합니다. 눈으로 보고(Vision), 명령을 듣고(Language), 팔을 어떻게 움직일지(Action) 결정하죠. 하지만 치명적인 단점이 있습니다. **"생각이 너무 많아서 동작이 느리다"**는 점입니다.

마치 아주 미식가인 요리사가 요리를 하는 것과 같습니다. 재료 하나를 집을 때마다 "이건 적당한 무게인가? 온도는 맞는가?"를 수만 번 고민하느라, 손님은 음식을 기다리다 지쳐버리는 상황이죠.

💡 기존의 해결책: "추측하며 달리기 (Speculative Decoding)"

이 문제를 해결하기 위해 과학자들은 **'추측하기'**라는 기술을 썼습니다.

초보 보조 요리사(Draft Model): "음, 다음엔 소금을 집겠지?"라고 아주 빠르게 추측합니다.
메인 셰프(Verification Model): 보조가 소금을 집으려는 순간, "맞아!" 혹은 "아니, 설탕이야!"라고 확인합니다.

하지만 문제가 생겼습니다. 보조 요리사가 실수하면(예: 소금 대신 설탕을 집으려 하면), 메인 셰프가 **"잠깐, 처음부터 다시 해!"**라고 소리를 지릅니다. 그러면 다시 처음부터 고민해야 하니, 결국 속도가 다시 느려지는 악순환이 반복됩니다.

✨ KERV의 혁신: "물리학의 법칙을 이용한 유연한 대처"

이 논문의 저자들은 여기서 아주 기발한 아이디어를 냅니다. **"로봇은 결국 물리적인 몸을 가진 존재니까, 물리 법칙(Kinematics)을 이용하면 실수를 메꿀 수 있지 않을까?"**라는 생각이죠.

KERV는 두 가지 마법을 부립니다.

1. "실수해도 괜찮아, 관성으로 밀고 나가자!" (칼만 필터 보상)

보조 요리사가 실수했을 때, 메인 셰프가 "다시 해!"라고 화를 내는 대신, **'칼만 필터(Kalman Filter)'**라는 수학적 도구를 사용합니다.

비유: 자동차가 운전 중에 아주 잠깐 핸들을 잘못 꺾더라도, 차의 '관성' 덕분에 갑자기 길 밖으로 튕겨 나가지 않고 부드럽게 진행할 수 있죠?
KERV는 로봇의 팔이 움직이던 흐름(관성/물리적 궤적)을 계산해서, AI가 살짝 틀린 동작을 내뱉더라도 **"음, 흐름상 이 정도는 괜찮아. 물리적으로 자연스럽게 이 방향으로 이어가자"**라며 부드럽게 보정해 줍니다. 덕분에 "다시 해!"라고 멈출 필요가 없어 속도가 엄청나게 빨라집니다.

2. "상황에 따라 기준을 바꾸자!" (동적 임계값 조절)

기존 방식은 "실수가 5점 이내면 통과!"라는 딱딱한 규칙을 가졌습니다. 하지만 로봇이 아주 정밀한 작업을 할 때와 대충 움직여도 되는 작업을 할 때의 기준은 달라야 합니다.

비유: 시험을 볼 때, 아주 쉬운 산수 문제를 풀 때는 "답이 조금 틀려도 괜찮아"라고 할 수 있지만, 정밀한 수술을 할 때는 "단 0.1점의 오차도 허용 못 해!"라고 엄격해져야 하는 것과 같습니다.
KERV는 로봇이 움직이는 물리적 상황(움직임의 변화량)을 실시간으로 체크해서, "지금은 정밀한 동작이 필요하니 기준을 엄격하게!" 혹은 **"지금은 대충 움직여도 되니 기준을 느슨하게!"**라며 스스로 규칙을 바꿉니다.

🚀 결과: "더 빠르고, 더 똑똑하게"

이 기술을 적용했더니 놀라운 결과가 나왔습니다.

속도가 엄청 빨라졌습니다: 기존 방식보다 약 27%~37% 더 빠르게 움직입니다. (로봇이 훨씬 민첩해졌습니다!)
실패는 거의 없습니다: 속도는 빨라졌는데, 로봇이 일을 망치는 확률(성공률 저하)은 거의 없었습니다.

📝 요약하자면...

KERV는 AI의 **'빠른 추측'**과 로봇의 **'물리적 흐름'**을 결합한 기술입니다. AI가 실수하더라도 물리 법칙을 이용해 부드럽게 넘어가고, 상황에 맞춰 스스로 엄격함을 조절함으로써, "멈춤 없이, 실수 없이, 아주 빠르게" 움직이는 로봇을 만드는 기술이라고 할 수 있습니다.

[기술 요약] KERV: 로봇 VLA 모델을 위한 운동학적 교정 기반 추측 디코딩

1. 문제 정의 (Problem Statement)

최근 로봇 제어 분야에서는 시각, 언어, 행동 정보를 토큰 단위로 통합 처리하는 VLA(Vision-Language-Action) 모델이 주류로 떠오르고 있습니다. 그러나 VLA 모델은 다음과 같은 치명적인 한계점을 가집니다.

낮은 추론 속도: 토큰 기반의 자기회귀(Autoregressive) 생성 방식은 실시간 로봇 제어에 필요한 빠른 속도를 확보하기 어렵습니다.
추측 디코딩(Speculative Decoding, SD) 적용의 어려움: LLM의 속도를 높이기 위해 사용되는 SD를 VLA에 적용할 때 두 가지 문제가 발생합니다.
1. 재추론(Re-inference) 비용: SD 과정에서 드래프트(Draft) 모델이 생성한 토큰에 오류가 발생하면, 이를 수정하기 위해 다시 모델을 돌려야 하는데 이 비용이 매우 커서 오히려 속도가 저하될 수 있습니다.
2. 임계값(Acceptance Threshold) 설정 문제: 토큰 오류를 줄이기 위해 '어느 정도의 오차까지 허용할 것인가'에 대한 임계값을 설정해야 하는데, 기존 방식은 고정된 값을 사용하여 작업의 복잡도나 환경 변화에 유연하게 대응하지 못합니다.

2. 핵심 방법론 (Methodology)

본 논문은 **토큰 도메인(VLA 모델)**과 운동학 도메인(전통적 로봇 제어) 사이의 간극을 메우기 위해, 운동학적 지식을 SD 과정에 결합한 KERV 프레임워크를 제안합니다.

① 운동학 기반 보상 메커니즘 (KF-Based Compensation Mechanism)

SD 과정에서 토큰 오류가 발생했을 때, 값비싼 재추론을 수행하는 대신 **칼만 필터(Kalman Filter, KF)**를 사용하여 오류를 보정합니다.

원리: 드래프트 모델이 생성한 토큰이 검증 모델에 의해 거부되면, 이전의 행동 데이터(Action Context)를 기반으로 칼만 필터가 남은 행동 시퀀스를 예측하여 채워 넣습니다.
효과: 재추론 없이도 연속적인 동작을 생성할 수 있어 연산 비용을 획기적으로 줄이면서 속도를 높입니다.

② 운동학 기반 임계값 조정 전략 (Kinematic-Based Threshold Adjustment)

고정된 임계값 대신, 실시간으로 **운동학적 가변성( $K_{var}$ )**을 측정하여 수용 임계값을 동적으로 조절합니다.

원리: 토큰 도메인에서의 오차와 실제 로봇의 움직임(운동학적 관점) 사이의 불일치를 분석합니다. $K_{var}$ 가 작을 때는(즉, 움직임이 안정적일 때) 약간의 토큰 오차를 허용하고, $K_{var}$ 가 클 때는(움직임이 불안정할 때) 임계값을 엄격하게 조절하여 오류가 누적되는 것을 방지합니다.
효과: 작업 환경의 변화에 따라 최적의 속도와 정확도 사이의 균형(Trade-off)을 자동으로 찾아냅니다.

③ 하드웨어 최적화 (System Implementation)

CPU-GPU 협업: 연산량이 많은 드래프트/검증 모델은 GPU에서 처리하고, 논리적 판단과 계산량이 적지만 데이터 전송이 잦은 칼만 필터 및 임계값 조정 알고리즘은 CPU에서 처리하도록 설계하여 전체 시스템 지연 시간(Latency)을 최소화했습니다.

3. 주요 기여 (Key Contributions)

새로운 관점 제시: VLA 모델(토큰 도메인)과 전통적 로봇 제어(운동학 도메인)의 차이점을 분석하고, 두 도메인을 결합하는 것이 SD 최적화에 효과적임을 입증했습니다.
KERV 프레임워크 제안: 재추론 없이 오류를 보상하는 칼만 필터 메커니즘과 동적 임계값 조정 알고리즘을 결합한 혁신적인 프레임워크를 설계했습니다.
실질적 가속 및 안정성 확보: 로봇 제어의 핵심인 성공률(Success Rate)을 거의 유지하면서도 추론 속도를 크게 향상시켰습니다.

4. 실험 결과 (Results)

다양한 로봇 작업 환경(LIBERO 벤치마크)에서 실험한 결과는 다음과 같습니다.

속도 향상: 기존의 단순한 VLA+SD 방식 대비 1.48배~1.57배의 가속을 달성했으며, 최신 연구인 Spec-VLA와 비교했을 때 27%~37% 더 빠른 속도를 보여주었습니다.
성공률 유지: 속도가 크게 향상되었음에도 불구하고, 작업 성공률(Success Rate)의 손실은 거의 없거나 매우 미미했습니다(약 0.4%~1.5% 수준).
효율성: 칼만 필터를 활용한 보상 덕분에 재추론 횟수를 줄여 평균 추론 단계(Inference Steps)를 단축시켰습니다.

5. 의의 (Significance)

본 연구는 AI 모델(VLA)이 물리적 세계와 상호작용할 때, 물리 법칙(운동학)을 모델의 최적화 과정에 직접 통합할 수 있음을 보여주었습니다. 이는 향후 고성능 로봇 지능을 실시간으로 구현하기 위한 매우 중요한 방향성을 제시하며, Embodied AI(체화된 인공지능)의 실용성을 높이는 데 크게 기여할 것으로 평가됩니다.