💻 computer science

Enabling Dynamic Tracking in Vision-Language-Action Models via Time-Discrete and Time-Continuous Velocity Feedforward

이 논문은 기존 비전 - 언어 - 행동 (VLA) 모델의 제어 한계를 극복하기 위해 속도 피드포워드 항을 통합하는 이산적 유한차분법과 연속적인 B-스플라인 기법을 제안함으로써, 강체 산업용 로봇의 접촉 역학 안전성과 응답성을 동시에 향상시킨다는 점을 보여줍니다.

원저자: Johannes Hechtl, Philipp Schmitt, Georg von Wichert, Wolfram Burgard

게시일 2026-03-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Johannes Hechtl, Philipp Schmitt, Georg von Wichert, Wolfram Burgard

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"로봇이 더 빠르고, 더 부드럽게, 그리고 안전하게 물건을 잡을 수 있게 해주는 새로운 비법"**에 대해 설명합니다.

기존의 로봇 AI(시각-언어-행동 모델, VLA) 는 아주 똑똑해졌지만, 공장의 딱딱한 로봇 팔을 다룰 때 여전히 두 가지 큰 고민이 있었습니다.

너무 딱딱하면: 물건을 잡다가 부러뜨리거나 부딪혀서 위험합니다.
너무 부드럽게 하면: 목표한 곳에 정확히 도달하지 못하고 뒤처집니다 (지연 현상).

이 논문은 이 딜레마를 해결하기 위해 **"로봇에게 '속도' 정보를 미리 알려주는 것"**이 핵심이라고 말합니다.

🎯 핵심 비유: "운전사 vs 내비게이션"

이 논문의 내용을 쉽게 이해하기 위해 운전에 비유해 보겠습니다.

1. 기존 방식 (기존 VLA 모델): "위치만 알려주는 내비게이션"

기존 로봇 AI 는 운전사 (로봇 팔) 에게 **"다음 1 초 뒤에 A 지점에 와"**라고만 말합니다.

문제점: 운전사는 "A 지점까지 얼마나 빨리 가야 하지?"를 스스로 계산해야 합니다.
결과:
- 너무 천천히 가면 목표에 늦습니다 (지연).
- 너무 빨리 가려면 차가 흔들리거나 (부드러움 상실), 갑자기 급정거를 해야 합니다.
- 특히 좁은 길 (구멍에 블록 넣기) 을 지날 때, 차가 흔들리면 벽에 부딪힐 위험이 큽니다.

2. 이 논문의 해결책: "속도까지 알려주는 똑똑한 내비게이션"

이 논문은 AI 가 **"다음 1 초 뒤에 A 지점에 오고, 그 속도는 초당 10m 로 유지해"**라고까지 알려주자고 제안합니다.

효과: 운전사 (로봇 팔) 는 미리 속도를 알고 있으니, 부드럽게 가속하고 감속할 수 있습니다.
장점:
- 빠름: 목표 지점에 훨씬 빠르게 도달합니다.
- 부드러움: 갑자기 멈추거나 흔들리지 않고, 물체를 잡을 때 힘 조절이 정교해집니다.

🛠️ 두 가지 새로운 방법 (비법)

저자들은 이 '속도 정보'를 로봇에게 전달하는 두 가지 방법을 제안했습니다.

방법 1: "점프 계산법" (유한 차분법)

원리: AI 가 "1 초 뒤 A 지점", "2 초 뒤 B 지점"이라고 말하면, 로봇이 A 와 B 사이의 거리를 시간으로 나누어 대략적인 속도를 계산하는 방식입니다.
비유: "집에서 학교까지 10 분, 학교에서 도서관까지 5 분"이라고 하면, "집에서 도서관까지 가는 평균 속도는 이렇겠구나"라고 추측하는 것과 같습니다.
장점: 기존에 있던 로봇 AI 모델을 거의 수정하지 않고 바로 적용할 수 있어 가장 쉽고 빠릅니다.

방법 2: "부드러운 곡선 그리기" (B-스플라인)

원리: AI 가 점 (위치) 을 찍는 대신, 부드러운 곡선 (스플라인) 을 그리는 점들을 예측합니다.
비유: 점들을 찍어서 선을 그리는 게 아니라, 이미 매끄러운 호 (Arc) 를 그려서 그 호를 따라 움직이게 하는 것입니다.
장점: 위치뿐만 아니라 속도, 가속도까지 수학적으로 완벽하게 계산할 수 있어 가장 부드럽고 정교합니다.

🧪 실험 결과: "구멍에 블록 넣기" 게임

연구진은 딱딱한 산업용 로봇 팔을 이용해, 1mm 오차만 허용되는 구멍에 블록을 넣는 매우 어려운 작업을 시켰습니다.

속도 향상: '속도 정보'를 받은 로봇은 기존 로봇보다 약 20% 더 빠르게 작업을 완료했습니다.
성공률: 특히 '부드러운 곡선 그리기' 방식을 쓴 로봇은 속도가 조금 느려질 수도 있었지만, 최종 성공률은 매우 높았습니다.
- 이유: 블록이 구멍에 딱 맞지 않을 때, 로봇이 미세하게 흔들리며 (wiggle) 구멍을 찾는 능력이 생겼기 때문입니다. 마치 손가락으로 구멍을 살짝 비비며 찾는 것과 같습니다.
중요한 교훈: 만약 AI 는 "속도"를 알려주는데, 로봇 팔은 "위치"만 보고 움직인다면? 오히려 더 느리고 실패율이 높아집니다. (데이터와 로봇의 언어가 맞아야 합니다.)

💡 요약: 왜 이 연구가 중요한가요?

이 논문은 **"로봇이 공장에서 일할 때, 빠르고 안전하게 일하려면 '위치'뿐만 아니라 '속도'까지 미리 알려줘야 한다"**는 사실을 증명했습니다.

기존: "여기 가봐" (위치만) → 로봇이 흔들리거나 느림.
새로운 방식: "여기 가는데, 이 속도로 가봐" (위치 + 속도) → 로봇이 빠르고, 부드럽고, 안전함.

이 기술은 앞으로 공장에서 로봇이 인간처럼 정교하고 빠르게 일할 수 있는 토대를 마련해 줍니다. 마치 운전사가 내비게이션의 속도 정보를 받아서 더 안전하고 빠르게 운전하는 것과 같습니다.

1. 문제 정의 (Problem Statement)

배경: 비전 - 언어 - 행동 (VLA) 모델은 로봇 조작 분야에서 큰 잠재력을 보이고 있으나, 강성 (Rigid) 이 있는 산업용 로봇에 배포할 때는 **준강성 (Compliance)**과 반응성 (Responsiveness) 사이의 상충 관계 (Trade-off) 로 인해 어려움이 있습니다.
핵심 문제:
- 기존 행동 복제 (Behavior Cloning, BC) 기반 VLA 모델은 일반적으로 낮은 주파수 (예: 15~60Hz) 에서 이산적인 (Discrete) 위치 (Pose) 만 예측합니다.
- 산업용 로봇의 저수준 제어기 (Impedance/Admittance Controller) 는 정밀한 추적을 위해 위치뿐만 아니라 속도 ( $\dot{x}_d$ ) 와 가속도 ( $\ddot{x}_d$ ) 피드포워드 (Feedforward) 항이 필요합니다.
- 현재 대부분의 VLA 는 속도 피드포워드를 제공하지 않아 ( $\dot{x}_d=0$ ), 제어기는 위치 오차 ( $e = x_d - x$ ) 만을 기반으로 동작합니다.
- 상충 관계: 추적 오차 (지연) 를 줄이려면 강성 (Stiffness) 을 높여야 하지만, 이는 안전하고 부드러운 접촉 (Contact-rich) 동작을 방해합니다. 반대로 준강성을 유지하려면 추적 오차를 감수해야 하므로 실행 속도가 느려집니다.
기존 접근법의 한계: 기존 방법들은 강성 이득을 동적으로 조절하거나 위치 피드백만 사용하지만, 피드포워드 항의 부재로 인한 본질적인 추적 지연을 해결하지 못해 산업 현장의 높은 처리량 (Throughput) 요구를 충족하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 VLA 정책 (Policy) 에 속도 피드포워드 항을 통합하여 이 상충 관계를 해결하는 두 가지 방법을 제안합니다. 두 방법 모두 모델에 구애받지 않으며 (Model-agnostic), 기존 Action Chunking 아키텍처와 호환됩니다.

A. 시간 이산 속도 근사 (Time-Discrete Velocity Approximation, Method 1)

원리: 기존 VLA 모델이 예측한 연속된 이산 위치 ( $x_t, x_{t-1}$ $x_{t}, x_{t - 1}$ ) 간의 유한 차분 (Finite Difference) 을 계산하여 속도를 추정합니다.
- 공식: $\dot{x}_t \approx (x_t - x_{t-1}) / \Delta t$
특징:
- 기존 위치 전용 VLA 모델을 수정 없이 쉽게 적용 가능 (Bridge 역할).
- 구간별 상수 속도 (Piecewise-constant) 프로필을 생성하며, 작은 불연속성이 발생할 수 있습니다.
- 원격 조종 (Teleoperation) 데이터 수집 시 동일한 속도 인지 제어기를 사용한 데이터가 필요합니다.

B. 시간 연속 액션 공간 (Time-Continuous Action Space via Cubic B-Spline, Method 2)

원리: VLA 모델이 로봇의 위치를 직접 예측하는 대신, **3 차 B-스플라인 (Cubic B-Spline) 의 제어점 (Control Points)**을 예측합니다.
특징:
- B-스플라인은 수학적으로 $C^2$ 연속성 (위치, 속도, 가속도의 연속) 을 보장합니다.
- 저수준 제어기는 고주파수 ( $f_{ctrl}$ ) 에서 스플라인 곡선을 분석적으로 미분하여 매끄러운 위치, 속도, 가속도 피드포워드를 실시간으로 추출할 수 있습니다.
- 데이터 수집 시 고주파수 원격 조종 데이터를 스플라인 제어점으로 변환 (최소자승법) 하여 학습 데이터를 생성합니다.

3. 주요 기여 (Key Contributions)

속도 피드포워드의 중요성 입증: 저수준 제어기에 명시적인 속도 피드포워드를 통합함으로써, 준강성을 희생하지 않으면서도 VLA 정책의 실행 속도를 획기적으로 개선할 수 있음을 증명했습니다.
실용적인 속도 근사법 제안: 기존 이산형 VLA 아키텍처에 쉽게 배포 가능한 유한 차분 기반 속도 추정 방법을 제시했습니다.
연속 B-스플라인 액션 공간 도입: 매끄러운 고차 미분값을 보장하는 연속적인 B-스플라인 기반 액션 공간을 제안하여, 고주파수 제어에 적합한 분석적 궤적을 제공합니다.
모델 무관성 (Model-Agnostic): 신경망 아키텍처 변경 없이 데이터 수집, 전/후처리, 저수준 제어기만 수정하여 적용 가능합니다.

4. 실험 결과 (Results)

실험 환경:

작업: 1mm 의 오차 허용 범위 (Tolerance) 가 있는 '큐브 - 홀 (Cube-in-hole)' 삽입 작업 (접촉이 많고 정밀도가 요구되는 작업).
하드웨어: Universal Robots (UR) 산업용 로봇, OMY-L100 원격 조종 장치.
모델: $\pi_0.5$ VLA 모델을 파인튜닝하여 평가.

주요 결과:

원격 조종 (Teleoperation) 성능:
- 속도 피드포워드를 포함한 제어기는 위치 전용 제어기에 비해 모든 주파수 (5Hz~500Hz) 에서 통계적으로 유의미하게 빠른 작업 완료 시간을 기록했습니다 ( $p < 0.001$ ).
- 특히 15Hz, 60Hz 에서 작업 시간이 크게 단축되었으며, 운영자가 제어기의 지연과 싸우지 않고 빠르게 이동할 수 있었습니다.
정책 실행 (Policy Rollout) 성능:
- 유한 차분 (Finite Difference) 방법: 가장 빠른 평균 실행 시간 (6.05 초) 을 기록하여 베이스라인 (7.35 초) 보다 유의미하게 우수했습니다.
- B-스플라인 방법: 실행 시간의 분산이 크고 평균 시간 (7.45 초) 은 베이스라인과 비슷했으나, **최종 성공률 (79.20%)**이 높았습니다.
  - 해석: 스플라인과 실시간 청킹 (RTC) 간의 잔류 불연속성으로 인한 '떨림 (Wiggling)'이 삽입 단계에서 큐브가 구멍에 맞지 않을 때 우연히 도움이 되어 성공률을 높인 것으로 분석됩니다.
- Ablation Study (불일치 테스트): 속도 피드포워드로 학습된 데이터를 위치 전용 제어기로 실행한 경우, 평균 실행 시간 (10.01 초) 이 가장 느리고 성공률이 가장 낮았습니다. 이는 데이터 수집 시의 제어 방식과 추론 시의 제어 방식이 일치해야 함을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

산업 적용 가능성: 이 연구는 강성 있는 산업용 로봇이 VLA 를 통해 안전하면서도 고속으로 접촉 작업을 수행할 수 있는 길을 열었습니다.
기술적 혁신: VLA 의 이산적 예측과 저수준 제어기의 연속적 동역학 사이의 간극을 메우는 두 가지 실용적인 방법론을 제시했습니다.
미래 방향: 현재는 속도 피드포워드에 집중했으나, 향후 이차 미분 (가속도) 피드포워드를 안정적으로 통합하여 더 정밀하고 빠른 제어를 목표로 할 계획입니다.

요약: 본 논문은 VLA 모델이 산업용 로봇에서 효과적으로 작동하기 위해서는 단순한 위치 예측을 넘어 속도 피드포워드가 필수적임을 증명하고, 이를 구현하기 위한 유한 차분과 B-스플라인 두 가지 방법을 제안하여 작업 속도와 성공률을 동시에 개선하는 성과를 거두었습니다.