기술 요약: TempoVLA

문제 정의

기존의 시각-언어-행동(Vision-Language-Action, VLA) 모델은 학습된 데모로부터 하나의 고정된 실행 속도를 상속받는 특성을 가집니다. 이러한 경직성은 로봇 조작에서 중요한 한계점이 됩니다. 왜냐하면 실제 환경에서의 조작 작업은 저위험 이동 단계(빠른 실행 필요)와 고위험 접촉 단계(느리고 정밀한 움직임 필요)를 번갈아 수행하기 때문입니다. 모델 압축, KV-캐시 재사용, 또는 강화 학습과 같은 기존의 속도 변경 시도들은 대개 정책을 다른 고정된 속도로 이동시킬 뿐, 명시적이고 온디맨드(on-demand) 방식의 제어를 가능하게 하지는 못합니다. 또한, 이러한 방법들은 주로 가속에만 집중되어 있어, 정밀한 삽입이나 취약한 물체 전달에 필수적인 감속(deceleration) 연구는 거의 이루어지지 않았습니다. 핵심 과제는 기존의 기본 아키텍처를 처음부터 다시 학습시키거나 새로운 데이터를 수집하지 않고도, 단일 VLA에 명시적인 양방향 속도 제어 능력을 부여하는 것입니다.

방법론

저자들은 명시적인 스칼라 조건 $s$에 의해 제어되는 가변 속도로 작업을 수행할 수 있는 프레임워크인 TempoVLA를 제안합니다. 이 접근 방식은 두 가지 결합된 구성 요소, 즉 데이터 측면의 증강 전략과 모델 측의 컨디셔닝 메커니즘으로 이루어집니다.

1. 가변 속도 궤적 증강 (Variable-Speed Trajectory Augmentation, VSTA)

VSTA는 기존의 데모를 모션 시맨틱스(motion semantics)를 보존하면서 타겟 속도 $s$에 맞춰 재시간화(re-timing)하는 온라인 데이터 증강 전략입니다. 이는 세 단계로 작동합니다:

• 모션 일관적 세그멘테이션(Motion-Consistent Segmentation): 데모를 모션 모드(정지, 이동, 회전, 또는 이동 및 회전)와 그리퍼 이벤트에 따라 분할합니다. 경계는 모드 변화나 방향 전환 시점에 배치하여 시맨틱 일관성을 보장합니다.
• 청크 단위 속도 변환(Chunk-Level Speed Transform): 각 세그먼트 내에서, 타겟 속도 $s$는 $q$개의 소스 프레임을 $p$개의 출력 프레임으로 매핑함으로써 실현됩니다 ($s = q/p$). 청크의 전체 움직임 $\Delta$는 누적된 후 선형 보간법을 통해 $p$개의 동일한 크기를 가진 단계로 재분할됩니다. 이는 청크 내의 궤적 형태는 변경하면서도 통합된 움직임은 보존합니다. 이 연산은 덧셈에 대해 닫혀 있는 액션 공간(예: 카테시안 이동, 관절 속도, 축-각 벡터)에서 유효합니다.
• 온라인 청크 시작 샘플링(Online Chunk-Start Sampling): 재시간화 과정에서 관측값(observations)이 손실되는 것을 방지하기 위해, 매 학습 샘플마다 청크의 시작 오프셋을 무작별화합니다. 이를 통해 학습 과정 전반에 걸쳐 모든 소스 프레임이 유효한 청크 시작점이 되어 학습 신호에 기여하도록 합니다.

2. 속도 컨디셔닝 메커니즘 (Speed Conditioning Mechanism)

정책 $\pi_\theta(o_t, s)$는 속도 스칼라 $s$가 명시적인 컨디셔닝 입력으로 주어지는 증강된 데이터셋을 통해 학습됩니다. 논문에서는 세 가지 경량 인젝션(injection) 기법을 평가합니다:

• 텍스트 프리픽스(Textual Prefix): 언어 지시문에 문구(예: "Perform the task at 1.5x speed")를 접두사로 추가합니다.
• 속도 변조 RMSNorm(Speed-Modulated RMSNorm): $s$를 임베딩하는 작은 MLP를 사용하여 이를 타임스텝 임베딩에 더하고, 이를 통해 액션 엑스퍼트 레이어의 RMSNorm을 변조합니다.
• 스피드 앵커를 포함한 소프트 프롬프트(Soft Prompt with Speed Anchors): 인코더 입력에 이산적인 속도 앵커에 대응하는 학습 가능한 소프트 프롬프트 토큰을 삽입합니다.

실험 결과, 속도 제어는 최소한의 엔지니어링 노력으로 주입될 수 있으며 특정 컨디셔닝 메커니즘에 크게 의존하지 않음을 보여주었습니다. 단순성과 유연성 때문에 텍스트 프리픽스가 기본 방식으로 선택되었습니다.

3. VLM 스케줄러를 통한 동적 속도 제어

고수준 시각-언어 모델(VLM)과 결ented할 때, TempoVLA는 고정된 명령을 넘어 자동화된 동적 속도 스케줄링을 지원합니다. VLM은 장면을 관찰하고 청크당 속도 명령을 전달하여, 인간의 개입 없이도 로봇이 저위험 이동 단계에서는 가속하고 고위험 접촉 단계에서는 감속할 수 있도록 합니다.

주요 결과

시뮬레이션 (LIBERO 벤치마크)

• 실행 가능성: VSTA는 모션 에러를 무시할 만한 수준($< 5 \times 10^{-8}$)으로 유지하면서 다양한 속도(0.5x ~ 2x)에 대해 실행 가능한 데모를 성공적으로 생성했습니다.
• 성능 향상: VSTA를 통한 학습은 단일 속도 베이스라인에 비해 기본 1x 성공률을 개선합니다. 피크 성능은 종종 중간 속도(1.25x 또는 1.5x)에서 나타나는데, 이는 VSTA가 텔레오퍼레이션 데이터의 "리듬 패딩(rhythm padding)"을 압축함으로써 더 결단력 있는 실행을 유도함을 시사합니다.
• 그래뉴러리티(Granularity): 학습 시 속도 입자가 더 세밀할수록(예: 7단계 속도 범위) 모든 속도 영역에서 더 나은 성능을 보였습니다.
• 한계: 극단적인 속도(예: 4x)에서는 정책 실패가 아니라, 단일 제어 간격 내에서 큰 액션 크기를 추적하지 못하는 저수준 컨트롤러의 능력 한계로 인해 성능이 저하됩니다.

실제 환경 실험

• 설정: 5가지 작업(pick-and-place 및 변형 가능한 물체 조작)에 대해 평행 그리퍼가 장착된 7-DoF Franka 암에 배포되었습니다.
• 성공률: VSTA는 기본 1x 성공률을 80.0%(베이스라인)에서 88.0%로 높였습니다.
• 동적 스케줄링: GPT-4o 스케줄러와 결합했을 때, 시스템은 가장 우수한 고정 속도 설정보다 높은 96%의 평균 성공률을 달exp했습니다. 스케줄러는 단계(자유 공간 vs 접촉)를 정확히 식별하고 속도를 조절했으나, 최대 1.5x 속도를 거의 요청하지 않는 등 보수적으로 동작했습니다.
• 실현된 속도: 실현된 실행 속도는 명령된 속도(예: 1.25x 명령에 대해 1.29x 실현)를 밀접하게 추적하였으며, 이는 정책 예측이 하드웨어 실행으로 충실히 번역됨을 확인시켜 줍니다.

의의 및 주장

본 논문은 TempoVLA가 기존 VLA를 위한 경량화된 플러그 앤 플레이 솔루션을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 양방향 제어: 가속에만 집중했던 이전 연구들과 달리, 단일 정책으로부터 가속과 감속을 모두 가능하게 합니다.
2. 데이터 효율성: 새로운 데이터 수집 없이 VSTA를 사용하여 기존 데모의 시간을 재조정함으로써 이를 달성합니다.
3. 암묵적 증강: 데이터를 재시간화하는 과정은 효과적인 증강 역할을 하여, 정책이 고정된 관측-크기 매핑을 암기하는 대신 더 미세한 객체 및 목표 인식 특징을 학습하도록 강제함으로써 기본 1x 성능을 향상시킵니다.
4. 동적 스케줄링: 실행 속도가 고수준 추론기(VLM)를 위한 새로운 제어 채널이 될 수 있음을 보여주며, 로봇이 속도와 정밀도의 균형을 자율적으로 맞추는 단계 인식 실행을 가능하게 합니다.

저자들은 정책 자체는 다양한 속도를 지원하지만, 실현 가능한 최대 속도는 저수준 컨트롤러의 추적 대역폭에 의해 결정된다고 강조하며, 향가 연구에서 컨트롤러를 공동 튜닝하여 정책의 속도 제어 범위를 완전히 활용할 수 있을 것이라고 제언합니다.