기술 요약: ElegantVLA

문제 정의

비전 - 언어 - 행동 (VLA) 모델은 시각적 지각, 언어 이해, 행동 생성을 통합하여 범용 로봇 제어의 강력한 패러다임으로 자리 잡았습니다. 그러나 실시간 로봇 조작에서의 배포는 높은 계산 비용과 제한된 제어 주파수로 인해 방해받고 있습니다. 현대의 VLA 파이프라인은 일반적으로 모든 제어 단계에서 비전 인코더, 대규모 언어 모델 (LLM), 그리고 행동 생성 모듈 (예: 확산 또는 흐름 헤드) 을 실행합니다.

기존 가속화 방법들은 종종 개별 구성 요소 (예: 토큰 가지치기, 양자화) 를 최적화하거나 고정된 가속 규칙에 의존합니다. 이러한 접근 방식들은 로봇 제어의 중요한 속성을 간과합니다. 즉, 지각, 추론, 행동 생성의 계산 요구 사항은 다양한 작업 단계에서 균일하지 않다는 점입니다. 인간의 운동 제어에서 인지 및 피드백 자원이 목표에 민감한 단계 (예: 접촉, 파지, 삽입) 에 집중되는 반면, 안정적인 수송 단계 동안은 예측과 저수준 피드백에 의존한다는 점에 영감을 받아, 저자들은 VLA 모델이 언제 전체 계산을 투자하고 언제 이전 계산을 재사용할지 동적으로 학습해야 한다고 주장합니다.

방법론: ElegantVLA

저자들은 VLA 모델의 가속화를 위해 모델 내 동적 계산 스케줄링을 수행하는 플러그인 형태의 단계 적응형 추론 프레임워크인 ElegantVLA를 제안합니다. 핵심적으로, ElegantVLA 는 백본 모델의 재학습 없이 고정된 기본 VLA 정책에서 작동합니다.

1. 단계 적응형 스케줄링 프레임워크

ElegantVLA 는 시간적 표현 유사성, 로봇 운동 단서, 그리고 에피소드 진행 상황을 관찰하여 비전 - LLM 백본과 행동 헤드 간에 계산을 공동으로 할당하는 경량 스케줄러 $\pi_\theta$를 도입합니다. 이 시스템은 VLA 가속화를 정적 압축이 아닌 시간적 계산 할당 문제로 간주합니다.

2. 의미적 안정성 기반 비전 - LLM 스케줄링

비전 - LLM 백본의 높은 비용을 해결하기 위해, 스케줄러는 5 단계 계산 사다리에서 선택합니다:

• 레벨 0 (전체 계산): 비전 인코더와 모든 LLM 레이어를 재계산합니다.
• 레벨 1 (부분 계산): 비전 인코더를 새로 고침하지만 첫 번째와 마지막 LLM 레이어만 재계산하고 중간 표현을 재사용합니다.
• 레벨 2–4 (시간적 재사용): $j-1$개의 연속된 단계 동안 비전 인코더와 LLM 을 건너뛰고 가장 최근의 시각 - 언어 표현을 직접 재사용합니다.

이 결정은 첫 번째 LLM 레이어의 은닉 상태에 대해 계산된 **Centered Kernel Alignment (CKA)**에 의해 안내됩니다. 이는 의미적 안정성을 위한 경량 프로브 역할을 하며, 높은 유사도 ($\rho_t$) 는 시각 - 언어 컨텍스트가 크게 변하지 않았음을 나타내므로 공격적인 재사용이 가능함을 의미합니다.

3. 운동 인지형 행동 헤드 스케줄링

반복적인 행동 생성에서의 중복성을 처리하기 위해, 스케줄러는 3 단계 탈노이즈/정제 사다리에서 선택합니다:

• 레벨 0: 모든 정제 단계를 재계산합니다.
• 레벨 1: 경계 단계를 재계산하지만 중간 업데이트를 재사용합니다.
• 레벨 2: 첫 번째 정제 단계만 재계산하고 나머지는 재사용합니다.

이 결정은 로봇 운동 신호 (그리퍼 속도, 엔드 이펙터 병진/회전 속도) 에 의해 주도됩니다. 안정적인 운동 단계에서는 재사용이 허용되며, 정밀도에 민감한 단계 (접촉, 정렬) 는 전체 정정을 유발합니다.

4. 2 단계 RL 스케줄러 학습

스케줄러는 작업 성능, 계산 비용, 그리고 재사용 안정성 간의 균형을 맞추기 위해 2 단계 강화 학습 (RL) 접근법을 사용하여 학습됩니다:

• 1 단계 (규칙 기반): 파괴적인 탐색을 방지하고 안정적인 초기화를 보장하기 위해 손으로 설계된 규칙 (예: 유사도 임계값) 에 기반한 밀도 보상 형성을 제공하는 교사 정책을 사용합니다.
• 2 단계 (작업 효율성 최적화): 교사 형성 항을 제거하고 작업 성공과 FLOPs 간의 트레이드오프를 직접 최적화하여, 정책이 고정된 규칙을 넘어 전역적으로 최적의 스케줄링 결정을 학습하도록 합니다.

주요 기여

1. 정립: 이 연구는 효율적인 VLA 추론을 단계 적응형 모델 내 계산 할당 문제로 정립하며, 계산 노력은 작업 진행, 의미적 변화, 그리고 로봇 상태에 따라 변해야 한다고 주장합니다.
2. 프레임워크: ElegantVLA 는 전체 계산, 부분 재계산, 그리고 시간적 재사용을 통해 비전 인코더, LLM, 그리고 행동 헤드 간의 계산을 동적으로 조정하는 통합된 시간적 재사용 프레임워크로 제안됩니다.
3. 학습 메커니즘: 2 단계 RL 학습 과정을 통해 작업 성능, 계산 효율성, 그리고 재사용 안정성을 균형 있게 조정하는 스케줄러 학습 프레임워크가 개발되었습니다.

실험 결과

저자들은 시뮬레이션 벤치마크 (SimplerEnv 내의 CogACT, GR00T) 와 Franka Research 3 로봇을 사용한 실제 세계 작업에서 ElegantVLA 를 평가했습니다.

• CogACT (시뮬레이션): ElegantVLA 는 시각 매칭에서 3.72 배, 변형 집계에서 3.77 배의 속도 향상을 달성했으며, FastV 및 VLA-Cache 와 같은 베이스라인 대비 평균 작업 성공률을 개선했습니다.
• GR00T (시뮬레이션): Google Robot 및 WidowX 스위트에서 ElegantVLA 는 전체 성공률을 64.00% 에서 **65.88%**로 향상시키면서 최대 2.55 배의 평균 FLOPs 속도 향상을 달성했습니다.
• 실제 세계 실험: 정지 조작 및 컨베이어 벨트 픽업 등 여섯 가지 작업에서 ElegantVLA 는 계산을 2.18 배 줄이고 제어 주파수를 13.8 Hz 에서 26.3 Hz로 증가시켰습니다. 특히, 빠른 폐루프 보정이 중요한 이동 표적 작업 (예: 파인애플 빵, 토스트) 에서 성공률을 향상시키는 동시에 정지 정밀도 작업에서의 성공률을 유지했습니다.
• 지연 시간: RTX 4090 에서 이 방법은 Google Robot 에서 약 60ms 에서 약 28ms 로 단계당 지연 시간을 50% 이상 줄였습니다.

중요성과 주장

이 논문은 ElegantVLA 가 효율적인 구체적 정책이 단순히 단계당 비용을 줄이는 것이 아니라 상호작용의 시간적 요구에 계산을 적응해야 함을 보여준다고 주장합니다. "언제 생각할지" 학습함으로써, 이 프레임워크는 작업을 가속화하면서 작업 성공을 유지하거나 향상시킵니다. 저자들은 그들의 접근 방식이 전체 지각 - 추론 - 행동 파이프라인에 걸쳐 재사용 결정을 조정하여 고립된 모듈 가속화로 인해 발생할 수 있는 시간적 오차 누적을 방지한다고 강조합니다. 이러한 결과는 단계 적응형 스케줄링이 지연에 민감한 실제 환경에서 고주파수 범용 VLA 정책을 배포하기 위한 실현 가능한 경로임을 시사합니다.