Fast and Accurate: An Adaptive VLA Inference Framework through Environment-aware Model Selection

기술 요약: 적응형 VLA 추론을 위한 환경 인식 모델 선택 (EMS)

문제 정의

체화된 지능(Embodied intelligence)은 시각-언어-행동(Vision-Language-Action, VLA) 모델이 과업 성공을 위한 장기적 추론(long-horizon reasoning)과 동적 제어를 위한 실시간 폐쇄 루프 응답성(real-time closed-loop responsiveness)이라는 두 가지 상충하는 목표 사이에서 균형을 잡을 것을 요구합니다. 대규모 VLA 모델은 강력한 추론 능력을 갖추고 있지만, 그 추론 지연 시간(종종 1~10 Hz)은 제어 빈도를 제한하여, 반응성이 중요한 접촉 집약적 조작(contact-rich manipulation)에는 부적합하게 만듭니다. 반대로, 경량화된 정책은 높은 빈도(예: 100 Hz)를 달 정도로 빠르지만 복잡한 과업을 수행하기 위한 추론의 깊이가 부족합니다.

기존 솔루션들은 "빠른" 반응 시스템과 "느린" 심사숙고 시스템을 결합하는 이중 시스템 아키텍처를 통해 이를 해결하려고 시도합니다. 그러나 현재의 접근 방식은 일반적으로 빠른 모듈이 느린 모듈의 중간 표현(intermediate representations)을 소비하는 **긴밀한 결합(tight coupling)**에 의존합니다. 이는 엔드 투 엔드(end-to-end) 공동 학습을 필요로 하며, 모듈성을 제한하고, 플러그 앤 플레이 방식의 모델 업그레이드를 방해하며, 실시간 환경 피드백에 따라 유연하게 전환하는 시스템의 능력을 제한합니다.

방법론: EMS 프레임워크

저자들은 빠른 시스템과 느린 시스템을 분리하여, 두 시스템이 독립적으로 작동하고 오직 행동 수준에서만 상호작용할 수 있도록 하는 적응형 추론 프레임워크인 **환경 인식 모델 선택(Environment-aware Model Selection, EMS)**을 제안합니다.

1. 시스템 아키텍처

• 시스템 2 (느림/심사숙고): 전역 궤적 계획 및 장기적 추론을 담당하는 대규모 사전 학습된 VLA 모델입니다. 낮은 빈도(예: ~10 Hz)로 작동하며 시간적으로 일관된 행동 청크(action chunks)를 생성합니다.
• 시스템 1 (빠름/반응): 고주파수(목표 ~100 Hz)로 엔드 투 엔드 행동 생성이 가능한 경량 정책입니다. 결정적으로, 시스템 1은 완전히 분리되어 있습니다. 즉, 시스템 2로부터 중간 특징(intermediate features)을 의존하지 않으며, 동일한 관측 공간(시각적 입력 및 언어 지시문)을 공유합니다.
• 스위칭 모듈 (Switching Module): 결정 경계에서 어떤 시스템을 호출할지 동적으로 선택하는 경량화된 환경 인식 컨트롤러입니다. 이는 시스템 선택을 두 가지 행동 마르코프 결정 과정(two-action MDP)으로 취급하며, 현재 로봇 상태 $s_t$를 기반으로 시스템 1($\hat{a}_t=0$)과 시스템 2($\hat{a}_t=1$) 중 하나를 선택합니다.

2. 단계별 학습 파이프라인
분리된 시스템 간의 안정성과 일관성을 보장하기 위해, 저자들은 3단계 학습 과정을 채택합니다.

• 1단계 (시스템 2 미세 조정): 대규모 심사숙고 모델을 원형의 사전 학습된 우선순위를 유지하면서 특정 과업 분포에 정렬시키기 위해 텔레오퍼레이션(teleoperation) 데이터로 모방 학습을 수행합니다.
• 2단계 (시스템 1 증류): 미세 조정된 시스템 2가 생성한 궤적을 사용하여 시스템 1을 모방 학습으로부터 처음부터 학습시킵니다. 이 **궤적 증류(trajectory distillation)**는 빠른 정책의 행동을 느린 정책의 궤적 분포와 정렬시켜, 스위칭 시 발생하는 불일치를 최소화합니다.
• 3단계 (스위칭 정책 학습): 스위칭 모듈은 강화 학습(RL)을 사용하여 학습됩니다. 저자들은 온라인 RL(우선순위 경험 재생을 포함한 Deep Q-Network)과 오프라인 RL(Implicit Q-Learning)을 모두 활용하여, 루틴한 제어에는 빠른 시스템을 기본으로 사용하되, 심사숙고가 필요한 경우에만 느린 시스템을 호출하도록 하는 정책을 학습합니다.

3. 실행 및 행동 융합 (Action Fusion)
추론 중에 시스템은 폐쇄 루프(closed loop)로 작동합니다. 결정 경계에서 스위칭 모듈은 활성화된 정책을 선택합니다. 시스템 간 전환 시 제어 불연속성을 방지하기 위해, 프레임워크는 느린 시스템의 계획된 청크에서 나온 행동과 빠른 시스템의 즉각적인 추론을 평균 내는 **행동 융합(Action Fusion)**을 사용하여 매끄러운 전환을 보장합니다.

주요 기여

1. 분리된 이중 시스템 추론: EMS는 빠른 정책과 느린 정책가 독립적으로 학습 및 배포되며, 오직 행동 수준의 인터페이스를 통해서만 상호작용하는 완전한 모듈형 아키텍처를 도입합니다. 이는 비용이 많이 드는 공동 재학습 없이도 플러그 앤 플레이 방식의 모델 교체를 지원합니다.
2. 환경 인식 적응형 스위칭: 본 프레임워크는 시스템 선택을 MDP로 정식화하여, 실시간 피드백을 바탕으로 시스템 간의 동적 전환을 학습함으로써 추론 깊이와 실행 속도 사이의 트레이드오프를 최적화합니다.
3. 고주파수, 고정밀 제어: 대규모 VLA의 계획 능력과 경량 정책의 속도를 결합함으로써, EMS는 강력한 과업 성공률을 유지하면서도 반응형 폐쇄 루프 제어를 달erm합니다.

실험 결과

본 프레임워크는 시뮬레이션(LIBERO 벤치마크, Realman 시뮬레이션)과 실제 환경의 양팔 조작 과업에서 평가되었습니다.

• LIBERO 벤치마크: EMS는 대규모 시스템 2 베이스라인(PI0)과 대등한 **92.40%**의 평균 성공률을 달성했으며, 이는 빠른 시스템 전용 베이스라인(BCVILT)을 크게 상회하는 수치입니다. 특히, EMS는 유효 행동 빈도를 93.37 Hz(OpenVLA의 6.3 Hz 및 PI0의 50 Hz 대비)로 높이는 동시에, 스위칭 비율(느린 시스템 사용 빈도)을 0.153으로 낮추어 계산 비용이 높은 모델의 호출을 희소하게 유지했습니다.
• Realman 시뮬레이션 및 실제 양팔 과업: Realman 시뮬레이션 양팔 설정에서 EMS는 **94%**의 성공률을 기록하여 시스템 2 베이스라인(93%)을 근소하게 앞질렀습니다. 실제 "Stack Bowls Two" 과업에서는 시스템 2(PI0)가 **100%**의 성공률을 보인 반면, EMS는 **70%**를 기록했습니다. 이 실제 시나리오에서 시스템 성능은 빠른 시스템에 의해 더 제약을 받았으며, 주로 오른쪽 팔(빠른 시스템 사용)이 큰 편차를 보일 때 실패가 발생했습니다. 시스템 2 단독 사용 시보다 성공률은 낮았으나, EMS는 평균 과업 완료 시간을 23초로 단축하여 느린 시스템 전용 베이스라인(29초)보다 훨씬 빠르게 수행했습니다. 시스템 1 단독으로는 이론적으로 18초 만에 과업을 완료할 수 있으나, 궤적 품질 저하로 인해 자주 실패하여 실행 시간이 30초 이상 걸리기도 합니다.
• 단일 암 하드 과업 (Single-Arm Hard Tasks): Realman 단일 암 하드 설정에서 시스템 2는 **56%**의 성공률을 보였고, EMS는 **50%**를 기록했습니다. 이는 EMS가 시스템 2의 성능에 근접하기 위해 느린 시스템을 더 빈번하게 호출해야 하는 도전적인 설정에서의 필연적인 트레이드오프를 반영합니다.
• 절제 연구 (Ablation Studies): 결과는 궤적 증류가 시스템 1을 시스템 2와 정렬시키는 데 결정적이며, 행동 융합이 특히 장기적 과업에서 안정성을 크게 향상시킨다는 것을 확인해 주었습니다.

의의

본 논문은 EMS가 강력한 VLA 성능을 활용하는 것과 엄격한 실시간 실행 요구 사항을 충족하는 것 사이의 근본적인 트레이드오프를 해결한다고 주장합니다. 시스템을 분리하고 환경 인식 스위칭을 가능하게 함으로써, EMS는 빠르고(동적 환경에 대한 반응성) 정확한(복잡한 추론 능력) 체화된 지능을 향한 확장 가능한 경로를 제시합니다. 본 프레임워크는 시스템이 모듈화되고 스위칭 전략이 적응적이라면, 대규모 모델의 계획 능력을 희생하지 않고도 고주파수 폐쇄 루프 제어를 유지할 수 있음을 입증합니다. 다만, 가장 까다로운 실제 환경 시나리오에서는 성공률이 전용 느린 시스템 단독 모델에 비해 여전히 뒤처질 수 있습니다.