🤖 machine learning

Reinforcement Learning for Real-Time Vision-Language-Action Policies

이 논문은 추론 지연에도 불구하고 대규모 시각-언어-행동 모델이 실제 세계의 역학에 샘플 효율적이고 고성능으로 적응할 수 있도록, 느리고 표현력이 풍부한 행동 생성과 빠르고 반응적인 행동 편집을 분리하는 강화 학습 프레임워크인 Real-Time EXPO-FT를 소개한다.

원저자: Perry Dong, Kuo-Han Hung, Dorsa Sadigh, Chelsea Finn

게시일 2026-09-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Perry Dong, Kuo-Han Hung, Dorsa Sadigh, Chelsea Finn

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇은 오랫동안 생명체와 같은 유연함으로 움직이는 데 어려움을 겪어 왔습니다. 로봇은 공장에서 정해진 일련의 지시를 따르도록 프로그래밍될 수는 있지만, 현실 세계는 무질서하고 예측 불가능하며 빠르게 변화합니다. 이를 해결하기 위해 연구자들은 시각-언어-행동 모델(vision-language-action model)로 알려진 일종의 인공지능에 주목했습니다. 이들은 방대한 양의 데이터로 학습된 거대한 컴퓨터 프로그램으로, 카메라를 통해 보는 것을 이해하고, 텍텍스트 명령을 읽고, 로봇 팔을 어떻게 움직일지 결정할 수 있게 해줍니다. 이 모델들은 세상이 어떻게 돌아가는지에 대한 수많은 사례를 목격했기 때문에 강력하며, 마치 방대한 경험의 도서관처럼 작동합니다. 그러나 중요한 함정이 있습니다. 이 모델들은 매우 크고 복잡하기 때문에 생각하는 데 눈에 띄는 시간이 걸린다는 점입니다. 컴퓨터가 이미지를 처리하고 움직임을 결정하는 그 짧은 찰나의 순간에, 물리적 세계는 이미 변해 버립니다. 만약 로봇이 공을 잡거나 물체의 균형을 잡으려 한다면, 결정을 내리는 데 사용한 정보는 실제로 움직일 때쯤에는 이미 낡은 정보가 되어 있어 종종 동작의 실패를 초래합니다.

스탠퍼드 대학교의 연구팀은 이러한 거대 모델이 느리게 생각하더라도 실시간으로 행동할 수 있도록 가르치는 새로운 방법을 개발했습니다. 'Real-Time EXPO-FT'라고 불리는 이들의 접근 방식은 로봇의 의사결정을 두 개의 뚜렷한 부분으로 나눔으로써 지연 문제를 해결합니다. 거대한 모델이 모든 미세한 순간의 조정을 강제로 수행하게 하는 대신, 모델이 일반적인 경로를 계획하는 중대한 작업을 수행하도록 하고, 훨씬 작고 빠른 컴퓨터 프로그램이 즉각적인 수정을 담당하게 합니다. 오케스트라를 지휘하는 지휘자를 상상해 보십시오. 지휘자는 전체적인 템포와 멜로디를 설정하지만, 개별 연주자들은 박자를 맞추기 위해 즉각적으로 연주를 조정해야 합니다. 이 시스템에서 거대 모델은 지휘자 역할을 하여, 잠시 전 보았던 것을 바탕으로 움직임의 순서를 제안합니다. 그런 다음, 가벼운 보조 프로그램이 현재 세계의 상태를 관찰하며 제안된 움직임에 아주 빠르고 미세한 수정을 가하여, 로봇이 움직여야 하는 바로 그 순간에도 여전히 올바른 동작이 되도록 보장합니다. 이를 통해 로봇은 거대 모델의 느린 사고 속도에 발목 잡히지 않고도 그 깊은 지식을 활용할 수 있습니다.

연구진은 이 방법을 두 가지 매우 다른 환경, 즉 물리 법칙이 적용되는 시뮬레이션 세계와 실제 물리적 세계에서 테스트했습니다. 시뮬레이션에서 로봇은 접시 위의 공 균형 잡기, 수비수를 피하며 축구공 차기, 움직이는 물체 잡기 등 10가지의 역동적인 과제에 도전했습니다. 그들은 이 새로운 방식을 지연 문제를 처리하려고 시도했던 여러 기존 기술들과 비교했습니다. 결과는 명확했습니다. 새로운 접근 방식은 로봇이 거의 모든 시도에서 성공하게 하여, 지연 문제를 겪지 않는 기술들을 포함한 다른 모든 방식보다 뛰어난 성능을 보여주었습니다. 이는 시스템에 스스로의 느림을 고려하도록 명시적으로 가르침으로써, 이론적으로는 더 빠르지만 적응력이 떨어지는 시스템보다 로봇을 더 신뢰할 수 있게 만들 수 있다는 중요한 발견이었습니다.

이 방법이 실제 세계에서도 작동함을 증명하기 위해, 연구팀은 로봇을 실험실 환경으로 옮겨 지속적이고 빠른 반응이 필요한 네 가지 까다로운 과제를 부여했습니다. 이 과제에는 회전하는 접시 위에서 탁구공의 균형 잡기, 회전하는 표면에서 블록 집어 올리기, 다른 로봇 팔이 전달하는 물체 잡기, 그리고 수비수가 움직이는 동안 골대에 공을 차 넣기가 포함되었습니다. 연구진은 로봇이 환경과 상호작용하는 시간을 단 10분으로 제한하여, 끝없는 연습 없이도 시스템이 빠르게 학습할 수 있도록 했습니다. 이 새로운 실시간 학습 프레임워크를 적용하기 전, 이 과제들에 대한 로봇의 성공률은 평균 약 42%로 상당히 낮았습니다. 하지만 새로운 프레임워크를 사용한 후, 성공률은 97%로 급증했습니다. 로봇은 학습 과정 중 인간의 개입 없이도 물체의 혼란스러운 움직임과 과제의 시간적 제약에 적응하는 법을 배웠습니다.

연구는 또한 이 시스템이 서로 다른 조건 하에서 얼마나 잘 버티는지 탐구했습니다. 연구진이 로봇의 사고 과정에서 발생하는 지연 시간을 인위적으로 늘렸을 때, 새로운 방식은 높은 수준의 성능을 유지한 반면 다른 방식들은 실패했습니다. 마찬가지로, 움직이는 물체의 속도가 빨라졌을 때도 이 프레 framework를 사용하는 로봇은 계속해서 성공했지만, 다른 접근 방식들은 따라잡기에 어려움을 겪었습니다. 이는 이 시스템이 특정 속도나 지연에만 국한되지 않고, 역동적인 환경의 예측 불가능한 특성을 다룰 수 있을 만큼 견고하다는 것을 입증합니다. 연구진은 이 시스템이 매우 효과적이긴 하지만, 여전히 과제가 끝난 후 로봇을 재설정하기 위해 인간의 손길이 필요하며, 각 과제에 대해 성공을 정의하는 특정한 방식이 필요하다고 언급했습니다. 그러나 핵심적인 성과는 거대하고 강력한 AI 모델을 실시간으로 작동하게 만들어, 인공지능의 느리고 사려 깊은 계획과 물리적 세계의 빠르고 반응적인 요구 사이의 간극을 메울 수 있음을 보여준 데 있습니다.

기술 요약: Real-Time EXPO-FT

문제 정의
대규모 사전 학습된 시각-언어-행동(Vision-Language-Action, VLA) 모델에 대한 강화 학습(RL) 미세 조정은 신뢰할 수 있는 로봇 배포를 위한 가능성을 제시합니다. 그러나 이러한 모델의 규모는 상당한 추론 지연(inference latency)을 초축래합니다. 역동적인 실제 환경에서 행동을 생성하기 위해 사용되는 관측값은 실행이 이루어지는 시점에는 이미 오래된 정보가 되는 경우가 많습니다. 이는 정책이 오래된 상태 정보에 따라 행동하게 만들어 신뢰성과 성능을 크게 저하시키는 분포 변화(distribution shift)를 야기합니다. 기존 연구들은 이러한 지연을 완화하기 위해 비동기 실행(예: Real-Time Chunking)을 탐구해 왔으나, 이러한 방법들은 주로 모방 학습(imitation learning)에 기반하고 있으며 학습 분포를 넘어설 수 있는 메커니즘이 부족합니다. 또한, 지연된 정책에 표준 RL을 직접 적용하는 것은 이전 관측치로부터 행동을 예측하게 함으로써 표준적인 신용 할당(credit assignment)에 필요한 마르코프 성질(Markov property)을 깨뜨리기 때문에, RL의 완전한 신뢰성 이점을 포착하지 못합니다.

방법론: Real-Time EXPO-FT
본 논문은 실시간 제약 조건 하에서의 RL 미세 조정을 가능하게 하기 위해, 느리고 표현력이 풍부한 행동 생성과 빠르고 반응적인 행동 편집을 분리하는 프레임워크인 Real-Time EXPO-FT를 제안합니다. 이 접근 방식은 EXPO-FT(VLA 미세 조정을 위한 샘플 효율적인 RL 시스템)를 기반으로 하며, 이를 훈련 시 실시간 청킹(Training-Time Real-Time Chunking, RTC) 개념과 통합합니다.

핵심 아키텍처는 서로 다른 시간 척도에서 작동하는 세 가지 구성 요소로 이루어집니다:

비동기적 VLA 행동 생성 (느림): 대규모 사전 학습된 VLA 기본 정책( $\pi_{VLA}$ )이 백그라운드에서 비동기적으로 실행됩니다. 이 모델은 추론 지연( $d$ )을 고려하기 위해 현재 관측값 $s_t$ 와 이전 청크로부터의 "확정된(committed)" 행동 접두사( $a^{prev}_{t:t+d}$ )를 바탕으로 여러 후보 행동 청크를 생성합니다. 이 단계에서는 다양한 후보를 샘플링하기 위해 플로우 매칭(flow-matching)을 활용합니다.
동기적 편집 (빠름): 로봇이 실행 시점 $t+d$ 에 도달하여 최신 관측값 $s_{t+d}$ 를 획득하면, 경량화된 편집 정책( $\pi_{edit}$ )이 반응적인 의사결정을 수행합니다. 이 정책은 VLA가 생성한 후보 청크들을 전달받아, 추론 지연 동안 발생했을 수 있는 상태 변화를 보정하기 위해 현재 상태를 바탕으로 청크를 편집합니다.
Q-함수를 통한 선택: 학습된 Q-함수( $Q_\phi$ )는 현재 상태 $s_{t+d}$ 하에서 원래의 VLA 후보와 편집된 후보를 모두 평가합니다. 시스템은 실행을 위해 가장 높은 Q-값을 가진 행동 청크를 선택합니다.

훈련 절차

VLA 미세 조정: 기본 VLA는 훈련 중에 추론 지연을 시뮬레이션하는 수정된 플로우 매칭 목적 함수를 사용하여 미세 조정됩니다. 손실 함수는 첫 $d$ 개의 행동(지연 구간)을 제외하도록 마스킹되어, 모델이 확정된 접두사에 조건화된 나머지 행동들을 예측하도록 강제합니다.
편집 정책 훈련: 편집 정책은 편집된 행동의 Q-값을 최대화하도록 훈련되며, 결과적으로 기본 정책의 출력을 행동 공간의 더 높은 가치 영역으로 이동시키는 법을 배웁니다.
비평가(Critic) 훈련: 비평가는 전체 행동 청크에 대해 시간차 학습(temporal-difference learning)을 사용하여 훈련됩니다. 벨만 백업(Bellman backup) 중 계산 비용을 줄이기 위해, 이 방법은 노이즈 공간 필터링 메커니즘(FASTER에서 영감을 받음)을 채택합니다. 경량 비평가( $Q^{dn}_\psi$ )가 전체 디코딩 전에 후보 노이즈 벡터를 점수화함으로써, 시스템이 노이즈 공간에서 후보를 필터링하고 편집을 적용하기 전 최적의 후보에 대해 단 한 번의 VLA 디코딩만 수행할 수 있도록 합니다.

주요 기여

실시간 RL을 위한 프레임워크: 본 논문은 실시간 제어 빈도를 유지하면서도 추론 지연을 명시적으로 고려하여 대규모 VLA 모델의 RL 미세 조정을 가능하게 하는 최초의 프레임워크를 소개합니다.
분리된 제어 아키텍처: 느리고 높은 용량의 행동 생성(VLA)과 빠른 반응형 상태 수정(편집 정책)의 새로운 분리를 제안하여, 시스템이 VLA의 사전 지식을 활용하면서도 반응성을 유지할 수 있게 합니다.

샘플 효율적 적응: EXPO-FT의 샘플 효율성과 실시간 실행 전략을 결합함으로써, 최소한의 온라인 데이터로 역동적인 환경에 빠르게 적응할 수 있습니다.

실험 결과
저자들은 Kinetix 벤치마크(10개의 시뮬레이션 태스크)와 4개의 역동적인 실제 환경 태스크(로봇 물체 전달, 공 균형 잡기, 탁구 킥, 역동적 물체 집기)에서 Real-Time EXPO-FT를 평가했습니다.

시뮬레이션: Kinetix 벤치마크에서 Real-Time EXPO-FT는 지연 및 비지연 방법들 중 10개 환경 모두에서 최고의 성능을 달기했습니다. 이는 지연된 베이스라인들(DSRL, RTC 적용 여부에 따른 EXPO-FT)을 크게 능가했으며, 4단계의 추론 지연에도 불구하고 비지연 RLPD 베이스라인(평균 성공률 81.4% 대비 96.2%)보다 높은 성능을 보였습니다.
실제 환경: 10분의 온라인 로봇 데이터로 제한된 실제 실험에서, Real-Time EXPO-FT는 평균 정책 성공률을 **42% (12.5/30)**에서 **97% (29/30)**로 향상시켰습니다. 이 방법은 역동적 집기(Dynamic Picking)와 물체 전달(Object Passing)에서 완벽에 가까운 성능(30/30)을 보였으며, 공 균형 잡기(Ball Balancing)와 축구 킥(Soccer Kicking)에서 28/30을 기록하며 모든 베이스라인을 크게 앞질렀습니다.
강건성: 이 방법은 다양한 추론 지연과 환경 속도에 대해 안정적인 성능을 보여준 반면, RTC와 같은 베이스라인들은 지연이 증가함에 따라 성능이 크게 저하되었습니다.

의의 및 주장
본 논문은 Real-Time EXPO-FT가 RL 미세 튜닝의 높은 신뢰성과 역동적인 실제 조작에 필요한 반응성 사이의 간극을 성공적으로 메운다고 주장합니다. 추론 지연을 명시적으로 모델링하고 행동 생성과 실행을 분리함으로써, 이 방법은 성능 저하 없이 대규모 VLA 모델을 고빈도 제어 루프에 배치할 수 있게 합니다. 결과는 모델 지연으로 인한 분포 변화를 극복하면서, 인간의 개입 없이도 도전적인 실제 역동성에 빠르게, 그리고 샘플 효율적으로 적응하는 것이 가능하다는 것을 입증합니다.

한계점
저자들은 현재 구현이 환경 리셋을 위해 인간 운영자에게 의존하고 있어 운영 부담이 발생한다는 점을 인정합니다. 또한, 보상 신호가 태스크별 성공 분류기(규칙 기반 또는 학습된 분류기)에 의존하므로 새로운 태스크마다 수동 설계가 필요합니다. 저자들은 리셋 자동화와 대안적인 보상 공식 탐구가 향리 과제로 남아 있음을 언급했습니다.

기술 요약: Real-Time EXPO-FT

유사한 논문