💻 computer science

ReactVLA: Fast and Lightweight Reactive Robot Manipulation via Improved Mean Flow Action Generation

이 논문은 1-to-few-step 추론을 위한 개선된 Mean Flow 액션 생성기와 더 나은 특징 라우팅을 위한 동적 Attention Residuals 메커니즘을 결합하여, 기존의 확산 기반 모델들과 비교해 현저히 빠른 추론 속도와 향상된 작업 성능을 결과로 나타내며 실시간 반응형 로봇 조작을 달성하는 경량 및 저지연 시각-언어-행동(Vision-Language-Action) 프레임워크인 ReactVLA를 소개한다.

원저자: Yanzhao Guo, Wenkai Chen, Jianwei Zhang

게시일 2026-06-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yanzhao Guo, Wenkai Chen, Jianwei Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 팔에게 오렌지를 집어서 바구니에 담는 법을 가르치려 한다고 상상해 보세요. 이를 위해 로봇은 세상을 관찰하고, 당신의 음성 명령을 이해하며, 관절을 어떻게 움직일지 정확히 결정할 수 있는 '두뇌'(소프트웨어 정책)가 필요합니다.

오랫동안 가장 똑똑한 로봇 두뇌들은 **디퓨전(Diffusion)**이라 불리는 방식을 사용해 왔습니다. 이것은 마치 노이즈로 가득 찬 캔버스에서 시작해, 단계적으로 노이즈를 조금씩 지워나가며 완벽한 그림을 그려나가는 과정과 같습니다. 이 방식은 매우 아름답고 복잡한 움직임을 만들어내지만, 한 가지 단점이 있습니다. 바로 노이즈를 지우는 데 시간이 너무 오래 걸린다는 것입니다. 로봇은 움직이기 전에 노이즈를 조금 지우고, 잠시 멈춰 생각하고, 다시 조금 더 지우는 과정을 수십 번 반복해야 합니다. 로봇이 움직이기로 결정했을 때쯤이면, 오렌지는 이미 굴러가 버렸거나 로봇이 떨어지는 물체를 잡기에는 너무 느리게 움직이고 있을 수도 있습니다.

ReactVLA는 이 "생각이 너무 느리다"는 문제를 해결하기 위해 설계된 새로운 로봇 두뇌입니다. 저자들은 두 가지 핵심 기술을 통해 이를 구현했습니다.

1. "지름길" 운전자 (개선된 평균 흐름 - Improved Mean Flow)

ReactVLA는 단계별로 천천히 노이즈를 지우는 경로 대신, **개선된 평균 흐름(Improved Mean Flow)**이라는 방법을 사용합니다.

기존 방식: 뉴욕에서 보스턴까지 운전하는 상황을 상상해 보세요. 기존 방식은 GPS를 확인하고 10마일을 운전한 뒤, 다시 지도를 확인하기 위해 멈추고, 다시 10마일을 운전한 뒤 또 멈추는 것과 같습니다. 목적지에 도착은 하겠지만, 시간이 너무 오래 걸립니다.
ReactVLA 방식: 이 방법은 전체 여정에 필요한 평균 속도와 방향을 한 번에 계산합니다. 이는 지도를 보고 "북동쪽으로 시속 60마일로 달려야겠군"이라고 판단한 뒤, 한두 번의 큰 움직임만으로 곧장 달려가는 것과 같습니다.
결과: 로봇은 수십 번씩 멈춰서 생각할 필요가 없습니다. 거의 즉각적으로 결정을 내리고 움직일 수 있습니다. 논문은 이 방식이 기존의 최고 모델들보다 정확도를 유지하면서도 4배 더 빠르다고 주장합니다.

2. "똑똑한 사서" (어텐션 잔차 - Attention Residuals)

ReactVLA는 작은 단계를 거치는 대신 이러한 "큰 걸음"을 내딛기 때문에, 단 한 번의 눈길에도 매우 영리하게 정보를 처리해야 합니다. 만약 세부 사항(예: "오렌지가 미끄럽다" 또는 "바구니가 왼쪽에 있다")을 놓친다면 충돌이 발생할 수 있기 때문입니다.

문제점: 표준적인 로봇 두뇌에서는 정보가 여러 처리 계층을 통과할 때, 중요한 세부 사항들이 희석될 수 있습니다. 마치 커피에 물을 너무 많이 타서 맛이 연해지는 것과 같습니다. 핵심적인 정보(맛)가 약해지는 것입니다.
ReactVLA의 해결책: 이들은 **어텐션 잔차(Attention Residuals)**라는 기능을 도입했습니다. 책을 단순히 쌓아 올리는(위의 책이 아래 책을 가리는) 사서가 아니라, 질문을 던지면 쌓여 있는 책 더미 중 어디에 있든 상관없이 즉시 해당 페이지를 찾아낼 수 있는 마법 같은 시스템을 가진 사서를 상상해 보세요.
결과: 로봇은 매우 빠르게 결정을 내리는 순간에도 자신이 보는 것(시각), 듣는 것(청각), 관절의 위치 등 모든 중요한 감각적 세부 사항을 선명하고 명확하게 유지합니다.

무엇을 증명했나요?

연구팀은 세 가지 방식으로 이 새로운 두뇌를 테스트했습니다.

비디오 게임 (시뮬레이션): 복잡한 가상 세계(LIBERO 및 RoboIMI)에서 테스트했습니다. ReactVLA는 다른 똑똑한 로봇들보다 더 자주 승리했으며 훨씬 더 빠르게 임무를 수행했습니다. 예를 들어, 두 개의 로봇 팔이 서로 블록을 주고받아야 하는 작업에서, 기존 모델들이 느리고 서툴렀던 반면 ReactVля는 매끄럽고 신속하게 움직였습니다.
실제 로봇: 이 두뇌를 실제 물리적 로봇 팔(Diana 7)에 탑재했습니다.
- 작업: 오렌지를 집어 들고 나무 블록을 쌓는 작업.
- 결과: 로봇은 매우 빠르게(39밀리초 미만) 반응하여 오렌지를 떨어뜨리지 않고 다룰 수 있었습니다. 작업이 더 어려워졌을 때(블록 쌓기), ReactVLA는 90%의 성공률을 보인 반면, 더 느린 로봇은 자신의 실수를 수정하기에 너무 느려서 75%의 성공률에 그쳤습니다.

핵심 요약

ReactVLA는 로봇을 "매우 신중하지만 느린 생각가"에서 "매우 신중하면서도 빠른 생각가"로 업그레이드하는 것과 같습니다. 이는 움직임을 계산하는 방식에서 지름길을 찾고, 보는 것을 기억하는 더 똑똑한 방법을 사용함으로써 가능해졌습니다. 이를 통해 로봇은 실시간으로 반응할 수 있게 되었으며, 공을 잡거나 움직이는 라인에서 부품을 조립하는 것과 같이 속도와 정밀함이 요구되는 작업에서 훨씬 더 뛰어난 성능을 발휘합니다.

기술 요약: ReactVLA

문제 정의

확산 기반 시각-언어-행동(Vision-Language-Action, VLA) 정책은 로봇 조작을 위한 표현력 있고 다중 모달적인 행동 분포를 모델링하는 데 강력한 능력을 입증해 왔습니다. 그러나 반복적인 샘플링(종종 수십 번의 디노이징 단계가 필요함)에 의존하는 방식은 상당한 추론 지연(inference latency)을 초래하며, 이는 빈번하게 수백 밀리초 단위의 제어 주기 시간을 발생시킵니다. 이러한 지연 시간은 접촉 역학, 물체의 움직임, 실행 불확실성에 실시간으로 적응해야 하는 반응형 고주파 폐루프(closed-loop) 로봇 조작에 대한 이러한 생성적 정책의 적용 가능성을 심각하게 제한합니다. 본 연구가 다루는 핵심 과제는 디퓨전 스타일의 행동 모델링이 가진 표현력 있는 이점을 유지하면서도, 추론을 단 한 번 또는 몇 번의 평가만으로 줄이는 방법입니다.

방법론

저자들은 실시간 로봇 조작을 위해 설계된 경량 저지연 VLA 프레임워크인 ReactVLA를 제안합니다. 이 프레임워크는 두 가지 상호 보완적인 기술적 혁신을 통합합니다.

1. 개선된 평균 흐름(Improved Mean Flow, iMF) 행동 생성기

반복적인 디퓨전 샘플링의 계산 부담을 제거하기 위해, ReactVLA는 국소적 디노이징을 저단계 평균 흐름(low-step mean flow) 행동 생성으로 대체합니다.

개념: 곡선 궤적을 따라 미세한 적분을 요구하는 표준 플로우 매칭(flow matching) 방법이 즉각적인 국소 속도장을 모델링하는 것과 달리, Mean Flow는 **유한 구간 평균 수송(finite-interval average transport)**을 모델링합니다. 이를 통해 1~몇 단계 내에 안정적인 생성을 가능하게 합니다.
개선된 평균 흐름 (iMF): 저자들은 평균 속도장을 직접 최적화하는 것이 저단계 학습 시 경로 불일치와 불안정한 최적화를 초래할 수 있음을 확인했습니다. 이를 해결하기 위해, 이들은 스톱 그래디언트(stop-gradient) 제약이 포함된 자코비안-벡터 곱(Jacobian-Vector Product, JVP) 보정을 도입했습니다. 이는 평균 수송 예측을 기저의 즉각적인 속도장과 정렬시키며, 수학적으로 다음과 같이 표현됩니다:
$V_\theta(z_t, r, t) = u_\theta(z_t, r, t) + (t-r)\text{JVP}_{\text{sg}}(u_\theta; v_\theta)$
여기서 $u_\theta$ 는 예측된 평균 수송 속도이고 $v_\theta$ 는 즉각적인 속도입니다.
학습 안정성: 초기 학습 단계에서의 큰 수송 오차를 처리하기 위해, 프레임워크는 표준 평균 제곱 오차(MSE) 대신 Pseudo-Huber 손실을 사용합니다. 이 손실 함수는 큰 오차에 대해 그래디언트 크기를 제한하여, JVP 보정에 내재된 2차 미분으로 인해 발생하는 치명적인 그래디언트 스파이크를 방지합니다.

2. 어텐션 잔차 (Attention Residuals, AttnRes)

iMF가 요구하는 공격적인 저단계 추론을 지원하기 위해, 정책 백본은 풍부한 다중 모달 표현이 희석되지 않도록 유지해야 합니다.

메커니즘: ReactVLA는 동적 깊이별 특징 라우팅 메커즘인 Attention Residuals를 도입합니다. 레이어 출력을 균일하게 누적하는 표준 잔차 연결(표준 잔차 연결은 딥 트랜스포머에서 작업 관련 정보를 희석할 수 있음)과 달리, AttnRes는 각 레이어가 가벼운 레이어별 쿼리를 통해 트랜스포머 깊이 전반에 걸쳐 정보가 풍부한 과거 표현을 동적으로 검색할 수 있도록 합니다.
이점: 이를 통해 시각, 언어 및 고유 수용 감각(proprioceptive) 특징이 네트워크 전체에 걸쳐 보존되도록 하여, 저지연 행동 헤드에 더 강력한 컨텍스트 표현을 제공합니다.

주요 기여

ReactVLA 프레임워크: 개선된 평균 흐름(iMF)을 통해 로봇 행동 생성을 재구성하여, 안정적인 1~몇 단계 생성적 조작을 가능하게 하는 저지연 VLA 프레임워크입니다.
Attention Residual 백본: 공격적인 저단계 추론 하에서 다중 모달 표현의 희석을 완화하기 위해 동적 깊이별 특징 라우팅을 사용하는 혁신적인 트랜스포머 아키텍처입니다.
경험적 검증: 다양한 시뮬레이션 및 실제 환경 벤치마크에서 현저히 감소된 추론 지연 시간과 함께 강력한 조작 성능을 입증했습니다.

실험 결과

저자들은 LIBERO 및 RoboIMI 시뮬레이션 벤치마크와 물리적인 Diana 7 로봇 팔에서 ReactVLA를 평가했습니다.

성능 대 지연 시간: ReactVLA는 디퓨전 기반 정책보다 평균 **15.2배 높은 추론 처리량(throughput)**을 달s합니다. LIBERO 벤치마크에서, ReactVLA는 18.3 ms (54.6 Hz)의 추론 지연 시간으로 88.0%의 성공률을 달성했으며, 이는 유사한 크기의 SmolVLA(87.3% 성공률)의 74.1 ms와 비교됩니다.
정밀 작업: 도전적인 정밀 작업(예: RoboIMI의 Peg-in-Socket)에서, ReactVLA는 지연 시간을 398.0 ms에서 15.1 ms로 줄이면서 Diffusion Policy 베이스라인보다 보상(reward) 측면에서 48.5% 더 높은 성능을 보였습니다.
실제 환경 배포: 물리적 하드웨어에서 ReactVLA는 정책 지연 시간을 38.6 ms로 줄였습니다. "Block Stack" 작업에서 ReactVLA는 90%의 성공률을 기록하며, 느린 제어 루프(82.2 ms 지연 시간)로 인해 오차 누적 문제를 겪은 SmolVLA(75%)를 능가했습니다.
절제 연구(Ablation Studies):
- AttnRes를 제거하고(균일한 잔차 사용) 경우, 성공률이 88.0%에서 28.7%로 급락했습니다.
- MSE 손실을 Pseudo-Huber 손실 대신 사용했을 때, JVP 경로의 무제한 그래디언트로 인해 빈번한 손실 스파이크와 학습 불안정이 발생했습니다.

의의 및 주장

본 논문은 ReactVLA가 실시간 반응형 로봇 제어를 위한 실용적인 절충안을 제공한다고 주장합니다. 국소적 반복 디노이징에서 유한 구간 수송 예측 및 동적 특징 라우팅으로 전환함으로써, 이 프레임워크는 제어 품질을 희생하지 않고도 효율적인 생성적 행동 모델링이 실현될 수 있음을 보여줍니다.

저자들은 ReactVLA가 물리적 로봇 플랫폼에서 빠른 반응형 제어를 가능하게 한다고 단언하며, 이는 기존 디퓨전 정책의 추론 지연 시간으로 인해 이전에 제한되었던 능력입니다. 이 연구는 iMF와 AttnRes의 결-합이 접촉 역학 및 실행 불확실성에 실시간으로 적응할 수 있는 고주파 폐루프 로봇 조작을 향한 실행 가능한 경로를 제공함을 시사합니다.

인정된 한계점:
저자들은 현재의 실제 환경 평가가 상대적으로 적은 수의 데모를 가진 통제된 테이블탑 조작에 국한되어 있다고 언급했습니다. 이들은 프레임워크를 더 다양한 환경, 더 긴 호라이즌(long-horizon) 작업, 그리고 매우 혼잡한 장면으로 확장하는 것이 중요한 향후 연구 방향임을 식별했습니다. 또한, 보고된 상대적 속도 향상은 알고리즘의 계산 효율성을 반영하지만, 절대적인 지연 시간 측정값은 서로 다른 GPU 플랫폼에 따라 벤치마크별로 다를 수 있음을 명시했습니다.