💻 computer science

ChainVLA: Chaining Vision-Language-Action Queries through a Unified Execution State for Long-Horizon Manipulation

ChainVLA는 작업 진행을 위한 순환 작업 기억(recurrent working memory)과 연속적인 동작 생성을 위한 모션 테일링(motion tailing)을 결합한 통합된 수정 가능 실행 상태를 통해 연속적인 쿼리를 체이닝함으로써 우수한 장기 지평 조작 성능을 달구하는 12억 개의 파라미터를 가진 시각-언어-행동 정책입니다.

원저자: Yuzhi Huang, Weijue Bu, Ziyi Xiong, Jie Wu, Fanding Huang, Jingyan Jiang, Zhi Wang

게시일 2026-08-04

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yuzhi Huang, Weijue Bu, Ziyi Xiong, Jie Wu, Fanding Huang, Jingyan Jiang, Zhi Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 어질러진 방을 청소하도록 로봇에게 가르치고 있다고 상상해 보세요. 당신은 "장난감을 치워줘"라는 간단한 명령을 내립니다. 아주 작고 고립된 단계로 생각하는 로봇은 바닥을 보고, 빨간색 블록을 집어 들어서, 상자에 넣습니다. 그러고 나서 멈춥니다. 방금 블록을 집었다는 사실을 잊어버린 것입니다. 다시 바닥을 보고, 파란색 블록을 발견하고, 그것을 집어 듭니다. 하지만 만약 빨간색 블록이 원래 파란색 블록 아래에 들어가야 하는 것이었다면 어떻게 될까요? 혹은 로봇이 방의 왼쪽 구역을 이미 다 치웠다는 것을 기억해서 그곳으로 다시 돌아가지 말아야 한다면 어떨까요? 이것이 바로 "장기적 조작(long-horizon manipulation)"의 과제입니다. 이는 단순히 팔을 움직이는 문제가 아니라, 손이 바쁘게 움직이는 동안 머릿속에서 진행 중인 이야기를 계속 이어가는 문제입니다.

로봇 공학의 세계에서 과학자들은 시각-언어-행동(Vision-Language-Action, VLA) 정책이라고 불리는 것을 사용합니다. 이것을 로봇의 뇌라고 생각하면 됩니다. 이 뇌는 카메라를 보고(시각), 당신의 지시를 읽고(언어), 무엇을 할지 결정합니다(행동). 보통 이러한 뇌는 짧은 폭발적인 단위로 작동합니다. 몇 초간의 계획을 세우고, 그 동작들을 수행한 다음, 즉시 멈춰서 처음부터 다시 새로운 계획을 세웁니다. 이는 마치 소설을 쓸 때 한 문장을 쓰고, 이전 문장에 대한 기억을 지운 다음, 오직 현재 페이지에만 기반하여 다음 문장을 추측하며 글을 쓰는 것과 같습니다. 문제는 로봇이 이야기의 흐름을 놓치는 경우가 많다는 점입니다. 자신이 방금 무엇을 완수했는지 잊어버리거나, 새로운 계획이 이미 수행 중이던 동작과 충돌하여 혼란을 겪기도 합니다. 이 논문은 다음과 같이 질문합니다: 어떻게 하면 로봇이 실시간으로 세상을 관찰하면서도, 자신의 이야기를 기억하고 움직임을 부드럽게 유지하게 만들 수 있을까?

기억력과 관성을 가진 로봇

ChainVLA를 만나보세요. 이는 연구자들이 "건망증 있는 로봇" 문제를 해결하기 위해 설계한 새로운 종류의 로봇 뇌입니다. 당신이 굽이진 길을 따라 자전거를 타고 있다고 상상해 보세요. 균형을 잡으려면 두 가지가 필요합니다. 어디를 지나왔는지 기억해야 하고(방금 왼쪽으로 돌았나? 앞에 언덕이 있나?), 넘어지거나 흔들리지 않도록 페달을 부드럽게 밟아야 합니다. ChainVLA는 로봇 팔을 위해 정확히 이 역할을 수행하도록 만들어졌습니다.

오늘날 대부분의 로봇 뇌는 사진을 찍고, 결정을 내리고, 사진을 내려놓고, 다시 새 사진을 찍고, 새로운 결정을 내리는 사람처럼 작동합니다. 그들은 이전 결정의 "느낌"을 다음 결정으로 이어가지 못합니다. ChainVLA는 이러한 결정들을 하나로 엮음으로써 게임의 판도를 바꿉니다. 이 모델은 로봇이 메고 다닐 수 있는 배낭 같은 특별한 "실행 상태(execution state)"를 생성합니다. 이 배낭에는 두 개의 매우 중요한 칸이 있습니다:

"이야기" 칸 (진행 문맥 - Progress Context): 여기에는 로봇이 이미 달성한 성과에 대한 기억이 담겨 있습니다. 이는 정신적인 체크리스트와 같습니다. 만약 로봇이 블록을 왼쪽으로 옮겼다면, 이 칸은 "좋아, 왼쪽은 비었음"이라고 기억합니다. 이는 빠른 작업 기억(지금 일어나고 있는 일)과 희소한 장기 기억("빨간 블록을 먼저 옮겼다"와 같이 한참 전에 일어난 중요한 사건)을 결합합니다. 이를 통해 로봇은 큰 그림 속에서 자신이 어디에 있는지 알 수 있습니다.
"관성" 칸 (모션 테일 - Motion Tail): 이 부분이 핵심입니다. 로봇이 움직이기로 결정할 때, 단순히 "앞으로 이동"이라고 말하는 것이 아닙니다. 로봇은 향후 몇 초 동안의 전체 움직임 시퀀스를 예측합니다. 하지만 실제로 수행하는 것은 멈춰서 다시 생각하기 전까지의 초기 몇 단계뿐입니다. "모션 테일"은 아직 수행되지 않은 그 예측의 나머지 부분입니다. ChainVLA는 이 미완성된 계획을 저장하여 다음 단계에서 로봇의 뇌로 다시 전달합니다. 이는 마치 달리기 선수가 신발 끈을 묶기 위해 잠시 멈춘 후에도, 자신이 정확히 어떤 속도로 어느 방향을 향해 달리고 있었는지 기억하여 처음부터 다시 시작하지 않도록 하는 것과 같습니다.

실제 적용 사례

연구자들은 이 아이디어를 까다로운 작업들에 테스트했습니다. 그중 가장 어려운 것 중 하나는 "블록 되돌려 놓기(Put Back Block)"였습니다. 상상해 보세요. 로봇이 블록을 특정 위치로 옮긴 다음, 다른 물체를 움직이고, 마지막으로 그 블고를 원래의 위치에 다시 놓아야 합니다. 문제는 무엇일까요? 로봇이 블록을 다시 놓으려고 할 때, 새로운 물체에 의해 원래의 위치가 카메라에서 가려질 수 있다는 점입니다. 일반적인 로봇이라면 카메라를 보고 아무것도 보이지 않으면 혼란에 빠질 것입니다. 그 자리가 어디였는지 잊어버릴 것입니다.

하지만 ChainVLA는 "이야기" 칸을 사용하여 "잠깐, 아까 여기에 블록을 두었어, 지금은 보이지 않더라도"라고 기억합니다. 동시에, "모션 테일" 칸은 로봇이 블록을 다시 놓기 위해 움직일 때, 팔이 방금 향하고 있던 방향과 충돌하는 이상한 새로운 방향으로 팔을 덜컥거리며 움직이지 않도록 보장합니다.

결과는 꽤 극적이었습니다. RMBench라는 어려운 테스트에서 ChainVLA는 **62.8%**의 성공률을 기록했습니다. 다른 똑똑한 로봇들과 비교해 보세요:

만약 "이야기"(진행 문맥)를 제거하면, 성공률은 **3.0%**로 급락합니다. 로봇이 과업 자체를 잊어버립니다.
만약 "관성"(모션 테일)을 제거하면, 성공률은 **11.2%**로 떨어집니다. 로봇은 과업은 기억하지만, 너무 서투르게 움직여서 실패합니다.

이는 두 부분이 모두 필수적임을 보여줍니다. "이야기"는 로봇에게 무엇을 할지 알려주고, "관성"은 로봇이 자기 발에 걸려 넘어지지 않고 부드럽게 수행하도록 돕습니다.

이것이 왜 중요한가

이 논문은 "미완성된 움직임"을 계속 유지하는 것이 실제로 과업을 기억하는 데 매우 중요하다는 점을 시사합니다. 이는 마치 춤과 같습니다. 만약 스텝 사이에 춤을 완전히 멈춘다면, 리듬을 잊어버릴 수 있습니다. 하지만 리듬을 계속 유지한다면(모션 테일), 당신의 뇌는 안무(진행 문맥)를 더 잘 기억할 수 있습니다.

연구자들이 로봇이 결정을 내린 후에 움직임을 매끄럽게 다듬는 방식(다른 로봇에서 흔히 쓰이는 기술)으로 로봇의 서투름을 고치려 했을 때, 그것은 효과가 없었습니다. 로봇은 여전히 실패했습니다. 이는 비밀이 단순히 움직임을 보기 좋게 만드는 것이 아니라, 새로운 결정을 내리기 전에 다음 움직임에 대한 아이디어를 로봇의 뇌에 주입하는 것에 있다는 것을 증명합니다.

요약하자면, ChainVLA는 로봇이 긴 시간 동안 복잡한 일을 처리하기 위해서는, 단순히 사진을 찍는 카메라가 아니라, 책의 흐가 끊기지 않게 하는 스토리텔러가 되어야 하며, 동시에 음악의 비트에 맞춰 발을 계속 움직여야 한다는 것을 제안합니다. 이는 로봇이 혼란에 빠지거나 모든 것을 떨어뜨리지 않고, 우리 삶의 지저도하고 여러 단계가 필요한 집안일을 실제로 도울 수 있게 하는 작은 진전입니다.

기술 요약: ChainVLA

문제 정의

장기적 로봇 조작(Long-horizon robotic manipulation)은 이전 행동에 의해 확립된 **작업 진행 상황(task progress)**과 현재 진행 중인 행동의 동작 지속성(motion continuation) 모두에 의존하는 연속적인 실행 흐로가 필요합니다. 기존의 시각-언어-행동(Vision-Language-Action, VLA) 정책은 일반적으로 액션 청킹(action-chunked) 및 재퇴각 지평선(receding-horizon) 체계 내에서 작동합니다. 이 설계에서는 정책이 현재의 관측, 고유 수용 감각 상태, 그리고 지침으로부터 반복적으로 재계획(replanning)을 수행하여 유한한 액션 지평선을 예측하고, 엄격한 접두사(prefix)를 실행한 뒤 나머지 부분을 폐기합니다.

이러한 설계는 두 가지 수준에서 불완전한 교차 쿼리 핸드오프(cross-query handoff)를 발생시킵니다:

작업 수준(Task Level): 이전의 작업 증거(예: 완료된 하위 작업 또는 객체의 초기 배치)가 현재의 관측 영역을 벗어날 수 있습니다. 이러한 사건들에 대한 명시적인 기억이 없다면, 현재의 뷰가 모호할 때(예: RMBench의 "Put Back Block" 작업) 정책은 올바른 다음 단계를 추론할 수 없습니다.
동작 수준(Motion Level): 재계획 과정은 이전에 예측되었으나 실행되지 않은 잔여 부분을 폐기합니다. 이는 새로 예측된 접두사가 이미 진행 중인 동작과 잠재적으로 불일치하게 만들어, 포즈와 속도에서의 불연속성을 초래합니다. 실행된 동작은 다음 쿼리에 사용될 관측 스트림의 형태를 결정하므로, 이러한 불연속성은 향히 작업 진행 추론에 사용되는 관측의 품질을 저하시킵니다.

기존 솔루션들은 이러한 문제들을 각각 별개로 다룹니다. 메모리 증강 정책은 작업 이력은 유지하지만 동작 연속성은 폐기하며, 템포럴 앙상블(temporal ensembling)이나 실시간 실행은 동작은 보존하지만 장기적인 작업 증거는 결여되어 있습니다.

방법론: ChainVLA

ChainVLA는 결합 및 수정 가능한 실행 상태(joint and revisable execution state, $s_k = (g_k, u_k)$ )를 통해 연속적인 쿼리를 체이닝하도록 설계된 1.2B 파라미터 규모의 VLA 정책입니다. 이 상태는 쿼리 경계 전반에 걸쳐 유지되어, 정책이 최신 관측치를 바탕으로 액션 지평선을 재생성하면서도 필요한 컨텍스트를 유지할 수 있도록 합니다.

1. 실행 상태 (The Execution State)

상태는 두 가지 상호 보완적인 구성 요소로 이루어집니다:

진행 컨텍스트 (Progress Context, $g_k$ ): 관측에서 도출된 작업 진행 상황을 전달합니다. 이는 다음의 융합체입니다:
- 작업 상태 (Working State): 현재 실행의 재귀적 요약으로, 현재 입력의 라이브 토큰과 제한된 범위의 최근 토큰 캐시를 사용하여 매 쿼리마다 업데이트됩니다.
- 희소 이벤트 메모리 (Sparse Event Memory): 희소하고 중요한 이정표(예: 단계 전환)에 대한 검색 가능한 메모리입니다. 이벤트는 단계 주석 또는 주기적 규칙에 따라 기록되며, 현재 실행 추정치와 연령 인코딩에 의해 조건화된 쿼리를 사용하여 검색됩니다.
모션 테일 (Motion Tail, $u_k$ ): 이전 예측의 실행되지 않은 접미사(suffix)를 전달합니다. 이 구성 요소는 실행된 접두사와 다음 쿼리 사이의 간극을 메워주며, 완료되지 않은 동작에 대한 "지속성 사전 확률(continuation prior)"을 제공합니다.

2. 쿼리 전이 및 아키텍처

각 쿼리 $k$ 에서 정책은 현재 입력 $x_k$ 와 전달된 상태 $s_k$ 를 받습니다.

상태 업데이트: 인코더는 $x_k$ 를 멀티모달 토큰으로 처리합니다. 학습된 워킹-쿼리 뱅크(working-query bank)는 이 토큰들과 이전 Working State에 어텐션을 수행하여 라이브 토큰( $L_k$ )과 요약본( $\bar{W}_k$ )을 생성합니다. 요약본은 Sparse Event Memory로부터 이벤트 증거( $Z^e_k$ )를 검색합니다.
진행 컨텍스트 형성: $g_k$ 는 $L_k$ 와 $Z^e_k$ 를 융합하여 형성됩니다.
모션 테일 통합: 들어오는 Motion Tail( $u_k$ )은 Working State를 조건화하고 액션 생성 프로세스를 초기화합니다. 구체적으로, 이는 정규화된 접미사를 전체 지평선 액션 표현과 정렬하여 디코더 상태의 초기 평균( $\mu_{k+1}$ )을 설정합니다.
액션 생성: 조건부 플로우 디코더(DiT 백본)는 $x_k, g_k, u_k$ 를 조건으로 전체 액션 지평선 $A_k$ 를 재생성합니다. 결정적으로, 디코더는 어떤 지평선 위치도 복사하거나 고정하지 않으며, 최신 관측을 기반으로 모든 위치를 재생성합니다. 이를 통해 전달된 상태가 고정된 계획이 아닌, 수정 가능한 사전 확률(revisable prior)로서 기능하게 합니다.
다음 상태: 접두사를 실행한 후, $A_k$ 의 실행되지 않은 접미사가 다음 쿼리를 위한 Motion Tail( $u_{k+1}$ )이 됩니다.

3. 학습

학습은 에피소드 순서에 따라 실행 상태 전이를 언롤링(unroll)합니다. 모델은 다음 항목에 의해 감독됩니다:

표준 조건부 플로 액션 목적 함수.
주석이 존재하는 경우 단계별 감독(stage supervision)을 통한 단계 추정 및 쓰기 타겟.
연속된 예측 지평선의 시간적으로 정렬된 중첩 부분 사이의 불일치를 처벌하는 **중첩 일관성 정규화(overlap-consistency regularizer)**로, 이는 액션을 새로운 지평선에 고정하지 않으면서도 일관된 핸드오프를 장려합니다.

주요 기여

교차 쿼리 상태 구성 요소 식별: 본 논문은 작업 진행 상황과 미완료 동작을 교차 쿼리 실행 상태의 두 가지 상호 보완적이고 비대칭적인 구성 요소로 식별했습니다. 절제 연구(Ablation studies)를 통해 어느 하나라도 제거하면 성능이 급격히 저하됨을 보여주었으며, 이들의 상호작용은 동작의 연속성이 작업 진행 추론에 필요한 관측 스트림을 보존하는 데 필수적임을 시사합니다.
ChainVLA 정책: 진행 컨텍스트와 모션 테일의 결합 상태를 통해 쿼리를 체이닝하는 1.2B 파라미터 규모의 정책입니다. 기존 연구와 달리, 이 모델은 이전 예측으로부터 유도된 수정 가능한 사전 확률을 유지하면서 최신 관측하에 각 지평선을 재생성합니다.
실증적 검증: RMBench 및 LIBERO 스위트에 대한 광범적인 평가를 통해 ChainVLA가 기존의 메모리 증강 및 액션 청킹 기반 모델들을 능가함을 입증했습니다.

결과

RMBench: ChainVLA는 5가지 메모리 의존 작업에서 **62.8%**의 평균 성공률을 달자했습니다. 이는 완전한 커버리지를 가진 가장 강력한 기존 방법(Mem-0, 52.8%)을 크게 앞서는 수치이며, 특히 작업 증거가 뷰를 벗어나는 "Put Back Block" 작업에서 매우 효과적입니다 (Mem-0의 90% 대비 96%).
LIBERO: 이 정책은 네 가지 스위트(Spatial, Object, Goal, Long)에서 평균 **98.8%**의 성공률을 달성했으며, 모든 스위트에서 98% 이상의 성공률을 기록했습니다.
절제 연구:
- **진행 컨텍스트(Progress Context)**를 제거하면 RMBench 성공률이 **3.0%**로 감소합니다.
- **모션 테일(Motion Tail)**을 제거하면 RMB bench 성공률이 **11.2%**로 감소합니다.
- 전달된 상태를 관측 이력과 디코딩 후 템포럴 앙상블로 대체할 경우(FIFO Hist. + TE), 성공률은 **35.6%**에 그칩니다.
- 디코딩 후 평활화 제어(Linear Continuation, Temporal Ensemble)는 경계 불연속성을 줄여주지만 작업 성공률을 회복시키지는 못하며, 이는 이 성과가 단순히 실행을 부드럽게 만드는 것이 아니라 생성 프로세스의 모델 측 조건화에서 온다는 것을 나타냅니다.

의의

본 논문은 ChainVila가 장기적 조작의 근본적인 격차, 즉 장기적 작업 증거와 단기적 동작 연속성을 동시에 처리하는 통합된 메커니즘의 부재를 해결한다고 주장합니다. 결과는 동작 연속성이 단순한 제어 목표가 아니라, 신뢰할 수 있는 작업 진행 추론을 위한 전제 조건임을 시사합니다. 불연속적인 동작은 메모리 검색을 저해하는 방식으로 관측 스트림을 변화시키기 때문입니다. 결합되고 수정 가능한 상태를 통해 쿼리를 체이닝함으로써, ChainVLA는 별도의 플래너나 월드 모델 없이도 긴 지평선 동안 일관성을 유지할 수 있게 합니다.