🤖 AI

Z-1: Efficient Reinforcement Learning for Vision-Language-Action Models

Z-1은 추가적인 비공개 데이터 없이도 공개된 RoboCasa 데모를 활용하여 GRPO(Group Relative Policy Optimization)를 적용함으로써, flow 기반의 시각-언어-행동(Vision-Language-Action) 모델의 성능과 성공률을 크게 향상시키는 강화 학습 사후 학습 프레임워크입니다.

원저자: Lang Cao, Renhong Chen, Luyi Li, Peng Wang, Mofan Peng, Yitong Li

게시일 2026-07-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lang Cao, Renhong Chen, Luyi Li, Peng Wang, Mofan Peng, Yitong Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 커피를 타거나 까다로운 서랍을 여는 것과 같은 복잡한 요리를 가르치고 있다고 상상해 보세요.

문제점: "흉내쟁이" 로봇
지금까지 대부분의 로봇 훈련사들은 "행동 복제(Behavior Cloning)"라는 방법을 사용해 왔습니다. 이것은 마치 학생이 선생님의 완벽한 영상만을 보고 배우는 것과 같습니다. 로봇은 선생님이 성공하는 모습을 보고 그 모든 동작을 똑같이 따라 하려고 노력합니다.

결함: 만약 학생이 작은 실수(예를 들어, 손잡이를 1밀리미터 더 멀리 잡으려 하는 경우)를 한다면, 영상에는 그것을 어떻게 수정해야 하는지 나와 있지 않습니다. 로봇은 갇혀버리게 됩니다. 어떻게 회복해야 할지 알지 못해 실패하게 되는 것이죠. 로봇은 스스로의 실수로부터 배울 수 없습니다. 왜냐하면 훈련 과정 중에 실수를 해볼 기회 자체가 없었기 때문입니다.

해결책: Z-1 ("시행착오" 코치)
이 논문은 로봇이 직접 해보고, 실패하고, 다시 시도하며 배울 수 있게 해주는 새로운 훈련 시스템인 Z-1을 소개합니다. 이것은 마치 코치가 학생에게 주방에서 연습하게 하고, 실패하면 다음에는 어떻게 더 잘할 수 있는지 구체적인 피드백을 주는 것과 같습니다.

Z-1이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. 시작 단계 (SFT)

먼저, 로봇은 인간이 문을 열거나 싱크대를 사용하는 등의 작업을 수행하는 공개 영상을 보며 "속성 과외"를 받습니다. 이는 요리하기 전에 레시피를 읽는 것과 비슷하며, 이를 통해 로봇은 무엇을 해야 하는지에 대한 기본적인 개념을 갖게 됩니다.

2. "그룹 연습" (GRPO)

Z-1은 로봇이 혼자 연습하게 두는 대신, **그룹 상대 정책 최적화(Group Relative Policy Optimization, GR도를 GRPO)**라는 방법을 사용합니다.

비유: 코치가 8명의 학생을 동시에 커피를 만들도록 주방으로 보내는 것을 상상해 보세요.
목표: 코치는 단순히 "잘했어" 또는 "못했어"라고 말하지 않습니다. 대신 코치는 8명의 학생을 서로와 비교합니다. 만약 7명의 학생이 커피를 쏟았는데 1명의 학생이 성공했다면, 코치는 성공한 학생에게 "너는 다르게 했구나, 네가 했던 방식을 계속 유지해봐"라고 말합니다. 이를 통해 로봇은 정확히 어떤 미세한 움직임이 차이를 만들어냈는지 파악할 수 있습니다.

3. 스마트한 기술들 (새로운 모듈)

이 논문은 이 연습 과정을 효율적이고 안정적으로 만들기 위해 네 가지 영리한 기술을 도입했습니다.

공유 접두사 (Shared-Prefix, "같은 시작" 규칙):
- 문제: 만약 학생 A는 왼쪽으로 걷기 시작하고 학생 B는 오른쪽으로 걷기 시작한다면, 그들의 최종 커피 제조 기술을 비교하는 것은 불공평합니다. 시작점이 달랐기 때문입니다.
- 해결책: Z-1은 모든 학생이 정확히 같은 첫 몇 가지 동작(예: 카운터로 걸어가기)으로 시작하도록 강제합니다. 일단 모두가 카운터에 서게 되면, 그들은 각자 다른 방식으로 컵을 잡는 시도를 합니다. 이를 통해 로봇은 걷는 과정이 아니라, 작업의 핵심적인 부분(컵 잡기)으로부터 학습하게 됩니다.
트리 구조 분기 (Tree-Structured Branching, "분기되는 경로" 규칙):
- 문제: 때로는 "카운터로 걷는" 부분조차 연습이 필요할 수 있습니다. 만약 우리가 항상 똑같이 시작하도록 강제한다면, 로봇은 잘못된 걸음걸이를 바로잡는 법을 배우지 못할 것입니다.
- 해결책: Z-1은 "트리" 구조를 사용합니다. 모든 학생은 함께 시작하지만, 이후 서로 다른 지점에서 작은 그룹으로 나뉩니다. 어떤 그룹은 일찍 갈라지고, 어떤 그룹은 늦게 갈라집니다. 이를 통해 로봇은 조직적인 연습을 유지하면서도, 작은 실수를 바로잡는 법을 연습할 수 있습니다.
성공 인지 보상 감쇠 (Success-Aware Reward Decay, "속도 보너스"):
- 문제: 만약 로봇이 문을 여는 데 10분이 걸렸든 1분이 걸렸든, 표준적인 시스템은 둘 다에게 "잘했어" 스티커를 줄 수 있습니다.
- 해결책: Z-1은 더 빨리 끝낸 로봇에게 더 큰 "잘했어" 스티커를 줍니다. 느린 로봇을 처벌하는 것은 아니지만, 빠른 로봇에게 더 많은 보상을 줍니다. 이는 로봇이 두려움 없이 시도하면서도 효율적으로 움직이도록 독려합니다.
선택적 공동 훈련 (Selective Joint Training, "뇌와 손의 스위치"):
- 문제: 때때로 로봇이 실패하는 이유는 "손"(동작 전문가)이 서툴기 때문일 수도 있지만, 다른 때에는 "눈"(시각-언어 뇌)이 노브(손잡이)를 명확히 보지 못해서일 수도 있습니다.
- 해결책: 보통 Z-1은 안정성을 위해 "손"만을 훈련시킵니다. 하지만 로봇이 물체를 제대로 보거나 이해하지 못해서 계속 실패한다면, Z-1은 스위치를 올려 "뇌"와 "손"을 함께 훈련시킵니다. 이는 "아, 학생이 서툰 게 아니라 손잡이를 잘 못 보고 있구나!"라고 깨닫고, 더 잘 볼 수 있도록 가르치는 것과 같습니다.

결과

연구팀은 Z-1을 24가지의 다양한 가사 작업(서랍 열기, 싱크대 사용하기, 커피 만들기 등)에 테스트했습니다.

Z-1 적용 전 (단순히 영상 시청): 로봇은 약 **67%**의 확률로 성공했습니다.
Z-1 적용 후 (새로운 기술로 연습): 로봇은 **80.6%**의 확률로 성공했습니다.

이 향상은 Z-1이 비밀스러운 비공개 데이터를 사용하지 않고 오직 공개된 영상과 자체적인 연습 세션만을 사용했음에도 불구하고, 현재 공개된 최고 수준의 로봇 모델들을 능가할 만큼 유의미했습니다.

요약하자면:
Z-1은 로봇을 단순한 흉내쟁이에서 문제 해결사로 변화시킵니다. 그룹 단위로 연습하게 하고, 같은 지점에서 시작하며, 속도에 보상을 주고, 눈과 손 중 무엇을 훈련해야 할지 판단하게 함으로써, 로봇은 이전보다 훨씬 더 잘 실제 가정집의 복잡하고 무질서한 도전 과제들을 처리할 수 있게 되었습니다.

기술 요약: Z-1 – 시각-언어-행동 모델을 위한 효율적인 강화 학습

1. 문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 언어 지시, 시각적 관찰, 연속적 제어를 통합하여 로봇 조작을 위한 유망한 프레임워크로 부상했습니다. 그러나 현재의 최첨단(SOTA) 정책들은 주로 고정된 인간 데모를 통한 행동 복제(Behavior Cloning, BC) 또는 지도 미세 조정(Supervised Fine-Tuning, SFT)을 통해 학습됩니다. 이러한 모방 학습에 대한 의존은 두 가지 결정적인 한계를 제시합니다:

제한된 일반화 능력: 성능이 데모 데이터의 커버리지에 의해 제한됩니다. 장기적(long-horizon) 또는 구성적(compositional) 작업의 경우, 작은 예측 오류가 누적되어 로봇을 학습 데이터에 잘 나타나지 않은 상태로 몰아넣을 수 있습니다.
자기 수정 능력의 부재: BC와 SFT는 정책 자체의 실패로부터 개선되는 메커니즘이 부족합니다. 이들은 복잡한 조작 동작을 정교화하는 데 필수적인 시행착오 기반의 상호작용을 통한 희소한 작업 성공(sparse task success)을 최적화할 수 없습니다.

강화 학습(RL) 사후 학습(post-training)은 작업 수준의 보상을 최적화함으로써 이러한 한계를 극복할 수 있는 경로를 제공하지만, flow 기반 VLA 모델에 RL을 적용하는 것은 여전히 어렵습니다. 주요 장애물로는 롤아웃 생성 비용의 과다, 보상의 희소성, 그리고 비전-언어 백본이 동결되었을 때 발생하는 시각적 접지(visual grounding) 또는 공간 추론 문제에서 기인하는 실패를 교정하기 어렵다는 점 등이 있습니다.

2. 방법론: Z-1 프레임워크

Z-1은 flow 기반 VLA 모델을 위해 특별히 설계된 모듈형 RL 사후 학습 프레임워크입니다. 프리트레인된 $\pi_0.5$ 베이스 모델을 기반으로 구축된 Z-1은 공개적으로 출시된 RoboCasa 데모만을 사용하여 2단계 학습 파이프라인을 채택합니다.

1단계: 장면별 지도 미세 조정 (Per-Scene SFT)

파이프라인은 $\pi_0.5$ 를 RoboCasa 환경에 적응시키는 것으로 시작됩니다. 모든 작업을 위해 별도의 모델을 학습시키는 대신, Z-1은 장면별 SFT(문, 서랍, 싱크대와 같이 장면 카테고리별로 작업을 그룹화)를 수행합니다. 이 접근 방식은 공유된 객체 레이아웃과 조작 프리미티브를 활용함으로써 데이터 효율성을 높입니다. 이 단계에서는 시각-언어 모듈과 액션 전문가(action expert)가 모두 업데이트되어 견고한 초기화를 생성합니다.

2단계: 작업별 그룹 상대 정책 최적화 (Task-Wise GRPO)

SFT 이후, Z-1은 작업 특화 GRPO 사후 학습 전략을 적용합니다. 롤아웃을 독립적인 전체 궤적으로 취급하는 표준 RL과 달리, Z-1은 효율성과 안정성을 높이기 위해 네 가지 핵심 모듈형 구성 요소를 도입합니다:

공유 접두사 GRPO (Shared-Prefix GRPO): 초기 "접근(approach)" 단계가 크게 달라져 보상 신호를 희석시키는 문제를 해결하기 위해, Z-1은 GRPO 그룹 내의 롤아웃이 공통된 접두사를 공유하도록 강제합니다. 분기점에서의 시뮬레이터 상태를 복제하고, 접두사 이후(suffix)의 행동만을 독립적으로 샘플링합니다. 이를 통해 그룹 상대 비교가 중복된 접근 변동이 아닌 작업에 결정적인 상호작용 단계에 집중하도록 보장합니다.
트리 구조 접두사 분기 (Tree-Structured Prefix Branching): 접근 단계 동안 정교화가 필요한 작업을 위해, Z-1은 평면적인 공유 접두사 방식을 일반화합니다. 접두사 내에 중간 분기점을 도입하여 롤아웃 클러스터의 트리를 생성합니다. 이는 오버 마스킹(over-masking)을 줄여, 부분적으로 공유된 세그먼트가 학습 신호에 기여하면서도 중복 계산을 줄일 수 있게 합니다.
성공 인지 보상 감쇠 (Success-Aware Reward Decay): 모든 성공 궤적이 동일하게 취급되는 희소 보상 문제를 처리하기 위해, Z-1은 완료 시간( $\tilde{r}_i = r \cdot \gamma^{d_i}$ )에 기반한 감쇠 인자를 도입합니다. 더 빠르게 완료된 성공 궤적이 더 높은 보상을 받습니다. 결정적으로, 모든 롤아웃이 성공한 그룹의 경우, Z-1은 평균 정규화 대신 비음수 최소 기준 순위( $A_i = R_i - \min_j R_j$ )를 사용합니다. 이는 느리지만 신뢰할 수 있는 완료에 대해 부정적인 어드밴티지를 부여하여 과도하게 처벌하는 것을 방지합니다.
선택적 VLM-액션 전문가 공동 학습 (Selective VLM–Action Expert Joint Training, Sel-JT): 표준 VLA-RL은 종종 비전-언어 백본을 동결하지만, Z-1은 학습 단계 진단(예: SFT 성공률, 실패 모드)에 따라 비전-언어 모델을 액션 전문가와 함께 업데이트할지 여부를 동적으로 결정합니다. 만약 실패가 저수준 제어가 아닌 낮은 시각적 접지나 공간 추론에서 기인한다면, VLM을 언프리즈(unfreeze)하여 인지-행동 공동 적응을 가능하게 합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 제시합니다:

Z-1 프레임워크: 공개 데모 데이터만을 사용하여 효과적으로 작동하며, 별도의 프라이빗 데이터셋을 필요로 하지 않는 flow 기반 VLA 모델을 위한 모듈형 GRPO 사후 학습 프레임워크를 제안합니다.
새로운 롤아웃 구성: 중복 시뮬레이션을 줄이고 핵심 상호작용 세그먼트에 최적화를 집중하기 위한 공유 접두사 GRPO 및 트리 구조 접두사 분기를 제안합니다.
보상 및 학습 혁신: 밀집된 보상 셰이핑 없이도 완료 속도에 대한 미세한 피드백을 제공하는 성공 인지 보상 감쇠와, 필요할 때만 인지 모듈을 적응시키는 선택적 공동 학습을 개발했습니다.
새로운 SOTA 성능: 공개 데모 설정 하의 RoboCasa 벤치마크에서 새로운 최첨단 평균 성공률을 달립했습니다.

4. 실험 결과

Z-1은 7개 카테고리(문, 서랍, 집기 및 놓기, 전자레인지, 싱크대/수도꼭지, 가스레인지, 커피 제조)에 걸친 24개의 표준 RoboCasa 조작 작업에 대해 평가되었습니다.

성능 향상: Z-1 RL은 평균 성공률을 67.4%(SFT 초기화)에서 **80.6%**로 개선하여, 13.2 퍼센트 포인트의 상승을 기록했습니다.
SOTA와의 비교: Z-1 RL은 GR00T, GR00T N1.5, Video Policy, X-WAM을 포함한 기존 발표된 결과들을 능가했습니다. 특히, Z-1이 공개 데모만을 사용했음에도 불구하고, 깊이(depth) 정보를 활용하는 X-WAM보다 평균 1.4 퍼센트 포인트 높은 성능을 보였습니다.
작업별 개선 사항:
- 서랍 및 싱크대/수도꼭지: 상당한 개선이 관찰되었습니다 (예: 서랍: 83.4% $\to$ 96.1%; 싱크대: 63.2% $\to$ 94.3%). 이는 정밀한 접근 후 조작이 필요한 작업에 대한 접두사 기반 롤아웃 구성의 효용성을 입증합니다.
- 집기 및 놓기 (Pick-and-Place): 상당한 이득을 달성했습니다 (53.9% $\to$ 70.9%).
- 가스레인지 작업: Z-1은 SFT 베이스라인보다는 개선되었으나, X-WAM보다는 약간 낮은 성능을 보였습니다. 이는 복잡한 장기적 운송 및 견고한 회복이 필요한 작업이 여전히 도전 과제임을 나타냅니다.
절제 연구 (Ablation Studies):
- 접두사 기반 변형 모델(Shared-Prefix 및 Tree-Structured)은 바닐라 GRPO보다 일관되게 우수한 성능을 보였으며, Tree-Structured는 학습이 안정적일 때 더 높은 피크 성능을 제공했습니다.
- 선택적 공동 학습(Sel-JT)은 "TurnOnStove"와 같은 어려운 작업에서 액션-전문가 전용 학습보다 유의미하게 우수한 성능을 보였으며, 이는 시각적 표현을 적응시켜야 할 필요성을 검증합니다.
- 성공 인지 보상 감쇠는 과도하게 공격적인 표준 보상 페널티에 비해 더 빠르고 안정적인 성공률 향상을 제공했습니다.

5. 의의 및 주장

본 논문은 체계적인 GRPO 사후 학습이 추가적인 프라이빗 데모에 의존하지 않고도 flow 기반 VLA 정책을 실질적으로 개선할 수 있음을 주장합니다.

저자들은 Z-1이 롤아웃 생성 및 보상 캘리브레이션의 특정 비효율성을 해결함으로써 VLA 모델을 위한 온라인 RL의 생존 가능성을 입증한다고 강조합니다. 결과는 공유 접두사 구성, 완료 인지 보상 캘리브레이션, 그리고 적응형 모듈 선택과 같은 세심한 설계를 통해 RL이 모방 학습의 한계를 넘어 정책을 효과적으로 정교화할 수 있음을 보여줍니다. 본 연구는 사후 학습의 알고리즘적 개선이 더 광범위하거나 독점적인 데이터로 학습된 모델과 대등하거나 이를 능가하는 성능 향상을 가져올 수 있음을 보여줌으로써, 공개 데이터 전용 VLA 학습의 새로운 벤치마크를 확립했습니다.