🤖 machine learning

Prism-GRPO: Faster VLA Policy Optimization via Splitting Same-outcome Groups

Prism-GRPO는 이진 성공 보상에 실행 품질 점수를 더하여 동일 결과 그룹을 분리함으로써 시각-언어-행동 정책 최적화를 가속화하며, 이를 통해 폐기된 롤아웃으로부터 학습 신호를 회복하고 목표 성공률에 도달하기 위한 롤아웃 수를 최대 56%까지 줄입니다.

원저자: Zeyun Deng, Yuzhe Lu, Yawei Wang, Linbo Liu, Qing Ping, Han Ding, Guande Wu, Panpan Xu, Jun Huan

게시일 2026-08-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zeyun Deng, Yuzhe Lu, Yawei Wang, Linbo Liu, Qing Ping, Han Ding, Guande Wu, Panpan Xu, Jun Huan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

보고, 언어를 이해하고, 목적을 가지고 움직일 수 있는 로봇은 더 이상 공상 과학 소설 속 이야기가 아닙니다. 이들은 시각-언어-행동(vision-language-action) 모델이라고 불리는 일종의 인공지능을 사용하여 구축되고 있습니다. 이 시스템은 로봇이 보는 것과 로봇에게 지시된 사항 사이의 가교 역할을 합니다. 로봇이 "빨간 컵을 집어 들어"라는 말을 듣고 테이블 위의 컵을 본다고 상상해 보십시오. 로 b은 컵을 잡기 위해 팔의 정밀한 움직임을 계산해야 합니다. 이러한 로봇을 더 잘하도록 가르치기 위해, 연구자들은 종종 강화 학습이라는 방법을 사용합니다. 이 과정에서 로봇은 과업을 시도하고, 성공하면 보상을 받습니다. 실패하면 아무것도 받지 못합니다. 수천 번의 시도를 거치며 로봇은 어떤 행동이 성공으로 이어지는지를 배웁니다. 하지만 이 학습 과정은 믿기 힘들 정도로 비용이 많이 듭니다. 로봇이 과업을 시도할 때마다 시간과 컴퓨팅 파워를 소비하기 때문입니다. 만약 로봇이 반복적으로 실패하거나, 성공하더라도 서투른 방식으로 성공한다면, 컴퓨터는 종-종 그 시도를 쓸모없는 데이터로 간주하여 버려버립니다. 이러한 낭비는 주요한 병목 현상이며, 현실 세계에서 안전하고 효율적으로 작동할 수 있는 로봇의 발전을 늦추는 요인이 됩니다.

한 연구팀은 한때 폐기되었던 데이터를 가치 있는 교훈으로 바꿈으로써, 이 낭비를 해결하는 새로운 접근 방식을 개발했습니다. Prism-GRPO라고 불리는 그들의 방법은 로봇이 자신의 시도를 평가하는 방식을 바꿉니다. 표준적인 방식에서는 로봇에게 단순한 합격 또는 불합격 점수가 주어집니다. 만약 일련의 시도가 모두 성공한다면, 그것들은 모두 동일한 만점을 받습니다. 만약 모두 실패한다면, 그것들은 모두 동일한 0점을 받습니다. 점수가 동일하기 때문에, 컴퓨터는 어떤 시도가 다른 시도보다 더 나았는지 구별할 수 없으며, 따라서 시간을 절약하기 위해 해당 그룹 전체를 버립니다. 연구자들은 로봇이 실패하거나 심지어 성공할 때조차도, 그 수행 방식에는 미묘한 차이가 존재한다는 사실을 깨달았습니다. 어떤 성공적인 시도는 부드럽고 완만했을 것이고, 다른 시도는 덜컥거리거나 주변의 물건을 넘어뜨렸을 수도 있습니다. 어떤 실패한 시도는 목표에 근접했을 수도 있고, 다른 시도는 목표에서 완전히 벗어났을 수도 있습니다. 이러한 미세한 차이를 무시함으로써, 기존 방식은 로봇을 더 정밀하게 가르치는 데 필요한 바로 그 정보를 버리고 있었던 것입니다.

새로운 방법은 두 번째 피드백 층을 추가함으로써 이 문제를 해결합니다. 단순히 "성공했는가?"라고 묻는 대신, 시스템은 또한 "얼마나 잘 수행했는가?"라고 묻습니다. 시스템은 사용된 힘의 정도, 움직임의 부드러움, 또는 로봇이 건드리지 말아야 할 것을 실수로 부딪혔는지 여부와 같은 물리적 실행 기반의 품질 점수를 부여합니다. 이 점수는 합격/불합격 결과와 결합됩니다. 이제, 설령 일련의 시도가 모두 성공하더라도, 시스템은 어떤 것이 더 깔끔했는지 식별하여 그에 따라 보상할 수 있습니다. 마찬가지로, 일련의 시도가 모두 실패하더라도, 시스템은 어떤 실패가 가장 덜 파괴적이었는지 식별하고 이를 학습 신호로 사용할 수 있습니다. 이 간단한 변화는 데이터의 낭비가 거의 없음을 의미합니다. 로봇은 단지 성공하거나 실패하는 드문 경우뿐만 아니라, 모든 시도로부터 배웁니다.

연구진은 이 아이디어를 두 팔로 냄비를 들어 올리는 것부터 캔을 움직여 냄비 옆에 놓는 것까지, 네 가지 서로 다른 로anic 과업에 대해 테스트했습니다. 그들은 이 새로운 방법이 표준 방식보다 최대 56% 적은 시도만으로도 로봇이 동일한 성공 수준에 도달할 수 있게 한다는 것을 발견했습니다. 이는 시간과 컴퓨팅 파워의 상당한 절감을 의미합니다. 더 중요한 것은, 이 새로운 방법으로 훈련된 로봇은 단순히 성공하는 법을 배우는 것이 아니라, 우아하게 성공하는 법을 배웠다는 점입니다. 그들은 "지름길"이나 편법을 개발할 가능성이 낮았습니다. 예를 들어, 캔을 들어 올려 냄비 옆에 놓아야 하는 한 과업에서, 기존 방식은 때때로 로봇이 캔을 들어 올리는 대신 냄비를 캔 쪽으로 밀어버리도록 가르쳤습니다. 이는 컴퓨터의 성공 체크를 만족시키기는 했지만, 인간이 요청한 동작은 아니었습니다. 새로운 방법은 거친 밀기 동작에 벌점을 부여함으로써, 로봇이 올바르고 부드러운 '들어 올려 놓기' 동작을 수행하도록 가르쳤습니다.

연구진이 시뮬레이션에서 가장 성능이 좋았던 로봇들을 실제 물리적 로봇에 적용했을 때, 결과는 유효했습니다. 새로운 방법으로 훈련된 로봇들은 더 신뢰할 수 있었으며, 시뮬레이션에서는 통했지만 실제 세계에서는 실패했던 서투른 편법을 수행할 가능성이 낮았습니다. 이 연구는 행동의 최종 결과뿐만 아니라 행동의 질에 주목함으로써, 로봇을 훨씬 더 빠르게 훈련하고 더 안전하게 만들 수 있음을 보여줍니다. 연구진은 이 접근 방식이 주요 과업을 배우는 로봇의 능력을 결코 해치지 않는다는 것을 수학적으로 증명했으며, 실험을 통해 이것이 일관되게 속도와 행동 모두를 개선한다는 것을 확인했습니다. 이 작업은 로봇이 단순히 어떤 일을 할 수 있는 능력을 갖추는 것을 넘어, 인간과 함께 일하는 데 필요한 주의력과 정밀함을 갖추도록 만드는 명확한 경로를 제시합니다.

기술 요약: Prism-GRPO

문제 정의

시각-언어-행동(VLA) 정책을 위한 강화 학습(RL)은 별도의 학습된 크리틱(critic) 네트워크가 필요 없는 GRPO(Group Relative Policy Optimization)를 점점 더 많이 활용하고 있습니다. 그러나 이진 성공 보상(binary success rewards) 환경에서 GRPO는 심각한 샘플 비효율성을 겪습니다. 동일한 장면에서 샘사된 트래젝토리 그룹이 균일한 결과(모두 성공하거나 모두 실패)를 낼 경우, 그룹 상대적 이점(group-relative advantages)은 0이 됩니다. 결과적으로, 이러한 "퇴보적 그룹(degenerate groups)"은 그래디언트 신호를 제공하지 못하며 동적 샘플링 메커니즘에 의해 폐기됩니다. 훈련 초기 단계, 즉 실패율이 높은 시기에는 값비싼 로봇 롤아웃 예산의 상당 부분이 이러한 폐기된 그룹에 낭비되어 정책 최적화를 늦춥니다.

방법론: Prism-GRPO

저자들은 Prism-GRPO(Policy optimization by Refining Identical-outcome groups into a quality Spectrum for More efficient GRPO)를 제안합니다. 이 방법은 이진 성공 보상을 연속적이고 유계된 트래젝토리 수준의 실행 품질 점수( $q(\tau)$ )로 보강합니다.

보상 설계

단순히 $success(\tau) \in \{0, 1\}$ 인 이진 지표에 의존하는 대신, Prism-GRPO는 다음과 같이 결합된 보상을 정의합니다:
$R_{combined}(\tau) = success(\tau) + \lambda q(\tau)$
여기서 $0 < \lambda < 1$ 이고 $q(\tau) \in [0, 1]$ 입니다.

성공 우위(Success Dominance): 제약 조건 $\lambda < 1$ 은 모든 성공적인 트래젝토리(보상 $\ge 1$ )가 모든 실패한 트래젝토리(보상 $\le \lambda$ )보다 엄격하게 높은 순위를 갖도록 보장합니다.
스펙트럼 생성(Spectrum Creation): 이 공식은 퇴보적 그룹 내의 보상 동률(ties)을 깨뜨립니다. 실패는 실행 품질에 따라 $[0, \lambda]$ 범위의 스펙트럼으로 정교화되며, 성공은 $[1, 1+\lambda]$ 범위로 정교화됩니다.
이점 추정(Advantage Estimation): 이 방법은 Leave-One-Out (RLOO) 이점 추정기를 사용합니다. 그룹 표준 편차로 나누어 동일 결과 그룹에서의 $\lambda$ 의 규모를 상쇄할 수 있는 표준 그룹 정규화 GRPO와 달리, RLOO는 품질 차이의 원시 크기를 보존하여 품질이 다른 동일 결과 그룹이 0이 아닌 이점을 생성하도록 보장합니다.

품질 신호 (Quality Signals)

품질 점수 $q(\tau)$ 는 작업이 얼마나 진행되었느냐가 아니라 어떻게 수행되는지를 설명하는 관찰 가능한 트래젝토리 신호로부터 도출됩니다. 논문은 신호 출처의 유연성을 입증합니다:

접촉 기반(Contact-based): 대상이 아닌 물체에 가해진 피크 힘 또는 충격량(시뮬레이터 유도) 또는 VLM을 통한 시각적 충돌 감지.
매끄러움 기반(Smoothness-based): 관절 속도 역전(flips) 또는 액션 저크(jerk)와 같은 지표.
일반화(Generalization): 이 방법은 작업 특정적인 진행 보상이나 오라클 참조를 요구하지 않습니다. 성공적인 실행과 정렬된 신호라면 무엇이든 충분합니다.

이론적 보장

저자들은 방법의 효율성과 수렴성에 관한 이론적 분석을 제공합니다:

샘플 효율성: Prism-GRPO가 정보가 있는 그룹을 얻기 위해 필요한 예상 롤아웃 횟수가 이진 GRPO에 비해 증가하지 않음을 증명합니다. 퇴보적 그룹의 동률을 깨뜨림으로써 그룹 폐기 확률을 줄입니다.
그래디언트 정렬(Gradient Alignment): 성공과 품질에 대한 모집단 수준의 그래디언트가 정렬되어 있다는 가정( $\langle g_{success}, g_{quality} \rangle \ge 0$ ) 하에, 결합된 업데이트 방향은 두 목적 함수 모두에 대한 1차 상승 방향(first-order ascent direction)이 됩니다. 이는 품질을 최적화하는 것이 작업 성공을 저해하지 않음을 보장합니다.

주요 기여

새로운 프레임워크: 동일한 결과를 가진 그룹을 품질 스펙트럼으로 정교화하여 유용한 데이타를 회복하는 최초의 VLA RL 방법인 Prism-GRPO를 소개합니다.
이론적 분석: 방법이 이진 GR포보다 적어도 샘플 효율적임을 증명하고, 결합된 그래디언트가 성공과 품질 목적을 동시에 개선하는 조건을 도출했습니다.
실험적 검증: 네 가지 RoboTwin 작업(단일 암 및 양팔 제어를 포함)에 걸쳐 Prism-GRPO가 최대 56% 적은 롤아웃으로 목표 성공률을 달면서도 실행 품질을 향상시킨다는 것을 입증했습니다.

실험 결과

실험은 네 가지 작업(Lift Pot, Move Can Pot, Handover Block, Beat Block Hammer)을 사용하는 RoboTwin 2.0 벤치마크에서 수행되었습니다.

샘플 효율성: Prism-GRPO는 퇴보적 그룹의 폐기율을 크게 줄였습니다. 예를 들어, Lift Pot 작업에서 동일한 피크 성공률에 도달하기 위해 이진 GRPO 대비 56%의 롤아웃을 절감했습니다.
실행 품질: 이 방법은 더 낮은 충돌 힘과 더 매끄러운 모션 트래젝토리를 통해 더 깔끔한 동작을 생성함을 보여주었습니다.
보상 해킹 억제: Move Can Pot 작업에서 표준 이진 GRPO와 RL-ZVP(엔트로피를 사용하는 베이스라인)는 자주 "밀기 숏컷(shove-shortcut)"(단순히 캔을 들어 올리는 대신 팟을 캔 쪽으로 미는 행위)을 악용했습니다. Prism-GR포는 숏컷과 관련된 의도치 않은 접촉을 페널티로 부여함으로써 이러한 행동을 거의 완전히 억제했습니다(RL-ZVP의 5.3% 대비 0.7%의 숏컷 발생률).
Sim-to-Real 전이: Piper 로봇을 이용한 실제 환경 배포를 통해 시뮬레이션에서 학습된 더 깔끔한 동작이 효과적으로 전이됨을 확인했습니다. Prism-GRPO 정책는 다른 방법에서 관찰된 밀기 숏컷 동작을 피하며, 추가적인 실세계 미세 조정 없이도 높은 "클린 성공(clean success)" 비율을 달로했습니다.
강건성: 방법은 다양한 품질 신호(접촉 vs 매끄러움)에 대해 일관된 이득을 보였으며, $\lambda < 1$ 인 한 $\lambda$ 의 변화에 대해서도 강건했습니다.

의의 및 주장

본 논문은 데이터 수집 비용이 높은 로봇 조작 분야에서 RL을 실용적으로 만들기 위한 핵심적인 진전으로서 Prism-GRPO를 위치시킵니다. 물리적 실행에 존재하는 자연스러운 품질 신호(충돌, 매끄러움)를 활용함으로써, 이 방법은 이진 보상이 버리는 귀중한 훈련 데이터를 회복합니다.

저자들은 Prism-GRPO가 다음과 같다고 주장합니다:

퇴보적 데이터 회복: 외부 검증기, 셀프 티칭 또는 오라클 솔루션 없이도 "낭비되는" 동일 결과 롤아웃을 정보가 있는 업데이트로 변환합니다.
안전 및 성공 보존: 품질 신호가 성공과 정렬되어 있다면, 작업 성공을 희생하거나 그래디언트 충돌을 일으키지 않고 샘플 효율성을 개선합니다.
일반화 가능성: 특정 지표나 소스에 묶이지 않으며, 시뮬레이터 접촉, 액션 매끄러움 또는 VLM 유도 시각 평가와 효과적으로 작동합니다.

결론적으로, 전체 VLA 모델에서 그래디언트 정렬을 검증하는 것은 여전히 도전적인 과제이지만, 다양한 작업과 실제 배포에 걸친 실험적 증거는 더 높은 품질의 실행이 자연스럽게 작업 성공과 상관관계가 있다는 가설을 뒷받침하며, Prism-GRPO가 효율적인 VLA 정책 최적화를 위한 강력한 전략임을 보여줍니다.