🤖 AI

RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models

RePO-VLA 는 성공, 실패, 복구 궤적을 구분하여 온라인 실패 감지기 없이도 실행 편차를 자율적으로 수정할 수 있는 가치 조건부 정책을 학습함으로써 장시간 및 접촉이 풍부한 조작 작업에서의 견고성을 향상시키는 비전 - 언어 - 행동 모델을 위한 복구 주도 정책 최적화 프레임워크입니다.

원저자: Weijia Liufu, Xiaoyu Guo, Ruiyi Chen, Jingzhi Liu, Kaidong Zhang, Xiwen Liang, Jianqi Lin, Dawei Sun, Yuze Wang, Rongtao Xu, Bingqian Lin, Bowen Yang, Tongtong Cao, Bowen Peng, Dongyu Zhang, Guangrun

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weijia Liufu, Xiaoyu Guo, Ruiyi Chen, Jingzhi Liu, Kaidong Zhang, Xiwen Liang, Jianqi Lin, Dawei Sun, Yuze Wang, Rongtao Xu, Bingqian Lin, Bowen Yang, Tongtong Cao, Bowen Peng, Dongyu Zhang, Guangrun Wang, Min Wang, Liang Lin, Xiaodan Liang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 요리를 하거나 섬세한 수건을 접는 방법을 로봇에게 가르친다고 상상해 보세요. 당신은 완벽하게 수행하는 인간의 동영상을 보여줍니다. 로봇은 이를 관찰하고 학습한 뒤, 당신을 따라 하려고 노력합니다.

문제: "완벽한 레시피"의 함정
현재의 로봇들 (비전 - 언어 - 행동 모델이라고 불림) 은 완벽한 동영상을 모방하는 데 뛰어납니다. 하지만 현실은 엉망입니다. 로봇이 숟가락을 떨어뜨리거나, 젖은 바닥에서 미끄러지거나, 컵을 이상한 각도로 잡는다면 당황하게 됩니다. 오직 완벽한 동영상만으로 훈련받았기 때문에, 일이 잘못되었을 때 무엇을 해야 할지 모릅니다. 상황은 변했는데도 원래의 "완벽한" 시나리오를 따르려고만 하다가 결국 충돌로 이어집니다. 이는 빈 고속도로에서만 운전하는 법을 배운 운전자에게 비유할 수 있습니다. 구덩이가 나타나는 순간, 어떻게 피해서 운전해야 할지 모르는 것과 같습니다.

해결책: RePO-VLA(회복 코치)
이 논문은 RePO-VLA라는 새로운 방법을 소개합니다. 로봇에게 완벽한 동영상만 보여주는 대신, 이 방법은 세 가지 구체적인 것을 가르칩니다:

성공: 올바르게 수행하는 방법.
실패: 일이 잘못되었을 때 발생하는 상황.
회복: 실수를 수정하고 다시 정상 궤도로 돌아오는 방법.

이것은 체조 선수를 훈련시키는 것과 같습니다. 완벽한 착지 장면만 보여주는 것이 아니라, 넘어지는 장면과 그 후 스스로 일어나 다시 균형을 잡는 장면도 보여줍니다. 로봇은 넘어지는 것이 세상의 끝이 아님을, 단지 전략을 전환해야 한다는 신호일 뿐임을 학습합니다.

작동 원리: 세 가지 간단한 단계

"새로운 시작" 트릭 (회복 인지 초기화)
로봇이 넘어지면, 종종 그 넘어짐을 유발한 실수를 기억합니다. 만약 문제 해결을 요청하면, 로봇은 머릿속에서 그 실수를 재생하며 갇히게 될 수 있습니다.

해결책: RePO-VLA 는 동영상의 "회복" 부분을 가져와 "실수" 부분을 잘라냅니다. 수정이 시작되기 직전에 로봇의 기억을 초기화합니다. 이는 로봇에게 "어떻게 넘어졌는지는 잊어라. 지금 있는 위치만 보고 어떻게 다시 일어날지 찾아보라"라고 말하는 것과 같습니다. 이는 로봇이 넘어짐의 원인과 해결책을 혼동하지 않도록 방지합니다.

"진행도 온도계" (의미적 가치 함수)
시스템은 동영상의 모든 순간에 "점수"를 부여합니다.

높은 점수 (1.0): 목표에 가까워지고 있습니다.
낮은 점수 (0.0): 목표에서 멀어지고 있거나 충돌 직전입니다.
마법 같은 점: 로봇이 미끄러지면 점수가 떨어집니다. 하지만 미끄러짐을 수정하기 시작하면 점수가 다시 오릅니다. 로봇은 이 "온도계"를 보도록 학습합니다. 점수가 낮으면 현재 계획을 중단하고 점수를 다시 높이기 위해 다른 동작을 시도해야 함을 알게 됩니다. 로봇은 "열심히 시도하지만 실패하는 것"과 "실제로 문제를 해결하는 것"을 구별하는 법을 배웁니다.

"목표 지향적" 추진 (가치 조건부 정제)
로봇이 실제로 현실 세계에서 작업할 때, 시스템은 다음과 같이 지시합니다: "가능한 가장 높은 점수 (1.0) 를 목표로 하라."

로봇이 진로를 이탈하면 "점수"가 떨어집니다. 로봇은 높은 점수를 쫓도록 훈련되었기 때문에, 자동으로 안전한 경로로 돌아오기 위한 "회복 모드"로 전환합니다. 인간이 "멈춰!"라고 외치거나 충돌을 감지하는 특수 센서가 필요하지 않습니다. 점수가 떨어지는 것을 보고 본능적으로 스스로 교정할 뿐입니다.

테스트: FRBench
이 방법이 작동함을 입증하기 위해 연구자들은 FRBench라는 테스트를 구축했습니다. 로봇이 물을 따르거나 수건을 접으려는데, 게임 마스터가 비밀리에 로봇을 밀거나 물체가 미끄러지도록 만드는 비디오 게임을 상상해 보세요.

기존 로봇: 밀리면, 공중으로 물을 따르거나 수건을 잘못 접는 등 계속 시도하다가 결국 실패합니다.
RePO-VLA 로봇: 밀리면 점수가 떨어지는 것을 깨닫고, 잘못된 동작을 중단한 뒤 물을 따르거나 접는 새로운 방법을 찾아내어 작업을 성공적으로 완료합니다.

결과
테스트에서 일이 잘못되었을 때 기존 로봇의 성공률은 약 20% 에 불과했습니다. 반면 새로운 RePO-VLA 로봇은 약 75% 의 성공률을 보였습니다. 실제 로봇을 이용한 현장 실험에서는 최대 80% 의 성공률을 기록했습니다.

한 줄 요약
RePO-VLA 는 로봇에게 실패가 단지 데이터일 뿐임을 가르칩니다. 실수를 분석하고, 기억을 초기화하며, 로봇이 쫓을 "점수"를 부여함으로써, 쉽게 고장 나는 취약한 로봇을 스스로 문제를 해결할 수 있는 회복력 있는 로봇으로 바꿉니다. 이는 정답을 외우는 학생과 질문이 변해도 문제를 해결하는 법을 배우는 학생의 차이와 같습니다.

기술 요약: RePO-VLA

문제 정의

비전 - 언어 - 행동 (VLA) 모델은 범용 로봇 제어 분야에서 진전을 이루었지만, 장시간 지속되고 접촉이 풍부한 조작 작업에서는 여전히 취약합니다. 현재 접근 방식은 성공적인 데모에 대한 감독 미세 조정 (SFT) 에 크게 의존하여 "실패 활용의 맹점"을 초래합니다. 그리프 포즈 편차, 물체 미끄러짐, 타이밍 오류 등으로 인해 실행이 이탈할 때, 표준 VLA 는 회복을 위한 감독 신호가 부족합니다. 또한 기존 방법들은 실패한 롤아웃을 완전히 폐기하는 경우가 많은데, 이는 초기 단계에 유효한 접근 행동을 포함하고 있을 수 있다는 점을 간과한 것입니다. 반면, 실패 기록과 수정 행동을 모두 포함한 전체 회복 궤적을 단순히 모방하는 것은 인과적 혼란을 초래합니다. 즉, 정책이 회복 행동을 현재의 불리한 상태에 반응하는 법을 배우는 대신, 선행된 오류와 회복 행동을 연관 짓도록 학습하게 됩니다.

방법론: RePO-VLA

RePO-VLA(비전 - 언어 - 행동 모델을 위한 회복 주도 정책 최적화) 는 성공, 실패, 그리고 회복된 궤적들을 통합된 진행 신호 하에 학습하도록 설계된 프레임워크입니다. 이는 두 가지 명확한 단계로 작동합니다:

1. 회복 인지 초기화 (RAI)

첫 번째 단계는 정책이 특정 실패 기록을 회복을 위한 필수적인 유발 조건으로 학습할 수 있는 "인과적 혼란" 문제를 해결합니다.

히스토리 리셋을 통한 궤적 슬라이싱 (TSHR): 원시 회복 궤적은 실패 접두어를 제거하기 위해 슬라이싱됩니다. 수정 세그먼트의 시작 시점에서 관찰 히스토리 버퍼가 리셋됩니다. 이를 통해 정책이 특정 오류의 재생이 아닌, 현재 불리한 상태 (예: 빈 그리퍼 또는 정렬되지 않은 물체) 를 기반으로 한 상태 조건부 기술로서 회복을 학습하도록 강제합니다.
학습: 정책은 전문가 데모와 이러한 리셋된 회복 세그먼트 ( $D_{expert} \cup D_{reset}^{rec}$ ) 의 혼합물에 대해 미세 조정되어, 명목상 모방과 회복 학습 사이의 균형을 맞춥니다.

2. 가치 조건부 정제 (VCR)

두 번째 단계는 전체 롤링 히스토리 (실패 접두어 포함) 를 복원하고, 유용한 행동, 이탈 행동, 그리고 수정 행동을 구분하기 위한 밀집된 의미론적 가치 신호를 도입합니다.

진행 인지 의미론적 가치 함수 (PAS-VF): 경량 어댑터 네트워크가 공유 의미 매니폴드 내에서 시공간 비디오 특징과 언어 지시를 정렬합니다. 이는 현재 궤적 접두어와 성공적인 참조 궤적 군집 간의 코사인 유사도를 측정함으로써 작업 진행도를 추정하도록 학습합니다.
밀집 라벨링:
- 성공/회복: 진행을 유지하거나 복원하는 프레임은 $v_t = 1.0$ 으로 라벨링됩니다.
- 오류 세그먼트: 불리한 상태로 이어지는 접두어는 수정 행동과 평균화되는 것을 방지하기 위해 $v_t = 0.0$ 으로 라벨링됩니다.
- 순수 실패: 초기 운동학적 사전 지식은 신뢰도 감쇠 메커니즘 ( $v_t = V(\tau_{fail}) \cdot (1 - t/T)^\alpha$ ) 을 통해 보존되는 반면, 말단 붕괴는 하위 가중치가 부여됩니다.
가치 조건부 학습: 정책은 밀집 라벨에서 파생된 가치 토큰 ( $e_{val}$ ) 으로 확장됩니다. 학습 중 정책은 동일한 불리한 관찰과 히스토리를 원하는 가치에 따라 서로 다른 행동 모드로 매핑하는 법을 학습합니다.
배포: 추론 시 정책은 (리셋 없이) 표준 롤링 히스토리 버퍼를 사용하지만, 가치 토큰을 $v = 1.0$ 으로 고정합니다. 이는 행동 분포를 학습된 "성공 매니폴드" 쪽으로 편향시켜, 온라인 실패 감지기나 휴리스틱 재시도 규칙 없이도 자율 회복을 가능하게 합니다.

주요 기여

RePO-VLA 프레임워크: 실패한 롤아웃을 구조적으로 재사용하는 2 단계 (RAI + VCR) 아키텍처입니다. 히스토리 리셋을 통해 인과적 혼란을 제거하고, 밀집된 진행 라벨을 통해 가치 차별화 행동을 가능하게 합니다.
FRBench: 표준화된 오류 주입 (E1–E4: 조기 닫힘, 그리프 미끄러짐, 위치 오프셋, 방향 불일치) 과 시뮬레이션 (RoboTwin) 및 실제 양손 작업 모두에서 명목 숙련도와 수정 능력을 분리하는 단계별 프로토콜을 갖춘 회복 평가용 새로운 벤치마크입니다.
실증적 검증: 명시적인 회복 감독과 밀집된 가치 지침이 견고성을 크게 향상시킨다는 것을 입증했습니다. 논문은 회복 데이터의 밀도를 높일수록 성능이 더욱 향상되는 긍정적인 확장 추세를 보여줍니다.

실험 결과

시뮬레이션 (FRBench-Sim): 46 가지 양손 작업 전반에 걸쳐 RePO-VLA 는 주입된 실패 하에서 베이스라인 ( $\pi_0$ , $\pi_0.5$ , RDT 포함) 을 크게 능가했습니다. 적대적 교란이 포함된 무작위 설정에서 RePO-VLA 는 평균 성공률 **43.0%**를 기록한 반면, $\pi_0.5$ 베이스라인은 **15.4%**에 그쳤습니다.
실제 세계 평가: 물 붓기, 요리, 수건 접기 등의 작업을 위해 Dobot X-Trainer 암에서 테스트되었습니다.
- 적대적 교란 하에서 베이스라인 $\pi_0.5$ 는 **20.0%**의 성공률을 보인 반면, RePO-VLA(1 단계만) 는 **37.5%**에 도달했습니다.
- 데이터 확장: 회복 데이터 밀도를 1 배에서 4 배로 늘리면 성능이 더욱 향상되었습니다. 전체 (4 배) 변형은 적대적 조건 하에서 **75%**의 성공률을 달성하여 1 단계 베이스라인을 능가했으며, 실패 - 회복 영역에 대한 더 밀집된 커버리지가 결정적임을 입증했습니다.
절차 연구: 히스토리 리셋 (TSHR) 이 인과적 혼란을 방지하는 데 필수적이며, 가치 조건부 ( $v=1.0$ ) 가 휴리스틱 재시도보다 안정적인 제어 신호를 제공한다는 것을 확인했습니다.

중요성 및 주장

이 논문은 RePO-VLA 가 실패 데이터를 활용하는 방식을 근본적으로 변화시킴으로써 현재 VLA 모델의 취약성을 해결한다고 주장합니다. 실패를 폐기하거나 회복 에피소드를 균일하게 긍정적으로 취급하는 대신, 이 프레임워크는 이를 다음과 같은 명확한 의미적 역할로 분해합니다:

실패의 유용한 접두어는 운동학적 사전 지식으로 유지됩니다.
말단 붕괴는 안전하게 하위 가중치가 부여됩니다.
수정 행동은 선행된 특정 실패 기록과 분리된 상태 조건부 기술로 학습됩니다.

저자들은 이 접근 방식을 통해 단일 정책이 모듈 전환이나 외부 실패 감지기에 의존하지 않고도 명목 실행과 자율 회복을 모두 처리할 수 있다고 봅니다. 결과는 접촉이 풍부한 환경에서 특히 신뢰할 수 있는 장시간 지속 조작을 위해서는 명목 계획을 실행하는 능력만큼 이탈로부터 회복하는 능력도 중요하며, 이 능력은 혼합 품질의 상호작용 데이터에서 직접 학습될 수 있음을 시사합니다.