💻 computer science

Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement

본 논문은 추가적인 원격 조작 데이터 없이도 실제 세계의 조작 작업에서 시각-언어-행동(VLA) 모델의 성공률을 크게 높이기 위해, 객체 포즈와 시뮬레이션된 VLA 대응체를 사용하여 순수하게 시뮬레이션 내에서 교정 정책을 학습하는 객체 중심 잔차 강화 학습 프레임워크를 제안하며, 이를 통해 제로샷 심투리얼(sim-to-real) 전이를 달성한다.

원저자: Kinam Kim, Namiko Saito, Heecheol Kim, Katsushi Ikeuchi, Jaegul Choo, Yasuyuki Matsushita

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kinam Kim, Namiko Saito, Heecheol Kim, Katsushi Ikeuchi, Jaegul Choo, Yasuyuki Matsushita

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 매우 똑똑하고 박학다식한 로봇 비서(VLA)가 있다고 상상해 보세요. 이 비서는 수백만 권의 책을 읽고 수천 개의 작업 영상을 보았기 때문에, 거의 모든 상황에서 무엇을 해야 하는지는 알고 있습니다. 하지만 실제로 현실 세계에서 물리적인 손을 사용하여 무언가를 수행하려고 하면 종종 서툴러집니다. 컵을 몇 밀리미터 차이로 놓치거나, 서랍을 너무 세게 밀기도 합니다. 이 로봇은 인간을 모방하여 학습하기 때문에(모방 학습), 작은 실수들이 쌓여 결국 작업에 실패하게 됩니다.

이 논문의 연구자들은 다음과 같은 질문을 던졌습니다: "위험한 실제 세계의 훈련 캠프로 보내지 않고도, 이 로봇이 더 정밀해지도록 가르칠 수 있을까?"

그들의 해답은 **객체 중심 잔차 강화학습(Object-Centric Residual RL)**이라는 방법입니다. 이 방식이 어떻게 작동하는지 간단한 개념으로 나누어 설명하겠습니다.

1. 문제점: 훈련의 "불쾌한 골짜기"

보통 로봇을 더 낫게 만들기 위해서는 다음 중 하나를 선택해야 합니다:

비디오 게임에서 훈련시키기 (시뮬레이션): 하지만 로봇은 조명이나 질감이 실제와 다르게 보이는 것을 보고 혼란을 느낍니다 (마치 VR 고글을 썼는데 세상이 가짜처럼 보이는 것과 같습니다).
실제 세계에서 훈련시키기: 이는 느리고, 비용이 많이 들며, 위험합니다. 만약 로봇이 잘못 배우면 무언가를 부수거나 스스로 다칠 수도 있습니다.

2. 해결책: "부조종사(Co-Pilot)" 시스템

저자들은 함께 작동하는 두 부분으로 구성된 시스템을 구축했습니다:

기장 (기본 VLA): 이것은 사전 훈련된 스마트한 로봇 뇌입니다. 일반적인 계획(예: "컵을 집어라")을 알고 있습니다. 이 과정 동안 기장은 고정되어 있으며 변하지 않습니다.
부조종사 (잔차 정책/Residual Policy): 이것은 작고 매우 빠른 "교정용" 뇌입니다. 이 뇌의 유일한 임무는 기장의 계획을 보고 "잠깐, 약간 왼쪽을 향하고 있어요. 오른쪽으로 살짝 밀어주세요"라고 말하는 것입니다.

3. 핵심 비결: "객체 중심"의 눈

이 방법의 큰 돌파구는 부조종사가 무엇을 보느냐에 있습니다.

기존 방식은 전체 카메라 이미지(픽스엘)를 보려고 시도했습니다. 이는 실제 주방이 시뮬레이션 속 주방과 다르게 보일 때 혼란을 줍니다.
이 방법은 지저받는 배경을 무시합니다. 대신, 부조종사는 오직 객체의 수학적 좌표(예: "컵이 X, Y, Z에 있다")만을 바라봅니다.

비유하자면: 당신이 과녁을 맞히려고 노력하고 있다고 가정해 봅시다.

이미지 기반 훈련은 밖을 나갈 때마다 색이 변하는 선글라스를 끼고 과녁을 맞히려는 것과 같습니다. 당신은 혼란스러워질 것입니다.
객체 중심 훈련은 날씨나 조명에 상관없이 과녁이 정확히 어디에 있는지 알려주는 레이저 포인터를 가진 것과 같습니다. "레이저(객체의 위치)"는 비디오 게임에서나 실제 생활에서나 동일합니다.

4. 어떻게 훈련했는가 ("유령" 연습)

부조종사가 실제 세계를 한 번도 보지 않고도 실제 세계에서 작동하도록 만들기 위해, 그들은 영리한 방법을 사용했습니다:

실제 로봇을 훈련하는 데 사용된 것과 정확히 동일한 인간의 시연 데이터를 가져왔습니다.
그 동일한 동작들을 비디오 게임(시뮬레이션) 안에서 재생하여 "시뮬레이션 로봇"을 훈련시켰습니다.
시뮬레이션 로봇의 실수를 바로잡도록 부조종사를 비디오 게임 안에서 훈련시켰습니다.
부조종사는 배경 사진이 아닌 "레이저 좌표(객체 포즈)"만을 보기 때문에, 그것이 게임 속에 있는지 실제 세계에 있는지 상관하지 않습니다. 그저 "컵이 여기에 있으니 손을 저기로 움직여라"라는 것을 알 뿐입니다.

또한, 센서가 완벽하지 않더라도 부조종사가 강인하게 작동할 수 있도록 훈련 중에 "노이즈"(좌표를 약간 흔드는 것 등)를 추가했습니다.

5. 결과: 제로샷(Zero-Shot) 성공

"제로샷"이란 부조-종사를 실제 로봇에 적용할 때, 실제 로봇에서의 추가적인 훈련이나 테스트 없이 바로 적용했다는 것을 의미합니다.

전에는: 로봇이 작업(큐브 쌓기 또는 서랍 닫기 등)에 성공하는 확률이 **42%**에 불과했습니다.
후에는: 부조종사의 도움을 받으면서 성공률이 **76%**로 뛰어올랐습니다.

부조종사는 기장이 경로에서 벗어나기 시작할 때 잡아주는 안전망 역할을 합니다.

6. 보너스: 로봇이 스스로 똑똑해진다

이 논문은 또한 로봇이 부조종사와 함께 작업을 성공적으로 수행하기 시작하면, 그 성공적인 시도들을 기록하여 "기장"(메인 뇌)을 재훈련할 수 있다는 것을 보여줍니다. 이는 로봇이 인간의 손을 다시 빌리지 않고도 스스로 더 나아지도록 만드는 순환 구조를 만듭니다.

요약

연구자들은 로봇의 뇌를 위한 범용 교정 도구를 만들었습니다. 로봇이 세상을 완벽하게 보도록 가르치는 대신, 오직 객체의 수학적 위치에 집중하도록 가르쳤습니다. 이를 통해 비디오 게임에서 완전히 훈련된 로봇이 실제 세계에 배치되었을 때 즉각적으로 훨씬 더 정밀해질 수 있으며, 실시간으로 자신의 실수를 스스로 바로잡을 수 있게 되었습니다.

기술 요약: 제로샷 Sim-to-Real VLA 강화를 위한 객체 중심 잔차 RL (Object-Centric Residual RL)

문제 정의

시각-언어-행동(VLA) 모델은 대규모 사전 학습과 모방 학습을 통해 다양한 조작 작업에서 폭넓은 일반화 능력을 입증해 왔습니다. 그러나 모방 학습으로부터 유도된 정책은 정밀한 물리적 상호작용에서 본질적으로 취약합니다. 실행 과정에서의 작은 오차가 시간이 흐름에 따라 누적되어, 보지 못한 상태(unseen states)에서 실패를 초래합니다. 강화 학습(RL)은 온라인 상호작용을 통해 회복 메커니즘을 제공하지만, 확산(diffusion) 또는 플로우 매칭(flow matching)에 의존하는 현대적 VLA에 직접 RL을 적용하는 것은 어렵습니다. 왜냐하면 이러한 구조들은 표준 정책 경사(policy gradients)를 통해 쉽게 미분되지 않기 때문입니다.

잔차 RL(Residual RL)은 동결된 베이스 VLA 위에 경량화된 교정 정책을 학습시키는 자연스러운 해결책을 제시합니다. 그러나 기존 방식들은 근본적인 "sim-to-real" 딜레마에 직면해 있습니다:

특권 상태(Privileged-state) 방식은 배포를 위해 상태 기반 교사(teacher)를 이미지 기반 학생(student)으로 증류(distillation)해야 하며, 이 과정에서 성능 손실이 발생합니다.
이미지 기반 방식은 큰 시각적 도메인 차이로 인해, 시뮬레이션에서 학습된 잔차(residual)의 제로샷 전이가 불가능합니다.
실세계 RL은 전이 격차를 제거하지만, 비용이 많이 들고 안전하지 않으며 복잡한 인프라를 요구합니다.

본 연구가 다루는 핵심 과제는 다음과 같습니다: 순수하게 시뮬레이션에서 학습된 강화 학습 정책이, 증류나 실세계 RL 없이도 실세계 VLA의 강건성을 제로샷으로 개선할 수 있는가?

방법론

저자들은 VLA의 행동을 객체 포즈(object poses)를 사용하여 정교화하는 객체 중심 잔차 RL 프레임워크를 제안하며, 이를 통해 시뮬레이션과 실제 사이에서 일관되게 전이 가능한 압축된 관측 공간을 구현합니다. 이 프레임워크는 세 단계로 작동합니다:

1. 텔레오퍼레이션 재생를 통한 쌍을 이룬 Sim/Real VLA
도메인 간 행동 분포를 정렬하기 위해, 저자들은 실제 세계의 VLA( $\pi^{real}_{VLA}$ )를 학습시키는 데 사용된 것과 동일한 텔레오퍼레이션 데모를 시뮬레이션 환경에서 재생합니다. 이를 통해 시뮬레이션 상의 대응물인 $\pi^{sim}_{VLA}$ 를 실제 VLA와 함께 학습시킵니다. 두 모델 모두 동일한 행동 궤적에 의해 감독되므로, 서로 다른 시각적 입력에도 불구하고 정렬된 행동 분포를 학습합니다. 이를 통해 잔차는 시뮬레이션 내에서 $\pi^{sim}_{VLA}$ 와 함께 학습될 수 있으며, 배포 시 $\pi^{real}_{VLA}$ 로 제로샷 전이될 수 있습니다. 결정적으로, 잔차는 이미지를 관측하지 않으므로 시뮬레이션 환경이 시각적으로 매우 사실적일 필요가 없어 엔지니어링 오버헤드를 줄여줍니다.

2. 객체 중심 잔차 RL 학습
잔차 정책( $\pi^{sim}_{res}$ )은 TD3를 사용하여 시뮬레이션에서 전적으로 학습됩니다. 핵심 혁신은 특권 상태나 원시 이미지(raw images)를 모두 피하는 관측 공간 $s_t$ 에 있습니다:
$s_t = [s^{obj}_t, s^{prop}_t, a^{base}_t]$

$s^{obj}_t$ : 기성 추정기(FoundationPose + SAM2)를 통해 추정된 작업 관련 객체의 6-DoF 포즈(위치 및 방향).
$s^{prop}_t$ : 자기 수용 감각 상태(end-effector 포즈, 그리퍼 상태).
$a^{base}_t$ : 베이스 VLA로부터의 현재 액션 청크(action chunk).

실세계의 포즈 추정 노이즈 및 실패에 대한 강건성을 확보하기 위해, 학습에는 두 가지 증강 전략이 사용됩니다:

포즈 노이즈 주입(Pose Noise Injection): 추정기의 부정확함을 모사하기 위해 위치와 방향(쿼터니언 곱)에 무작로적인 섭동을 추가합니다.
포즈 드롭아웃(Pose Dropout): 특정 확률로 객체 포즈 벡터를 0으로 만들어, 정책이 자기 수용 감각과 베이스 액션에만 의존하는 폴백(fallback) 전략을 학습하도록 강제합니다.

3. 제로샷 배포
배포 시, 실제 VLA와 시뮬레이션에서 학습된 잔차는 모두 동결됩니다. 시스템은 실제 VLA에 쿼리하여 베이스 액션을 얻고, 관측된 객체 포즈를 기반으로 잔차를 통해 교정 동작을 얻습니다. 만약 포즈 추정기의 신뢰도가 임계값 아래로 떨어지면, 시스템은 학습 중에 배운 "드롭아웃" 폴백을 트리거합니다. 결합된 행동은 $a_t = a^{base}_t \oplus \pi^{sim}_{res}(s_t)$ 로 계산되며, 여기서 $\oplus$ 는 성분별 합성(위치/그리퍼는 덧셈, 회전은 쿼터니언 곱)을 의미합니다.

4. VLA 자가 개선(Self-Improvement)
잔차로 교정된 정책을 통해 실제 로봇에서 생성된 성공적인 롤아웃(rollouts)은 여러 작업에 걸쳐 수집되어, 지도 미세 조정(SFT)을 통해 베이스 VLA를 재학습시키는 데 사용될 수 있습니다. 이는 추가적인 인간의 텔레오퍼레이션 없이도 고품질의 훈련 데이터를 생성하는 자가 개선 루프를 형성합니다.

주요 기여

제로샷 Sim-to-Real 프레임워크: 도메인 불변 관측 공간(객체 포즈 + 자기 수용 감각)을 활용하여 증류나 실세계 RL 없이 제로샷 전이를 달성하는 새로운 잔차 RL 프레임워크를 제시합니다.
자동 자가 개선: 잔차로 교정된 롤아웃을 사용하여 단일 멀티태스크 VLA를 재학습시키는 메커니즘을 통해, 새로운 인간 데모 없이도 베이스 정책을 개선합니다.
실증적 검증: 실제 Franka Research 3 (FR3) 로봇의 5가지 조작 작업에서 평균 성공률을 42%에서 76%로 높이며 일관된 개선을 입증했습니다.

실험 결과

본 방법은 실제 FR3 로봇과 MuJoCo 시뮬레이션을 사용하여 5가지 테이블탑 조작 작업(Cube Lift, Pick-and-Place, Stack Cube, Close Drawer, Stand Cup Up)에 대해 평가되었습니다.

성능 향상: 시뮬레이션에서 학습된 잔차는 실제 로봇에서의 평균 성공률을 **42% (Base VLA)**에서 **76% (Base + Residual)**로 향상시켰습니다. 시뮬레이션에서도 평균 성공률이 38%에서 86%로 향상되었습니다.
절제 연구(Ablation Studies):
- 강건성: 포즈 노이즈 주입과 포즈 드롭아웃 모두 필수적이었습니다. 둘 중 하나라도 제거하면 성능이 저하되었으며, 특히 포즈 드롭아웃은 탐지 실패에 대한 탄력성을 확보하는 데 결정적이었습니다.
- 관측 공간: 객체 중심 관측은 시각적 도메인 차이로 인해 실패한 이미지 기반 베이스라인과, 증류 과정에서 성능 손실을 겪은 증류 기반 접근법보다 우수한 성능을 보였습니다.
개입 분석: 잔차는 베이스 VLA가 목표와 어긋났을 때 일관되게 개입하여 행동을 목표 방향으로 유도했습니다. 이러한 선택적 교정은 작업 완료 속도를 9~22% 단축시켰습니다.
일반화: 본 프레임워크가 다양한 VLA 백본과 호환됨을 보여주었으며( $\pi_{0.5}$ 에서 테스트), 이는 관측 인터페이스가 특정 아키텍처에 국한되지 않음을 확인시켜 줍니다.
자가 개선: 잔차로 교정된 롤아웃으로 베이스 VLA를 재학습시킨 결과, 기존 베이스 롤아웃으로 재학습했을 때보다 더 높은 성공률과 짧은 에피소드 길이를 기록했습니다.

의의 및 주장

본 논문은 잔차 정책의 관측 공간을 이미지나 특권 상태에서 객체 중심 포즈로 전환함으로써, 복잡한 도메인 적응이나 증류 없이도 sim-to-real 격차를 해소할 수 있다고 주장합니다. 이 접근 방식은 VLA의 일반화 능력을 활용하는 동시에, 경량화되고 제로샷 전이가 가능한 모듈을 통해 RL의 정밀함을 더합니다.

저자들은 이를 확장 가능하고 자율적인 로봇 개선을 위한 실질적인 경로로 제시합니다. 베이스 정책의 훈련으로부터 교정 메커니즘을 분리하고 회복 가능한 상태 표현을 활용함으로써, 시뮬레이션에서 학습된 RL 정책의 실세계 배포를 가능하게 합니다. 또한, 교정된 롤아웃을 사용하여 베이스 VLA를 재학습할 수 있는 능력은, 막대한 비용이 드는 지속적인 인간 텔레오퍼레이션 없이도 지속적이고 자동화된 시스템 고도화의 길을 열어줍니다.

저자들이 언급한 한계점:

완전한 폐쇄(occlusion) 또는 심한 혼잡 상황에서 실시간 6-DoF 포즈 트래킹이 실패할 수 있음.
작업 관련 객체를 수동으로 지정해야 함.
포즈 기반 관측은 시각적 격차는 메우지만, 역학적 격차(예: 마찰, 순응도)는 메우지 못하므로 접촉이 빈번한 작업에 영향을 줄 수 있음.
잔차 구조로서, 베이스 VLA의 훈련 분포에서 크게 벗어난 상태에서는 회복할 수 없음.
서브 밀리미터 단위의 정밀도가 요구되는 작업은 현재의 포즈 추정 정확도를 초과할 수 있음.