RL-100: Performant Robotic Manipulation with Real-World Reinforcement Learning

이 논문은 인간 숙련도 수준의 신뢰성과 효율성을 갖춘 실세계 로봇 조작을 위해 모방 학습과 강화 학습을 통합하고 증류 기법을 통해 실시간 제어를 가능하게 한 'RL-100' 프레임워크를 제안하며, 다양한 실물 로봇 작업에서 100% 성공률을 기록하고 인간 개입 없이도 장기적으로 안정적으로 작동하는 것을 입증했습니다.

핵심

이 논문은 **"RL-100"**이라는 이름의 새로운 로봇 학습 시스템을 소개합니다. 쉽게 말해, **"인간이 가르쳐준 기본기를 바탕으로, 로봇이 스스로 실전 경험을 쌓아 인간보다 더 똑똑하고 빠른 조작 능력을 터득하게 만든 방법"**입니다.

기존의 로봇은 인간이 직접 조종하는 데이터 (모방 학습) 만으로는 한계가 있었습니다. 인간이 실수하거나, 너무 느리게 움직이는 경우를 그대로 배우기 때문입니다. RL-100 은 이 문제를 해결하기 위해 세 가지 단계로 로봇을 훈련시킵니다.

1. 핵심 비유: "유치원생에서 프로 운동선수로"

이 시스템을 이해하기 위해 유치원생이 프로 운동선수가 되는 과정을 상상해 보세요.

• 1 단계: 모방 학습 (유치원생)

  • 로봇은 처음에 인간이 직접 조종한 영상 (텔레오퍼레이션) 을 봅니다. 마치 아이가 부모님의 걸음걸이를 따라 배우는 것처럼, 로봇은 "어떻게 움직여야 안전한지" 기본기를 익힙니다.
  • 하지만 이때는 인간이 얼마나 느리게 움직였는지, 혹은 실수가 있었는지도 그대로 따라 하게 됩니다.

• 2 단계: 오프라인 강화학습 (자율 훈련)

  • 이제 로봇은 혼자서 연습을 시작합니다. 하지만 위험한 실수를 바로바로 해서는 안 되니까, **가상 공간 (또는 과거 데이터)**에서 수천 번을 시뮬레이션하며 스스로 개선합니다.
  • 핵심 아이디어: 로봇은 "성공하면 점수 +1, 실패하면 점수 0"을 받습니다. 인간이 가르쳐준 기본기 위에, 로봇이 스스로 "어떻게 하면 더 빨리, 더 정확하게 할까?"를 고민하며 점수를 높여갑니다. 이때 중요한 것은 안정성입니다. 너무 급하게 변하면 망가질 수 있으니, 점진적으로만 발전시킵니다.

• 3 단계: 온라인 강화학습 (실전 적응)

  • 이제 실제 로봇이 테이블 위에 서서 실전을 치릅니다. 아직 완벽하지 않은 아주 드문 실패 상황 (예: 물이 넘치거나, 물건이 미끄러지는 경우) 을 경험하며 마지막 다듬기를 합니다.
  • 마치 프로 운동선수가 시합 직전 마지막 컨디션을 조절하듯, 최소한의 실전 경험으로 100% 성공률을 달성합니다.

2. 기술적 마법: "고급 요리사 vs. 초고속 배달원"

이 시스템의 가장 놀라운 점은 두 가지 기술적 장치를 통해 정확함과 속도를 동시에 잡았다는 것입니다.

• 확산 모델 (Diffusion Policy): "고급 요리사"

  • 로봇이 행동을 결정할 때, 한 번에 뚝딱 결정하는 게 아니라 노이즈 (잡음) 를 제거해가며 천천히 정답을 찾아냅니다. 마치 안개 속에서 길을 찾아 나가는 것처럼, 여러 번의 과정을 거쳐 가장 최적의 움직임을 만들어냅니다.
  • 이 방식은 매우 정교하고 복잡한 작업 (예: 수건 접기, 오렌지 짜기) 에 탁월합니다. 하지만 조금 느립니다.

• 일관성 증류 (Consistency Distillation): "초고속 배달원"

  • 로봇이 실전 (공장이나 집) 에 나가면 1 초 1 초가 중요합니다. 그래서 연구진은 "고급 요리사 (확산 모델) 가 만들어낸 정답을 기억해 둔 뒤, 초고속 배달원 (일관성 모델) 이 그 정답을 한 번에 뽑아내게" 훈련시켰습니다.
  • 마치 복잡한 레시피를 머릿속에 완벽히 외운 요리사가, 주문이 들어오자마자 1 초 만에 요리를 완성해 내는 것과 같습니다. 이 덕분에 로봇은 초당 100 번 이상 빠르게 반응할 수 있게 되었습니다.

3. 실제 성과: "쇼핑몰에서 7 시간 동안 실패 없는 서비스"

이론만 좋은 게 아니라, 실제 로봇에게 적용했을 때 놀라운 결과가 나왔습니다.

• 100% 성공률: 8 가지 다른 작업 (물건 밀기, 볼링 치기, 물 붓기, 수건 접기, 오렌지 짜기 등) 을 모두 1,000 번 시도해서 1,000 번 성공했습니다.
• 인간보다 빠르고 정확: 숙련된 인간이 조종하는 것보다 더 빠르게 작업을 끝냈습니다.
• 강력한 적응력:
  • 새로운 환경: 훈련할 때와 다른 바닥, 다른 물체, 심지어는 사람이 로봇을 밀어붙여도 (방해해도) 96% 이상 성공했습니다.
  • 실제 배포: 연구진은 이 로봇을 쇼핑몰에 가져가서 7 시간 동안 방문객들에게 오렌지 주스를 만들어 주었습니다. 단 한 번의 고장이나 실패 없이 계속 작동했습니다.

4. 결론: 왜 이것이 중요한가요?

기존의 로봇은 "사람이 시키는 대로"만 할 수 있었거나, "새로운 상황"이 오면 당황했습니다. 하지만 RL-100은 **"인간의 기본기를 배우고, 스스로 실전 경험을 쌓아 인간을 뛰어넘는 신뢰성과 효율성"**을 보여줍니다.

이 기술이 상용화되면, 우리 집이나 공장에서 로봇이 인간처럼, 혹은 그 이상으로 안전하고 빠르고 똑똑하게 일을 해줄 날이 머지않았음을 시사합니다. 마치 아이가 부모의 손을 잡고 걷다가, 결국 혼자서 어떤 길에서도 달릴 수 있게 되는 것과 같은 이야기입니다.

기술 요약

1. 문제 정의 (Problem)

실제 가정이나 공장 환경에서 로봇을 배포하기 위해서는 숙련된 인간 조작자 수준 이상의 신뢰성 (Reliability), 효율성 (Efficiency), 강건성 (Robustness) 이 필수적입니다. 최근 생성형 확산 모델 (Diffusion Models) 기반의 시뮬레이션 및 실물 학습은 인간 수준의 조작 능력을 보여주었으나, 다음과 같은 한계가 존재합니다.

• 데이터의 부족과 비용: 고품질의 실물 로봇 데이터는 원격 조종 (Teleoperation) 에 의존해야 하며, 이는 지각 및 제어 지연으로 인해 느리고 보수적인 동작을 유발합니다. 대규모 데이터 수집은 비용이 많이 들고 노동 집약적입니다.
• 모방 학습의 천장 (Imitation Ceiling): 순수한 모방 학습 (Imitation Learning, IL) 은 인간 시연자의 기술 수준에 성능이 제한되며, 인간의 비효율성이나 오류를 그대로 학습합니다.
• 실제 환경의 복잡성: 기존 강화학습 (RL) 은 시뮬레이션과 실제 환경 간의 격차 (Sim-to-Real Gap) 나, 실제 하드웨어에서의 샘플 비효율성, 안전성 문제로 인해 복잡한 접촉 (Contact-rich) 이나 긴 시간 범위 (Long-horizon) 작업에 적용하기 어렵습니다.

따라서, 인간의 선지식 (Human Priors) 을 활용하면서도 자율적인 탐색을 통해 인간을 능가하는 성능을 달성할 수 있는 실용적인 로봇 학습 프레임워크가 필요합니다.

---

2. 방법론 (Methodology)

저자들은 RL-100이라는 새로운 프레임워크를 제안했습니다. 이는 확산 기반 시각 - 운동 정책 (Diffusion Visuomotor Policies) 을 기반으로 하며, 모방 학습 (IL) 과 강화 학습 (RL) 을 단일 목적 함수 하에 통합하여 실물 환경에서 고도화하는 3 단계 파이프라인을 특징으로 합니다.

A. 3 단계 학습 파이프라인

1. 모방 학습 (IL) 사전 학습: 원격 조종으로 수집된 인간 시연 데이터를 기반으로 확산 정책을 사전 학습합니다. 이는 안전하고 인간과 유사한 행동의 저분산 베이스라인을 제공합니다.
2. 반복적 오프라인 RL (Iterative Offline RL):
   • 정책의 롤아웃 (Rollout) 데이터를 버퍼에 축적하며, OPE(Off-policy Evaluation) 게이트가 적용된 Clipped PPO 목적 함수를 사용하여 정책을 보수적으로 개선합니다.
   • 데이터가 확장될 때마다 IL 로 재학습하여 분포 변화를 적응하고, 정책의 표현력을 유지합니다.
   • 이 단계에서 대부분의 성능 향상을 달성합니다.
3. 온라인 RL 미세 조정 (Brief Online RL):
   • 오프라인 개선 후에도 남아있는 희귀한 실패 모드 (Rare failure modes) 를 해결하기 위해 실물 로봇에서 짧은 기간의 온-폴리시 (On-policy) RL 을 수행합니다.
   • 이 단계는 가장 비용이 많이 들지만, 신뢰성을 99% 이상으로 끌어올리는 데 필수적입니다.

B. 핵심 기술적 혁신

• 통일된 목적 함수 (Unified Objective): 확산 모델의 다단계 (Multi-step) 디노이징 과정을 2 단계 MDP로 모델링하여, 환경 단계의 보상 (Advantage) 을 모든 디노이징 단계에 공유합니다. 이를 통해 Clipped PPO 목적 함수를 오프라인과 온라인 단계 모두에 일관되게 적용하여 안정적인 학습을 가능하게 합니다.
• 일관성 증류 (Consistency Distillation):
  • 배포 시 지연 시간을 줄이기 위해, 다단계 확산 정책을 단일 단계 (One-step) 일관성 모델 (Consistency Model, CM) 로 증류합니다.
  • 이를 통해 추론 속도를 획기적으로 높여 (예: 100ms → 10ms), 고빈도 제어 (High-frequency control) 가 가능해집니다.
• 범용성: 프레임워크는 작업, 구현체 (Embodiment), 시각 표현 (2D RGB 또는 3D Point Cloud) 에 구애받지 않으며, 단일 단계 제어와 액션 청킹 (Action Chunking) 을 모두 지원합니다.

---

3. 주요 기여 (Key Contributions)

1. 통합 학습 프레임워크: 원격 조종 기반의 확산 정책에 실물 RL 후학습 (Post-training) 을 적용하여, 신뢰성, 효율성, 강건성을 인간 기반 지표에 맞춰 최적화하는 3 단계 파이프라인을 제안했습니다.
2. 단일 목적 함수와 빠른 배포: 확산 샘플러의 디노이징 일정을 미세 조정하는 통일된 PPO 손실 함수와, 단일 단계 일관성 증류를 통해 지연 시간을 줄인 경량화된 배포 전략을 제시했습니다.
3. 범용성 입증: 다양한 작업 (동적 푸시, 유연한 물체 조작, 정밀 조립 등) 과 다양한 로봇 팔 (UR5, Franka, xArm 등) 에서 시각 기반 RL 후학습을 성공적으로 수행한 최초의 시스템 중 하나입니다.
4. RL 특화 네트워크 백본: 확산 기반 시각 - 운동 제어에 특화된 백본과, RL 미세 조정 중 안정적인 표현을 학습하기 위한 자기지도 학습 (Self-supervised) 비주얼 인코더를 설계했습니다.

---

4. 실험 결과 (Results)

저자들은 8 가지 다양한 실물 로봇 작업 (동적 Push-T, Agile Bowling, Pouring, Unscrewing, Towel Folding, Orange Juicing, Box Folding 등) 에서 RL-100 을 평가했습니다.

• 성공률 (Reliability):
  • 총 1,000 회 (100%) 의 시도에서 모든 작업에 대해 성공률을 달성했습니다.
  • 특히 'Soft-towel Folding' 작업에서는 연속 250 회 성공을 기록했습니다.
  • 기존 모방 학습 기반 베이스라인 (DP-2D, DP3) 은 평균 성공률이 45~68% 였으나, RL-100 은 이를 100% 로 끌어올렸습니다.
• 효율성 (Efficiency):
  • 작업 완료 시간 (Time-to-completion) 에서 숙련된 원격 조종자 (Human Teleoperators) 를 능가하거나 동급의 성능을 보였습니다.
  • 특히 'Box Folding'과 같은 긴 시간 범위 작업에서 RL-100(CM) 은 베이스라인보다 1.57 배 더 빠릅니다.
• 강건성 (Robustness):
  • Zero-shot 적응: 재학습 없이 환경 변화 (마찰 계수 변경, 물체 모양/크기 변화, 유체/입자 전환 등) 에 대해 평균 90% 성공률을 보였습니다.
  • Few-shot 적응: 소량의 추가 학습 (1~3 시간) 으로 새로운 작업 변형에 평균 86.7% 성공률을 달성했습니다.
  • 외부 간섭: 인간이 로봇에 물리적 충격을 주거나 방해하는 상황에서도 평균 96% 성공률을 유지하며 회복 능력을 입증했습니다.
• 실제 배포 사례:
  • 쇼핑몰에서 7 시간 동안 재학습 없이 무인 주스 제조 로봇을 운영하며, 무작위 고객에게 실패 없이 서비스를 제공했습니다.

---

5. 의의 및 결론 (Significance)

RL-100 은 로봇 학습이 실험실 단계를 넘어 실제 가정과 공장 환경에 배포 가능한 단계로 도약할 수 있음을 보여주는 중요한 이정표입니다.

• 인간 능력의 초월: 인간의 시연 데이터를 기반으로 시작하되, RL 을 통해 인간의 비효율성과 오류를 보완하고 신뢰성 및 효율성 측면에서 인간을 능가하는 성능을 달성했습니다.
• 실용적 배포 경로: 소량의 전문가 데이터와 자율적인 로봇 롤아웃을 결합하여, 데이터 수집 비용을 줄이면서도 배포 준비가 된 (Deployment-ready) 정책을 생성하는 효율적인 방법을 제시했습니다.
• 확장 가능성: 이 프레임워크는 모델에 구애받지 않으므로, 향후 대규모 다중 작업/다중 로봇 확산 모델 (VLA) 로 확장하여 더 복잡한 환경에서의 자율 조작을 가능하게 할 잠재력을 가지고 있습니다.

결론적으로, RL-100 은 확산 모델의 표현력과 실물 RL 의 최적화 능력을 결합하여, 복잡하고 역동적인 실제 환경에서 신뢰할 수 있는 로봇 조작을 실현하는 강력한 솔루션입니다.