Robot Control Stack: A Lean Ecosystem for Robot Learning at Scale

이 논문은 대규모 일반화 정책 기반의 로봇 학습 연구를 지원하기 위해 시뮬레이션과 실제 환경 간 전환을 원활하게 하는 경량화되고 모듈화된 로봇 제어 스택 (RCS) 을 제안하고, 그 아키텍처 설계 원리와 VLA 및 RL 정책 개발 과정에서의 유용성과 성능을 평가합니다.

핵심

이 논문은 **"로봇이 더 똑똑하게 배우기 위해 필요한 새로운 '만능 도구상자'"**를 소개하는 내용입니다.

기존의 로봇 연구 방식과 최신 AI(거대 언어 모델) 방식 사이의 괴리를 해결하기 위해 개발된 **'Robot Control Stack (RCS)'**이라는 소프트웨어 생태계에 대한 이야기입니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제점: "요리사와 주방의 불일치"

과거 로봇을 연구할 때는 **전문 요리사 (로봇 전문가)**가 **정해진 주방 (전통 로봇 소프트웨어)**에서 일했습니다.

• 전통 방식: 로봇이 특정 작업 (예: 컵 잡기) 을 하려면, 그 작업에 딱 맞는 전용 레시피와 도구를 하나하나 만들어야 했습니다.
• 새로운 AI 방식: 요즘은 **초지능 요리사 (Vision-Language-Action 모델, VLA)**가 등장했습니다. 이 요리사는 인터넷에 떠도는 수많은 레시피 (데이터) 를 보고, 어떤 상황에서도 새로운 요리를 해낼 수 있습니다.

하지만 문제는?
이 초지능 요리사는 **매우 현대적이고 넓은 주방 (대규모 데이터 학습, GPU)**에서 일하고 싶어 하는데, 기존 로봇 연구실의 주방은 **좁고 낡은 도구들 (전통 소프트웨어)**로만 채워져 있었습니다.

• 요리사가 요리를 하려면 매번 주방을 개조해야 했습니다.
• 시뮬레이션 (가상 주방) 에서 연습한 요리를 실제 로봇 (실제 주방) 에서 하려니, 도구가 달라서 실패하거나 다시 시작해야 했습니다.

2. 해결책: RCS 는 "모든 주방에 맞는 '스마트 조리대'"

저자들은 이 문제를 해결하기 위해 RCS라는 것을 만들었습니다. RCS 는 마치 **모든 주방 (실제 로봇, 가상 시뮬레이션) 에 바로 설치해서 쓸 수 있는 '스마트 조리대'**와 같습니다.

• 하나의 인터페이스: 로봇이든 시뮬레이션이든, 요리사 (AI 모델) 는 같은 방식으로 명령을 내리면 됩니다. "컵을 잡아"라고 말하면, 실제 로봇이든 가상 로봇이든 알아서 작동합니다.
• 레고 블록처럼 조립 가능: 필요한 도구 (카메라, 손가락, 그리퍼 등) 를 레고 블록처럼 끼워 넣기만 하면 됩니다. 로봇을 바꾸더라도 소프트웨어를 처음부터 다시 쓸 필요 없습니다.
• 가볍고 빠름: 불필요한 장식을 다 빼고 핵심 기능만 담아서, AI 모델이 학습하는 속도를 늦추지 않습니다.

3. RCS 의 핵심 기능 (실제 실험 결과)

이 논문에서는 RCS 를 이용해 실제로 여러 가지 실험을 했습니다.

A. 다양한 로봇에서의 테스트 (다양한 주방에서의 요리)

FR3, xArm7, UR5e 등 서로 다른 모양과 크기의 로봇 4 가지를 사용했습니다.

• 결과: RCS 를 사용하면 로봇이 달라도 AI 모델 (π0 등) 이 쉽게 적응했습니다. 마치 요리사가 다른 주방으로 이동해도 같은 조리대로 바로 요리를 시작하는 것과 같습니다.
• 특이점: 가장 작고 저렴한 로봇 (SO101) 은 성능이 조금 떨어졌는데, 이는 AI 가 배운 데이터와 실제 로봇의 크기 차이가 너무 커서 발생한 문제였습니다.

B. 가상과 현실의 결합 (시뮬레이션 + 실제 데이터)

가장 흥미로운 발견은 데이터 섞기였습니다.

• 실험: 실제 로봇으로 찍은 데이터 10 개만 가지고 AI 를 가르쳤더니 실패했습니다. 하지만 가상 시뮬레이션에서 만든 데이터 100 개를 섞어주니, AI 의 실력이 비약적으로 향상되었습니다.
• 비유: 요리사가 실제 요리 10 번만 해본다면 실패할 수 있지만, 가상 현실에서 100 번 연습하고 실제 10 번만 해봐도 훌륭한 요리사가 되는 것과 같습니다. RCS 는 이 가상과 현실의 데이터를 자연스럽게 섞어주는 역할을 했습니다.

C. 강화학습 (RL) 지원

AI 가 스스로 시행착오를 겪으며 배우는 '강화학습'도 RCS 에서 잘 작동했습니다.

• 결과: 로봇이 스스로 컵을 잡는 법을 3 시간 만에 100% 성공률로 배웠습니다. 이는 RCS 가 AI 학습 속도를 늦추지 않고, 오히려 가속화해 준다는 뜻입니다.

4. 요약: 왜 이것이 중요한가요?

이 논문은 **"로봇이 AI 와 함께 더 똑똑해지려면, 로봇을 제어하는 소프트웨어도 똑똑하고 유연해야 한다"**는 것을 증명했습니다.

• 기존: 로봇마다 소프트웨어를 새로 짜야 함 = 시간 낭비, 비효율
• RCS: 로봇과 시뮬레이션을 하나로 묶어줌 = 빠른 학습, 쉬운 확장, 현실과 가상의 완벽한 연결

결론적으로 RCS 는 로봇 연구자들이 **복잡한 코딩에 시간을 낭비하지 않고, 로봇이 실제로 무엇을 할 수 있는지 (학습과 실험) 에 집중할 수 있게 해주는 '만능 도구상자'**입니다. 앞으로는 사람처럼 두 손으로 일하거나 이동하며 일하는 로봇 연구에도 이 도구가 쓰일 예정입니다.

기술 요약

1. 문제 정의 (Problem Statement)

최근 로봇 학습 분야에서 시각 - 언어 - 행동 (VLA, Vision-Language-Action) 모델과 같은 대규모 일반화 정책 (Generalist Policies) 의 등장으로 패러다임이 급변하고 있습니다. 그러나 기존의 로봇 소프트웨어 프레임워크는 이러한 새로운 학습 워크플로우에 적합하지 않아 다음과 같은 병목 현상이 발생합니다.

• 기존 프레임워크의 한계: 전통적인 로봇 소프트웨어 (예: ROS) 는 복잡한 미들웨어 구조를 가지며, 머신러닝 중심의 연구 (모델과 데이터가 핵심인 접근법) 에는 과부하를 주거나 유연성이 부족합니다.
• 시뮬레이션과 현실의 괴리: 로봇 학습용 시뮬레이터 (예: Isaac Lab) 는 대규모 병렬 학습에는 강력하지만, 실제 로봇 하드웨어와의 원활한 전환 (Sim-to-Real) 이나 저수준 제어 기능에 제한이 있습니다.
• 커스터마이징의 필요성: 새로운 로봇 설정, 모델, 작업마다 매번 소프트웨어를 재구성해야 하는 비효율성이 존재합니다.

이러한 문제를 해결하기 위해 대규모 데이터 수집과 모델 중심의 학습 워크플로우를 지원하면서도, 실제 로봇 제어와 시뮬레이션을 아우르는 가볍고 확장 가능한 소프트웨어 생태계가 필요합니다.

2. 방법론 (Methodology)

저자들은 **Robot Control Stack (RCS)**이라는 새로운 라이브러리와 도구 세트를 제안합니다. RCS 는 VLA 연구에 최적화되도록 처음부터 설계되었으며, 다음과 같은 핵심 아키텍처와 기능을 가집니다.

• 레이어드 아키텍처 (Layered Architecture):

  • 하위 계층 (C++ API): 로봇 하드웨어 및 MuJoCo 시뮬레이션을 제어하는 저수준 인터페이스를 제공합니다. 성능이 중요한 작업에 최적화되어 있습니다.
  • 상위 계층 (Python/Gymnasium API): 고수준 애플리케이션 (데이터 수집, 정책 배포 등) 을 쉽게 구현할 수 있도록 표준화된 Gymnasium 인터페이스를 제공합니다.
  • 환경 래퍼 (Environment Wrappers): RCS 의 핵심 개념으로, 상태 (State) 와 행동 (Action) 공간을 변환하는 래퍼를 중첩하여 적용합니다. 이를 통해 카메라, 그리퍼, 센서 등을 모듈식으로 추가하거나 수정할 수 있으며, 시뮬레이션과 실제 로봇 간의 인터페이스를 통일합니다.

• 하드웨어 및 시뮬레이션 통합:

  • MuJoCo 기반: MuJoCo 물리 엔진을 기반으로 하며, Pinocchio(운동학), OMPL(경로 계획) 등 기존 로봇 공학 도구를 통합했습니다.
  • Sim-to-Real 지원: 동일한 인터페이스를 사용하여 실제 로봇과 시뮬레이션 (디지털 트윈) 을 병렬로 실행하거나 쉽게 전환할 수 있습니다.
  • VLAgents: VLA 모델의 추론 파이프라인과 RCS 환경 간의 통신을 위해 RPC(Remote Procedure Call) 를 사용한 전용 레이어를 제공하여, 모델의 복잡한 의존성 문제를 해결합니다.

3. 주요 기여 (Key Contributions)

1. RCS 아키텍처 소개: 추상화 수준에 따라 기능을 추가할 수 있는 모듈식 환경 래퍼 기반 아키텍처를 설계하고, Python 과 C++ 기반 소프트웨어를 모두 지원함을 설명했습니다.
2. 포괄적인 평가: 교차 구현 (Cross-embodiment) 지원, 시뮬레이션 및 실제 환경에서의 데이터 수집, VLA 및 강화학습 (RL) 에이전트의 훈련 및 평가를 포함한 다양한 사용 사례를 평가했습니다.
3. 실험적 결과 제공: Octo, OpenVLA, $\pi_0$ 등 최신 오픈소스 VLA 모델을 다양한 로봇 (FR3, xArm7, UR5e, SO101) 에서 재현 가능한 '큐브 잡기 (Pick-Cuboid)' 태스크로 평가했습니다.
4. 합성 데이터의 효과 입증: 실제 데이터와 시뮬레이션 데이터를 혼합하여 학습했을 때, 실제 환경에서의 정책 성능이 비례 이상으로 향상됨을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

연구진은 4 가지 다른 로봇 설정 (FR3, xArm7, UR5e, SO101) 에서 RCS 를 배포하고 다양한 실험을 수행했습니다.

• 시스템 성능: RCS 는 동기식 Gymnasium 환경임에도 불구하고 90Hz~120Hz 의 높은 제어 주파수를 달성하여 최신 VLA 및 RL 배포 요구사항을 충족했습니다.
• VLA 모델 비교 (FR3 설정):
  • $\pi_0$: 다양한 로봇 (FR3, xArm7, UR5e) 에서 높은 성공률을 보이며 강력한 일반화 능력을 입증했습니다.
  • Octo & OpenVLA: 프랑카 (Franka) 로봇 데이터가 사전 학습 데이터에 상대적으로 적어 성능이 낮았습니다.
  • 시뮬레이션 전이: $\pi_0$는 시뮬레이션에서 실제 로봇으로의 전이 (Sim-to-Real) 가 가능했으나, 다른 모델들은 제한적이었습니다.
• 데이터 혼합 효과 (Synthetic Data Mix):
  • 실제 데이터 10 개와 시뮬레이션 데이터 100 개를 혼합하여 학습한 $\pi_0$모델은, 실제 데이터만 학습한 경우보다 실제 환경에서의 성공률이 비례 이상으로 크게 향상되었습니다.
  • 이는 시뮬레이션 데이터가 실제 학습을 보조하여 모델의 일반화 능력을 높일 수 있음을 시사합니다.
• 강화학습 (RL) 파이프라인:
  • RCS 는 Stable Baselines 3 와 호환되어 RL 학습에 사용되었습니다. 24 개의 병렬 환경에서 초당 2000 스텝 이상의 처리량을 기록하며, RCS 가 RL 학습 병목이 아님을 증명했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 RCS를 통해 로봇 학습 연구의 효율성을 획기적으로 높일 수 있는 경량 생태계를 제시했습니다.

• 유연성과 확장성: 연구자가 로봇 설정이나 모델에 맞춰 소프트웨어를 적응시키는 것이 아니라, 소프트웨어가 연구자의 요구에 맞춰 적응하도록 설계되었습니다.
• Sim-to-Real 간극 해소: 시뮬레이션과 실제 하드웨어 간의 전환을 매끄럽게 하여, 대규모 데이터 수집과 정책 학습의 선순환 구조를 가능하게 합니다.
• 미래 지향성: RCS 는 현재 단일 팔 로봇을 지원하지만, ROS 인터페이스, 양손 조작 (bimanual), 이동 조작 (mobile manipulation), 촉각 센서 지원 등을 통해 향후 휴머노이드 로봇 연구의 핵심 인프라로 성장할 잠재력을 가지고 있습니다.

결론적으로, RCS 는 대규모 VLA 모델 시대에 맞춰 로봇 공학 연구의 표준 워크플로우를 재정립하고, 시뮬레이션과 현실을 연결하는 강력한 도구로서 그 가치를 입증했습니다.