💻 computer science

RIO: Flexible Real-Time Robot I/O for Cross-Embodiment Robot Learning

본 논문은 다양한 하드웨어 플랫폼에 걸친 제어 및 데이터 처리를 위한 유연하고 경량화된 구성 요소를 제공함으로써 분산된 로봇 인프라를 극복하고 최첨단 비전 - 언어 - 행동 모델의 효율적인 교차 구현 학습 및 배포를 가능하게 하는 오픈 소스 Python 프레임워크인 RIO 를 소개합니다.

원저자: Pablo Ortega-Kral, Eliot Xing, Arthur Bucker, Vernon Luk, Junseo Kim, Owen Kwon, Angchen Xie, Nikhil Sobanbabu, Yifu Yuan, Megan Lee, Deepam Ameria, Bhaswanth Ayapilla, Jaycie Bussell, Guanya Shi, Jon

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pablo Ortega-Kral, Eliot Xing, Arthur Bucker, Vernon Luk, Junseo Kim, Owen Kwon, Angchen Xie, Nikhil Sobanbabu, Yifu Yuan, Megan Lee, Deepam Ameria, Bhaswanth Ayapilla, Jaycie Bussell, Guanya Shi, Jonathan Francis, Jean Oh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 셔츠를 접거나 그릇을 닦는 것과 같은 집안일을 가르치려 한다고 상상해 보세요. 로봇 공학의 세계에서는 이는 현재 전 세계의 모든 언어를 한 아이에게 가르치려는 것과 비슷하지만, 한 가지 함정이 있습니다: 매번 다른 로봇 (다른 "몸체" 또는 "구현체") 으로 전환할 때마다, 그 로봇과 소통하는 방법을 완전히 다시 배워야 한다는 점입니다.

한 회사의 로봇 팔과 다른 회사의 카메라를 사용한다면, 이들을 함께 작동하게 만드는 코드는 종종 맞춤형 명령어들의 혼란스러운 덩어리가 됩니다. 다른 로봇 팔로 전환하고 싶다면 부품을 단순히 교체할 수 없습니다. 종종 로봇의 전체 "두뇌"를 처음부터 다시 작성해야 합니다. 이로 인해 과학자들 간의 진전 공유는 극도로 어렵고 느려집니다.

RIO(Robot I/O) 가 등장합니다.

RIO를 로봇을 위한 범용 번역기이자 모듈식 "플러그 앤 플레이" 시스템으로 생각하세요. 이는 연구자들이 매번 코드를 다시 작성하지 않고도 다양한 로봇 부품을 자유롭게 조합할 수 있게 해주는 경량 소프트웨어 툴킷입니다.

다음은 몇 가지 간단한 비유를 통해 RIO 가 어떻게 작동하는지 설명한 것입니다:

1. "레고" 접근법 (유연성)

레고 블록 상자가 있다고 상상해 보세요. 그 안에는 로봇 팔, 그리퍼 (손), 카메라, 그리고 인간이 로봇을 움직이는 데 사용하는 텔레오퍼레이션 컨트롤러가 들어 있습니다.

RIO 없이: 블록들을 초강력 접착제로 영구적으로 붙여야 합니다. 팔을 바꾸려면 전체를 분해하고 처음부터 다시 시작해야 합니다.
RIO 와 함께: 블록들은 표준 연결기를 갖추고 있습니다. 설정 파일만 변경하면 "프랑카 팔"을 "로보틱 그리퍼"에 연결하거나 "VR 헤드셋"을 "휴머노이드 로봇"에 연결할 수 있습니다. 핵심 로직 (로봇에게 무엇을 할지 지시하는 "두뇌") 은 정확히 동일하게 유지되며, 오직 "몸체"만 변경됩니다.

2. "범용 멀티탭" (미들웨어)

로봇들은 번개 속도로 서로 소통해야 합니다. 보통 서로 다른 부품들은 서로 다른 "언어" (프로토콜) 로 말합니다.

RIO 의 해결책: 이는 스마트 멀티탭이나 범용 어댑터처럼 작동합니다. 로봇의 하드웨어와 소프트웨어 사이에 위치합니다. 고속 공유 메모리 연결 (같은 방에서 두 사람이 직접 속삭이는 것 같은) 이든 네트워크 연결 (인터넷을 통해 대화하는 것 같은) 이든, RIO 가 자동으로 번역을 처리합니다.这意味着 로봇의 코드 변경 없이 통신 방법을 교체할 수 있음을 의미합니다.

3. "텔레오퍼레이션" 리모컨

로봇을 가르치기 위해 인간은 종종 로봇을 "텔레오퍼레이션"합니다. 즉, 컨트롤러를 착용하고 자신의 손으로 로봇을 움직이는 것입니다.

RIO 는 간단한 키보드와 게임패드부터 애플 비전 프로 (Apple Vision Pro) 와 같은 첨단 VR 헤드셋, 그리고 인간의 움직임을 모방하는 특수 로봇 팔에 이르기까지 다양한 컨트롤러를 지원합니다.
해당 논문은 동일한 소프트웨어를 사용하여 단일 로봇 팔, 양팔 로봇, 심지어 주변을 걷는 풀사이즈 휴머노이드 로봇까지 제어할 수 있음을 보여줍니다. 이는 컨트롤러와 로봇 몸체만 교체하면 가능하다는 것을 의미합니다.

4. "스마트 배달 기사" (정책 추론)

로봇이 훈련을 마치면 "컵을 집어 올리라"와 같은 결정을 내리고 움직여야 합니다. 이를 "추론 (inference)"이라고 합니다.

RIO 는 속도가 빠르도록 설계되었습니다. "생각" (AI 모델 실행) 과 "행동" (모터에 명령 전송) 을 분리합니다.
논문은 RIO 를 LeRobot이라는 다른 인기 시스템과 비교했습니다. 그 결과, RIO 가 카메라에서 로봇의 손까지 명령을 전달하는 속도가 훨씬 빠르다는 것을 발견했습니다.
- LeRobot: 약 581 밀리초 소요 (로봇 속도 기준 긴 시간).
- RIO: 단 130 밀리초 소요.
- 비유: LeRobot 이 우편으로 편지를 보내는 것이라면, RIO 는 문자 메시지를 보내는 것과 같습니다. 이 속도는 타코를 뒤집거나 공을 던지는 것과 같은 동적 작업에서至关重要하며, 1 초의 지연만으로도 실패로 이어질 수 있습니다.

그들은 실제로 무엇을 했나요?

저자들은 단순히 도구를 만든 것이 아니라, 실제 세계에서 이를 테스트했습니다. 그들은 RIO 를 사용하여 다음 작업을 수행했습니다:

인간이 로봇을 조종하여 셔츠를 접고, 그릇을 닦고, 상자를 들어 올리는 등 가사 작업을 수행하도록 데이터를 수집했습니다.
이 데이터를 기반으로 π0.5 및 GR00T와 같은 고급 AI 모델을 훈련시켰습니다.
훈련된 모델을 세 가지 매우 다른 유형의 로봇에 배포했습니다:
1. 단일 팔 로봇 (일반 공장 팔과 같은).
2. 양팔 로봇 (두 개의 팔을 가진 로봇).
3. 휴머노이드 (인간처럼 생겼고 걷는 로봇).

이들은 성공적으로 이러한 로봇들이 옷을 접고, 물건을 집어 올리며, 심지어 걷게 함으로써 동일한 소프트웨어 스택이 완전히 다른 하드웨어를 구동할 수 있음을 입증했습니다.

결론

해당 논문은 로봇 학습의 가장 큰 병목 현상이 단순히 더 많은 데이터나 더 나은 AI 모델을 갖는 것이 아니라 인프라라고 주장합니다. 과학자들은 현재 새로운 로봇마다 맞춤형 "배선"을 만드는 데 너무 많은 시간을 낭비하고 있습니다.

RIO는 한 번에 "배선"을 제공하는 무료 오픈소스 도구입니다. 이는 로봇 공학 커뮤니티가 바퀴를 다시 발명하는 것을 멈추고, 로봇이 어떤 모양이든 상관없이 더 복잡하고 유용한 일을 하도록 가르치는 데 집중할 수 있게 합니다.

기술 요약: RIO – 교차 구현체 로봇 학습을 위한 유연한 실시간 로봇 I/O

문제 제기

비전-언어-행동 (VLA) 모델의 최근 발전과 대규모 다중 구현체 데이터셋 (예: Open X-Embodiment) 의 집계에도 불구하고, 범용 로봇 정책의 배포는 단편화된 인프라로 인해 여전히 방해받고 있습니다. 현재 로봇 공학 코드는 일반적으로 사용자의 정확한 하드웨어 설정에 매우 특화되어 있어, 서로 다른 플랫폼 간에 아티팩트를 재사용, 공유 또는 적응시키려는 시도 시 상당한 오버헤드가 발생합니다.

핵심 문제는 유연하고, 재사용 가능하며, 고성능인 풀스택 로봇 인프라의 부재입니다. 연구자들은 로봇 형태 (예: 단일 팔에서 휴머노이드로) 나 하드웨어 구성 (예: 다른 그리퍼 또는 카메라) 을 전환할 때 전체 제어 스택을 다시 작성해야 하는 부담에 직면합니다. 이러한 단편화는 다른 머신러닝 분야에서 볼 수 있는 점진적 발전을 방해합니다. 다른 분야에서는 고수준 추상화가 다양한 하드웨어에서의 빠른 반복을 가능하게 하기 때문입니다. 결과적으로, 결과를 재현하려면 하드웨어 설정을 1 대 1 로 복제하거나, 학습된 정책을 새로운 플랫폼에 적응시키기 위해 상당한 엔지니어링 노력이 필요합니다.

방법론: RIO 프레임워크

이러한 과제를 해결하기 위해 저자들은 **RIO(Robot I/O)**를 제시합니다. 이는 교차 구현체 로봇 학습을 위한 유연한 실시간 I/O 를 제공하는 경량 오픈소스 Python 프레임워크입니다. RIO 는 단일 거대 솔루션이 아니라, 사용자가 특정 구성에 맞게 제어 스택을 구성할 수 있게 해주는 재사용 가능한 빌딩 블록들의 집합입니다.

설계 철학

RIO 는 다음 다섯 가지 원칙에 기반합니다:

유연성 (Flexible): 구성 요소에 무관함; 사용자는 로봇, 센서, 원격 조작, 미들웨어, 정책 등 모든 레이어에서 옵션을 선택하고 전환할 수 있으며, 최소한의 재구성이 필요합니다.
재사용성 (Reusable): 경량 빌딩 블록으로 구성되어 신속하게 결합 가능합니다.
접근성 (Accessible): 설치 속도가 빠르고 Python 기반이며, 단일 구성 파일과 CLI 를 통해 제어됩니다.
성능 (Performant): 비동기 정책 추론을 통한 고주파수 실시간 제어가 가능합니다.
일관성 (Consistent): 확장 가능하고 재현 가능한 데이터 수집 및 학습을 보장합니다.

시스템 아키텍처

이 프레임워크는 모든 구성 요소 (원격 조작 인터페이스, 센서, 로봇, 정책) 가 공통 템플릿을 상속받는 Node 로 구현되는 노드 기반 아키텍처를 사용합니다.

노드 및 미들웨어: 노드는 메시지 전달을 처리하는 지정된 미들웨어 (예: 공유 메모리, Zenoh, ZeroRpc, 스레드, 포털) 에서 동적으로 상속됩니다. 노드는 발행 전용, 요청 전용, 또는 병합된 세 가지 실행 패턴을 지원합니다. 이 추상화를 통해 동일한 로직이 서로 다른 전송 계층 (예: 디버깅을 위한 로컬 공유 메모리 vs 분산 로봇을 위한 네트워크 기반) 에서 실행될 수 있습니다.
로봇 스테이션: 특정 환경을 위한 모든 노드의 인스턴스화는 단일 "스테이션" 구성 파일 (조합 가능한 데이터 클래스) 로 집계됩니다. 이는 하드웨어 토폴로지 (예: {arm, gripper, wrist_camera}) 를 정의합니다. 주요 제어 루프는 고수준 API 와만 상호작용하여 애플리케이션 로직과 하드웨어 세부 사항을 분리합니다.
원격 조작 및 데이터 수집: RIO 는 상대적 엔드 이펙터 제어 (Spacemouse, 게임패드), 절대적 관절 매핑 (Leader-Follower/ALOHA), 그리고 휴머노이드용 VR 기반 리타게팅을 포함한 다양한 원격 조작 방법을 지원합니다. 데이터는 일관된 단위 (미터/라디안) 를 가진 표준화된 RLDS 스타일 형식으로 수집되며, 효율적인 저장을 위해 RoboDM 로 압축됩니다.
정책 추론: 고수준 API 를 통해 정책 (VLA, 확산 정책, RL) 을 원활하게 교체할 수 있습니다. 정책 래퍼 노드는 비동기 추론을 처리하여 표준화된 관측치를 정책별 형식으로 변환하고, 하드웨어에 명령을 보내기 전에 동작을 부드럽게 만듭니다.

주요 기여

RIO 프레임워크: 다양한 구현체에 걸친 데이터 수집 및 정책 배포를 위한 재사용 가능한 인프라를 제공하는 유연한 실시간 로봇 I/O 프레임워크의 도입. 로봇, 센서, 원격 조작 장치, 정책을 조합하여 구성할 수 있게 합니다.
다양한 형태에 걸친 검증: 단일 팔, 양손, 휴머노이드라는 세 가지 서로 다른 형태와 다양한 그리퍼 및 카메라를 갖춘 네 가지 하드웨어 플랫폼에서 VLA 배포 워크플로우를 지원할 수 있는 RIO 의 능력을 입증했습니다.
실제 환경 배포: 가정용 작업 (피크 앤 플레이, 접기, 그릇 닦기) 및 보행 작업에서 최첨단 VLA(특히 $\pi0.5$ 및 GR00T) 와 다른 정책 (확산 정책, PPO) 의 성공적인 미세 조정 및 배포. 여기에는 두 가지 서로 다른 로봇 형태에서 혼합된 데이터로 훈련된 교차 구현체 정책이 포함됩니다.

결과 및 평가

저자들은 NVIDIA RTX 4090 이 장착된 데스크톱에서 RIO 를 평가하여 다양한 작업에 대한 성능, 지연 시간 및 성공률을 중점적으로 분석했습니다.

정책 성능:
- 단일 팔 (xArm7): $\pi0.5$ 는 접기와 피크 앤 플레이 작업에서 90% 이상의 성공률을 달성했습니다. 확산 정책은 동적인 토르티야 뒤집기에서 66.7%, 공 던지기에서 100% 의 성공률을 기록했습니다.
- 양손 (SO-100): $\pi0.5$ 는 천 접기와 그릇 닦기에서 60% 이상의 성공률을 달성했습니다.
- 휴머노이드 (Unitree G1, Booster T1): GR00T N1.5 는 상자 들기에서 95% 의 성공률을 달성했습니다. RL-PPO 정책은 두 플랫폼 모두에서 보행을 성공적으로 제어했습니다.
지연 시간 및 성능:
- 미들웨어 지연 시간: 공유 메모리와 Zenoh 는 0.4~0.5ms 의 초단위 왕복 지연 시간을 달성했으며, 스레드와 ZeroRpc 는 약 1ms 로 근접했습니다.
- 종단 간 지연 시간: RIO 는 동일한 조건에서 LeRobot 의 581.2ms 에 비해 130.3ms의 관측치에서 동작까지의 지연 시간을 달성했습니다. 이 효율성은 전용 정책 서버의 오버헤드를 피하고 미들웨어 기반 비동기 추론을 직접 활용하는 RIO 의 간소화된 아키텍처에 기인합니다.
- 자원 활용도: 비동기 추론은 실행 내내 높은 GPU 활용도 (최대 약 80%) 를 유지하여 효율적인 컴퓨팅 포화를 보여주었습니다.

중요성 및 주장

이 논문은 유연하고 재사용 가능한 인프라의 부재가 로봇 공학의 점진적 발전을 위한 중요한 장벽이라고 주장합니다. "Bring-your-own-training-stack(자체 학습 스택 가져오기)" 접근 방식을 제공함으로써 RIO 는 실무자가 다양한 하드웨어에서 현대적인 로봇 학습 접근 방식을 배포, 벤치마크 및 반복하는 데 필요한 진입 장벽을 낮춥니다.

저자들은 RIO 가 사용자 로직을 성공적으로 추상화하여 한 번 작성된 로직을 어떤 로봇 스테이션에서도 재사용할 수 있게 한다고 주장합니다. 하드웨어나 정책을 교체하는 것은 코드 재작성이 아닌 구성 변경이 됩니다. 현재 작업은 단일 구현체 미세 조정에 초점을 맞추고 있으며, 교차 구현체 일반화는 여전히 열린 연구 문제임을 인정하지만, 이 프레임워크는 범용 로봇 정책의 향후 발전을 위한 전제 조건인 고품질 표준화된 교차 구현체 데이터 수집을 촉진하도록 설계되었습니다. 저자들은 프레임워크를 오픈소스화하여 실제 하드웨어에서의 로봇 학습 속도를 가속화하고자 합니다.