🤖 machine learning

RLDX-1 Technical Report

본 논문은 이질적인 모달리티와 전문화된 시스템 설계를 통합하여 복잡하고 접촉이 많으며 역동적인 실제 세계의 정교한 조작 작업에서 기존 비전-언어-동작 모델을 크게 능가하는 범용 로봇 정책인 RLDX-1 을 다중 스트림 액션 트랜스포머 (MSAT) 아키텍처 기반으로 소개합니다.

원저자: Dongyoung Kim, Huiwon Jang, Myungkyu Koo, Suhyeok Jang, Taeyoung Kim, Beomjun Kim, Byungjun Yoon, Changsung Jang, Daewon Choi, Dongsu Han, Donguk Lee, Heeseung Kwon, Hojin Jeon, Jaehyun Kang, Jaekyoun

게시일 2026-05-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dongyoung Kim, Huiwon Jang, Myungkyu Koo, Suhyeok Jang, Taeyoung Kim, Beomjun Kim, Byungjun Yoon, Changsung Jang, Daewon Choi, Dongsu Han, Donguk Lee, Heeseung Kwon, Hojin Jeon, Jaehyun Kang, Jaekyoung Bae, Jihyuk Lee, Jimin Lee, John Won, Joonwoo Ahn, Junhyeong Park, Junyoung Sung, Kyungmin Lee, Minseong Han, Minsung Yoon, Sejune Joo, Seonil Son, Seungcheol Park, Seunggeun Cho, Seungjun Moon, Seungku Kim, Yonghoon Dong, Yongjin Cho, Youngchan Kim, Chang Hwan Kim, Dohyeon Kim, Hazel Lee, Heecheol Kim, Hensen Ahn, Hyungkyu Ryu, Hyunsoo Choi, Hyunsoo Shin, Jaeheon Jung, Jaewoo Kim, Jinwook Kim, Joochul Chang, Joonsoo Kim, Junghun Park, Jungwoo Park, Junho Cho, Junhyeok Park, Junwon Lee, Kangwook Lee, Kwanghoon Kim, Kyoungwhan Choe, Manoj Bhadu, Nayoung Oh, Sangjun Kim, Sangwoo Kim, Seunghoon Shim, Seunghyun Kim, Seungjun Lee, Seungyup Ka, Sungryol Yang, Wook Jung, Yashu Shukla, Yeonjae Lee, Yeonwoo Bae, Jinwoo Shin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 매우 똑똑한 로봇을 만들었는데, 이 로봇은 지시사항을 읽는 것과 그림을 보는 데 탁월합니다. 이 로봇은 '컵'이 무엇인지, '부어 넣기'가 무엇을 의미하는지 알고, 이에 대해 유창하게 이야기할 수 있습니다. 이는 마치 이론 박사 학위를 가지고 있지만 실제 세계에 대한 경험은 전혀 없는 로봇과 같습니다. 만약 이 로봇에 컨베이어 벨트 위를 움직이는 공을 잡거나, 전구를 깨뜨리지 않고 비틀어 주기를 요청한다면, 이 로봇은 운동, 기억, 촉각을 이해하지 못하기 때문에 멈춰 서 버릴지도 모릅니다.

이 논문은 이러한 문제를 해결하기 위해 설계된 새로운 로봇 '두뇌'인 RLDX-1을 소개합니다. RLDX-1을 단순히 똑똑한 독해자가 아니라, 기존 지능에 세 가지 새로운 초능력을 결합한 거장 장인으로 생각해 보세요:

1. 초능력: 운동, 기억, 그리고 촉각

운동 인식 (저글러):
대부분의 로봇은 정지된 사진을 보고 다음에 무엇을 해야 할지 추측합니다. 하지만 실제 세계는 움직입니다. 만약 상자가 컨베이어 벨트 위를 미끄러지고 있다면, 정지된 사진은 쓸모가 없습니다. RLDX-1은 공을 바라보는 것뿐만 아니라, 공이 공중을 날아다니는 전체 영상을 지켜보는 저글러와 같습니다. 이는 속도와 방향을 이해하게 하여, 다른 로봇들이 놓치는 움직이는 물체들을 잡을 수 있게 합니다.
장기 기억 (셜록 홈즈):
어떤 작업들은 시간이 걸립니다. 사람이 세 개의 컵 중 하나 아래에 정육면체를 숨기고, 자리를 떠난 뒤 로봇에게 그것을 찾도록 요청하는 껌뻑이 게임을 상상해 보세요. '단기 기억'만 있는 로봇은 컵을 보지만, 사람이 어떤 컵을 만졌는지 잊어버립니다. RLDX-1은 몇 초 전이나 몇 분 전에 일어난 일들을 기록하는 '수첩'을 유지합니다. 이는 사건들의 순서를 기억하게 하여, 과거를 되돌아보아야 해결할 수 있는 퍼즐을 풀 수 있게 합니다.
물리적 감각 (부드러운 손):
시각은 훌륭하지만, 소켓 내부나 깨지기 쉬운 달걀을 얼마나 세게 쥐고 있는지 볼 수는 없습니다. RLDX-1은 센서를 통해 '느낄' 수 있습니다. 이는 관절의 토크(비틀림 힘)와 피부의 촉각 신호를 읽는 것입니다. 이는 소켓에 플러그가 제대로 꽂혔는지, 혹은 달걀이 깨지기 직전인지 정확히 알아차리고 즉시 그립을 조절하는 눈가리개를 한 사람과 같습니다.

2. 훈련: 어떻게 배웠는가

로봇에게 이러한 기술을 몇 개의 비디오만 보여준다고 가르칠 수는 없습니다. RLDX-1은 3 단계 훈련 캠프를 거쳤습니다:

1 단계: 일반인 (사전 훈련): 다양한 로봇들 (팔, 손, 인간형 로봇) 이 간단한 일들을 수행하는 수백만 개의 비디오를 시청했습니다. 이를 통해 세계가 어떻게 작동하는지에 대한 폭넓은 이해를 얻었습니다.
2 단계: 전문가 (중간 훈련): 여기서 새로운 초능력들을 배웠습니다. 구체적으로 '운동', '기억', '촉각' 모듈로 훈련을 수행했습니다. 이를 위해 연구자들은 AI 비디오 생성기를 사용하여 수천 개의 새로운 희귀 시나리오 (예: 존재하지 않는 부엌에서 로봇이 수프를 부르는 상황) 를 만들고, 수학적으로 로봇이 해야 했던 행동을 계산해 내는 교묘한 트릭을 사용했습니다. 이는 실제 세계 데이터가 부족했던 부분을 채워 주었습니다.
3 단계: 정제 (사후 훈련): 마지막으로 구체적인 실제 세계 작업에서 훈련하며 자신의 실수로부터 배웠습니다. 컵을 잡는 데 실패하면 다시 시도했는데, 이는 즉각적인 피드백을 주어 성능을 향상시키는 코치와 같은 강화 학습 방법을 사용했습니다.

3. 속도: 고속 트랙에서 달리기

가장 똑똑한 두뇌라도 너무 느리면 쓸모가 없습니다. 로봇이 생각하는 데 0.1 초가 걸린다면, 행동할 때는 세상이 이미 변해 있을지도 모릅니다. 논문은 RLDX-1이 표준 시스템보다 1.6 배 더 빠르게 실행되도록 최적화되었다고 설명합니다.

비유: 지도를 확인하기 위해 모든 신호등마다 멈추는 배달 기사 (표준 처리) 를 상상해 보세요. RLDX-1은 전체 경로를 미리 매핑했고, 어떤 신호등이 언제 초록불로 바뀔지 정확히 알고 멈추지 않고 주행하는 기사와 같습니다. 이를 통해 빠른 속도로 움직이는 조립 라인에서도 실시간으로 반응할 수 있습니다.

4. 결과: 과녁을 맞춘 증명

연구자들은 RLDX-1을 다른 최상위 로봇 두뇌들 ( $\pi0.5$ 및 GR00T N1.6 등) 과 비교하여 두 가지 방식으로 테스트했습니다:

시뮬레이션 (비디오 게임) 에서: RLDX-1은 복잡한 부엌 작업과 움직이는 물체 도전 과제에서 다른 로봇들을 일관되게 능가했습니다.
실제 세계 (시험) 에서:
- 컨베이어 벨트: 물체가 빠르게 움직일 때, RLDX-1은 **87.5%**의 성공률을 보인 반면, 다음으로 좋은 로봇은 거의 70% 의 실패율을 기록했습니다.
- 껌뻑이 게임: 기억을 바탕으로 숨겨진 물체를 찾도록 요청했을 때, RLDX-1은 **91.7%**의 정확도로 정답을 맞혔습니다. 다른 로봇들은 무작위로 추측하여 약 30% 만 정답을 맞혔습니다.
- 전구: 전구를 켜질 때까지 비틀어 주도록 요청했을 때, RLDX-1은 인간 강사가 보여줄 수 있는 것보다 적은 시도 횟수로 이를 수행하는 법을 배웠습니다.

요약

RLDX-1은 단순히 '보고 이해하는' 것을 넘어 교묘하게 행동하는 로봇 정책입니다. 강력한 시각적 두뇌에 운동, 기억, 촉각을 위한 전문 모듈을 결합하고, 실제 데이터와 AI 생성 데이터의 거대한 혼합으로 훈련함으로써, 이전의 로봇들이 어려움을 겪었던 복잡하고 역동적이며 섬세한 작업에서 인간과 유사한 기술을 달성합니다. 이는 로봇이 혼란스럽고, 움직이며, 촉각적인 실제 세계에서 우리와 진정으로 함께 일할 수 있는 중요한 한 걸음입니다.

기술 요약: RLDX-1

문제 정의

비전 - 언어 - 행동 (VLA) 모델이 다양한 시각 장면을 이해하고 언어 지시를 따르며 작업 간 일반화를 가능하게 하는'다재다능한 지능'에서 상당한 진전을 보였음에도 불구하고, 더 넓은 기능적 능력을 요구하는 복잡한 실제 세계 조작 작업에서는 종종 어려움을 겪습니다. 구체적으로, 기존 VLA 들은 운동 인식(움직이는 물체가 있는 동적 환경에서 행동), 장기 기억(단기 프레임 이상의 긴 상호작용 역사를 통한 추론), 물리 감각(가림이나 미묘한 시각적 변화 하에서 접촉 힘과 토크를 추론) 을 위한 명시적 메커니즘이 부족합니다. 이러한 한계는 동적이고 접촉이 많으며 장기적인 시나리오에서 범용 로봇의 배포를 방해합니다.

방법론

저자들은 인간과 같은 교묘한 조작을 위해 설계된 범용 로봇 정책인 RLDX-1을 소개합니다. 이 시스템은 아키텍처, 데이터, 훈련, 추론을 아우르는 통합 프레임워크에 다양한 기능적 능력을 통합합니다.

1. 신경 아키텍처: 멀티스트림 액션 트랜스포머 (MSAT)

RLDX-1 은 플로우 매칭 VLA 아키텍처를 기반으로 구축되었으나, 세 가지 핵심 기능 모듈과 새로운 트랜스포머 설계로 확장되었습니다:

운동 인식: 비전 - 언어 모델 (VLM) 백본은 시공간 자기유사성 (STSS) 을 비전 인코더에 통합하여 시간적 역학을 포착하는 모듈로 보강되었습니다. 또한, 과거 비디오 프레임이 단일 컨텍스트 토큰으로 압축되어 시간적 컨텍스트를 효율적으로 모델링합니다.
장기 기억: 명시적인 메모리 모듈이 과거 인지 특징의 큐를 유지하여 모델이 장기 관찰 역사 (예: 껍질 놀이 또는 다단계 작업) 에 대해 추론할 수 있게 합니다.
물리 감각: 전용 물리 스트림이 시각 및 언어 입력과 별도로 토크 및 촉각 데이터와 같은 물리 신호를 처리합니다. 이 스트림은 행동과 함께 미래 물리 신호를 예측하여 모델이 접촉 역학을 내재화하도록 장려합니다.
MSAT 아키텍처: 이 이질적인 모달리티를 처리하기 위해 저자들은 멀티스트림 액션 트랜스포머를 제안합니다. 이는 인지 (시각/언어), 행동 (고유수용감각/노이즈가 있는 행동), 물리 (촉각/토크) 에 전용 스트림을 할당합니다. 이러한 스트림은 모달리티별 매개변수를 유지하면서 결합된 자기주의를 통해 상호작용하여, 표현 충실도를 잃지 않으면서도 교차 모달 정보 교환을 가능하게 합니다.

2. 훈련 데이터 및 파이프라인

훈련 전략은 3 단계 파이프라인과 다양한 데이터 혼합에 의존합니다:

데이터 소스: 이 모델은 (a) 대규모 공개 실제 세계 데이터셋 (Open-X-Embodiment, DROID, Galaxea, Agibot World 등), (b) ALLEX 휴머노이드 및 센서 강화 Franka Research 3 (FR3) 플랫폼의 자체 데이터, 그리고 (c) 합성 데이터의 조합으로 훈련됩니다.
합성 데이터 생성: 희귀한 교묘한 시나리오에 대한 데이터 부족을 해결하기 위해 저자들은 비디오 생성 모델 (이미지 - 비디오) 을 사용하여 장면과 작업을 증강하는 파이프라인을 사용합니다. 그 다음 역동역학 모델 (IDM) 을 통한 액션 라벨링과 비디오 품질 필터링(VLM 사용) 및 운동 일관성 필터링(시뮬레이션 롤아웃과 생성된 비디오 비교) 의 엄격한 2 단계 필터링 프로세스가 뒤따릅니다.
3 단계 훈련:
1. 사전 훈련: 다양한 다중 구현 데이터로 훈련하여 일반적인 조작 사전 지식을 학습합니다.
2. 중간 훈련: 자체 데이터와 합성 데이터를 사용하여 운동, 기억, 물리와 같은 기능적 능력을 주입하기 위해 구현별 데이터 (ALLEX 및 FR3) 에 특화된 훈련을 수행합니다.
3. 사후 훈련: VLM 에서 파생된 비평가 (RECAP 프레임워크) 를 사용한 강화 학습 (RL) 으로 선택적으로 향상된 작업별 미세 조정으로, 까다로운 작업에서 성능을 정제합니다.

3. 추론 최적화

실제 로봇에서 실시간 제어를 가능하게 하기 위해 저자들은 2 단계 추론 최적화 파이프라인을 구현합니다:

그래프 캡처 최적화: 커널 시작 오버헤드와 그래프 분할을 제거하기 위해 모델을 정적 CUDA 그래프로 변환합니다.
커널 최적화: 짧은 프리필 작업 부하에서 메모리 트래픽을 줄이고 실행 효율성을 향상시키기 위해 사용자 정의 퓨즈드 커널 (예: RMSNorm, RoPE, 어텐션 퓨징) 을 설계합니다.
이러한 최적화는 NVIDIA RTX 5090 에서 단계당 지연 시간을 약 71.2ms 에서 43.7ms로 줄여 1.63 배의 속도 향상을 달성합니다.

주요 결과

RLDX-1 은 OpenArm, ALLEX, Franka Research 3 플랫폼에서 시뮬레이션 벤치마크와 실제 세계 실험을 통해 평가되었으며, $\pi0.5$ 및 GR00T N1.6 과 같은 최첨단 베이스라인을 능가했습니다.

시뮬레이션 벤치마크: RLDX-1 은 LIBERO (97.8%), RoboCasa Kitchen (70.6%), GR-1 Tabletop (58.7%) 을 포함한 모든 벤치마크에서 가장 높은 성공률을 달성했습니다. 특히 LIBERO-Plus 및 SIMPLER 변형에서 베이스라인보다 우수한 견고성을 보였습니다.
실제 세계 다재다능함 (OpenArm): 지시 따르기 및 보이지 않는 객체/작업으로의 일반화가 필요한 작업에서 RLDX-1 은 베이스라인을 크게 능가하여 보이지 않는 객체에서 54.2% ( $\pi0.5$ 는 37.5%) 의 성공률을 달성했습니다.
기능적 능력 (ALLEX 및 FR3):
- 운동 인식: 다양한 속도의 컨베이어 벨트 작업에서 RLDX-1 은 평균 86.8% 의 성공률을 달성한 반면, 베이스라인은 약 40% 로 급락하거나 보이지 않는 속도에서 실패했습니다.
- 장기 기억: "상자 내 객체 선택"및"껍질 놀이"작업에서 RLDX-1 은 각각 91.7% 의 성공률을 달성한 반면, 베이스라인은 무작위 확률 수준 (~30-50%) 에 근접했습니다.
- 물리 감각: "플러그 삽입"및"계란 집어 올리기 및 놓기"와 같이 접촉이 많은 작업에서 RLDX-1 은 토크 및 촉각 피드백을 활용하여 각각 33.3% 및 61.1% 의 성공률을 달성하여 접촉 힘에 어려움을 겪은 베이스라인을 크게 능가했습니다.
추론 성능: 최적화된 파이프라인은 1.63 배의 속도 향상을 달성하여 실시간 배포를 가능하게 했습니다.

중요성 및 주장

이 논문은 RLDX-1 이 복잡하고 접촉이 많으며 동적인 실제 세계의 교묘한 조작을 위한 신뢰할 수 있는 VLA 로 향한 중요한 단계라고 주장합니다. '다재다능한 지능'을 넘어 운동 인식, 장기 기억, 물리 감각을 명시적으로 통합하여 단일 엔드 - 투 - 엔드 아키텍처로 이동함으로써 RLDX-1 은 현재 범용 로봇 정책의 중요한 격차를 해소합니다.

저자들은 그들의 접근 방식이 기존 VLA 모델의 단순한 확장이 아니라 인간과 같은 조작에 필요한 기능적 능력의 구조적 통합이라고 강조합니다. 실제 세계 데이터를 증강하는 데 있어 합성 데이터 파이프라인의 성공과 3 단계 훈련 절차의 효과는 다양한 구현에 범용 정책을 배포하기 위한 확장 가능한 경로를 보여줍니다. 기능적 작업에서 RLDX-1 이 ~90% 의 성공률을 달성한 반면 최첨단 모델은 ~40% 에 그친 ALLEX 휴머노이드에 대한 결과는 모델이 다양한 기능적 요구 하에서 고 자유도 (DoF) 로봇을 제어할 수 있는 능력을 강조합니다.