🤖 machine learning

Humanoid Everyday: A Comprehensive Robotic Dataset for Open-World Humanoid Manipulation

이 논문은 오픈 월드 휴머노이드 조작 연구를 발전시키기 위해 설계된 260개 작업에 걸친 10,000개 이상의 멀티모달 궤적을 포함하는 대규모의 다양한 데이터셋인 "Humanoid Everyday"를 소개하며, 정책 학습 방법에 대한 분석과 표준화된 클라우드 기반 평가 플랫폼을 함께 제시한다.

원저자: Zhenyu Zhao, Hongyi Jing, Xiawei Liu, Jiageng Mao, Abha Jha, Hanwen Yang, Rong Xue, Sergey Zakharov, Vitor Guizilini, Yue Wang

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhenyu Zhao, Hongyi Jing, Xiawei Liu, Jiageng Mao, Abha Jha, Hanwen Yang, Rong Xue, Sergey Zakharov, Vitor Guizilini, Yue Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 도움이 되는 룸메이트가 되는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇이 집 안을 돌아다니고, 컵을 집어 들고, 수건을 접고, 심지어 당신에게 도구를 건네주기를 원합니다. 하지만 현재 대부분의 로봇 학습 데이터는 테이블 위에 놓인 단일 로봇 팔의 움직임에 관한 책들로 가득 찬 도서관과 같습니다. 그 팔에는 아주 훌륭한 자료지만, 전체 로봇이 어떻게 걷고, 균형을 잡고, 두 손을 동시에 사용하는지는 가르쳐주지 못합니다.

**"Humanoid Everyday"**라는 논문은 이 문제에 대한 거대하고 새로운 해결책을 제시합니다. 이것은 마치 **"로봇의 일상 백과사전"**과 같습니다.

다음은 연구진이 무엇을 만들었으며 이것이 왜 중요한지에 대한 간단한 분석입니다.

1. 데이터셋: "로봇 리얼리티 쇼"

연구진은 Humanoid Everyday라고 불리는 방대한 비디오 및 센서 데이터 모음을 만들었습니다.

출연진: 그들은 인간처럼 보이고 움직이며, 촉감을 느낄 수 있는 정교한 손까지 갖춘 인간형 로봇인 Unitree G1과 H1 두 대를 사용했습니다.
줄거리: 단순히 상자를 A 지점에서 B 지점으로 옮기는 대신, 그들은 260가지의 서로 다른 "장면" 또는 작업을 기록했습니다. 이는 만두 모양 장난감을 집는 단순한 것부터 문손잡이를 잡고 걷거나 수건을 접는 것과 같은 복잡한 작업에 이르기까지 다양합니다.
다양성: 작업은 다음을 포함한 7가지 카테고리를 다룹니다:
- 기본적인 집안일 (물건 집기).
- 말랑말랑한 물건 다루기 (천이나 수건 등).
- 도구 사용하기 (지우개와 같은).
- 협동 (사람에게 물건 건네주기).
- 걷기와 작업 병행 (이동하며 작업 수행).
규모: 그들은 10,000개 이상의 영상 클립(궤적)과 300만 프레임 이상의 데이터를 기록했습니다. 모든 클립에는 비디오, 깊이(3D 거리), 레이저 스캔(LiDAR), 그리고 로봇의 손이 "느끼는" 것(촉각 데이터)이 포함되어 있습니다.

2. 비법: "초고속 카메라 크루"

이 데이터를 수집하는 것은 어렵습니다. 로봇은 빠르게 움직이며, 카메라가 아주 조금이라도 지연되면 데이터는 쓸모없게 되기 때문입니다.

문제점: 기존의 공식 로봇 소프트웨어는 데이터가 교통 체증에 갇힌 것처럼 느린 단일 차선 도로와 같았습니다.
해결책: 팀은 새로운 "원격 제어(teleoperation)" 시스템(사람이 원격으로 로봇을 제어하는 방식)을 구축했습니다. 그들은 데이터 수집을 마치 고속 계주 경기처럼 다루었습니다. 한 사람이 모든 것을 하는 대신, 그들은 작업을 여러 개의 "프로세스"(마치 서로 다른 주자들처럼)로 나누어 동시에 실행했습니다.
결과: 그들은 지연 시간(lag)을 500밀리초에서 단 2밀리초로 줄였습니다. 이는 달팽이의 속도에서 전력 질주로 바뀐 것과 같으며, 이를 통해 인간이 하는 동작처럼 매끄럽고 고품질인 움직임을 포착할 수 있게 되었습니다.

3. 클라우드 "테스트 트랙"

로봇 연구에서 가장 골치 아픈 문제 중 하나는 모든 과학자가 1억 원이 넘는 휴머노이드 로봇을 보유하고 있지는 않다는 점입니다.

혁신: 팀은 클라우드 기반 평가 플랫폼을 구축했습니다.
작동 방식: 원격 제어 트랙을 상상해 보세요. 전 세계 어디에서든 연구자들은 자신의 로봇 "두뇌"(AI 정책)를 클래우드에 업로드할 수 있습니다. 그러면 클라우드는 로봇의 눈(카메라 피드)을 연구자의 컴퓨터로 보냅니다. 연구자의 컴퓨터는 무엇을 할지 결정하고 그 명령을 실험실에 있는 실제 로봇으로 다시 보냅니다.
이점: 이것은 공정한 경쟁의 장을 만듭니다. 모든 이가 정확히 같은 방에서, 정확히 같은 로봇을 사용하여, 동일한 실제 작업으로 자신의 로봇을 테스트할 수 있습니다. 자신의 로봇이 더 뛰어난 이유가 카메라나 테이블이 다르기 때문인지 고민할 필요가 없습니다.

4. 현실 점검: 로봇이 할 수 있는 것(과 없는 것)

연구진은 단순히 데이터를 수집하는 데 그치지 않고, 이를 테스트했습니다. 그들은 몇 가지 유명한 AI 모델("두뇌"로 사용되는 현재의 로봇 모델들)을 가져와 이 새로운 작업들을 가르쳐 보았습니다.

희소식: 모델들은 특히 유사한 데이터를 많이 본 경우(사전 학습) 특정 작업에서 더 나은 성능을 보였습니다. 가장 우수한 성적을 거둔 모델은 GR00T N1.5였으며, 약 **51%**의 성공률을 기록했습니다.
비보: 로봇은 여전히 어려운 작업에서 고전하고 있습니다.
- "꽃병 속의 장미" 문제: 로토가 걸어가서 얇은 장미 줄기를 아주 작은 꽃병 입구에 넣어야 하는 작업에서, 거의 모든 모델이 실패했습니다 (성공률 0%).
- 이유: 로봇은 큰 움직임에는 능숙하지만, 섬세한 작업에 필요한 아주 미세하고 정밀한 조절에는 서툽니다. 또한 걷는 것과 손을 움직이는 것을 동시에 해야 할 때 혼란을 겪습니다.

요약

Humanoid Everyday는 모든 세부 사항을 포착하는 초고속 시스템을 통해 수집된, 로봇의 일상을 담은 방대하고 고품질인 라이브러리입니다. 또한 누구나 자신의 로봇 두뇌를 실제 하드웨어에서 테스트할 수 있도록 "클라우드 테스트 트랙"을 제공합니다.

이 논문은 우리가 진전을 이루고 있지만, 현재의 로봇 "두뇌"는 아직 걸음마를 배우는 아기와 같다는 것을 보여줍니다. 단순한 일은 할 수 있지만, 걷는 것과 미세한 운동 기술(예: 바늘에 실 꿰기)을 동시에 요구받으면 비틀거립니다. 이 데이터셋은 그들이 성장하는 데 필요한 훈련장입니다.

기술 요약: Humanoid Everyday

문제 정의

전신 능력(이동, 춤, 달리기) 측면에서 휴머노이드 로봇 공학이 상당한 진전을 이루었음에도 불구하고, 범용 휴머노이드 조작 정책의 개발은 세 가지 주요 격차로 인해 저해되고 있습니다:

데이터셋의 한계: 기존 데이터셋은 주로 고정된 로봇 팔이나 단순한 이동 플랫폼에 집중되어 있습니다. 존재하는 소수의 휴머노이드 데이터셋은 대개 고정된 환경에 국한되어 있으며, 작업의 다양성이 부족하고, 하체 이동을 누락하며, 복잡한 인간-휴머노이드 상호작용을 포착하지 못합니다.
평가 체계의 부재: 휴머노이드 데이터에 대한 학습 기반 정책을 벤치마킹하기 위한 표준화된 평가 플랫폼이 부족합니다. 현재의 프레임워크는 주로 로봇 팔이나 시뮬레이션된 에이전트에 제한되어 있어, 다양한 휴머노이드 정책 간의 공정하고 엄격한 비교를 어렵게 만듭니다.
체화 격차(Embodiment Gap): 현재의 데이터셋은 실세계 시나리오에 필요한 인간과 유사한 능력의 전체 스펙트럼, 즉 양손 협응, 전신 동작, 그리고 변형 가능한 물체 및 도구와의 정교한 상호작용을 포착하는 데 실패하는 경우가 많습니다.

방법론

1. 데이터 수집 파이프라인

저자들은 Humanoid Everyday 데이터셋을 수집하기 위해 매우 효율적인 인간 감독 텔레오퍼레이션(원격 제어) 파이프이션을 개발했습니다.

하드웨어: 데이터는 두 대의 Unitree 휴머노이드 로봇을 사용하여 수집되었습니다: G1 (29 DoF, 촉각 센서가 장착된 7-DoF Dex3-1 데릭스 핸드 탑재)과 H1 (27 DoF, 6-DoF INSPIRE 핸드 탑재). 두 로봇 모두 Intel RealSense RGB-D 카메라와 Livox LiDAR 시스템을 탑재하고 있습니다.
텔레오퍼레이션 인터페이스: 작업자는 손목 및 손가락 키포인트를 캡처하기 위해 Apple Vision Pro를 착용합니다. 손가락 동작은 dex-retargeting 시스템을 통해 로봇 손으로 매핑되며, 손목 포즈는 Pinocchio 기반의 역기구학(IK) 알고리즘을 통해 팔 관절 명령으로 변환됩니다.
파이프라인 최적화: 공식 Unitree 텔레오퍼레이션 스크립트의 블로킹(blocking) 방식의 동기식 설계와 달리, 저자들은 멀티프로세싱 기반의 비동기 I/O 파이프라인을 구현했습니다. 이는 데이터 스트리밍, 쓰기, 로봇 제어 및 IK 계산을 공유 메모리 버퍼를 사용하는 별도의 프로세스/스레드로 분리합니다.
- 성능: 이러한 재설계는 제어 지연 시간을 500ms에서 2ms로 줄였으며, 공식 시스템보다 데이터 수집 시간을 절반으로 단축하여 고주파수(30Hz) 제어 및 동기화된 멀티모달 데이터 캡처를 가능하게 했습니다.

2. 데이터셋 구성

데이터셋은 260개의 고유 작업과 7개 카테고리에 걸친 10.3k 개의 궤적(trajectory) 및 3백만 개 이상의 프레임으로 구성됩니다:

기본 조작 (Basic Manipulation): 집기 및 놓기(Pick-and-place) 작업.
변형 가능한 조작 (Deformable Manipulation): 천이나 부드러운 물체와의 상호작용.
관절형 조작 (Articulated Manipulation): 경첩 또는 관절 구조물 작동.
도구 사용 (Tool Use): 목표 달성을 위한 외부 객체 활용.
고정밀 조작 (High-Precision Manipulation): 높은 정확도를 요구하는 작업 (예: 꽃줄 삽입).
인간-로봇 상호작용 (HRI): 인간과의 협력 행동.
이동-조작 (Loco-Manipulation): 이동과 조작의 결합.

모달리티(Modalities): 각 에피소드에는 RGB 비디오, 깊이 맵(depth maps), LiDAR 스캔, 촉각 피드백, IMU 데이터, 관절 포즈, 관절 액션 및 자연어 주석이 포함됩니다.

3. 클라우드 기반 평가 플랫폼

표준화된 평가의 부재를 해결하기 위해 저자들은 클라우드 기반 평가 플랫폼을 도입했습니다.

기능: 연구자들은 서버에 정책(policy)을 업로드할 수 있으며, 서버는 물리적인 G1 또는 H1 로봇으로부터 실시간 시각적 입력(RGB, Depth)과 로봇 상태를 클라이언트로 스트리밍합니다.
실행: 사용자는 로컬에서 추론(inference)을 실행하고, 물리적 로봇에서 실행하기 위한 액션 명령을 서버로 다시 보냅니다.
모니터링: 웹 인터페이스를 통해 작업 실행에 대한 3인칭 및 1인칭 시점을 제공합니다.
효율성: 이 시스템은 최소한의 인간 개입(모터 과열로 인한 3회의 개입만 발생)만으로 100분 이상 연속 실행할 수 있음을 입증하였으며, 이를 통해 하드웨어에 구애받지 않는 재현 가능한 벤치마킹을 가능하게 했습니다.

4. 정책 분석 실험

저자들은 이 데이터셋을 사용하여 일련의 대표적인 모방 학습 및 시각-언어-행동(VLA) 모델들을 평가했습니다.

테스트된 모델: Diffusion Policy (DP), 3D Diffusion Policy (DP3), Action Chunking with Transformers (ACT), OpenVLA, $\pi_0$ -FAST, $\pi_0.5$ , GR00T N1.5.
학습 전략: VLA 모델을 위해 2단계 미세 조정(fine-tuning) 접근 방식을 사용했습니다: 전체 Humanoid Everyday 데이터셋에 대한 사전 학습 후 특정 작업 카테고리에 대한 적응(adaptation).
절제 연구 (Ablation Study): 직접적인 작업별 미세 조정과 2단계 사전 학습 전략 간의 비교가 수행되었습니다.

주요 결과

1. 정책 성능

일반적인 어려움: 모든 엔드투엔드(end-to-end) 모방 정책은 고차원 액션 공간(28 DoF)으로 인해 상당한 어려움을 겪었습니다.
모델별 특성:
- DP3는 3D 포인트 클라우드 관측의 견고함 덕분에 일반적으로 DP보다 우수한 성능을 보였으나, 프레임 간 변화가 커서 포인트 클라우드가 RGB보다 신뢰도가 떨어지는 Loco-Manipulation 작업에서는 실패했습니다.
- ACT는 보여준 궤적에 과적합(overfitting)되어 장면 변화에 적응하지 못하고 낮은 성능을 보였습니다.
- OpenVLA는 고주파수(30Hz) 데이터 처리에 어려움을 겪었습니다. 다운샘플링하여 2Hz로 조절하자 동작 생성은 개선되었으나 부드러움은 감소했습니다.
- $\pi_0$ -FAST는 고차원 액션 토큰화로 인한 디코딩 오류에 직면하여 때때로 로봇을 멈추게 했습니다.
- $\pi_0.5$ 는 더 부드러운 액션을 생성했으나 여전히 과적합 현상을 보였습니다.
- GR00T N1.5는 대규모 휴머노이드 데이터셋에 대한 광범위한 사전 학습 덕분에 가장 높은 평균 성공률(51%)을 달s했습니다.
실패 모드: 가장 도전적인 카테고리는 Loco-Manipulation과 High-Precision Manipulation이었습니다. "꽃병에 장미 꽂기" 작업의 경우 거의 모든 정책이 0%의 성공률을 기록했으며, 이는 현재 모델들의 미세한 시공간적 인지 능력이 부족함을 강조합니다.

2. 사전 학습의 유용성

절제 연구를 통해, 작업별 미세 조정을 수행하기 전 Humanoid Everyday에서 사전 학습을 하는 것이 VLA 모델의 성능을 일관되게 향상시킨다는 점이 확인되었습니다. 이는 다양한 휴머노이드 행동에 대한 노출이 다운스트림 조작 작업에서 견고성과 안정성을 높이는 가치 있는 사전 지식(prior)을 제공한다는 것을 시사합니다.

의의 및 주장

본 논문은 Humanoid Everyday를 범용 휴머노이드 조작 연구를 진전시키기 위한 기초 자원으로 자리매김합니다. 그 의의는 세 가지 측면에서 나타납니다:

데이터 다양성: 다양한 환경, 전신 이동, 정교한 조작 및 인간 상호작용을 아우르는 대규모 멀티모달 컬렉션을 제공함으로써 기존 데이터셋의 격차를 해소합니다.
표준화된 벤치마킹: 동반된 클라우드 기반 평가 플랫폼은 휴머노이드 로봇을 위해 특별히 설계된 최초의 플랫폼으로, 물리적 하드웨어 접근 권한이 없는 연구자들의 진입 장벽을 낮추고 공정하고 재현 가능한 비교를 가능하게 합니다.
한계에 대한 통찰: 현재의 정책 분석은 대규모 VLA 모델이 유망하긴 하지만, 고차원 제어, 미세한 인지, 동적 환경에 대한 견고성 측면에서 여전히 상당한 과제가 남아 있음을 드러냅니다.

저자들은 현재의 모방 학습 방법이 상당한 난관에 봉착해 있지만, 이 데이터셋, 평가 플랫폼, 그리고 정책 분석을 통해 얻은 통찰력의 결합이 실제 시나리오에서 더 유능하고 체화된 로봇 에이전트를 개발하기 위한 기틀을 마련한다고 결론짓습니다. 또한 고차원 공간을 위한 특화된 모델 설계의 필요성과 현재 정책들이 환경을 자율적으로 리셋할 수 없다는 점을 한계로 인정하며, 이를 향후 연구 방향으로 제시합니다.