💻 computer science

UMI-Bench 1.0: An Open and Reproducible Real-World Benchmark for Tabletop Robotic Manipulation with UMI Data

이 논문은 데이터 수집, 장면 리셋, 실행 및 분석을 단일한 감사 가능한 프로토콜 내에 통합함으로써 범용 조작 인터페이스(Universal Manipulation Interface, UMI) 스타일 정책의 평가를 표준화하기 위해 설계된 최초의 개방적이고 재현 가능한 실세계 벤치마크인 UMI-Bench 1.0을 소개한다.

원저자: Shi Jin, Yuntian Wang, Yuhui Duan, Di Wu, Gaoqi Dong, Xiaohang Liu, Xiaotong Li, Hongfei Jia, Zehao Zhang, Tianyu Wang, Zhongjie Jia, Yuanqi Yao, Chenjia Bai, Zhaxizhuoma, Siao Liu, Nieqing Cao, Jin W

게시일 2026-06-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shi Jin, Yuntian Wang, Yuhui Duan, Di Wu, Gaoqi Dong, Xiaohang Liu, Xiaotong Li, Hongfei Jia, Zehao Zhang, Tianyu Wang, Zhongjie Jia, Yuanqi Yao, Chenjia Bai, Zhaxizhuoma, Siao Liu, Nieqing Cao, Jin Wang, Chao Yu, Yan Ding

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 빨래를 접거나, 컵을 쌓거나, 콩을 붓는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 이 작업들을 수행하는 수천 개의 영상을 보여주었습니다. 하지만 실제로 로봇을 주방에 가져다 놓으면, 로봇은 그림자 때문에 발을 헛디디거나, 조명이 약간 달라졌다는 이유로 컵을 떨어뜨리거나, 컵이 빨간색 대신 파란색이라서 혼란에 빠질 수도 있습니다.

오랫동안 과학자들은 비디오 게임(시뮬레이션)이나 매우 구체적이고 완벽하게 설정된 환경에서 로봇을 테스트해 왔습니다. 하지만 이 논문이 설명하듯, 시뮬레이션은 자동차를 비디오 게임 속에서 운전하는 것과 같습니다. 규칙은 배울 수 있겠지만, 바람의 느낌이나 미끄러운 도로, 혹은 길을 가로지르는 다람쥐의 등장 같은 돌발 상황은 경험할 수 없습니다.

이 논문은 UMI-Bench 1.0을 소개합니다. 이것은 본질적으로 **실제 세계의 로봇들을 위한 표준화된 "운전 면허 시험"**입니다.

다음은 이들이 수행한 작업을 쉬운 비유를 사용하여 정리한 내용입니다.

1. 문제점: "레시피" vs "주방"

저자들은 많은 로봇 학습 시스템이 **UMI (Universal Manipulation Interface)**라고 불리는 특정한 데이터 수집 방식을 사용한다는 점에 주목했습니다. UMI는 로봇 자신의 "눈"(손목에 달린 카메라)과 "손"(그리퍼)의 관점에서 작성된 일종의 특수한 레시피 북이라고 생각하면 됩니다.

문제는 모두가 이 "레시피 북"을 사용하여 로봇을 훈련시키고 있음에도 불구하고, 그들을 테스트하는 "주방"은 서로 달랐다는 점입니다.

어떤 팀은 빨간색 매트가 깔린 테이블 위에서 테스트했습니다.
다른 팀은 파란색 매트와 다른 조명 아래에서 테스트했습니다.
또 다른 팀은 물체를 약간 다른 위치에 재배치했습니다.

만약 로봇 A는 실패하고 로봇 B는 성공했다면, 그것은 로봇 B가 더 똑똑해서일까요? 아니면 단지 로로 B가 빨간 매트 덕분에 운이 좋았던 것일까요? 그들을 공정하게 비교할 방법이 없었습니다.

2. 해결책: 표준화된 "운전 면허 시험"

저자들은 UMI-Bench 1.0을 구축했습니다. 이것은 모든 자동차(로봇)가 정확히 동일한 조건에 직면하게 되는 엄격하게 규제된 운전 면허 시험장이라고 상상해 보세요.

동일한 트랙: 그들은 격자무늬가 있는 특정 테이블을 만들었습니다(마치 거대한 게임판처럼). 모든 로봇은 물체를 정확히 같은 위치에서 시작해야 합니다.
동일한 카메라: 모든 로봇은 훈련 데이터와 마찬가지로 손목에 장착된 카메라를 통해 세상을 바라봐야 합니다. 천장에서 내려다보는 보안 카메라와 같은 "3인칭 시점"은 허용되지 않습니다.
동일한 규칙: 그들은 단순한 작업부터 복잡한 작업까지 10가지의 특정 과제를 만들었습니다.
- 단순함: 바구니 세 개 쌓기.
- 중간: 두 손을 사용하여 컵에서 바구니로 콩 붓기.
- 어려움: 바지 접기 또는 마작 타일 분류하기.
"돌발" 요소: 로봇이 정말 똑똑한지, 아니면 단순히 테스트를 암기한 것인지 테스트하기 위해 변화를 주었습니다.
- 요인 A (새로운 옷): 물체의 색상이나 모양을 바꿨습니다 (예: 빨간 공 대신 초록색 공).
- 요인 B (새로운 위치): 격자 위의 물체들을 다른 곳으로 옮겼습니다.

3. 테스트 방법

그들은 세 가지 서로 다른 "학생" 로봇(AI 모델인 π0, π0.5, DreamZero)을 데려와 각 과제에 대해 이 표준화된 테스트를 50번씩 수행했습니다.

그들은 단순히 "과제를 완료했는가?" (예/아니오)만을 묻지 않았습니다. 수학 시험을 채점하는 선생님처럼 점수를 매겼습니다:

완전 성공: A+를 받았는가? (완벽하게 쌓았고, 쏟지 않음).
진행 점수: 부분 점수를 받았는가? (컵을 집어 들었지만, 콩을 조금 쏟음).

4. 발견한 점 (성적표)

결과는 시사하는 바가 컸습니다:

"좋은" 소식: 로봇이 훈련받은 것과 정확히 동일한 설정에 직면했을 때, 꽤 잘 수행했습니다. 즉, "본 적 있는(Seen)" 조건에서는 잘 작동했습니다.
"나쁜" 소식: 로봇이 새로운 위치(요인 B)에 직면했을 때, 새로운 물체(요인 A)를 마주했을 때보다 훨씬 더 힘들어했습니다.
- 비유: 이는 마치 숫자가 같은 순서대로 있으면 문제를 완벽하게 풀지만, 숫자가 다른 페이지로 이동하면 완전히 혼란에 빠지는 학생과 같습니다. 로봇들은 작업의 기하학적 구조를 이해하기보다는 위치를 암기하는 데 크게 의존하고 있습니다.
가장 어려운 과제들: 긴 일련의 동작이 필요하거나(주방 선반 전체를 재배치하는 것 등) 매우 섬세한 타이밍이 필요한 작업(회전하는 테이블 위에서 캔을 잡는 것 등)은 극도로 어려웠습니다. 모든 로봇이 이 작업들에서는 거의 100% 실패했습니다.

5. 이것이 중요한 이유

이 논문은 우리가 로봇을 "누가 자신의 개인 실험실에서 가장 잘했는가"를 기준으로 비교하는 것을 멈춰야 한다고 주장합니다.

UMI-Bench 1.0은 표준화된 국가 고시와 같습니다. 이를 통해 연구자들은 "좋아, 로봇 A는 옷을 접는 데 더 뛰어나지만, 로봇 B는 액체를 붓는 데 더 뛰어나다"라고 확신을 가지고 말할 수 있습니다. 그 차이가 방 안의 조명 때문이 아니라 로봇의 지능 때문이라는 확신 말입니다.

이것은 로봇이 아직 당신의 집에서 인간을 대체할 준비가 되었다고 주장하는 것이 아닙니다. 대신, 우리는 우리가 목표에 얼마나 도달했는지 측정할 수 있는 **자(ruler)**를 제공하며, 우리가 로봇이 "학습하고 있다"고 말할 때 그것이 시뮬레이션 기술이 아닌 실제 세계의 기술을 측정하는 것임을 보장합니다.

기술 요약: UMI-Bench 1.0

문제 정의

시각-언어-행동(VLA) 모델이 로봇 조작 분야에서 급격히 발전하고 있음에도 불구하고, 물리적 로봇을 통한 평가는 여전히 까다로운 과제로 남아 있다. 기존의 실세계 벤치마크(예: RoboChallenge, RoboArena, ManipArena)는 Universal Manipulation Interface (UMI) 스타일의 정책에 요구되는 특정한 결합(coupling)을 제대로 반영하지 못하는 경우가 많다. UMI 정책은 손목 뷰(wrist-view) 관측, 행동 표현, 데이터 수집 방법, 그리고 물리적 배포 간의 긴밀한 통합에 의존한다. 평가 프로토콜이 하드웨어 설정, 카메라 배치, 장면 리셋 절차 또는 행동 인터페이스에 따라 달라질 경우, 성능 차이는 모델의 역량이 아닌 평가 노이즈를 반영하게 될 수 있다. 또한, 비공식적인 장면 명세(scene specification)는 신뢰할 수 있는 실패 분석을 저해하여, 객체 수준의 일반화 문제인지, 공간 추론의 결함인지, 혹은 실행의 불안정성인지를 구분하기 어렵게 만든다. UMI 데이터 수집과 실세계 배포 평가를 일치시키는 표준화되고 재현 가능한 벤치마크가 부재한 상황이다.

방법론

UMI-Bench 1.0은 UMI 스타일의 손목 뷰 조작 정책을 위해 특별히 설계된, 로컬 우선(local-first) 방식의 엔드 투 엔드 실로봇 벤치마크를 구축함으로써 이 간극을 해결한다. 본 방법론은 데이터 수집, 장면 명세, 평가 실행을 연결하는 통합 프로토콜을 중심으로 구조화되어 있다.

1. 표준화된 인프라

하드웨어 플랫폼: 벤치마크는 표준화된 로봇 팔, 그리퍼, 손목 장착형 RGB 카메라(1280x1280, 100 FPS)가 장착된 고정된 테이블탑 워크스테이션(1.2m x 1.0m)을 활용한다. 5cm 격자로 구성된 투명 아크릴 격자 보드는 작업자가 참조할 수 있으면서도 정책이 디코딩하도록 가정되지 않은, 객체 리셋 및 메타데이터 기록을 위한 반복 가능한 기준을 제공한다.
관측 인터페이스: 정책은 엄격하게 손목 뷰 RGB 관측(선택적으로 고유 수용 감각 포함)만을 사용하여 평가된다. UMI 학습 가설과의 정렬을 유지하기 위해 제3자 시점(third-person) 카메라는 입력에서 제외된다.
데이터-평가 파이프라인: 시스템은 표준화된 데이터 수집 워크플로우(FastUMI Pro 사용)를 통합 평가 러너와 연결한다. 이를 통해 훈련 분포와 테스트 분포가 비교 가능하도록 보장하며, 특정 태스크 요인(task factors)에 에피소드를 연결하는 명시적인 메타데이터를 제공한다.

2. 태스크 스위트 및 일반화 설계

본 벤치마크는 10개의 실세계 테이블탑 태스크로 구성된다: 4개의 단일 암(single-arm) 태스크와 6개의 양손(bimanual) 태스크. 이 태스크들은 공간 정렬, 관절형 용기 조작, 도구 사용, 양손 협응, 동적 파지, 의미론적 분류, 변형 가능한 물체 접기, 그리고 장기 호라이즌(long-horizon) 재배치 등 다양한 조작 기술을 포괄한다.

일반화를 진단하기 위해, 각 태스크는 두 가지 요인 변화(two-factor shift) 분류 체계 하에서 평가된다:

요인 A (객체/외형 변화): 보유하지 않은 객체 인스턴스, 외형, 범주 또는 조합(예: 다른 색상, 재질 또는 객체 유형)을 도입한다.
요인 B (레이아웃/역학 변화): 보유하지 않은 위치, 레이아웃, 포즈 또는 태스크 역학(예: 다른 격자 위치, 턴테이블 속도 또는 객체 방향)을 도입한다.

이를 통해 각 태스크당 네 가지 평가 셀(Seen/Seen, Seen/Unseen (Factor A), Unseen/Seen (Factor B), Unseen/Unseen)이 생성된다. 벤치마크는 10개 태스크에 걸쳐 약 20,000개의 데모와 태스크당 50개의 평가 에피소드를 포함한다.

3. 평가 프로토콜 및 지표

스코어링: 평가는 롤아웃(rollout)의 최종 안정적인 물리적 상태를 기준으로 한다. 두 가지 주요 지표가 보고된다:
- 전체 성공률 (Full Success Rate, FSR): 모든 태스크 핵심 하위 목표를 동시에 만족하는 에피소드의 비율.
- 진행 점수 (Progress Score): 태스크별 하위 목표(예: 파지, 들어올리기, 놓기, 안정화)에 기반한 0–100점 사이의 부분 점수.
일반화 격차 (Generalization Gap): $\Delta_{gen} = S_{seen} - S_{unseen}$ 으로 정의되며, 객체/외형 실패와 공간/역학 실패를 구분하기 위해 Factor A와 Factor B에 대해 각각 계산된다.
재현성: 프로토콜에는 감사 가능성을 보장하기 위해 장면 리셋, 로깅 및 인간 스코어링에 대한 상세한 체크리스트가 포함된다.

주요 기여

최초의 UMI 전용 벤치마크: UMI-Bench 1.0은 UMI 기반 조작 모델의 실세계 평가를 위한 최초의 벤치마크로서, UMI 데이터 수집과 물리적 배포 간의 불일치 문제를 해결한다.
통합 평가 프로토콜: 데이터 수집부터 결과 로깅까지의 전체 파이프라인을 표준화하여 하드웨어, 관측 및 장면 리셋의 변동성을 줄이고 재현 가능한 비교를 보장한다.
구조화된 일반화 분석: 미경험 조건을 객체/외형(Factor A) 및 공간/역학(Factor B) 변화로 조직함으로써, 정책 실패에 대한 해석 가능한 진단을 가능하게 한다.
포괄적인 태스크 스위트: 양손 조작 및 변형 가능한 물체 조작을 포함한 다양한 10개 태스크와 약 2만 개의 데모, 표준화된 평가 에피소드를 제공한다.

실험 결과

저자들은 세 가지 최첨단 모델인 $\pi_0$ , $\pi_0.5$ , DreamZero를 평가하였다.

전반적인 성능: $\pi_0.5$ 는 평균 종합 진행 점수(Overall Progress Score) 55.84를 달성하여, $\pi_0$ (48.90)와 DreamZero(40.59)를 앞질렀다. $\pi_0.5$ 는 10개 태스크 중 6개에서 1위를 차지하며 단일 암 및 양손 설정 모두에서 견고함을 입증했다.
태스크별 강점:
- $\pi_0$ 는 단일 암 배치 태스크(T1, T2)에서 가장 좋은 성능을 보였다.
- DreamZero는 도구 매개 스탬핑(T3)과 협동 운송(T6)에서 경쟁력 있는 성능을 보였으나 평균적으로는 뒤처졌다.
- 모든 모델은 T3(도구 매개 스탬핑)와 T9(장기 호라이즌 재배치)에서 0%의 전체 성공률(Full Success Rate)을 기록했으며, 이는 현재의 장기 호라이즌 단계 추정과 정밀한 최종 배치 능력의 한계를 보여준다.
일반화 경향: 성능 저하는 Factor A(객체/외형) 변화보다 Factor B(공간/역학) 변화에서 훨씬 심각하게 나타났다. 평균 점수는 59.62(Seen/Seen)에서 Factor B(45.33) 및 결합된 변화(40.19)로 하락했다. 이는 현재의 정책들이 데모와 정렬된 운동 사전 지식(motion priors)에 크게 의존하며, 태스크 관련 기하학적 구조나 역학이 변할 때 어려움을 겪음을 시사한다.
지연 시간 관찰: DreamZero는 $\pi_0$ 및 $\pi_0.5$ 에 비해 현저히 높은 추론 지연 시간(1630ms)을 보였으며, 이는 T7(동적 픽 앤 플레이스)과 같은 동적 태스크에서의 낮은 성능에 기여했을 수 있다.

의의 및 주장

본 논문은 UMI-Bench 의 실세계 조작 정책을 측정하고 진단하기 위한 실용적인 인프라를 제공한다고 주장한다. 데이터 수집, 장면 명세, 평가를 하나의 결합된 프로토콜로 취급함으로써, 훈련 분포와 테스트 분포 사이의 관계를 명시적이고 분석 가능하게 만든다.

저자들은 이 벤치마크가 원격 로봇 플랫폼을 대체하기보다는, 특정 데이터 및 배포 패러다임(로컬 우선, 손목 뷰) 내에서의 반복적인 모델 개발을 위해 설계되었음을 강조한다. 실험 결과는 훈련 및 평가 분포가 일치할 때는 정책이 능력을 유지하지만, 공간적 변화와 장기 호라이즌 계획을 다루는 데에는 여전히 큰 격차가 존재함을 보여준다. 본 벤치마크는 이러한 구체적인 실패 모드를 식별하여, 확장 가능한 로봇 학습을 위한 데이터 수집 전략 및 모델 아키텍처의 향후 개선을 유도하는 것을 목표로 한다.