RobotArena $\infty$: Scalable Robot Benchmarking via Real-to-Sim Translation

이 논문은 실제 로봇 데이터의 비디오를 시뮬레이션으로 자동 변환하고, 자동화된 VLM 점수 평가와 확장 가능한 인간 선호도 피드백을 결합하여 로봇 정책의 평가가 직면한 비용, 안전성 및 재현성 문제를 해결하는 대규모 벤치마크 프레임워크 'RobotArena Infinity'를 제안합니다.

핵심

로봇 아레나 ∞: 로봇의 실력을 검증하는 '가상 스포츠 경기장'

이 논문은 로봇이 실제로 일할 수 있는지, 얼마나 똑똑한지를 평가하는 새로운 방법을 소개합니다. 기존 방식의 문제점을 해결하고, 마치 e-스포츠 대회처럼 로봇들을 대규모로 비교할 수 있는 시스템을 만들었습니다.

핵심 내용을 쉬운 비유로 설명해 드릴게요.

---

1. 왜 새로운 방법이 필요할까요? (기존의 문제점)

지금까지 로봇을 평가하려면 실제 실험실로 가야 했습니다.

• 비유: 마치 축구 선수를 평가하기 위해 매번 실제 경기장을 빌리고, 공을 준비하고, 심판을 세우고, 실수하면 다시 공을 차야 하는 것과 같습니다.
• 문제점: 시간이 너무 오래 걸리고, 로봇이 부러질 위험이 있으며, 같은 조건으로 반복하기 어렵습니다. 로봇이 더 똑똑해지고 복잡해질수록 이 방식은 더 이상 성립하지 않습니다.

2. 로봇 아레나 ∞의 해결책: "현실 → 가상" 자동 변환

이 연구팀은 "실제 로봇이 찍은 영상을 보고, 그와 똑같은 가상 세계 (시뮬레이션) 를 자동으로 만들어내는" 기술을 개발했습니다.

• 비유: 영화 감독이 실제 장면을 찍은 뒤, 그 장면을 컴퓨터 그래픽 (CG) 으로 완벽하게 재현하는 것과 같습니다.
• 어떻게 하나요?
  1. 눈 (Vision): 로봇이 물건을 잡는 영상을 봅니다.
  2. 생각 (AI): AI 가 "저건 컵이고, 저건 테이블이야. 무게는 얼마고, 빛은 어떻게 들어오지?"라고 분석합니다.
  3. 만들기 (Generation): 컴퓨터 안에서 그 컵과 테이블을 3D 로 다시 만듭니다.
  4. 결과: 실제 로봇이 일하던 모습과 100% 똑같은 가상 시뮬레이션이 완성됩니다.

이제 로봇 개발자들은 실제 실험실로 가지 않고도, 이 가상 세계에서 로봇을 마음껏 테스트할 수 있습니다.

3. 로봇들을 어떻게 평가하나요? (두 가지 심판)

가상 세계에서 로봇이 일을 시켰을 때, "잘했나?"를 판단하는 두 가지 심판이 있습니다.

① AI 심판 (VLM - 시각 언어 모델)

• 역할: 로봇이 하는 일을 실시간으로 보고 점수를 매깁니다.
• 비유: "지금 컵을 들어 올렸네? 50 점. 냄비에 넣었네? 80 점. 성공했네? 100 점!"이라고 자동으로 점수를 줍니다.

② 인간 심판 (크라우드 워커)

• 역할: 두 로봇이 같은 일을 하는 영상을 보고 "누가 더 잘했어?"라고 투표합니다.
• 비유: 두 선수가 같은 경기를 하는 영상을 보여주고, 일반인들에게 "누가 더 자연스럽고 잘했냐?"고 물어봅니다. (예: "A 는 컵을 떨어뜨렸지만 B 는 깔끔하게 넣었어. B 가 이겼어!")
• 장점: AI 가 놓칠 수 있는 미묘한 차이 (예: 로봇이 너무 뻣뻣하게 움직이는지) 를 인간이 더 잘 알아챕니다.

4. 이 시스템의 가장 큰 특징: "스트레스 테스트"

이 시스템은 로봇이 예상치 못한 상황에서도 잘하는지 확인합니다.

• 비유: 축구 선수가 평소 연습했던 잔디밭뿐만 아니라, 비가 오고, 공이 미끄럽고, 조명도 어두운 환경에서도 잘 뛰는지 테스트하는 것과 같습니다.
• 방법: 가상 세계의 배경을 바꾸거나, 물건의 색상을 다르게 하거나, 물건을 다른 곳에 놓아도 로봇이 일을 잘 해내는지 확인합니다.
• 결과: 많은 최신 로봇들이 "평소 연습했던 환경"에서는 잘하지만, 조금만 상황이 바뀌면 엉망이 된다는 사실을 발견했습니다. 즉, 진짜 '범용 (Generalist)' 로봇은 아직 아니라는 것입니다.

5. 결론: 로봇의 '메이저 리그'가 열렸다

이 연구는 로봇 개발자들에게 다음과 같은 기회를 줍니다.

1. 공정한 경기: 모든 로봇이 똑같은 가상 환경에서 경쟁하므로, 누가 진짜로 더 뛰어난지 알 수 있습니다.
2. 빠른 발전: 실제 실험실 없이도 하루에 수천 번의 테스트를 할 수 있어 로봇이 훨씬 빨리 배웁니다.
3. 투명한 순위: 수천 명의 일반인이 투표한 결과를 바탕으로 로봇들의 실력 순위를 매겨줍니다.

한 줄 요약:

"로봇 아레나 ∞는 실제 로봇의 영상을 바탕으로 '가상 경기장'을 자동으로 만들고, AI 와 일반인이 함께 로봇들의 실력을 평가하여, 진짜 똑똑한 로봇을 찾아내는 거대한 대회입니다."

이제 로봇 개발자들은 더 이상 실험실의 좁은 공간에 갇히지 않고, 전 세계의 로봇들이 함께 경쟁하며 발전할 수 있는 새로운 시대를 맞이하게 되었습니다.

기술 요약

1. 문제 제기 (Problem)

로봇의 범용성 (Generalist) 을 갖춘 에이전트 개발이 진전되고 있지만, 이를 평가하는 방법은 여전히 심각한 한계에 직면해 있습니다.

• 실제 환경 평가의 비확장성: 실제 물리적 환경에서 로봇 정책을 평가하는 것은 노동 집약적이며, 느리고, 대규모로 수행 시 안전 문제가 있으며, 재현이 어렵습니다.
• 인간 개입의 병목 현상: 실험 설정, 환경 초기화 (Reset), 안전 감독, 성공 여부 판단 등에 많은 인간의 개입이 필요하여 평가 규모와 빈도를 제한합니다.
• 일관성 부족: 실험 조건 (조명, 카메라 위치, 물체 배치 등) 의 미세한 차이로 인해 기준 모델과 새로운 모델 간의 공정한 비교가 어렵습니다.
• 현재 벤치마크의 한계: 기존 시뮬레이션 벤치마크는 주로 훈련과 테스트가 동일한 시뮬레이션 환경에서 이루어져 '닫힌 세계 (Closed-world)' 가정에 의존하며, 실제 데이터로 훈련된 범용 정책의 일반화 능력을 제대로 평가하지 못합니다.

2. 방법론 (Methodology)

저자들은 **RobotArena ∞**라는 새로운 벤치마킹 프레임워크를 제안합니다. 이는 실제 비디오를 대규모 시뮬레이션 환경으로 자동 변환하고, 이를 통해 로봇 정책을 평가하는 파이프라인을 구축합니다.

A. 자동화된 Real-to-Sim 변환 파이프라인

단일 RGB 카메라로 촬영된 로봇 데모 비디오 (Bridge V2, RH20T, DROID 등) 를 기반으로 물리 엔진 기반의 시뮬레이션 환경을 자동으로 생성합니다.

1. 카메라 - 로봇 포즈 추정 (Differentiable Rendering): 로봇의 URDF 파일과 관절 각도 데이터를 기반으로 가우시안 모델을 생성하고, 렌더링된 이미지와 실제 비디오 간의 RGB 손실, 광학 흐름 (Optical Flow) 손실, DINOv2 특징 손실을 최소화하여 카메라와 로봇 간의 변환 행렬을 최적화합니다.
2. 3D 객체 재구성 및 물리 속성 추정:
   • VLM (Gemini) 을 사용하여 로봇과 작업 관련 객체를 분할합니다.
   • InvSR(초해상도) 과 Hunyuan-3D 를 활용하여 텍스처가 입혀진 3D 메쉬를 생성합니다.
   • MINIMA 알고리즘과 모노큘러 깊이 추정을 통해 객체의 정확한 3D 포즈 (위치, 방향) 를 복원합니다.
   • VLM 을 통해 질량, 마찰 계수 등의 물리 속성을 추론합니다.
3. 배경 인페인팅 및 시스템 식별: 로봇과 객체를 제거하여 깨끗한 배경을 생성하고, PD 제어기 이득 (Gain) 을 튜닝하여 시뮬레이션된 엔드 이펙터 궤적이 실제 데모와 일치하도록 합니다.

B. 체계적인 도메인 Perturbation (변형)

정책의 강건성 (Robustness) 과 일반화 능력을 테스트하기 위해 생성된 환경에 다음과 같은 변형을 가합니다.

• 배경 변경 (∆BG): 다양한 인페인팅 배경으로 교체.
• 색상 이동 (∆Color): RGB 채널을 BGR 등으로 변환하여 색상 변형 적용.
• 객체 포즈 변경 (∆ObjPose): 객체들의 위치를 무작위로 재배치.

C. 평가 메커니즘

1. 자동 VLM 점수화: 생성된 비디오 프레임과 상태 정보를 Vision-Language Model (VLM) 에 입력하여 작업 진행도 (Progress Score) 를 자동으로 산출합니다.
2. 크라우드소싱 인간 선호도 평가: LMarena 와 유사하게, 동일한 작업에서 두 다른 정책의 실행 비디오를 쌍으로 제시하여 인간 평가자가 선호도를 투표하게 합니다. Bradley-Terry 모델을 사용하여 전역 순위 (Global Ranking) 를 도출합니다.

3. 주요 기여 (Key Contributions)

1. 확장 가능한 로봇 벤치마킹 프로토콜: 물리 엔진, Real-to-Sim 변환, 인간 선호도 피드백을 결합한 자동화된 평가 프레임워크를 제시했습니다.
2. 완전 자동화된 Real-to-Sim 파이프라인: VLM, 2D-to-3D 생성 모델, 차분 가능 렌더링을 활용하여 수동 개입 없이 비디오에서 시뮬레이션 환경을 구축합니다.
3. 대규모 평가 수행: 전 세계 6 개 연구소의 6 가지 VLA(Vision-Language-Action) 모델을 대상으로 100 개 이상의 기본 환경과 수백 개의 변형 환경에서 8,500 개 이상의 인간 선호도 쌍을 비교하여, 현재까지 가장 방대한 로봇 평가 연구를 수행했습니다.
4. 일반화 및 강건성에 대한 통찰: 현재 VLA 모델들이 훈련 분포 밖의 환경이나 변형된 조건에서 성능이 급격히 저하됨을 규명했습니다.

4. 실험 결과 (Results)

• 모델 순위: 인간 선호도와 VLM 자동 점수 간의 순위가 완벽하게 일치했습니다. π0와 X-VLA가 가장 우수한 성능을 보였으며, Octo, SpatialVLA, RoboVLM 등은 상대적으로 낮은 순위를 기록했습니다.
• 교차 데이터셋 일반화 부족: 정책들은 훈련된 데이터셋 (예: Bridge V2) 에서는 잘 작동하지만, 훈련되지 않은 데이터셋 (DROID, RH20T) 에서 생성된 환경에서는 성능이 크게 떨어졌습니다. 이는 현재 모델들이 진정한 범용 에이전트가 아니라 특정 데이터 분포에 특화되었음을 시사합니다.
• 강건성 문제: 배경 변경이나 객체 위치 변경과 같은 변형이 발생하면 모든 모델의 성능이 저하되었습니다. 이는 모델들이 환경의 고정된 시각적 단서에 과적합 (Overfitting) 되어 있음을 의미합니다.
• Spatial Paradox: π0 와 X-VLA 가 손목 카메라 (wrist-camera) 데이터를 포함한 훈련을 통해 암묵적인 3D 구조를 학습했기 때문에, 명시적인 3D 인덕티브 바이어스를 가진 SpatialVLA 보다 더 강력한 공간적 강건성을 보일 수 있다는 가설을 제시했습니다.
• 기존 벤치마크 비교: SIMPLER 벤치마크에 비해 RobotArena ∞(BridgeSim) 에서 모델들의 성능이 낮게 평가되었습니다. 이는 SIMPLER 의 제한된 환경 수와 편향된 시나리오 선택이 실제 성능을 과대평가했을 가능성을 시사합니다.

5. 의의 및 결론 (Significance)

• 로봇 평가의 패러다임 전환: RobotArena ∞는 로봇 평가의 병목 현상이었던 물리적 환경 설정과 안전 문제를 해결하고, 대규모로 재현 가능한 디지털 트윈 기반 평가를 가능하게 합니다.
• 현실적인 일반화 검증: 실제 데이터로 훈련된 모델을 실제와 유사하지만 변형된 시뮬레이션 환경에서 테스트함으로써, 모델의 진정한 일반화 능력을 더 엄격하게 검증합니다.
• 오픈 소스 및 지속 가능성: 벤치마크 환경과 평가 코드를 공개하여 커뮤니티가 지속적으로 모델을 발전시키고 평가할 수 있는 플랫폼을 제공합니다.
• 한계와 미래: 현재는 손목 카메라 입력을 지원하지 않으며, 미세한 접촉 동역학 (예: 플러그 꽂기) 시뮬레이션의 정확도는 아직 개선이 필요합니다. 그러나 물리 엔진과 Real-to-Sim 기술의 발전과 함께 RobotArena ∞는 차세대 로봇 기초 모델 평가의 표준이 될 것으로 기대됩니다.

이 논문은 로봇 학습 분야에서 LMarena와 같은 대규모 인간 선호도 기반 평가 체계가 어떻게 로봇 분야에 적용될 수 있는지 보여주었으며, 확장성, 재현성, 엄격한 일반화 검증을 통해 로봇 연구의 새로운 기준을 제시했습니다.