기술 요약: OpenEAI-Platform

문제 정의

실세계 조작을 위한 Embodied AI(체화된 인공지능)의 발전은 현재 두 가지 주요 병목 현상인 **재현성(reproducibility)**과 **확장성(scalability)**에 의해 저해되고 있습니다.

1. 하드웨어 한계: 기존 시스템은 종종 고가의 상용 로봇 팔(7,000달러에서 40,000달러 이상)이나 자유도(DoF) 및 페이로드가 제한된 3D 프린팅 프로토타입에 의존합니다. 상용 로봇 팔은 저수준 인터페이스가 독점적인 "블랙박스"인 경우가 많아, 시각-언어-행동(VLA) 알고리즘과 저수준 제어 사이의 결합 관계를 조사하는 것을 방해합니다. 또한, 매니퓰레이터 간의 구조적 차이는 교차 체형 격차(cross-embodiment gaps)를 만들어 공정한 비교와 전이 학습을 어렵게 합니다.
2. 알고리즘 한계: 최첨단 VLA 모델(예: Physical Intelligence 시리즈 $\pi_0$, $\pi_0.5$)은 대규모의 독점 데이터셋과 비공개 훈련 인프라에 의존합니다. 이는 오픈 소스 데이터셋의 상태/행동 정의가 일관되지 않아, 상당한 엔지니어링 오버헤드 없이 결과를 재현하거나 데이터 수집을 확장하기 어렵게 만드는 "데이터 섬(data islands)" 현상을 초과래합니다.

방법론

저자들은 엔드 투 엔드 재현성을 통해 이러한 병목 현상을 해결하기 위해 설계된 완전한 오픈 소스 하드웨어-소프트웨어 통합 시스템인 OpenEAI-Platform을 소개합니다.

1. 하드웨어: OpenEAI-Arm

이 플랫폼은 인간 중심의 데스크톱 조작을 위해 설계된 저비용 6+1 DoF 로봇 팔을 특징으로 합니다.

• 설계 최적화: 로봇 팔의 기하학적 구조는 두 가지 지표, 즉 조작 운용성(작업 관련 영역에서의 운동학적 해의 풍부함)과 내구 효율성(기계적 마모 및 에너지 비용 최소화)을 목표로 하는 다목적 NSGA-III 알고리즘을 사용하여 최적화되었습니다. 설계는 인체 측정학적 제약을 준수합니다.
• 제어 시스템: 이산적인 VLA 액션 청크(action chunks)의 안정적인 실행을 보장하기 위해, 시스템은 역학 보상 PID (FF-PID) 컨트롤러를 채택합니다. 이는 오일러-라그랑주 역학 모델을 활용하여 관성, 코리올리, 중력에 대한 피드포워드 토크 보상을 제공합니다.
• 궤적 평활화: 3점 롤링 베지에 액션 청킹(Three-Point Rolling Bézier Action Chunking) 방식은 5차 다항식과 7단계 S-커브 프로파일을 사용하여 이산적인 VLA 출력을 보간합니다. 이는 부드러운 속도 및 가속도 전이를 보장하며, 토크 스파이크를 억제하고 관절 구동 제한을 충족합니다.

2. 알고리즘: OpenEAI-VLA

플랫폼에는 오픈 소스 데이터로만 학습된 재현 가능한 VLA 정책이 포함되어 있습니다.

• 아키텍처: 모델은 Qwen3-VL-4B를 백본 VLM으로 사용합니다. 모든 은닉 상태를 액션 헤드로 전달하는 대신, 멀티모달 인식을 고정 길이의 컨디셔닝 임베딩으로 압축하는 **학습 가능한 피처 쿼리(learnable feature query)**를 도입합니다. 액션 헤드는 플로우 매칭(flow matching)을 통해 연속적인 액션 청크를 예측하는 **디퓨전 트랜스포머(Diffusion Transformer, DiT)**입니다.
• 2단계 학습 레시피:
  • 사전 학습(Pretraining): 모델은 큐레이션된 Open-X-Embodiment 데이터셋 혼합물로 사전 학습됩니다. 표준화된 데이터셋 변환 파이프라인은 이질적인 상태/행동 관례를 정렬합니다. 이 단계에서는 멀티모달 사전 지식을 보존하기 위해 VLM 백본을 동결하고, 피처 쿼리, 데이터셋 어댑터, 액션 헤드만을 학습시킵니다.
  • 미세 조정(Fine-tuning): 모델은 OpenEAI-Arm에서 수집된 소규모 도메인 내 데모와 함께, 공간적 접지(spatial grounding) 및 지시 이행 능력의 파괴적 망각을 방지하기 위해 멀티모달 데이터(COCO, VQA-v2, PixMo-Points)를 증강하여 미세 조정됩니다.

3. 데이터 파이프라인

플랫폼은 다양한 오픈 소스 로봇 데이터셋을 일관된 형식으로 정제, 변환 및 정렬하는 도구를 포함하여 데이터셋 통합을 위한 통합 인터페이스를 제공하며, 이를 통해 독점 데이터 없이도 확장 가능한 사전 학습을 가능하게 합니다.

주요 기여

1. 재현 가능한 하드웨어: 제조 설계, 저수준 드라이버, 제어 코드가 모두 공개된 저비용(재료비 약 $790) 6-DoF 로봇 팔을 제공하여 커스터마이징과 확장 가능한 생산을 가능하게 합니다.
2. 재현 가능한 학습 파이프라인: Open-X-Embodiment, COCO 등 오직 오픈 소스 데이터만을 사용하는 완전한 2단계 데이터 및 학습 레시피를 제공하며, 여기에는 데이터셋 변환 도구와 학습 스크립트가 포함됩니다.
3. 오픈 소스 VLA 정책: Qwen3-VL-4B를 기반으로 하고 디퓨전 트랜스포머 액션 헤드를 갖춘 엔드 투 엔드 VLA 모델(OpenEAI-VLA)을 제공하며, 공개된 코드베이스를 사용하여 처음부터 학습할 수 있습니다.
4. 포괄적인 검증: 플랫폼이 상용 로봇 팔 및 대규모 VLA 베이스라인과 비교하여 견고한 하드웨어 실행 및 경쟁력 있는 정책 성능을 달arm함을 입증하는 광범적인 실험을 수행했습니다.

실험 결과

저자들은 네 가지 실세계 작업(Clean Table, Make Tea, Fold Towel, Fold T-shirt)에 대해 시스템을 평가했습니다.

• 하드웨어 비교: 동일한 정책($\pi_0$)을 OpenEAI-Arm, ARX R5, AgileX Piper에서 실행했을 때, OpenEAI-Arm은 평균 성공률 0.75를 기록하여 ARX R5(0.71)와 Piper(0.64)를 능가했습니다. 이는 상용 로봇 팔과 유사한 작업 공간 부피와 토크 여유를 보여주면서도 무게와 비용은 현저히 낮았습니다.
• 모델 비교: 순수하게 오픈 소스 데이터로 학습된 OpenEAI-VLA는 대규모 베이스라인에 대해 경쟁력 있는 성공률을 달성했습니다.
  • Clean Table 작업에서 0.94의 성공률을 달성했습니다 ($\pi_0$의 0.92 및 $\pi_0.5$의 0.96 대비).
  • 복잡한 양팔 가변형 작업인 Fold T-shirt에서 0.83을 달성하여, $\pi_0.5$와 대등한 성능을 보였으며 Octo 및 ACT와 같은 초기 범용 정책들을 크게 앞질렀습니다.
• 절제 연구(Ablation Studies):
  • 제어: 역학 피드포워드 보상을 제거했을 때 가속도 오차가 베이스라인 대비 약 70배, 토크 오차가 약 3.4배 증가하여 FF-PID 전략의 필요성을 확인했습니다.
  • 아키텍처: 데이터셋 어댑터를 제거하면 성능이 0.0으로 무너졌으며, 이는 이질적인 액션/상태 관례를 처리하는 것이 얼마나 중요한지를 강조합니다. 미세 조정 중 멀티모달 공동 학습을 제거하면 평균 성공률이 0.30으로 감소하여, 공간적 접지를 위한 보조 멀티모달 목적 함수의 중요성을 보여주었습니다.

의의

본 논문은 VLA 시스템의 발전이 모델 설계 자체보다 엔드 투 엔드 재현성에 달려 있다고 주장합니다. 기계 설계, 저수준 컨트롤러부터 데이터 파이프라인 및 학습 레시피에 이르기까지 전체 스택을 공개함으로써, OpenEAI-Platform은 Embodied AI 연구의 진입 장벽을 낮추고자 합니다. 이는 연구자들이 독점 하드웨어나 데이터의 제약 없이 VLA 알고리즘과 저수준 제어 사이의 상호작용을 연구할 수 있게 합니다. 저자들은 플랫폼이 오직 오픈 소스 데이터와 코드에만 의존함에도 불구하고, 대규모 독점 데이터셋을 사용하는 최첨단 시스템과 대등한 하드웨어 수준의 신뢰성과 정책 성능을 달성함으로써, 해당 분야의 확장 가능하고 재현 가능한 발전을 촉진한다고 주장합니다.