기술 요약: VLA-REPLICA

문제 제기

비전 - 언어 - 행동 (VLA) 모델은 자연어를 해석하고 이에 상응하는 행동을 실행함으로써 범용 로봇 조작 분야에서 상당한 잠재력을 입증해 왔습니다. 그러나 실제 세계에서의 평가는 중요한 병목 현상에 직면해 있습니다. 기존 시뮬레이션 벤치마크 (예: Meta-World, LIBERO) 는 '시뮬레이션 - 실제 (sim-to-real)' 간극으로 인해 지나치게 낙관적인 성능 추정을 초래하는 경우가 많습니다. 반면, 실제 세계 벤치마크는 높은 하드웨어 비용, 재현성 부족, 제한된 작업 다양성 (종종 그리핑에만 집중함), 또는 로컬 반복과 투명성을 저해하는 중앙 집중식 평가 시스템에 대한 의존성 등의 제약에 자주 묶여 있습니다. 현재까지 실세계 기반이면서 동시에 저비용이고 독립적인 실험실 간에 쉽게 재현 가능한 벤치마크는 널리 채택된 바 없습니다.

방법론

저자들은 VLA 모델의 평가를 표준화하도록 설계된 저비용, 재현 가능한 실세계 벤치마크인 VLA-REPLICA를 소개합니다. 이 방법론에는 하드웨어 설계, 행동 표준화, 작업 정의 및 평가 프로토콜이 포함됩니다.

1. 하드웨어 플랫폼

이 시스템은 약 1,050 달러의 총비용으로 상용 부품을 모두 사용하여 구축되었습니다. 핵심 구성 요소는 다음과 같습니다:

• 로보틱스: 3D 프린팅 부품과 Dynamixel 서보 모터를 조립한 6 자유도 (6-DoF) SO-101 팔로어 암 (약 200 달러).
• 인지: 상단 뷰 센서로 장착된 Intel RealSense D455 RGB-D 카메라 (425 달러) 와 손목에 장착된 표준 RGB 웹캠 (14 달러).
• 환경: 일관된 조명 (5600K) 을 보장하고 환경적 변이를 줄이기 위한 통제된 32 인치×32 인치×32 인치 사진용 라이트 박스 (153 달러).
• 재현성 메커니즘: 서로 다른 실험실 간 일관성을 보장하기 위해 저자들은 다음을 활용합니다:
  • 카메라 오버레이: 사용자가 라이브 카메라 피드에 참조 이미지를 오버레이하여 원래 설정의 정확한 시점을 일치시킬 수 있게 하는 소프트웨어 도구.
  • AprilTag 보정: 로봇 베이스에 대해 고정된 AprilTag 를 사용하여 카메라 포즈를 정렬하기 위한 측정 기준을 제공합니다.
  • 표준화 조립: 상세한 지침을 통해 비전문가도 1 시간 이내에 플랫폼을 조립할 수 있습니다.

2. 행동 공간 표준화

3D 프린팅 SO-101 암의 비표준화된 제조 (특히 서보 모터 오프셋의 차이) 로 인한 문제를 해결하기 위해, 저자들은 범용 행동 공간을 정의합니다.

• 보정: 각 암은 '영점 (zero position)'과 관절 한계 ($a_{min}, a_{max}$) 를 결정하기 위해 보정됩니다.
• 정규화: 원시 엔코더 값을 범용 관절 각도 공간 ($\hat{u} \in [-180, 180]$도) 에 매핑하기 위해 대각선 보정 행렬 $D$가 계산됩니다.
• 실행: 정책은 이 범용 공간에서 행동을 출력한 후, 역변환을 사용하여 대상 암의 특정 엔코더 값으로 변환됩니다. 이를 통해 한 암에서 훈련된 정책은 재훈련 없이 다른 암에 배포될 수 있습니다.

3. 작업 스위트 및 평가 프로토콜

이 벤치마크는 다양한 행동을 포괄하는 10 가지 조작 작업을 포함합니다: 픽 앤 플레이스, 도구 사용 (청소, 열기), 물체 조작 (적층, 접기), 그리고 기억에 의존하는 계수 작업.

• 데이터셋: 원격 조종 SO-101 리더 암을 사용하여 500 개의 전문가 시연 데이터가 수집되었습니다.
• 평가 설정:
  • 분포 내 (ID): 훈련 분포의 지지 범위 내에 물체 배치가 유지되지만 구성은 변하는 50 개의 테스트 장면.
  • 분포 외 (OOD): 물체 속성 (색상, 모양) 과 작업 요구 사항 (예: 기억 작업의 다른 반복 횟수) 에 체계적인 변화를 도입한 40 개의 테스트 장면.
• 재현성 확인: 저자들은 평가 결과가 서로 다른 설정 간에 일관되게 유지되는지 확인하기 위해 다른 위치에 벤치마크의 두 번째 독립적인 인스턴스를 구축했습니다.

주요 기여

1. VLA-REPLICA 벤치마크: 광범위한 연구 실험실이 접근할 수 있는 VLA 모델 평가를 위한 완전 재현 가능하고 저비용 (~1,050 달러) 인 실세계 벤치마크.
2. 표준화된 설정 파이프라인: 하드웨어 조립, 오버레이 및 AprilTag 를 통한 카메라 보정, 행동 공간 정규화를 포함한 포괄적인 프로토콜로, 사이트 간 일관된 복제를 가능하게 함.
3. 종합 평가 프로토콜: 분포 내 적응 (제한된 대상 데이터로부터 학습) 과 분포 외 일반화 (새로운 물체 및 작업 변형에 대한 강건성) 를 모두 평가하는 통합 프레임워크.
4. 실증 분석: 최첨단 VLA 모델 (예: $\pi_0$, $\pi_0.5$, SmolVLA, X-VLA) 과 모방 학습 베이스라인 (ACT, Diffusion Transformers) 에 대한 광범위한 벤치마킹을 통해 실제 세계 성능에 대한 비교 분석 제공.

결과

저자들은 훈련/파인튜닝을 위해 500 개의 시연을 사용하여 여러 모델을 평가하고, 90 개의 테스트 장면에서 이를 테스트했습니다.

• 성능 동향:
  • VLA 모델 vs. 모방 학습: 처음부터 훈련된 모방 학습 모델에 비해 파인튜닝된 VLA 모델이 일반적으로 더 우수한 성능을 보였습니다 (예: $\pi_0.5$는 ID 작업에서 평균 54% 성공률을 기록한 반면 ACT 는 18%). 이는 사전 훈련이 대상 도메인 적응에 유리한 초기화를 제공함을 시사합니다.
  • 작업 난이도: 모델들은 변형 가능한 물체 작업 (예: 수건 접기, 빵 놓기) 에서는 잘 수행되었으나, 정밀한 그리핑 포즈가 필요한 강체 물체 조작 (예: 블록 적층) 에서는 어려움을 겪었습니다.
  • 일반화: VLA 모델은 분포 외 (OOD) 픽 앤 플레이스 작업에서 새로운 물체 색상과 모양에 대한 강력한 일반화를 보여주었습니다. 그러나 모든 모델이 기억 - 계수 작업 (예: $N$번 후추 흔들기) 에서 크게 실행되었습니다. 실행된 행동의 수를 추적하지 못해 성공률이 급격히 떨어졌습니다.
• 재현성: 동일한 정책을 독립적으로 구축된 두 번째 설정에서 평가했을 때, 성공률은 원래 설정과 비교 가능하게 유지되었습니다 (예: $\pi_0.5$는 OOD 작업에서 0.67 에서 0.60 으로 하락), 이는 벤치마크의 재현성을 확인시켜 주었습니다.

중요성 및 주장

이 논문은 VLA-REPLICA 가 표준화되고 접근 가능하며 재현 가능한 플랫폼을 제공함으로써 시뮬레이션과 실세계 평가 간의 중요한 간극을 해소한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 평가의 민주화: 약 1,000 달러로 비용 장벽을 낮춤으로써, 더 많은 실험실이 고비용 인프라 없이도 엄격한 실세계 테스트를 수행할 수 있게 함.
• 공정한 비교 가능: 표준화된 환경과 행동 공간으로 인해 서로 다른 실험실 간 모델의 직접적인 비교가 가능해지고, 커스텀 구축 설정에 내재된 변이성을 제거함.
• 한계 부각: 이 벤치마크는 현재 VLA 아키텍처의 특정 약점, 특히 기억에 의존하는 작업을 처리하지 못함과 강체 물체 그리핑에 대한 민감성을 드러내어 향후 연구 방향을 안내함.

저자들은 VLA-REPLICA 를 대규모 시뮬레이션의 포괄적인 대체제로서보다는 범용 로봇 정책의 실세계 준비성을 검증하기 위한 필수적이고 실용적인 기반으로서 위치시킵니다.