기술 요약: BusyBox를 통한 어포던스 일반화 벤치마킹

문제 정의

시각-언어-행동(VLA) 모델은 새로운 지시어를 이해하거나 새로운 환경에서 객체를 인식하는 것과 같이 언어 및 시각 공간에서의 유망한 일반화 능력을 입증해 왔습니다. 그러나 어포던스 일반화(affordance generalization), 즉 로봇이 시각적 외형과 유사한 객체에 대한 사전 경험을 바탕으로 낯선 객체의 물리적 어포던스(예: 버튼, 스위치, 슬라이더)를 인식하여 조작하는 능력에는 여전히 중대한 격차가 존재합니다. 인간이 설계한 인터페이스는 인간의 일반화를 용이하게 하기 위해 이러한 요소들을 표준화하는 경우가 많지만, 현재의 VLA는 근본적인 어포던스가 동일함에도 불구하고 새로운 물리적 구성에 이러한 기본적인 조작 기술을 전이하는 데 어려움을 겪고 있습니다. 기존의 벤치마크는 접촉이 풍부한 조작(contact-rich manipulation)이나 물리적 불완전성 및 모듈성이 요구되는 진정한 어포던스 일반화를 테스트하기에 부족한 시뮬레이션 환경에 집중하는 경향이 있습니다.

방법론

BusyBox 벤치마크

저자들은 VLA 어포던스 일반화를 체계적으로 평가하기 위해 설계된 물리적, 모듈형, 재구성 가능 벤치마크인 BusyBox를 소개합니다.

• 설계: BusyBox는 디스플레이(LED가 포함된 E Ink), 버튼, 슬라이더, 노브, 스위치, 와이어로 구성된 6개의 맞물리는 모듈로 이루어져 있습니다. 이 구성 요소들은 높은 강도 대 중량비를 보장하도록 3D 프린팅되었으며, 이를 통해 표준적인 양팔 로봇(예: 750g 페이로드 제한이 있는 Mobile Aloha)이 다룰 수 있습니다.
• 재구성 가능성: 모듈은 교체, 회전(90°, 180°, 270°), 재배치가 가능하며, 이를 통해 동일한 어포던스 세트를 유지하면서도 뚜렷하게 다른 시각적 구성을 만들어낼 수 있습니다. 논문에서는 평가를 위해 세 가지 특정 구성을 정의합니다:
  1. 캐노니컬(Canonical): 데이터 수집에 사용된 표준 배치.
  2. 세미 셔플(Semi-shuffled): 세 개의 모듈(버튼, 와이어, 디스플레이)이 캐노니컬 설정에 비해 이동하거나 회전됨.
  3. 풀 셔플(Fully shuffled): 다섯 개의 모든 조작 가능한 모듈이 캐노니컬 설정에 비해 이동하거나 회전됨.
• 계측: 시스템에는 모든 제어 장치의 상태(스위치 위치, 슬라이더 값, 와이어 상태)를 10Hz로 자동 기록하기 위한 선택적 전자 계측 장치(Raspberry Pi 0, USB 확장, Arduino 기반 센서)가 포함됩니다. 이를 통해 시각적 관찰에만 의존하지 않고 작업 완료를 정밀하게 검증할 수 있습니다.

데이터 수집

• 로봇 플랫폼: 손목 카메라가 장착된 듀얼 암 Trossen Mobile Aloha 로봇.
• 데이터셋: 저자들은 8가지 작업 패밀리(버튼 누르기, 슬라이더 움직이기, 노브 돌리기, 스위치 젖히기, 와이어 당기기/삽입하기, 박스 움직이기, 팔 움직이기)를 다루는 **1,993개의 원격 조종 시연(teleoperated demonstrations)**을 수집했습니다.
• 프로토콜: 견고성을 확보하기 위해, 운영자의 직관에 의존하는 대신 스크립트를 통해 초기 상태를 무작위화했습니다(슬라이더 위치, 스위치 상태, 와이어 구성 및 박스 방향 변경). 원격 조종자는 효율적이고 능동적인 움직임을 보장하기 위해 엄격한 가이드라인을 따랐으며, 특히 양팔 작업(예: 스위치를 젖힐 때 박스를 고정하는 동작)을 위한 특정 기술을 적용했습니다.
• 주석: 모든 시연에는 색상, 위치 및 특정 그리퍼를 참조하는 작업 지시어가 언어적으로 주석 처리되었습니다.

실험 프로토콜

저자들은 두 가지 최첨단 오픈 웨이트 VLA 모델인 $\pi_0.5$와 GR00T-N1.6을 평가했습니다.

1. 미세 조정(Fine-tuning): 두 모델 모두 캐노니컬 BusyBox 구성에서 수집된 데이터셋만을 사용하여 미세 조정되었습니다.
2. 평가: 미세 조정된 모델들은 세 가지 구성(Canonical, Semi-shuffled, Fully shuffled) 전체에 대해 고정된 60개의 작업 지시어 세트로 테스트되었습니다.
3. 성공 기준: 작업이 30초 이내에 완료되고, 지시문에 언급되지 않은 모든 제어 장치가 초기 상태를 유지했을 때만 성공한 것으로 간주했습니다. 이 엄격한 기준은 "과잉 해결(over-solving)"하거나 시스템의 다른 부분을 방해하는 행위에 대해 벌점을 부여합니다.

주요 결과

실험 결과, 인-디스트리뷰션(in-distribution) 성능과 어포스던스 일반화 사이의 상당한 격차가 드러났습니다:

• 인-디스트리뷰션 성능 (Canonical): $\pi_0.5$와 GR00T-N1.6 모두 캐노니컬 구성에서 양호한 성능을 보였으며, 이는 데이터셋의 품질과 다양성이 시각적 조건이 훈련 데이터와 일치할 때 특정 작업을 학습하기에 충분했음을 나타냅니다.
• 아웃-오브-디스트리뷰션 성능 (Shuffled): 어포던스는 훈련 세트와 동일함에도 불구하고, 셔플된 구성에서는 성능이 급격히 저하되었습니다.
  • 세미 셔플(Semi-shuffled): 대상 모듈(예: 스위치)이 원래 위치에 그대로 있는 경우를 포함하여 모든 카테고리에서 성공률이 크게 떨어졌습니다. 저자들은 모듈의 시각적 주변 환경 변화가 모델을 혼란스럽게 했다고 가설을 세웠습니다.
  • 풀 셔플(Fully shuffled): 성능이 더욱 악화되었습니다. GR00T-N1.6은 캐노니컬 설정의 고유 수용 감각(proprioceptive) 기억에 기반하여 모듈 위치를 "환각(hallucinate)"하는 경향을 보였는데, 즉 모듈이 '있는' 곳이 아니라 모듈이 '있어야 할' 곳으로 팔을 움직였습니다. $\pi_0.5$는 예상치 못한 시각적 레이아웃을 마주했을 때 자주 멈춰버리는 현상을 보였습니다.
• 행동 차이: GR00T-N1.6은 작업 완료 후에도 제어 장치를 계속 조정하는 경향(때로는 작업을 "역전"시키는 현상)을 보인 반면, $\pi_0.5$는 완료 즉시 멈추는 경향이 있었으나 시각적 불일치로부터 회복하는 데 어려움을 겪었습니다.

핵심 기여

1. BusyBox 벤치마크: 3D 프린팅을 위한 전체 CAD 파일과 전자 부품 목록을 포함하여, 기본적인 어포스던스 일반화를 평가하기 위한 물리적, 오픈 소스 벤치마크를 제공합니다.
2. 데이터셋: 캐노니컬 BusyBox 구성에 대한 1,993개의 언어 주석이 달린 양팔 조작 시연 데이터셋을 제공합니다.
3. 경험적 베이스라인: 실험 프로토콜과 베이스라인 결과를 통해, 강력한 오픈 웨이트 VLA($\pi_0.5$, GR00T-N1.6)조차도 시각적 구성이 변할 때 어포스던스 일반화에 어려움을 겪는다는 것을 입증함으로써, 이 분야의 주요 개선 과제를 제시합니다.

의의

본 논문은 어포던스 일반화가 로봇이 인간이 설계한 환경에서 유창하게 작동하고 지능적으로 인식되기 위한 근본적인 요구사항이라고 주장합니다. 현재의 최상위 VLA 모델들이 단순한 물리적 재배치에도 기본적인 조작 기술을 일반화하지 못한다는 것을 보여줌으로써, 이 연구는 현재 VLA 연구의 결정적인 한계를 지적합니다. BusyBox는 단순히 테스트베드에 그치지 않고, 공간 추론, 언어적 교정, 인간-로봇 상호작용을 위한 실험을 독려하기 위한 도구로 설계되었으며, 이는 게임 Keep Talking and Nobody Explodes에서 영감을 받았습니다.