기술 요약: BEAVR

문제 정의

현재의 로봇 원격 조종 시스템은 특정 하드웨어, 독점 데이터 형식 또는 맞춤형 프레임워크에 종속되어 심각한 파편화 문제를 겪고 있습니다. 이러한 표준화의 결여는 재현성을 저해하고 인간-로봇 상호작용(HRI) 및 정책 학습의 발전을 늦춥니다. 최근의 가상 현실(VR) 기반 원격 조종 시스템(예: OpenTeach, Bunny VisionPro)은 몰입형 인터페이스를 제공하지만, 흔히 가파른 학습 곡선, 접근성이 낮은 문서화, 비표준화된 데이터 로깅, 그리고 학습 준비가 된 데이터셋과의 표준화된 브리지 부족 문제를 겪습니다. 또한, 기존 솔루션들은 지연 시간 페널티를 입거나 특수한 네트워킹 인프라를 요구하지 않고도 이질적인 로봇 플랫폼(7-DoF 암부터 전신 휴머노이드까지)에 걸쳐 확장하는 데 어려움을 겪는 경우가 많습니다.

방법론

BEAVR(Bimanual, multi-Embodiment, Accessible, Virtual Reality Teleoperation System for Robots)은 실시간 제어, 데이터 기록 및 정책 학습을 통합하도록 설계된 오픈 소스 프레임워크입니다. 시스템 아키텍처는 세 가지 주요 모듈로 구성됩니다:

1. 원격 조종 모듈 (Teleoperation Module):

   • 입력: Meta Quest 3S VR 헤드셋을 활용하여 90Hz로 24개의 OpenXR 준수 핸드 키포인트를 캡처합니다.
   • 처리: ZMQ 채널을 통해 통신하는 세 개의 별도 프로세스로 구성된 모듈형 컴포넌트 기반 설계를 채택합니다:
     • Detector (검출기): 원시 키포인트 데이터와 세션 명령을 캡처합니다.
     • Operator (연산기): 입력 데이터를 로봇 관련 명령으로 변환합니다. 여기에는 그람-슈미트 직교화(Gram-Schmidt orthogonalization)를 사용한 안정적인 핸드 프레임 구축, 좌표 변환(Y-up VR에서 Z-up 로봇으로), 그리고 특정 형태(예: 손 vs 그리퍼)에 따른 스케일 조정이 포함됩니다.
     • Interface (인터페이스): 로봇의 제어 시스템으로 고수준 동작을 전송합니다.
   • 제어 솔버 (Control Solvers): 8개의 손가락 끝 위치를 최적화하기 위해 댐핑 최소 자승법(Damped Least Squares, DLS)을 사용하는 다중 타겟 역기구학(IK) 솔버를 구현합니다. 안정적이고 지터(jitter)가 적은 제어를 보장하기 위해 충돌 방지 루틴과 시간적 평활화(이동 평균 및 쿼터니언 SLERP 블렌딩)를 통합합니다.

2. 데이터 수집 모듈 (Data Collection Module):

   • LeRobot 프레임워크와 직접 통합되어 관측값, 동작 및 메타데이터의 동기화된 스트림을 기록합니다.
   • 데이터를 표준화된 LeRobot 데이터셋 스키마(테이블에는 Arrow/Parquet 사용, 비디오에는 MP4 사용)로 내보내어 즉각적인 다운스트림 모방 학습이 가능하도록 합니다.
   • 범용 카메라를 통한 실시간 RGB 및 RGB-D 비디오 스트리밍을 지원합니다.

3. 모델 학습 모듈 (Model Training Module):

   • 강화된 비동기 "think–act" 제어 루프를 갖춘 LeRobot의 학습 파이프라인을 활용합니다.
   • 전용 제어 루프는 고정된 비율로 동작을 스트리밍하는 한편, 별도의 추론 스레드는 리소스가 허용하는 대로 정책 출력을 계산하여, 계산량과 실시간 실행을 분리함으로써 높은 부하 상황에서도 성능을 유지합니다.

4. 통신 아키텍처 (Communication Architecture):

   • ZMQ를 기반으로 구축된 제로 카피(zero-copy), 스레드 안전 네트워크 API를 사용하여 발행-구독(publisher-subscriber) 및 요청-응답(request-reply) 패턴을 관리합니다.
   • 데이터 경합이나 시스템 충돌 없이 여러 대의 로봇과 고주파 명령 스트림을 처리할 수 있도록 설계되었습니다.

핵심 기여

본 논문은 네 가지 주요 기여를 제시합니다:

1. 하드웨어 불가지론적 인터페이스 (Hardware-Agnostic Interface): 단일 인터페이스를 사용하여 7-DoF 테이블탑 암(예: xArm7)부터 전신 휴머노이드(예: RX-1) 및 정교한 손(예: LEAP Hand)까지 확장 가능한 VR 원격 조종 인터페이스를 제공합니다.
2. 저지연 스트리밍 아키텍처 (Low-Latency Streaming Architecture): 범용 네트워크 상에서 엔드 투 엔드 지연 시간을 ≤35 ms, 서브 밀리초 단위의 지터를 달성하는 제로 카피 설계를 구현했습니다.
3. 데이터셋 네이티브 로거 (Dataset-Native Logger): 시연 데이터를 LeRobot 스키마로 직접 내보내어 현대적인 모방 학습 프레임워크와의 즉각적인 통합을 용이하게 합니다.
4. 오픈 벤치마크 스위트 (Open Benchmark Suite): 6개의 조작 작업, 50개의 전문가 시연, 그리고 사전 학습된 베이스라인 정책(ACT, DiffusionPolicy, SmolVLA)을 포함한 릴리스를 제공합니다.

실험 결과

저자들은 과업 성능, 정책 학습, 시스템 확장성의 세 가지 차원에서 BEAVR을 평가했습니다.

• 과업 성능 (Task Performance): 시스템은 6가지 작업(예: 블록 쌓기, 큐브 뒤집기, 붓기, 테이프 조작)에 대해 테스트되었습니다. 10회 시도 설정에서 BEAVR은 테이프 작업(60%)부터 큐브 뒤집기, 물건 집기(100%)까지 다양한 성공률을 기록했습니다. "큐브 뒤집기" 및 "물건 집기"와 같은 특정 작업에서 OpenTeach, Holo-Dex, Any-Teleop과 같은 베이스라인과 비교했을 때, BEAVR은 경쟁력 있거나 우수한 성공률을 보였으나, 완료 시간은 하드웨어 차이(예: 표준 그리퍼 대신 LEAP hand 사용)에 따라 달라졌습니다.
• 정책 학습 (Policy Learning): BEAVR을 통해 수집된 50개의 전문가 시연을 사용하여 ACT(Action-Chunking Transformers), Action Diffusion, SmolVLA를 학습시켰습니다. "박스 집기(Pickup Box)" 작업에서 ACT는 100% 성공률(평균 시간 9.16초)을, Diffusion은 80%(23.88초)를, SmolVLA는 70%(33.84초)를 달성했습니다. 인간 운영자는 100% 성공(12.08초)을 달 Achieved 했습니다.
• 시스템 성능 및 확장성 (System Performance & Scalability):
  • 지연 시간 (Latency): 90 Hz에서 BEAVR은 약 10 ms의 편도 지연 시간과 서브 밀리초 단위의 지터를 달성했습니다. 30 Hz에서는 지연 시간이 약 33 ms였습니다. 이러한 지표는 일반적인 Wi-Fi 기반 원격 조 操作 시스템보다 우수하며, Vicarios와 같은 VR 기반 인터페이스와 경쟁할 만한 수준입니다.
  • 주파수 안정성 (Frequency Stability): 단일 암, 양팔, 다중 로봇(최대 4개의 이펙터) 구성 전반에 걸쳐 목표율의 99.2%~99.4% 범위 내에서 제어 주파수를 유지했습니다.
  • 지터 (Jitter): 여러 대의 로봇으로 확장하거나 명령 속도를 높여도 지터는 일관되게 낮게 유지되었습니다(암의 경우 <0.90 ms, 손의 경우 <0.22 ms). 이는 병목 현상이 BEAVR 아키텍처가 아닌 로컬 제어 루프에 국한되어 있음을 나타냅니다.
  • 비용 (Cost): 전체 설정(VR 헤드셋, 로봇, 서보, 출력된 부품)은 약 $1,080로 추산되어 시스템의 경제성을 강조했습니다.

의의 및 주장

본 논문은 BEAVR이 원격 조종과 데이터 기반 정책 학습을 잇는 통합된 오픈 소스 플랫폼을 제공함으로써 로봇 연구의 핵심 장벽을 해결한다고 주장합니다. 그 의의는 다음과 같습니다:

• 민주화 (Democratization): 고품질의 정교한 원격 조종 및 정책 학습을 위한 비용 및 기술적 진입 장벽을 낮춥니다.
• 표준화 (Standardization): 커스텀 데이터 포맷팅의 필요성을 제거하고 커뮤니티 차원의 벤치마킹을 용이하게 하는 표준화된 데이터 수집 파이프라인(LeRobot)을 제공합니다.
• 확장성 (Scalability): 단일 VR 인터페이스가 상당한 지연 페널티나 특수한 네트워킹 인프라 없이도 이질적인 로봇(암, 손, 휴머노이드)을 제어할 수 있음을 입증합니다.
• 모듈성 (Modularity): 전체 파이프라인을 재설계하지 않고도 변환 행렬과 솔버 타겟을 업데이트함으로써 새로운 형태(embodiment)를 통합할 수 있는 유연한 아키텍처를 제공합니다.

저자들은 BEAVR을 단순한 원격 조종 도구가 아니라, 접근 가능하고 재현 가능하며 확장 가능한 데이터 수집을 통해 정교한 조작 및 다중 로봇 협업 연구를 진전시키기 위한 기초적인 프레임워크로 포지셔닝하고 있습니다.