기술 요약: ModPack – 양팔 이동형 조작을 위한 확장 가능한 원격 제어 인터페이스

문제 정의

기존의 로봇 원격 제어 시스템은 특정 하드웨어 구현체와 작업 도메인에 맞춰 설계되는 경우가 많아, 설계 공간이 파편화되어 있습니다. 이러한 특화된 설계는 확장성과 적응성을 제한하며, 새로운 기능(예: 능동적 인지 또는 모바일 베이스 제어)을 추가할 때 하드웨어와 소프트웨어 파이프라인 모두를 대폭 재설계해야 하는 문제를 야기합니다. 또한, 시스템의 단순성과 기능적 역량 사이에는 본질적인 트레이드오프가 존재합니다. 고성능 시스템은 단순한 작업을 수행할 때 불필요한 오버헤드를 발생시키고, 단순한 시스템은 복잡하고 장기적인 과업을 수행하는 데 필요한 정밀도가 부족합니다. 저자들은 다양한 플랫폼에서 유연한 데이터 수집 및 정책 학습을 촉진하기 위해, 핵심 시스템 인프라를 작업 또는 로봇별 기능으로부터 분리하는 통합된 모듈형 프레임워크의 필요성을 제기합니다.

방법론

저자들은 자립형 웨어러블 "백팩" 유닛을 중심으로 한 모듈식 및 확장형 원격 제어 시스템인 ModPack을 소개합니다. 이 유닛은 온보드 컴퓨팅, 전력 분배, 데이터 저장 및 통신 기능을 통합하여 플러그 앤 플레이 방식의 기능 모듈을 위한 공통 기질 역할을 합니다.

핵심 아키텍처

• 하드웨어: 백팩은 토글 래치로 고정되는 전면 및 후면 패널이 있는 3D 프린팅 부품으로 제작되었습니다. 여기에는 온보드 컴퓨팅(미니 PC), 파워 뱅크, 액세서리를 수용할 수 있는 탈착식 선반이 포함됩니다. 디자인은 인체공학적 원칙을 따라 무게를 흉부 근처의 수직 방향으로 분산시켜 신체적 부담을 줄입니다.
• 소프트웨어: 경량화된 양방향 "브릿지(bridge)" API는 메시 큐 서버를 사용하여 백팩과 대상 로봇 간의 통신을 추상화합니다. 이는 코어 스택을 구현체별 구현으로부터 분리하여, 동일한 시스템이 서로 다른 로봇과 모듈 세트를 지원할 수 있도록 합니다.

확장 가능한 모듈

시스템은 세 가지 주요 플러그 앤 플레이 모듈을 지원합니다:

1. 리더 암 (관절 레벨 제어):

   • 시스템은 추종 로봇 팔과 운동학적으로 동등한 3D 프린팅 리더 암(6-DoF 또는 7-DoF 변형)을 활용하여 직접적인 관절 공간 원격 제어를 가능하게 합니다.
   • 중력 보상: 운영자의 피로를 줄이기 위해, 시스템은 Orocos KDL 라이브러리를 사용하여 중력 토크 벡터($\tau_g$)를 계산하고 이를 리더 모터에 적용합니다. 이는 안정성을 위해 계단식 지수 이동 평균(EMA) 필터로 필터링된 관절 공간 댐핑에 의해 보강됩니다.
   • 햅틱 피드백: F/T 센서(예: RB-Y1m)가 장착된 로봇을 위해, 시스템은 엔드 이펙터의 힘/토크(wrench)를 자코비안 전치(Jacobian transpose)를 통해 관절 공간 토크로 매핑합니다. 이 피드백은 중력 보상 토크 위에 중첩됩니다. 전류 예산 전략(current budgeting strategy)은 투명성을 유지하면서도 모터의 안전과 수명을 보장합니다.

2. 모바일 베이스 제어:

   • 백팩에 장착된 iPhone이 수정된 WebXR 세션을 통해 운영자의 SE(2) 포즈를 추적합니다.
   • 시스템은 운영자의 신체 움직임을 백팩 장착 센서로부터 분리하는 에고센트릭(egocentric) 매핑 절차를 구현합니다. 운영자의 실제 회전 중심을 복구하기 위해 순차적인 오프셋을 적용함으로써, 로봇 베이스의 이동이 운영자의 로컬 프레임 내 변위와 일치하도록 보장합니다.

3. 능동적 인지 (Active Perception):

   • Apple Vision Pro는 운영자의 머리 포즈를 로봇 목(neck) 명령으로 스트리밍합니다.
   • 디커플링 (Decoupling): 항법과 인지가 동시에 이루어지는 동안 발생하는 중복 명령을 방-지하기 위해, 시스템은 현재 모바일 베이스 포즈($T_{base}$)를 보상합니다. 목표 헤드 포즈는 로컬 로봇 베스 프레임($T_{neck} = T_{base}^{-1}T_{target}$)으로 표현되어, 운영자가 의도한 잔여 목 움직임을 격리합니다.

정책 학습

저자들은 ModPack을 통해 수집된 시연 데이터를 사용하여 트랜스포머 기반의 디퓨전 폴리시(Diffusion Policy) 모델을 학습시킵니다. 입력값에는 헤드 및 손목 카메라로부터의 RGB-D 및 RGB 관측값과 선택적으로 관절 토크 데이터가 포함됩니다. 시각적 특징은 CLIP으로 사전 학습된 ViT를 사용하여 인코딩되며, 토크 데이터는 순차적 CausalConv 레이를 통해 처리됩니다.

실험 결과

저자들은 두 가지 서로 다른 로봇 플랫폼, 즉 ARX5 암이 장착된 커스텀 모바일 로봇과 RB-Y1m 로봇에서 ModPack을 평가했습니다.

과업 1: 능동적 인지를 이용한 천 배치 (Cloth Placement)

• 설정: 로봇이 천을 잡고 왼쪽 또는 오른쪽에 있는 바구니로 이동합니다.
• 결과: 헤드 카메라만을 사용한 정책이 가장 높은 성공률(25회 중 22회)을 기록하여, 손목 카메라만 사용한 경우(25회 중 3회)나 모든 카메라를 사용한 경우(25회 중 20회)보다 우수한 성능을 보였습니다. 저자들은 헤드 카메라가 바구니 위치 파악에 필요한 더 넓은 에고센트릭 뷰와 깊이 컨텍스트를 제공하는 반면, 손목 카메라는 천의 변형 및 포즈 변화로 인해 분포 외(out-of-distribution) 관측값 문제로 어려움을 겪는다고 가설을 세웠습니다.

과업 2: 햅틱 피드백을 이용한 박스 이동 (Box Transfer)

• 설정: 로봇이 캐비닛에서 상자를 집어 비어 있는 선반(상단 또는 하단)에 놓습니다.
• 결과: 모든 카메라 뷰와 관절 토크 정보를 조건으로 한 정책("All Cam + Torque")이 헤드 카메라 전용 정책(20회 중 11회) 및 비전 전용 정책(20회 중 6회)에 비해 가장 높은 성공률(20회 중 12회)을 달성했습니다.
• 분석: 어텐션 시각화를 통해 토크 조건부 정책이 작업 관련 영역(예: 상자 모서리)에 더 강하게 주목하며, 접촉이 중요한 단계에서 토크 토큰에 점점 더 의존한다는 것을 확인했습니다. 저자들은 투영된 관절 토크가 파지(grasp) 타이밍 및 깊이에 대한 거친 정렬 신호를 제공하여, 비전 전용 정책에서 흔히 발생하는 잘못된 파지 포즈를 완화한다고 제안합니다.

주요 기여

1. ModPack 시스템: 관절 레벨 제어, 모바일 베이스 추적 및 능동적 인지를 위한 플러그 앤 플레이 모듈을 지원하며, 백팩을 중심으로 구축된 통합적이고 확장 가능한 원격 제어 인터페이스.
2. 디커플링된 제어 아키텍처: 운영자의 움직임을 팔 조작, 베이스 이동, 능동적 인지 구성 요소별 명령으로 분리하여, 동시 제어 시 발생하는 모호성을 해결하는 방법.
3. 고정밀 웨어러블 햅틱: 중력 보상이 적용된 모터 구동 리더 암을 사용하여, 피드백의 충실도와 휴대성 사이의 균형을 맞춘 웨어러블 관절 레벨 햅틱 구현.
4. 오픈 소스 프레임워크: 향후 연구를 지원하기 위해 하드웨어 설계, 소프트웨어 스택 및 정책 학습 프레임워크 전체를 오픈 소스로 공개할 것을 약속함.

의의 및 주장

본 논문은 ModPack이 유연한 프레임워크를 제공함으로써 시스템의 단순성과 기능적 역량 사이의 트레이드오프를 해결한다고 주장합니다. 서로 다른 두 로봇 플랫폼과 실제 환경의 양팔 모바일 조작 과업에 대한 성공적인 배포를 통해, 저자들은 ModPack이 로봇 학습을 위한 실용적인 인터페이스임을 입증했습니다. 이 시스템은 햅틱 피드백 및 능동적 인지와 같은 멀티모달 입력을 통합하여 견고한 정책 학습을 지원하는 고품질의 시연 데이터를 수집할 수 있게 합니다. 저자들은 ModPack을 경직된 작업 특정형 원격 제어 설계로 인한 확장성 병목 현상의 해결책으로 제시하며, 다양한 과업과 로봇 구현체에 걸쳐 일반화될 수 있는 통합 제어 시스템으로 가는 길을 제시합니다.