SuperSuit: An Isomorphic Bimodal Interface for Scalable Mobile Manipulation

이 논문은 바퀴형 이동 매니퓰레이터의 장기 작업 데이터 수집 병목 현상을 해결하기 위해, 원격 조종과 능동 시연 모드를 동일한 운동학적 인터페이스로 통합하여 확장 가능한 데이터 수집을 가능하게 하는 이모달 프레임워크 'SuperSuit'를 제안합니다.

핵심

1. 문제: 로봇에게 일을 가르치는 건 왜 어려울까?

지금까지 로봇에게 복잡한 일 (예: 책상 위 물건을 정리하고 상자에 넣기) 을 가르치려면, 사람이 조이스틱과 페달로 로봇을 직접 조종하며 데이터를 모아야 했습니다.

• 비유: 마치 VR 헤드셋을 쓰고 2D 모니터를 보며 조이스틱으로 3D 게임을 하는 것과 같습니다.
  • 발로 차는 느낌, 손으로 잡는 감각이 끊어져 있어 (신체적 연결이 떨어짐) 직관적이지 않습니다.
  • 로봇이 실제로 움직여야만 데이터를 모을 수 있어서, 로봇이 고장 나거나 배터리가 닳으면 데이터 수집도 멈춥니다.
  • 결과적으로 데이터를 모으는 속도가 매우 느리고 비쌉니다.

2. 해결책: SuperSuit (슈퍼슈트) 는 무엇인가?

SuperSuit 는 사람이 **로봇을 입은 것처럼 느끼게 해주는 '웨어러블 (착용형) 장비'**입니다. 이 장비는 두 가지 방식으로 작동합니다.

A. 이동 (발걸음) 을 로봇의 바퀴로 변환

• 비유: 사람이 걸을 때 발을 내디디는 자연스러운 동작을 로봇의 바퀴로 바로 연결합니다.
  • 기존 방식: "오른쪽으로 10cm 이동" 버튼을 누르는 식 (끊어짐).
  • SuperSuit 방식: 사람이 걸으면 로봇도 자연스럽게 따라갑니다. 마치 로봇이 사람의 그림자처럼 움직이는 것 같습니다.
  • 효과: 로봇이 멈추지 않고 부드럽게 움직여, 복잡한 작업 중에도 길을 잃지 않습니다.

B. 팔 (조작) 을 거울처럼 똑같이 복사

• 비유: 사람이 착용한 장갑이 **로봇의 팔과 뼈대 구조가 100% 똑같은 '거울'**처럼 만들어졌습니다.
  • 기존 방식: 사람의 손가락 움직임을 로봇 팔로 변환할 때 수학적으로 계산 (IK) 하느라 오차가 생깁니다.
  • SuperSuit 방식: 사람의 팔을 움직이면 로봇 팔도 완벽하게 똑같이 움직입니다.
  • 핵심 기술: 절대적인 위치가 아니라 **'어디로 움직였는지' (상대적 이동량)**만 기록합니다.
    • 예시: "손을 5cm 위로 올려라"라고 가르치는 게 아니라, "손을 위로 5cm 움직여라"라고 가르칩니다. 이렇게 하면 장비를 처음 썼을 때의 오차나 기계적인 흔들림이 문제가 되지 않습니다.

3. 혁신: "로봇 없이" 가르치고, "목소리"로 정리하다

이 시스템의 가장 큰 장점은 데이터 수집의 두 가지 모드를 하나로 통합했다는 점입니다.

1. 원격 조종 모드 (Teleoperation): 로봇이 실제로 움직일 때 사람이 SuperSuit 를 입고 조종합니다.
2. 활성 시연 모드 (Active Demonstration): 로봇이 없어도 됩니다! 사람이 SuperSuit 를 입고 집안일을 직접 해보며 데이터를 기록합니다.
   • 비유: 요리 레시피를 배우기 위해 실제 요리를 해보는 것과 같습니다. 로봇이 없어도 사람이 직접 요리를 하면 그 동작 데이터가 그대로 기록됩니다.
   • 효과: 로봇이 고장 나거나 배터리가 없어도 상관없습니다. 사람이 직접 움직이는 속도로 데이터를 모을 수 있어, 기존 방식보다 약 2.6 배 더 빠릅니다.

그리고 목소리까지!

• 사람이 작업을 하면서 실시간으로 "이제 상자를 열어야 해", "빨간 블록을 잡아야 해"라고 말하면, AI 가 이 목소리를 듣고 동작과 언어를 자동으로 연결해 줍니다.
• 비유: 요리사가 요리하면서 "소금을 조금 넣고, 그다음에 후추를 뿌려"라고 말하면, 그 말과 손동작이 완벽하게 맞춰진 요리 레시피로 저장되는 것입니다.

4. 결론: 왜 이것이 중요한가?

• 더 많은 데이터, 더 빠른 학습: 로봇이 없어도 사람이 직접 움직여 데이터를 모을 수 있어서, 로봇이 복잡한 일 (상자 쌓기, 블록 정리 등) 을 배울 수 있는 '교재'를 훨씬 많이 만들 수 있습니다.
• 더 정확한 학습: 사람이 직접 해본 자연스러운 동작을 기반으로 하므로, 로봇이 실제로 일할 때 훨씬 더 매끄럽고 실수 없이 수행합니다.
• 확장성: 로봇이 고장 나거나 비싸더라도, SuperSuit 를 쓴 사람만 있으면 언제 어디서나 데이터를 모을 수 있습니다.

한 줄 요약:

SuperSuit 는 로봇에게 일을 가르칠 때, 복잡한 조이스틱 대신 사람이 직접 '몸으로' 느끼고 '목소리로' 설명하는 방식을 통해, 로봇이 더 빠르고 정확하게 복잡한 일을 배울 수 있게 해주는 혁신적인 도구입니다.

기술 요약

SuperSuit: 확장 가능한 모바일 매니퓰레이션을 위한 동형 이모달 인터페이스 기술 요약

이 논문은 SuperSuit라는 새로운 웨어러블 인터페이스 프레임워크를 제안하며, 바퀴가 달린 모바일 매니퓰레이터 (Wheeled Mobile Manipulators) 를 위한 고품질, 장시간 (Long-horizon) 시연 데이터 수집의 병목 현상을 해결합니다.

1. 문제 정의 (Problem)

기존의 embodied AI(embodied intelligence) 연구는 짧은 작업의 모방 학습에는 성공했으나, 복잡한 장시간 작업으로 확장하는 데에는 고품질 시연 데이터의 부재로 인해 한계에 부딪혔습니다. 특히 모바일 매니퓰레이터의 경우, 다음과 같은 고유한 어려움이 존재합니다.

• 이중 제어의 복잡성: 이동 (Locomotion, SE(2)) 과 정밀 조작 (Manipulation) 을 동시에 조율해야 하며, 기존 원격 조종 (Teleoperation) 인터페이스는 이를 분리하여 자연스러운 전신 협응을 방해합니다.
• 인지적 단절: 기존 원격 조종 시스템 (조이스틱, 페달 등) 은 2D 카메라 뷰를 통해 조작하므로 조작자의 몰입감 (Embodiment) 이 떨어지고 미세한 공간 인식이 저하됩니다.
• 확장성 부족: 로봇 하드웨어에 직접 연결된 원격 조종은 로봇 가동 시간에 의존하므로 대규모 데이터 수집이 비효율적이고 비용이 많이 듭니다.
• 보정 및 정합성 문제: 기존 웨어러블 장치는 관절 절대 좌표를 사용하거나 역기구학 (IK) 을 적용하는데, 이는 보정 오차, 기어 백래시, 구조적 탄성 등으로 인해 시연과 실행 간에 궤적 편차를 유발합니다.

2. 방법론 (Methodology)

SuperSuit 는 이모달 (Bimodal) 데이터 수집을 지원하는 통합 웨어러블 프레임워크로, **원격 조종 (Teleoperation)**과 능동 시연 (Active Demonstration) 두 가지 모드를 동일한 운동학적 인터페이스에서 지원합니다.

핵심 구성 요소

1. 이모달 데이터 수집 (Dual-Modal Acquisition):

   • 원격 조종 모드: 로봇이 실시간으로 작동하며 인간이 장비를 착용하고 로봇을 제어합니다.
   • 능동 시연 모드: 로봇 없이 인간이 직접 장비를 착용하고 작업을 수행합니다.
   • 동형 매핑 (Isomorphic Mapping): 두 모드 모두에서 수집된 데이터는 구조적으로 동일한 관절 공간 궤적을 가지며, 하위 정책 학습을 위해 데이터를 혼합할 때 별도의 변환이 필요 없습니다.

2. 로코모션 (Locomotion) 처리:

   • 머리 장착 추적기: HTC Vive Tracker 를 머리에 장착하여 전신 움직임을 캡처합니다.
   • Torso 기반 운동학적 재할당 (Retargeting): 머리 위치를 로봇의 'Torso' 기준 좌표계로 변환합니다.
   • 제로 드리프트 (Zero-Drift) 매핑: 인간의 보행 의도를 이산적인 명령이 아닌 연속적인 평면 속도 $(v_x, v_y, \omega_z)$로 매핑합니다.
   • 적응형 데드밴드 (Adaptive Deadband): 자연스러운 자세 유지로 인한 미세한 흔들림 (Micro-sway) 을 속도 수준에서 필터링하여 원치 않는 기저 진동을 제거합니다.

3. 매니퓰레이션 (Manipulation) 처리:

   • 엄격한 동형 팔 (Strictly Isomorphic Arm): 3D 프린팅된 경량 엑소스켈레톤을 사용하여 인간의 관절 구조와 로봇 팔의 기계적 구조를 정확히 일치시킵니다.
   • 시프트 불변 델타 관절 표현 (Shift-Invariant Delta-Joint Representation): 절대 관절 위치 대신 **상대적 이동량 ($\Delta q_t$)**을 행동 (Action) 으로 정의합니다. 이는 보정 오차, 구조적 탄성, 기어 백래시 등 고정된 편차를 상쇄하여 시연과 실행 간의 불일치를 해결합니다.

4. LLM 지원 언어 주석 파이프라인:

   • 실시간 음성 녹음 (Headset Microphone) 을 Paraformer(음성-텍스트) 를 통해 텍스트로 변환합니다.
   • **Qwen3 (LLM)**을 활용하여 운동학적 추론을 수행하고, 물리적 행동의 전환점 (Breakpoints) 을 자동으로 식별하여 텍스트를 시간적으로 정렬합니다.
   • 인간이 최종 검증을 통해 고품질의 언어 주석이 달린 데이터셋을 생성합니다.

3. 주요 기여 (Key Contributions)

1. SuperSuit 프레임워크: 능동 시연과 원격 조종을 통합된 운동학적 인터페이스 하에서 통일하여, 구조적으로 일관된 데이터를 수집할 수 있는 이모달 웨어러블 시스템을 제안했습니다.
2. 강건한 전신 재할당: 연속적인 보행 - 속도 매핑과 시프트 불변 델타 관절 표현을 결합하여 보정 오차와 구조적 불일치를 제거했습니다.
3. 실시간 언어 주석 통합: 전체 수집 프레임워크에 실시간 음성 내러티브를 통합하여, Vision-Language-Action (VLA) 모델 학습을 위한 구조적으로 정렬된 하위 작업 (Subtask) 데이터를 자동 추출합니다.
4. 실증적 유효성 입증: 실제 환경 실험을 통해 데이터 수집 효율성과 정책 성능의 향상을 입증했습니다.

4. 실험 결과 (Results)

실제 모바일 매니퓰레이션 작업 (Pick-and-Place, Blocks Collection, Crate Stacking) 에 대한 실험 결과는 다음과 같습니다.

• 데이터 수집 효율성:
  • 능동 시연 모드는 기존 원격 조종 (BRS 등) 대비 2.6 배 높은 시간당 성공 시연 수 (Throughput) 를 기록했습니다.
  • 특히 양손 협응이 필요한 복잡한 작업에서 인간의 자연스러운 협응력을 활용하여 효율이 극대화되었습니다.
• 정책 성능 (Policy Performance):
  • 고정된 데이터셋 크기 (110 에피소드) 에서 원격 조종 데이터를 능동 시연 데이터로 대체했을 때, 정책의 성공률은 동등한 수준을 유지했습니다.
  • 이는 SuperSuit 가 생성한 데이터가 운동학적 일관성을 갖추고 있어, 하드웨어 제약 없이 수집된 데이터로도 고품질 학습이 가능함을 의미합니다.
• 확장성 (Scalability):
  • 능동 시연 데이터의 양이 증가함에 따라 정책 성능이 **단조 증가 (Monotonic Improvement)**했습니다. (예: Crate Stacking 작업에서 능동 데이터 400 개 시 성공률 65% 달성).
  • 이는 능동 데이터가 정보 밀도가 높고 정책 학습에 직접적으로 기여함을 보여줍니다.
• Ablation Study:
  • 델타 관절 ($\Delta q$) vs 절대 관절: 절대 관절을 사용할 경우 성공률이 5% 로 급락했으나, 델타 관절을 사용할 경우 40% 로 크게 향상되었습니다. 이는 보정 오차에 대한 강건성을 입증합니다.
  • 하위 작업 주석: 언어 기반 하위 작업 주석을 포함한 모델 ($\pi^+_{0.5}$) 은 긴 작업 (Crate Stacking) 에서 10% 이상의 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

SuperSuit 는 모바일 매니퓰레이터의 장시간 작업 학습을 위한 데이터 수집의 새로운 패러다임을 제시합니다.

• 하드웨어 의존성 탈피: 로봇의 가동 시간에 구애받지 않고 인간 중심의 능동 시연을 통해 대규모 데이터를 빠르게 확보할 수 있습니다.
• 데이터 일관성: 원격 조종과 능동 시연 간의 운동학적 불일치를 해결함으로써, 다양한 소스의 데이터를 혼합하여 학습하는 것을 가능하게 합니다.
• VLA 모델 진화: 실시간 언어 주석을 통해 생성된 고품질 데이터셋은 복잡한 작업을 이해하고 수행하는 차세대 VLA 모델의 발전에 필수적인 기반을 제공합니다.

결론적으로, SuperSuit 는 일관된 운동학적 표현을 통해 모바일 매니퓰레이션의 데이터 수집을 확장 가능하게 만들었으며, 이는 embodied AI 의 복잡한 장시간 작업 수행 능력 향상에 중요한 기여를 합니다.