TriPilot-FF: Coordinated Whole-Body Teleoperation with Force Feedback
TriPilot-FF는 이동형 양팔 로봇의 효율적인 전신 원격 조종을 위해 발로 조작하는 페달 기반의 베이스 제어와 라이다(LiDAR)를 활용한 장애물 회피 햅틱 피드백, 그리고 양팔의 힘 피드백을 결합하여 조종사의 협응 능력과 작업 성능을 향상시킨 오픈소스 시스템입니다.
지금까지 바퀴가 달린 로봇 팔(모바일 매니퓰레이터)을 조종하는 건 마치 **'눈을 가린 채 양손에 조이스틱만 들고 운전하는 것'**과 비슷했습니다. 손으로는 물건을 집어야 하는데, 발로는 바퀴를 굴려야 하니 머릿속이 복잡하고 장애물에 부딪히기 일쑤였죠.
이 논문은 이 문제를 해결하기 위해 세 가지 마법 같은 도구를 도입했습니다.
1. 🦶 "발로 하는 스마트 운전" (페달 피드백)
보통 로봇 조종은 손에만 집중합니다. 하지만 이 시스템은 **'발 페달'**을 사용합니다.
비유: 마치 자동차 운전을 할 때, 앞에 벽이 있으면 핸들이 묵직해지거나 페달이 잘 안 밟히는 느낌을 받는 것과 같습니다.
원리: 로봇에 달린 센서(Lidar)가 장애물을 감지하면, 조종사가 밟고 있는 페달에 **'저항력(밀어내는 힘)'**을 줍니다. 조종사는 눈으로 보지 않아도 "어? 페달이 뻑뻑하네? 앞에 뭐가 있나 보다!"라고 본능적으로 느끼며 장애물을 피하게 됩니다.
2. 💪 "손끝으로 전해지는 로봇의 느낌" (힘 피드백)
로봇이 물건을 잡을 때, 로봇이 느끼는 압력을 조종사의 손에도 그대로 전달합니다.
비유: 아주 얇은 장갑을 끼고 달걀을 잡는다고 상상해 보세요. 달걀이 깨질 것 같으면 손끝에 전해지는 미세한 느낌 덕분에 힘을 조절할 수 있죠?
원리: 로봇 팔이 물체에 닿는 순간 그 힘을 조종사의 컨트롤러로 전달합니다. 덕분에 조종사는 로봇이 물건을 너무 세게 쥐거나 놓치지 않도록 아주 섬세하게 조절할 수 있습니다.
3. 🗺️ "로봇의 '팔 닿는 범위'를 알려주는 내비게이션" (조작성 가이드)
로봇이 물건을 잡으려는데 팔이 너무 쭉 펴져서 불안정한 상태가 될 때가 있습니다.
비유: 우리가 높은 선반 위의 물건을 잡으려 할 때, 몸을 살짝 옆으로 움직여야 편하게 잡히는 것과 같습니다.
원리: 시스템이 "지금 팔이 너무 펴졌어요! 바퀴를 이쪽으로 조금만 움직이면 훨씬 편해요!"라고 페달에 신호를 줍니다. 조종사는 마치 **'로봇 전용 내비게이션'**의 안내를 받듯 가장 편한 자세를 찾아 움직일 수 있습니다.
🧠 더 똑똑한 로봇 만들기 (AI 학습)
이 시스템의 진짜 놀라운 점은 단순히 조종만 잘하는 게 아니라, '조종할 때 느꼈던 감각'을 로봇의 AI에게도 가르칠 수 있다는 것입니다.
비유: 요리사가 요리를 배울 때, 레시피(영상)만 보는 게 아니라 재료의 단단함(힘)을 직접 만져보며 배워야 진짜 고수가 되는 것과 같습니다.
결과: 연구팀은 조종사가 느꼈던 '힘(Torque)' 정보를 AI 학습 데이터에 포함시켰습니다. 그 결과, 로봇은 나중에 혼자서 움직일 때도 훨씬 더 부드럽고 정확하게 물건을 옮길 수 있게 되었습니다.
✨ 결론: 이 기술이 왜 중요한가요?
이 기술이 완성되면, 로봇은 단순히 명령을 수행하는 기계가 아니라 **사람의 감각이 확장된 '제2의 몸'**이 됩니다.
좁은 주방에서 요리를 하거나, 복잡한 창고에서 물건을 정리하는 등 사람처럼 섬세하고 복잡한 움직임이 필요한 곳에서 로봇이 훨씬 더 안전하고 똑똑하게 일할 수 있게 되는 것이죠!
[기술 요약] TriPilot-FF: 힘 피드백을 이용한 협응형 전신 원격 제어 시스템
1. 문제 정의 (Problem Statement)
모바일 매니퓰레이터(Mobile Manipulator, 이동형 로봇 팔)는 작업 범위를 크게 넓혀주지만, 이를 원격 제어(Teleoperation)하는 것은 매우 복잡한 문제입니다. 운영자는 다음 요소들을 동시에 고려해야 합니다:
전신 협응: 바퀴 달린 베이스(Base)의 이동과 양팔(Bimanual arms)의 움직임을 동시에 조절해야 함.
인지적 과부하: 장애물 회피, 접촉력(Contact force) 감지, 작업 도중의 도달 가능성(Reachability) 등을 시각 정보만으로 판단하기에는 한계가 있음.
기존 인터페이스의 한계: 대부분의 인터페이스가 손(VR 컨트롤러, 조이스틱)에만 집중되어 있어, 발(Foot)을 이용한 베이스 제어 채널이 활용되지 못하고 있음.
2. 핵심 방법론 (Methodology)
TriPilot-FF는 인간의 신체 능력을 최대한 활용하기 위해 상체(양팔)와 하체(발)를 분리하면서도 유기적으로 연결한 전신 제어 시스템을 제안합니다.
A. 하드웨어 설계
3자유도(3-DoF) 페달: 발을 사용하여 로봇의 베이스(x, y 이동 및 Yaw 회전)를 제어합니다. 저비용 모터와 3D 프린팅 부품을 사용하여 설계되었습니다.
리더-팔로워(Leader-Follower) 양팔 시스템: 운영자가 조작하는 리더 암의 움직임을 로봇의 팔(Follower)이 그대로 따라 하는 구조입니다.
B. 다중 모달 피드백 (Multi-modal Guidance)
시스템은 단순한 입력 전달을 넘어, 로봇의 상태를 운영자에게 **촉각(Haptic)**으로 전달하는 '코파일럿(Co-pilot)' 역할을 수행합니다.
Lidar 기반 페달 햅틱 (Collision Avoidance): 라이다(Lidar) 센서로 장애물과의 거리를 측정합니다. 장애물이 있는 방향으로 페달을 밟으려 하면 물리적인 저항력(Resistive force)을 발생시켜, 운영자가 직관적으로 충돌을 피하도록 유도합니다.
팔 측면 힘 반사 (Contact Awareness): 로봇 팔이 물체와 접촉할 때 발생하는 힘을 리더 암에 그대로 전달하여, 운영자가 물체를 쥐거나 누르는 느낌을 실시간으로 느낄 수 있게 합니다.
조작성 가이드 (Manipulability Guidance): 로봇 팔이 뻗기 힘든 한계 상태(Singularity 근처)에 도달하면, 페달에 힘 피드백을 주어 베이스를 어느 방향으로 움직여야 작업 효율(Dexterity)이 높아질지 안내합니다.
C. 로봇 학습과의 결합 (Policy Learning)
원격 제어 데이터를 이용해 로봇의 자율 주행 정책을 학습시킬 때, 단순히 시각 정보와 관절 위치만 사용하는 것이 아니라 측정된 토크(Torque) 정보를 관측값(Observation)에 포함시킨 Augmented ACT(Action Chunking with Transformers) 모델을 제안합니다.
3. 주요 기여 (Key Contributions)
전신 제어 인터페이스: 발(베이스)과 손(양팔)의 역할을 분리하여 인지적 부하를 줄인 통합 원격 제어 시스템 구축.
물리적 가이드 시스템: 명시적인 자율 제어 알고리즘 없이도, 햅틱 피드백(페달 저항, 팔 힘 반사)만으로 충돌 회피와 작업 효율을 높임.
데이터 품질 향상: 원격 제어 시 발생하는 힘/토크 정보를 학습 모델에 통합하여, 더 정교하고 강건한 자율 동작(Imitation Learning)이 가능함을 증명.
오픈 소스: 페달 설계부터 소프트웨어 스택까지 공개하여 연구 커뮤니티에 기여.
4. 실험 결과 (Results)
좁은 공간에서의 협응 (Tight Space): 장애물로 시야가 가려진 상황(BlindCarry)에서 페달 피드백을 사용했을 때 성공률이 55%에서 100%로 급증하였으며, 충돌 횟수가 0으로 감소했습니다.
도달 범위 개선 (Reachability): 조작성 가이드를 제공했을 때, 로봇이 불필요하게 팔을 뻗는 시간을 줄이고 베이스를 최적의 위치로 빠르게 이동시켜 작업 시간을 단축했습니다.
접촉 안정성 (Contact Stability): 힘 반사 기능을 통해 물체를 닦거나(MobileSwipe) 옮길 때 훨씬 안정적인 접촉 유지가 가능했습니다.
학습 성능 향상 (Policy Learning): 시뮬레이션과 실제 환경 모두에서 토크 정보를 포함한 ACT 모델이 기존 모델보다 훨씬 높은 성공률을 기록했습니다. (예: CubeTransfer 작업에서 성공률 22% → 50% 향상)
5. 의의 (Significance)
본 논문은 원격 제어를 단순한 '로봇 조종'이 아닌, **인간과 로봇 간의 상호작용(Interactive setup)**으로 재정의했습니다. 특히, 인간의 신체적 감각(촉각)을 로봇의 센서 데이터와 결합함으로써 고품질의 학습 데이터를 수집할 수 있는 길을 열었으며, 이는 향후 복잡한 환경에서 스스로 움직이는 고도화된 모바일 매니퓰레이터 개발에 핵심적인 역할을 할 것으로 기대됩니다.