Multi-Quadruped Cooperative Object Transport: Learning Decentralized Pinch-Lift-Move

이 논문은 통신이나 중앙 제어 없이 N 개의 4 족 보행 로봇이 물리적 접촉만으로 비그립형 물체를 집어 올리고 이동하는 분산 협력 수송을 가능하게 하는 계층적 정책 아키텍처와 새로운 보상 설계 기법을 제안합니다.

핵심

이 논문은 **"네 다리의 로봇들이 서로 말도 안 하고, 서로를 묶지도 않은 채로 무거운 물건을 함께 나르는 법"**을 배운다는 흥미로운 연구입니다.

마치 여러 마리의 개미가 거대한 나뭇가지를 함께 운반하는 모습을 상상해 보세요. 개미들은 서로 "너는 왼쪽으로 당겨, 나는 위로 들어!"라고 대화하지도 않고, 나뭇가지를 끈으로 묶지도 않습니다. 오직 발끝으로 미는 힘과 잡는 힘만으로 완벽하게 조화를 이루며 움직입니다.

이 논문은 바로 그 '개미 같은' 로봇 팀워크를 인공지능으로 구현한 이야기입니다.

---

1. 왜 이 연구가 중요한가요? (문제 상황)

기존의 로봇들은 무거운 물건을 나를 때, 로봇과 물건 사이에 단단한 철제 연결고리를 만들거나, 로봇끼리 무선 통신을 하며 "1, 2, 3!" 하고 동시에 움직였습니다. 하지만 현실은 다릅니다.

• 문제: 가구나 통나무처럼 잡을 손잡이가 없거나, 모양이 불규칙한 물체는 철제 연결고리를 달 수 없습니다.
• 목표: 로봇들이 서로 말도 안 하고 (통신 없음), 물건을 묶지도 않은 채 (기계적 연결 없음), 오직 팔로 살짝 꾹 누르고 (Pinch), 들어 올리고 (Lift), 이동하는 (Move) 능력을 배워야 합니다.

2. 해결책: 'decPLM'이라는 새로운 훈련법

연구진은 로봇들에게 **"가상의 끈"**을 상상하게 하는 독특한 훈련법을 개발했습니다.

🌟 핵심 아이디어: '별자리 (Constellation)' 보상

이게 이 논문의 가장 창의적인 부분입니다.

• 비유: 로봇과 물건 사이에 **보이지 않는 점들 (별자리)**이 있다고 상상해 보세요. 로봇의 발과 팔 끝, 그리고 물건의 특정 지점에 이 점들이 붙어 있습니다.
• 훈련 방식: 로봇은 이 점들이 물건의 점들과 완벽하게 겹쳐지도록 노력해야 합니다. 마치 두 개의 투명 유리가 겹쳐서 하나의 단단한 블록이 된 것처럼요.
• 효과: 로봇은 물리적으로 묶여 있지 않지만, 이 '별자리'가 어긋나지 않게 하려고 노력하는 과정에서 마치 단단히 묶인 것처럼 움직이게 됩니다. 서로의 움직임을 예측하고, 물건을 떨어뜨리지 않게 힘을 조절하게 되는 것입니다.

🧠 두 단계의 지능 (Hierarchical Policy)

로봇의 뇌는 두 가지로 나뉩니다.

1. 하단부 (발): "어디로 걸어가야 하지?"를 담당합니다. 이미 잘 훈련된 보행 전문가입니다.
2. 상단부 (팔과 의사결정): "물건을 어떻게 잡고 들어야 할까?"를 담당합니다. 하단부에게 "이렇게 걸어"라고 명령을 내립니다.
   이 두 부분이 협력하여 복잡한 작업을 수행합니다.

3. 놀라운 결과: "2 마리로 배운 것을 10 마리도 할 수 있다"

이 연구의 가장 큰 성과는 확장성입니다.

• 시뮬레이션 실험: 연구진은 시뮬레이션에서 2 마리의 로봇만 가지고 훈련시켰습니다.
• 결과: 훈련된 로봇은 3 마리, 5 마리, 심지어 10 마리가 되어도 다시 배우지 않고도 완벽하게 협력했습니다.
• 이유: 로봇들은 서로의 상태를 직접 보는 게 아니라, **공유된 '훈련된 경험 (정책)'**과 물건과의 물리적 접촉을 통해 서로의 움직임을 자연스럽게 맞춰갔기 때문입니다. 마치 한 팀의 스포츠 선수들이 서로의 눈빛만으로도 움직임을 맞추는 것과 같습니다.

4. 현실 세계에서의 도전 (Sim-to-Real)

이론만 좋으면 안 되죠? 연구진은 실제 **Unitree Go2(4 다리가 달린 개 모양 로봇)**를 이용해 실험했습니다.

• 상황: 실제 로봇은 시뮬레이션처럼 완벽하지 않습니다. 전동기 소음, 바닥의 미끄러움, 물건의 무게 차이 등이 존재합니다.
• 성공: 비록 물체가 가볍고 (12kg), 로봇이 약간 흔들리기는 했지만, **24 마리의 로봇이 서로 말 없이도 상자를 들어 옮기는 데 성공**했습니다.
• 한계: 아직은 무거운 물건을 들 때 힘이 부족하거나, 로봇의 관절이 딱딱하게 고정되지 않아 미세한 조정이 필요하다는 점은 남아있습니다.

5. 요약: 이 연구가 우리에게 주는 메시지

이 논문은 **"로봇들이 서로 대화하거나 기계적으로 묶이지 않아도, 오직 물리적인 접촉과 잘 설계된 '상상력 (보상 함수)'을 통해 훌륭한 팀워크를 이룰 수 있다"**는 것을 증명했습니다.

한 줄 요약:

"로봇들이 서로 말도 안 하고, 끈도 묶지 않았지만, 마치 한 몸처럼 움직여 무거운 물건을 나르는 마법을 인공지능으로 구현했습니다."

이 기술이 발전하면, 재해 현장에서 로봇들이 서로 통신이 끊긴 상태에서도 무너진 건물을 함께 치우거나, 창고에서 무거운 가구를 자동으로 옮기는 모습을 볼 수 있을 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem Definition)

• 배경: 건설, 물류, 재난 대응 등 다양한 분야에서 지형이 험난한 환경에서 이동이 가능한 4족 보행 로봇 (Quadruped) 의 활용이 증가하고 있습니다. 그러나 기존 연구는 주로 로봇과 물체 사이에 강체 (Rigid) 기계적 결합이 있거나, 로봇이 물체를 잡을 수 있는 (Graspable) 경우를 가정했습니다.
• 문제: 실제 세계의 많은 물체 (가구, 통나무, 상자 등) 는 잡을 수 없거나 (Ungraspable) 기계적으로 고정하기 어렵습니다. 이러한 물체를 운반하기 위해서는 여러 로봇이 물체 표면에 접촉하여 '꼬집기 (Pinch)', '들기 (Lift)', '이동 (Move)'을 수행해야 합니다.
• 핵심 난제: 로봇 간 통신 (Communication) 이나 중앙 집중식 제어 (Centralized Control) 없이, 오직 물리적 접촉 힘 (Contact Forces) 만으로 어떻게 여러 로봇이 안정적으로 접촉을 유지하고, 힘을 분배하며, 동기화된 이동을 할 수 있는지에 대한 문제가 해결되지 않았습니다.

2. 제안된 방법론: decPLM (Methodology)

저자들은 **decPLM (Decentralized Pinch-Lift-Move)**이라는 계층적 제어 프레임워크를 제안했습니다.

A. 계층적 정책 아키텍처 (Hierarchical Policy Architecture)

각 로봇은 독립적으로 실행되는 두 단계의 정책을 사용합니다.

1. 저수준 정책 (Low-Level Policy, $\pi_b$): 기존 4 족 보행 로봇의 보행 제어에 기반하여, 원하는 속도 명령에 따라 다리의 관절 각도를 제어합니다.
2. 고수준 정책 (High-Level Policy, $\pi_h$): 작업 수준의 행동을 조정합니다. 로봇의 자체 상태 (Proprioception), 접촉 프레임 명령, 그리고 초기 접촉 형성 시 동기화 신호 ($t_{sync}$) 를 입력받아 팔 (Arm) 의 관절 목표값과 기저 (Base) 의 속도 명령을 출력합니다.
   • 비동기 실행: 모든 로봇은 동일한 정책 파라미터를 공유하며, 로봇 간 통신 없이 로컬 정보만으로 실행됩니다.

B. 핵심 혁신: 군집 보상 (Constellation Reward)

기계적 결합이 없기 때문에 로봇이 물체에 단단히 고정된 것처럼 행동하도록 유도하는 것이 핵심입니다. 이를 위해 **군집 보상 (Constellation Reward)**을 도입했습니다.

• 개념: 컴퓨터 비전의 포인트셋 등록 (Point-set registration) 에서 영감을 얻었습니다. 로봇의 팔 끝 (End-effector) 과 기저 (Base) 에 가상의 점들 (Landmark points) 을 정의하고, 이를 물체의 목표 위치와 정렬되도록 보상합니다.
• 구성:
  1. 접촉 군집 (Contact Constellation): 팔의 접촉 패드와 물체의 접촉 프레임을 정렬하여 국소적인 접촉 안정성을 보장합니다.
  2. 기저 추적 군집 (Base Tracking Constellation): 로봇의 몸체와 물체의 상대적 위치/자세를 정렬하여 전체적인 운반 동작의 강체 (Rigid) 같은 거동을 유도합니다.
• 효과: 명시적인 기계적 제약 없이도, 보상 함수 설계를 통해 로봇들이 마치 물체에 단단히 연결된 것처럼 협력 행동을 학습하게 합니다.

C. 학습 전략 (Training Approach)

• CTDE (Centralized Training, Decentralized Execution): 학습 시에는 다른 로봇의 정보를 가진 크리틱 (Critic) 네트워크를 사용하여 협동 학습을 안정화하고, 실행 시에는 각 로봇이 로컬 정보만 사용하는 완전 분산 방식을 채택했습니다.
• 커리큘럼 학습 (Curriculum Learning):
  1. Pinch 단계: 물체와 접촉을 형성하고 유지하는 것만 학습 (물체 무게를 무겁게 설정하여 이동 방지).
  2. Lift 단계: 접촉 유지와 함께 수직 들어 올리기 학습.
  3. Move 단계: 들어 올린 상태에서 이동 (보행) 명령 수행 학습.
• 일반화: 2 대의 로봇으로만 학습된 정책이 10 대까지 팀 크기가 커져도 재학습 없이 잘 작동함을 확인했습니다.

3. 주요 기여 (Key Contributions)

1. 군집 보상 (Constellation Reward) 제안: 위치와 방향 추적을 통합한 새로운 보상 함수로, 기계적 결합 없이도 로봇들이 물체와 강체처럼 행동하도록 유도합니다.
2. 완전 분산 협동 학습: 통신이나 중앙 제어 없이도 로봇들이 암묵적 동기화 (Implicit Synchronization) 를 통해 협동하는 방법을 제시했습니다.
3. 팀 크기 및 하중 일반화: 소규모 팀 (N=2) 으로 학습된 정책이 대규모 팀 (N=10) 과 다양한 하중 (무게, 형상) 에 대해 재학습 없이 성공적으로 일반화됨을 증명했습니다.
4. Sim-to-Real 전이: 실제 4 족 보행 로봇 (Unitree Go2) 을 이용한 실험을 통해 시뮬레이션에서 학습된 정책이 실제 하드웨어에서도 작동함을 입증했습니다.

4. 실험 결과 (Results)

• 팀 크기 확장성: 로봇 수가 2 에서 10 으로 증가함에 따라 선형 속도 추적 오차가 80% 감소하고, 물체 낙하율은 5% 미만으로 감소했습니다. 추가된 로봇이 힘 분배와 중복성 (Redundancy) 을 제공하여 성능이 향상되었습니다.
• 보상의 중요성: '군집 보상 (Constellation Reward)'을 사용한 모델이 기존 방식보다 훨씬 우수한 성능을 보였습니다. 특히, 접촉 프레임의 위치 정보가 초기에만 주어지고 이후 차단된 상황 (cfinit) 에서도 군집 보상을 사용하면 높은 성능을 유지하여, 보상 설계가 정보 부족을 보완할 수 있음을 보였습니다.
• 하중 및 형상 일반화:
  • 2kg 에서 20kg 까지 다양한 무게의 물체를 운반했습니다. (약 15kg 이상에서는 정밀한 힘 제어를 위해 지속적인 접촉 프레임 정보가 중요해짐).
  • 학습된 상자 (Box) 정책이 통나무, 배럴, 소파 등 학습되지 않은 형상 (Out-of-Distribution) 의 물체에도 잘 적용되었습니다.
• 실제 로봇 실험: 2~4 대의 Unitree Go2 로봇을 사용하여 가벼운 물체를 운반하는 데 성공했습니다. 하드웨어의 한계 (토크 제한, 캘리브레이션 오차 등) 로 인해 시뮬레이션 대비 성능 격차는 있었으나, 협력 운반의 기본 원리가 실제 환경에서도 유효함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 비접촉형 (Non-prehensile) 물체 운반 분야에서 중요한 진전을 이루었습니다. 기존의 기계적 결합이나 통신 의존적 방식의 한계를 넘어, 단순한 물리적 접촉과 분산된 학습만으로 복잡한 협력 작업을 수행할 수 있음을 보였습니다.

• 실용성: 통신 인프라가 부재하거나 환경이 열악한 재난 현장, 건설 현장 등에서 여러 로봇이 협력하여 대형 물체를 이동시키는 데 적용 가능한 기술적 토대를 마련했습니다.
• 확장성: 로봇 팀의 크기를 늘려도 재학습이 필요 없다는 점은 실제 시스템 확장 비용을 크게 절감해 줍니다.
• 미래 전망: 고수준 계획 (High-level planning), 자동 접촉 지점 할당, 더 다양한 지형 및 로봇 플랫폼으로의 확장이 향후 과제로 제시되었습니다.

요약하자면, 이 연구는 **보상 함수 설계의 혁신 (군집 보상)**과 계층적 학습 전략을 통해, 통신 없이도 여러 4 족 보행 로봇이 마치 하나의 거대한 기계처럼 협력하여 잡을 수 없는 물체를 운반할 수 있게 한 획기적인 연구입니다.