DeReCo: Decoupling Representation and Coordination Learning for Object-Adaptive Decentralized Multi-Robot Cooperative Transport

이 논문은 부분 관측성과 비정상성으로 인한 학습 간섭을 해결하기 위해 표현 학습과 조정 학습을 분리하는 3 단계 훈련 전략을 도입한 새로운 MARL 프레임워크 'DeReCo'를 제안하여, 다양한 물체와 환경에서 분산형 다중 로봇 협력 운반의 샘플 효율성과 일반화 성능을 크게 향상시켰습니다.

핵심

🎬 비유: "낯선 물건을 나르는 두 명의 택배 기사"

상상해 보세요. 두 명의 택배 기사 (로봇) 가 있습니다. 그들은 고객 (목표 지점) 에게 물건을 배달해야 합니다. 문제는 물건이 매일매일 달라진다는 것입니다.

• 오늘은 무거운 책상 (무게 10kg, 미끄러운 표면)
• 내일은 가벼운 컵 (무게 0.5kg, 거친 표면)
• 모레는 이상한 모양의 조각상

이 두 기사는 상대방의 생각이나 물건에 대한 정확한 정보를 알 수 없습니다. 오직 자신의 손끝에서 느껴지는 느낌 (촉각) 과 눈앞에 보이는 것 (시각) 만으로 판단해야 합니다.

❌ 기존 방식의 문제점: "혼란스러운 팀워크"

기존의 로봇들은 이 일을 배우는 과정에서 두 가지를 한 번에 동시에 배웠습니다.

1. "이 물건이 어떤 물건인지 추측하기" (표현 학습)
2. "상대방과 어떻게 협력할지 정하기" (협조 학습)

이 두 가지를 동시에 배우다 보니 서로 방해가 되었습니다.

• 물건을 잘 못 추측하면 협력도 엉망이 됩니다. ("아, 이거 무거운가? 아님 가벼운가? 모르겠는데 일단 당겨보자!" → 물건이 떨어집니다.)
• 상대방이 움직이는 방식이 계속 변하면 (학습 중이라서), 물건을 추측하는 것도 불안정해집니다.

결과적으로 로봇들은 배우는 데 시간이 너무 오래 걸리고, 새로운 물건을 만나면 당황해서 실패합니다.

✅ DeReCo 의 해결책: "단계별 훈련과 역할 분담"

이 논문에서 제안한 DeReCo는 이 문제를 해결하기 위해 세 단계로 나누어 훈련합니다. 마치 훌륭한 스포츠 코치가 선수를 훈련시키는 방식과 비슷합니다.

1 단계: "비밀 정보로 완벽한 연습" (중앙 집중식 학습)

• 상황: 코치 (중앙 컴퓨터) 가 "이 물건은 10kg 이고 미끄러워!"라고 **비밀 정보 (Privileged Information)**를 모두 알려줍니다.
• 훈련: 로봇들은 이 완벽한 정보를 바탕으로 "어떻게 하면 서로 완벽하게 협력할까?"만 집중해서 배웁니다.
• 효과: 물건에 대한 추측 고민 없이, 협력하는 기술을 아주 안정적으로 익힙니다.

2 단계: "눈으로만 보고 추측하기" (인코더 학습)

• 상황: 이제 코치는 비밀 정보를 주지 않습니다. 대신 로봇들은 자신의 눈과 손끝 감각만 보고, 1 단계에서 배운 협력 기술을 수행할 때 필요한 "물건 정보"를 스스로 만들어내야 합니다.
• 훈련: "이 촉각과 모양을 보면, 이 물건은 아마 10kg 일 거야"라고 **추측하는 능력 (인코더)**을 따로 훈련시킵니다.
• 효과: 협력 기술과 물건 추측 기술을 분리해서, 서로 방해하지 않고 각각을 완벽하게 다듬습니다.

3 단계: "실전 투입" (탈중앙화 실행)

• 상황: 이제 로봇들은 실전에 나섭니다. 코치의 비밀 정보는 전혀 없습니다. 오직 자신의 감각과 2 단계에서 익힌 추측 능력, 그리고 1 단계에서 익힌 협력 기술만 사용합니다.
• 결과: 처음 보는 낯선 물건이라도, "이 느낌은 저 물건과 비슷하네, 그럼 이렇게 협력하면 되겠다!"라고 빠르게 적응하여 성공적으로 배달합니다.

---

🌟 이 기술의 핵심 장점

1. 배우는 속도가 빨라요 (Sample Efficiency):
   • 서로 방해받지 않고 단계별로 배우기 때문에, 같은 양의 데이터로도 훨씬 더 잘 배웁니다.
2. 낯선 물건도 잘 다뤄요 (Generalization):
   • 훈련 때 보지 못한 모양의 물건 (예: 훈련 때는 원통이었지만, 실전에는 삼각형) 이 나와도, 감각을 통해 "아, 이건 저런 물건이네"라고 추측하고 협력할 수 있습니다.
3. 실제 로봇에서도 통해요 (Sim-to-Real):
   • 컴퓨터 시뮬레이션에서 훈련한 기술을 실제 로봇 (HSR) 에 적용했을 때도, 훈련하지 않은 물건을 성공적으로 옮기는 것을 확인했습니다.

🏁 결론

DeReCo는 로봇들이 "무엇을 나르는가 (물건)"와 "어떻게 나르는가 (협력)"를 분리해서 따로따로, 하지만 체계적으로 배우게 함으로써, 어떤 물건이 와도 당황하지 않고 척척 해결하는 똑똑한 로봇 팀을 만드는 방법입니다.

이 기술은 앞으로 창고 물류, 재난 구조, 혹은 우리 집 안의 다양한 물건을 옮겨주는 로봇 서비스 등에 큰 도움이 될 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

이 연구는 분산 제어 (Decentralized Execution) 하에서 다양한 모양과 물리적 특성 (질량, 마찰 계수 등) 을 가진 물체를 여러 로봇이 협력하여 운송하는 문제를 다룹니다. 기존의 다중 에이전트 강화학습 (MARL) 기반 협력 운송 연구는 주로 단일 물체 환경에서 평가되거나, 훈련 중 무작위화된 물체 특성을 학습하는端到端 (End-to-End) 방식을 사용합니다.

그러나 이러한 기존 접근법은 다음과 같은 구조적 결합 (Structural Coupling) 문제로 인해 한계를 가집니다:

• 부분 관측성 (Partial Observability): 실행 시 로봇은 물체의 모양, 질량, 마찰 계수 등 '특권 정보 (Privileged Information)'를 알 수 없으며, 국소 관측치 (Local Observation) 만으로 물체 특성을 추론해야 합니다.
• 비정상성 (Non-stationarity): MARL 환경에서 각 에이전트의 정책이 변하면 다른 에이전트에게 환경이 비정상적으로 변화합니다.
• 상호 간섭: 기존 방식은 물체 표현 학습 (Representation Learning) 과 협력 정책 학습 (Coordination Learning) 을 동시에 최적화합니다. 이로 인해 불완전한 관측으로 인한 부정확한 표현이 협력을 불안정하게 만들고, MARL 의 비정상성이 다시 표현 학습을 저하시키는 양방향 간섭이 발생합니다. 결과적으로 샘플 효율성이 낮고 학습이 불안정해집니다.

2. 제안 방법론: DeReCo (Methodology)

저자들은 표현 학습과 협력 학습을 분리 (Decouple) 하여 상호 간섭을 줄이고, 샘플 효율성과 일반화 성능을 향상시키는 새로운 MARL 프레임워크 DeReCo를 제안합니다. DeReCo 는 다음과 같은 3 단계 훈련 전략을 사용합니다:

1. 1 단계: 특권 정보를 활용한 중앙 집중식 협력 학습 (Centralized Coordination Learning)

   • 훈련 초기에는 물체의 모양, 질량, 마찰 계수 등 특권 정보 (Privileged Information) 를 크리틱 (Critic) 과 액터 (Actor) 에 모두 제공합니다.
   • 이 단계는 MARL 의 비정상성 문제를 완화하고, 물체 특성에 의존하지 않는 안정적인 협력 정책 (Coordination Policy) 을 확립하는 데 중점을 둡니다.

2. 2 단계: 적응형 인코더 학습 (Adaptive Encoder Learning)

   • 부분 관측성 하에서 로봇이 국소 관측치만으로 물체 특성을 추론할 수 있도록 지도 학습 (Supervised Learning) 을 수행합니다.
   • 1 단계에서 수집된 데이터 (국소 관측치 $o_t$, 1 단계에서 생성된 물체 표현 $g_t$) 를 사용하여, 국소 관측치로부터 물체 의존적 표현을 재구성하는 적응형 인코더 (Adaptive Encoder) 를 학습합니다.
   • 이 단계는 표현 학습과 협력 학습을 완전히 분리합니다.

3. 3 단계: 적응형 인코더를 활용한 MARL 재학습 (MARL with Adaptive Encoder)

   • 1 단계에서 학습된 정책 가중치와 2 단계에서 학습된 고정된 (Frozen) 인코더를 사용합니다.
   • CTDE(Centralized Training, Decentralized Execution) 프레임워크를 유지하되, 액터 (Actor) 에는 특권 정보 대신 인코더가 추론한 물체 표현을 입력으로 사용합니다.
   • 훈련 과정에서 점진적으로 특권 정보를 제거하여, 실제 실행 시에는 오직 국소 관측치만으로 분산 제어가 가능하도록 만듭니다.

3. 주요 기여 (Key Contributions)

1. DeReCo 프레임워크 제안: 부분 관측성 하의 물체 적응형 분산 다중 로봇 협력 운송을 위해 표현 학습과 협력 학습을 분리하는 새로운 MARL 프레임워크를 제안했습니다.
2. 시뮬레이션 성능 입증: 다양한 질량과 마찰 계수를 가진 9 가지 물체 (훈련용 3 개, 미훈련 6 개) 에 대한 실험에서, 기존 베이스라인 (MAPPO, LSTM 기반 방법 등) 보다 우수한 훈련 성능과 일반화 능력을 보였습니다.
3. 실제 로봇 검증 (Sim-to-Real): 두 대의 휴머노이드 지원 로봇 (HSR) 을 이용한 실제 실험에서, 훈련에 사용되지 않은 2 개의 미확인 물체를 성공적으로 운송하여 시뮬레이션에서 실제 환경으로의 전이 (Transfer) 성공을 입증했습니다.

4. 실험 결과 (Results)

• 훈련 성능 (RQ1): DeReCo 는 표현과 협력을 분리함으로써 학습 중 간섭을 줄여, 기존 End-to-End 방식 (MAPPO w/o AE) 보다 더 높은 보상 (Reward) 을 달성하고 안정적인 학습 곡선을 보였습니다.
• 일반화 성능 (RQ2): 훈련에 포함되지 않은 6 가지의 새로운 물체 모양 (Hexagon, Triangle 등) 에 대해 DeReCo 는 높은 성공률을 기록했습니다.
  • 특히, LSTM 을 사용하여 표현과 협력을 동시에 학습한 방법 (MAPPO w/o PI + LSTM) 보다 DeReCo 의 성능이 우월하여, 명시적인 표현 재구성이 일반화에 중요함을 보여줍니다.
  • 실패 분석 결과, 기존 방법들은 '물체 들기 실패'나 '운송 중 낙하'가 많았으나, DeReCo 는 정밀한 협력 운송 (Transport) 단계에서 가장 낮은 실패율을 보였습니다.
• 실제 로봇 실험 (RQ3): 두 대의 HSR 로봇을 이용한 실험에서, 베이스라인 (MAPPO w/o AE) 은 물체를 운송하는 과정에서 넘어지거나 목표 지점에 도달하지 못했으나, DeReCo 는 두 개의 미확인 물체 (보드, 프레임) 를 모두 성공적으로 목표 지점 (오차 0.1m 이내) 으로 운송했습니다.

5. 의의 및 결론 (Significance)

이 논문은 다중 로봇 협력 시스템이 예측 불가능한 물체 환경에서도 효과적으로 작동할 수 있는 새로운 패러다임을 제시합니다.

• 구조적 해법: 복잡한 MARL 문제에서 발생하는 '표현 학습'과 '협력 학습' 간의 상호 간섭을 3 단계 전략을 통해 체계적으로 해결했습니다.
• 실용성: 시뮬레이션뿐만 아니라 실제 하드웨어 실험을 통해 검증되어, 실제 로봇 응용 분야 (예: 물류, 구조 활동 등) 에 적용 가능한 높은 신뢰성을 입증했습니다.
• 확장성: 다양한 물체 특성에 대한 적응 능력을 보여주었으며, 향후 로봇 수의 확장 및 더 다양한 물리 속성 처리를 위한 연구의 기초를 마련했습니다.

요약하자면, DeReCo는 불완전한 정보 하에서도 로봇들이 협력하여 다양한 물체를 안정적으로 운송할 수 있도록, 학습 단계를 분리하고 점진적으로 정보를 제거하는 전략을 통해 기존 MARL 의 한계를 극복한 획기적인 연구입니다.