R2BC: Multi-Agent Imitation Learning from Single-Agent Demonstrations

기술 요약: R2BC – 단일 에이전트 데모를 이용한 다중 에이전트 모방 학습

문제 정의
모방 학습(Imitation Learning, IL)은 단일 로봇 에이전트를 훈련하는 데 있어 초석이 되어 왔으나, 다중 에이전트 시스템(Multi-Agent Systems, MAS)에 적용할 때는 결정적인 병목 현상에 직면합니다. 바로 조정된 동기식 데모(coordinated, synchronous demonstrations)가 필요하다는 점입니다. 전통적인 다중 에이전트 모방 학습(MAIL)은 전문가가 결합 행동 공간(joint action space)에서, 즉 모든 에이전트가 동시에 최적으로 행동하는 상황에서 데모를 제공할 수 있다고 가정합니다. 그러나 실제 시나리오에서 한 명의 인간 운영자가 인지 부하와 미달 제어 인터페이스(underactuated control interfaces) 문제로 인해 여러 로봇을 동시에 신뢰성 있게 원격 제어하는 것은 불가능합니다. 기존 방법론들은 모든 에이전트에 대한 동기화된 인간 원격 제어나, "오라클(oracle)" 데몬스트레이터 역할을 하는 사전 훈련된 강화 학습(RL) 정책과 같은 비현식적인 가설에 의존하는 경우가 많습니다. 본 논문은 다음과 같은 연구 질문을 다룹니다: 인간이 한 번에 하나의 에이전트만을 현실적으로 제어할 수 있을 때, 어떻게 모방 학습을 다중 에이전트 시스템으로 확장할 수 있는가?

방법론: 라운드 로빈 행동 복제 (Round-Robin Behavior Cloning, R2BC)
저자들은 단일 에이전트 순차 데모만을 사용하여 협력적 다중 로봇 팀을 훈련하도록 설계된 온라인 모방 학습 알고리즘인 **라운드 로빈 행동 복제(R2BC)**를 제안합니다.

• 핵심 메커니즘: R2BC는 라운드 로빈 방식으로 작동합니다. 인간 데몬스트레이터는 특정 에이전트($i$)를 원격 제어하는 동안, 나머지 $N-1$개의 에이전트는 현재 학습된 정책을 바탕으로 자율적으로 실행됩니다.
• 데이터 수집: 시스템은 에이전트들을 순환하며 탐색합니다($i = 1 \dots N$). 에이전트 $i$의 데모 동안, 환경 상태는 전문가가 제어하는 에이전트와 자율 에이전트들의 결합 행동(joint action)에 따라 진화합니다. 결과적으로 생성된 상태-행동 쌍 $(o_{i,t}, a_{i,t})$은 에이전트 $i$를 위한 전용 버퍼 $D_i$에 저장됩니다.
• 훈련: 주기적으로(매 $k$번의 데모마다), 각 에이전트의 정책 $\pi_i$는 해당 데이타셋 $D_i$를 사용하여 독립적으로 행동 복제(Behavior Cloning, BC)를 통해 업데이트됩니다. 손실 함수는 정책의 출력과 데모된 행동 사이의 제곱 오차를 최소화합니다: $L(\theta_i) = \sum \|\pi_{\theta_i}(o_i) - a_i\|_2^2$.
• 분산화: 전역 상태를 결합 행동으로 매핑하는 중앙 집중식 접근 방식과 달리, R2BC는 각 에이전트가 자신의 국소적 관측값(local observation)을 개별 행동으로 매핑하는 분산 정책을 유지합니다.
• 온라인 학습: 이 방법은 온라인 체제에서 작동합니다. 데몬스트레이터가 에이전트를 전환함에 따라, (불완전하거나 학습된 정책을 실행 중인) 자율 에이전트들에 의해 도입된 "노이즈" 또는 변동성은 데모되는 에이전트를 다양한 상태 분포에 노출시킵니다. 이는 오라클 없이도 노이즈를 주입하는 효과(DART와 유사)나 교정 레이블을 제공하는 효과(DAgger와 유사)를 모사합니다.

주요 기여

1. 새로운 문제 설정: 본 논문은 "단일 에이전트 데모를 이용한 다중 에이전트 모방 학습"을 정의하고 해결함으로써, 조정된 결합 데모가 필요하다는 비현식적인 요구 사항을 제거했습니다.
2. 알고리법 제안: 제어권을 순환시켜 다중 에이전트 시스템을 반복적으로 가르칠 수 있게 함으로써, 인간이 결합 행동 공간에 대한 접근 없이도 협력적 행동을 학습할 수 있도록 하는 R2BC를 도입했습니다.
3. 성능 동등성 및 초과 달성: 저자들은 R2BC가 특권적이고 동기화된 결합 데모를 통해 훈련된 "Oracle" 결합 행동 복제(JBC) 방법의 성능을 네 가지 시뮬레이션 다중 에이전트 도메인에서 대등하게 달성하거나 능가함을 입증했습니다.
4. 실제 환경 배치: 이 방법은 물리적 로봇(HeRo+)에 성공적으로 배치되었으며, 실제 인간 데모를 통해 훈련되어 중앙 집중식 BC 베이스라인을 크게 상회하는 성능을 보여주었습니다.

실험 결과
본 논문은 R2BC를 세 가지 베이스라인인 Oracle JBC(중앙 집중식, 동기화된 데모), Oracle DAgger, Oracle DART(특권적 결합 교정이 필요한 온라인 IL 방법)와 비교 평가했습니다.

• 시뮬레이션 실험: VMAS(Vectorized Multi-Agent Simulator)를 사용하여 네 가지 작업(Navigation(3개 에이전트), Balance(짐을 운반하는 3개 에이전트), Buzz Wire(결합 역학을 가진 2개 에이전트), Transport(무거운 물체를 미는 3개 에이전트))에 대해 R2BC를 테스트했습니다.

  • R2BC는 결합 행동 데모에 대한 접근 권한이 없음에도 불구하고, Oracle JBC 베이스라인과 성능이 대등하거나 이를 능가했습니다.
  • R2BC는 DART 및 DAgger와 같은 온라인 베이스라인과 유사하게 훈련-테스트 간의 손실 격차(공변량 변화, covariate shift)를 줄이는 것을 보여주었습니다.
  • 절제 연구(Ablation Studies): 분산화(중앙 집중식 네트워크 사용) 또는 온라인 학습 측면(업데이트되지 않는 오프라인 에이전트 사용) 중 하나라도 제거하면 성능이 저하되거나 불안정해졌으며, 이는 두 요소 모두 R2BC의 성공에 필수적임을 확인시켜 줍니다.

• 물리 로봇 실험: 저자들은 세 대의 HeRo+ 로봇에 R2BC와 JBC를 배치하여 Navigation 및 Block Pushing 작업을 수행했습니다.

  • 정책은 시뮬레이션에서 수집된 실제 인간 데모를 통해 훈련되었으며 하드웨어에 직접 배포되었습니다.
  • Navigation: R2BC는 인간의 개입 없이 JBC보다 3.25배 더 우수한 성능을 보였습니다. 한 번의 인간 개입(움찔거리는 로봇을 교정)이 있었을 때, 그 격차는 3.92배로 벌어졌습니다.
  • Block Pushing: R2BC는 개입 없이 JBC보다 5.9배 더 우수한 성능을 보였습니다.
  • 통계 분석(Welch t-test)은 감독자의 개입이 허용될 때 R2BC에 유리한 유의미한 차이($p < 0.05$)를 확인했습니다.

의의 및 주장
본 논문은 온라인 단일 에이전트 데모만을 사용하여 학습하는 다중 에이전트용 행동 복제 방법을 제안하고 배포한 첫 번째 사례라고 주장합니다. R2BC의 의의는 조정된 인간 원격 제어의 가정을 완화함으로써 단일 에이전트 IL과 확장 가능한 다중 에이전트 배포 사이의 간극을 메우는 데 있습니다.

저자들은 R2BC가 인간 운영자가 여러 에이전트를 동시에 제어할 수 없는 실제 환경(예: 수색 및 구조, 창고 자동화)에서 로봇 팀을 교육하기 위한 실질적인 경로를 제공한다고 주장합니다. 데모 단계에서 자율 에이전트의 변동성을 활용함으로써, R2BC는 공변량 변화와 누적 오차를 자연스럽게 완화하며, 종종 "초인적" 또는 오라클 결합 데모에 의존하는 방법보다 뛰어난 성능을 보여줍니다. 이 연구는 현실적인 분산 데모 수집이 실현 가능할 뿐만 아니라, 전통적인 중앙 집중식 접근 방식보다 더 우수한 견고성을 제공할 수 있음을 시사합니다.