기술 요약: CrazyMARL

문제 정의

무인 항공기(UAV) 팀에 의한 케이블 현수 페이로드의 협력 운송은 페이로드 용량을 증대시키고 불규칙한 하중에 적응할 수 있는 상당한 잠재력을 제공한다. 그러나 이러한 시스템을 제어하는 것은 복잡한 진자 역학, 장력 결합, 그리고 "느슨한(slack)" 상태와 "팽팽한(taut)" 상태 사이의 전환으로 인해 매우 까다롭다. 기존의 제어 전략들은 다음과 같은 구체적인 한계에 직면해 있다:

• 모델 기반 접근 방식은 종종 케이블을 강체 막대로 가정하는데, 이는 하이브리드 역학(느슨함-팽팽함 전환)을 포착하지 못하고 민첩성을 제한한다. 중앙 집중식 방법은 확장성 병목 현상과 단일 장애점 문제를 겪으며, 분산형 모델 기반 제어기는 성능 보장을 결여하거나 반복적인 통신 문제로 어려움을 겪을 수 있다.
• 강화 학습(RL) 접근 방식은 단일 에이전트 시나리오와 일부 다중 에이전트 작업에서 유망함을 보여주었으나, 다중 UAV 페이로드 운송 분야의 기존 연구는 주로 강체 연결 가정을 사용하거나 통신 오버헤드가 필요한 중앙 집중식 훈련 및 분산 실행(CTDE) 구조에 의존해 왔다.
• 하드웨어 제약 사항: 대부분의 기존 방법은 자원 제약이 있는 온보드 마이크로컨트롤러(예: Crazyflie 2.1)에서 작동하는 다중 로봇의 제어를 다루지 않으며, 특히 추력 대 중량비가 낮아 모터 포화 근처에서 작동하는 경우가 흔한 상황을 고려하지 않는다.

방법론

저자들은 현실적인 케이블 역학을 가진 협력 항공 운송을 위해 설계된 분산형 다중 에이전트 강화 학습(MARL) 프레임워크인 CrazyMARL을 제안한다.

1. 프레임워크 및 아키텍처

• 알고리즘: 시스템은 파라미터 공유를 포함한 **독립적 근사 정책 최적화(IPPO)**를 활용한다. 이는 각 에이전트가 로봇 간 통신 없이 로컬 관측값에 기반하여 행동하는 완전한 분산 실행 체계를 따르며, 이를 통해 확장성 병목 현상을 방지한다.
• 훈련 파이프라인: 훈련은 JAX 및 MuJoCo MJX를 사용하여 GPU 상에서 엔드 투 엔드(end-to-end)로 수행되며, 수천 개의 병렬 환경을 허용한다. 이 고처리량 설정은 짧은 시간 내에 광범위한 도메인 무작위화(DR)를 가능하게 한다(70분 동안 20억 단계 학습).
• 관측 공간: 각 에이전트 $i$는 다음을 포함하는 로컬 관측값 $o^i_t$를 받는다:
  • 페이로드 오차($e^P_t$) 및 속도($v^P_t$).
  • 에이전트의 상대적 위치($\delta^i_t$), 방향($vec(R^i_t)$), 및 속도($v^i_t, \omega^i_t$).
  • 에이전트의 이전 행동($a^i_{t-1}$).
  • 협업을 위한 팀원들의 상대적 위치($\{\delta^j_t\}_{j \neq i}$).
• 행동 공간: 에이전트는 250 Hz에서 펄스 폭 변조(PWM) 듀티 사이클로 직접 매핑되는 정규화된 모터 명령을 출력한다. 이 정책은 저수준 계층형 제어기(예: PID 또는 추력 혼합)를 우회하여 모터 구동에 직접 매핑됨으로써 물리적 한계 근처에서 효과적으로 작동한다.

2. 시뮬레이션 및 역학

• 하이브리드 케이블 모델: 강체 막대를 사용하는 기존 연구와 달리, 본 시뮬레이션은 케이블이 팽팽할 때만 장력을 가하고 느슨할 때는 힘을 가하지 않는 Mujoco 텐던(tendon)을 사용하여 케이블을 모델링한다. 이는 민첩한 기동에 필수적인 하이브리드 느슨함-팽팽함 역학을 포착한다.
• 도메인 무작위화 (DR): 실세계 전이(sim-to-real)의 견고성을 보장하기 위해 훈련에는 다음의 무작위화가 포함된다:
  • 초기 상태 (지면 시작 및 느슨한 케이블 포함).
  • 액추에이터 파라미터 (추력 상한, 시상수, 모터 오프셋).
  • 관측 노이즈 및 확률적 외부 교란 (바람, 밀기).
  • 목표 위치.

3. 보상 설계

모듈형 복합 보상 함수 $r = r_{track} \cdot r_{stable} + r_{safe}$가 사용된다:

• 추적 ($r_{track}$): 페이로드 오차를 최소화하고 페이로드 속도를 목표와 일치시킨다.
• 안정성 ($r_{stable}$): 과도한 흔들림, 기울어짐 및 속도를 억제하며, 팽팽한 케이블을 유지하도록 유도한다.
• 안전 ($r_{safe}$): 부드러운 동작, 균형 잡힌 모터 추력 및 충돌 회피를 장려한다.
  보상 항들은 매끄러운 그래디언트를 촉진하고 에이전트가 에피소드를 조기에 종료하는 것을 방지하기 위해 [0, 1] 범위로 제한된다.

주요 기여

1. 엔드 투 엔드 분산 제어: 저추력 대 중량비 로봇(Crazyflie 2.1과 같은 자원 제약 플랫폼)에 특화되어, 저수준 계층 없이 직접 모터 PWM 명령을 출력하는 최초의 다중 UAV 케이블 현수 운송용 분산형 MARL 정책을 입증하였다.
2. 하이브리드 케이블 역학: 프레임워크는 케이블이 느슨한 상태와 팽팽한 상태 사이의 전환을 명시적으로 모델링하고 제어하는 법을 학습하며, 이는 기존의 강체 연결 가정 기반 연구에서는 다루지 않았던 능력이다.
3. 제로샷 심-투-리얼 전이 (Zero-Shot Sim-to-Real Transfer): 미세 조정 없이 학습된 정책을 실제 하드웨어(Crazyflie 2.1)에 성공적으로 배포하여 바람, 외부 충격 및 가혹한 초기 조건에 대한 견고성을 입증하였다.
4. 고처리량 훈련 파이프라인: 복잡한 다중 로봇 정책을 몇 분 만에 훈련할 수 있는 GPU 병렬화된 JAX/MJX 파이프라인을 통해, 전통적인 방법보다 반복 주기를 크게 단축하였다.

실험 결과

시뮬레이션

• 교란 제거: 가혹한 회복 시나리오(무작위화된 초기 상태, 지면 시작 및 느슨한 케이블 포함)에서 CrazyMARL 정책은 80%의 회복률(1000회 시도 중 797회 성공)을 달owed하며, 베이스라인 모델 기반 제어기(44% 성공률)를 크게 압도했다.
• 민첩성: 학습된 정책은 베이스라인의 0.27 m/s에 비해 0.58 m/s의 평균 속도를 유지했으며, 페이로드 흔들림을 더 빠르게 감쇄시키고 더 직접적인 궤적을 보여주었다.
• 일반화: 정책은 케이블 길이, 페이로드 질량 및 관측 노이즈의 변화에 잘 일반화되었으나, 매우 긴 케이블(>1m)이나 극단적인 노이즈 규모에서는 성능이 저하되었다.
• 확장성: 시스템은 1대에서 3대의 쿼드로터까지 성공적으로 확장되었다. 6대의 쿼드로터 팀은 협업 한계(조기 종료)를 보였으나, 프레임워크는 소규모 팀에 대해 효과적인 부하 분담 및 회복 능력을 입여주었다.

하드웨어 (실제 환경)

• 플랫폼: 10g 페이로드를 운반하는 두 대의 Crazyflie 2.1 쿼드로터에 배치되었다.
• 성능: 시스템은 자율 이륙을 수행하고 평균 3.5 m/s의 풍속에서도 안정적인 비행을 유지했다.
• 정밀도: 정책은 바람이 부는 조건에서 0.077 m의 위치 유지 제곱평균제곱근 오차(RMSE)를 유지하였으며, 이는 잔잔한 조건에서의 0.064 m RMSE에 비해 약간 증가한 수준이다.
• 견고성: 로봇들은 강한 외부 충격으로부터 성공적으로 회복하였으며, 페이로드를 동반한 8자 궤적을 유지하였다. 이는 베이스라인 제어기가 달성할 수 없었던 능력이다.

의의 및 주장

본 논문은 CrazyMARL이 구조화되지 않은 환경에서 협력적 항공 조작을 위한 확장 가능하고 탄력적인 솔루션을 제공한다고 주장한다. 분산 실행과 직접 모터 제어, 그리고 현실적인 하이브리드 케이블 역학을 결합함으로써, 이 연구는 UAV 팀이 물리적 구동 한계 근처에서 작동하면서도 교란을 거부할 수 있게 한다. 저자들은 이 연구를 모델링 부정확성과 통신 오버헤드로 인해 전통적인 모델 기반 제어기가 어려움을 겪는 복잡한 페이로드 임무를 수행할 수 있는 자율 팀을 향한 단계로 규정한다. 저추력 대 중량비 로봇을 이용한 성공적인 제로샷 실세계 전이는 고주파수 엔드 투 엔드 RL 정책의 실질적인 생존 가능성을 강조한다.