기술 요약: 제약 매니폴드 제어를 통한 안전하고 일반화 가능한 계층적 다중 에이전트 강화학습

문제 정의

다중 에이전트 시스템(MAS)은 창고 로보틱스, 자율 주행 차량, 드론 군집과 같은 안전이 필수적인 애플리케이션에서 매우 중요합니다. 이러한 시나리오에서는 에이전트들이 충돌 회피와 같은 엄격한 안전 제약을 준수하면서 효율적으로 협력해야 합니다. 기존의 접근 방식들은 다음과 같은 근본적인 트레이드오프에 직면해 있습니다:

• 학습 기반 방법론 (예: 제약 마르코프 결정 과정, CMDP): 강력한 경험적 성능을 달성하지만, 공식적인 안전 보장이 부족하며 학습 불안정성을 겪는 경우가 많습니다.
• 제어 이론 기반 방법론 (예: 제어 장벽 함수, CBF): 안전 보장을 제공하지만, 종종 지나치게 보수적인 행동, 하위 최적 경로 선택, 데드락(deadlock) 현상을 초래합니다. 또한, 많은 CBF 기반 접근 방식은 매 타임스텝마다 이차 계획법(Quadratic Program, QP)을 풀어야 하므로 상당한 계산 오버헤드를 발생시켜 학습 효율을 저해합니다.
• 계층적 접근 방식: 협업과 안전을 분리하려고 시도하지만, 계층적 강화학습의 비정상성(non-stationarity) 문제나 QP 솔버의 계산 비용을 그대로 물려받는 경우가 많습니다.

핵심 과제는 이론적 안전 보장, 학습 효율성(매 단계 QP 해결 방지), 그리고 복잡한 다중 에이전트 환경에서의 확장 가능한 협업을 동시에 달성하는 프레임워크를 개발하는 것입니다.

방법론: 계층적 매니폴드 다중 에이전트 PPO (HMM)

저자들은 협업과 안전을 두 단계로 분리하는 계층적 강화학습 프레임워크인 HMM을 제안합니다.

1. 상위 레벨: 협력적 하위 목표 계획

• 아키텍처: Multi-Agent PPO(MAPPO)를 기반으로 한 중앙 집중식 학습 및 분산 실행(CTDE) 패러다임을 활용합니다.
• 기능: 각 결정 에포크(매 $\tau$ 타임스텝마다)에서 상위 정책은 각 에이전트에 대한 하위 목표(목표 위치)를 생성합니다.
• 협업: 정책은 인접한 에이전트 및 장애물로부터 정보를 집계하기 위해 어텐션 기반 메시지 패싱을 갖춘 그래프 신경망(GNN)을 사용합니다. 이는 순열 불변성(permutation invariance)을 보장하고 다양한 수의 에이전트 및 장애물에 대해 일반화 성능을 확보합니다.
• 목적: 안전을 하위 레벨에서 처리되는 엄격한 제약 조건으로 취급하면서, 준-마르코프 결정 과정(CSMDP)에 대한 기대 할인 수익을 최대화합니다.

2. 하위 레벨: 제약 매니폴드 안전 컨트롤러

• 메커니즘: QP를 푸는 대신, 하위 레벨 컨트롤러는 제약 매니폴드(constraint manifold) 위로 명목 액션(nominal action)을 투영하여 안전을 강제합니다.
• 제약식 정식화: 안전 제약(예: 충돌 회피)은 부등식 제약 $h(s) \leq 0$으로 정의됩니다. 이는 슬랙 변수(slack variables) $\mu$를 사용하여 등식 제약 $c(s, \mu) = h(s) + \mu = 0$으로 변환되며, 확장된 상태 공간 내의 매니폴드 $\mathcal{M}$을 정의합니다.
• 제어 법칙: 컨트롤러는 액션을 매니폴드의 접공간(tangent space)으로 제한함으로써 시스템 상태가 $\mathcal{M}$ 내에 머물도록 보장합니다. 제어 입력 $u_s$는 다음과 같은 폐형식 해(closed-form solution)를 통해 계산됩니다:
  $$u_s = \underbrace{-J_u^\dagger \psi}_{\text{드리프트 보상}} - \underbrace{\lambda J_u^\dagger c}_{\text{매니폴드 수축}} + \underbrace{B_u u_{\text{ref}}}_{\text{접선 방향 액션}}$$
  • 드리프트 보상: 자연적인 시스템 드리프트를 상쇄합니다.
  • 매니폴드 수축: 수치적 오류가 발생할 경우 상태를 매니폴드로 다시 끌어당깁니다.
  • 접선 방향 액션: 에이전트가 안전한 접공간 내에서 상위 레벨의 하위 목표($u_{\text{ref}}$)를 자유롭게 따를 수 있도록 합니다.
• 효율성: 이 방식은 반복적인 QP 솔버 대신 의사 역행렬(pseudoinverse)을 이용한 효율적인 접공간 투영을 사용하여 QP 솔버를 대체합니다.

주요 기여

1. 새로운 프레임워크: 학습 가능한 상위 레벨 협업 정책과 모델 기반의 제약 매니폴드 하위 레벨 컨트롤러를 통합한 계층적 MARL 프레임워크인 HMM을 도입했습니다.
2. 이론적 안전 보장: 논문은 완만한 가정 하에, 모든 타임스텝 동안 모든 에이전트의 결합 궤적이 글로벌 안전 집합 내에 머물러 있음을 공식적으로 증명합니다.
3. 정상적 학습 역학(Stationary Learning Dynamics): 안전을 고정된 하위 레벨 컨트롤러로 오프로딩함으로써, 계층적 RL에서 흔히 발생하는 진화하는 하위 레벨 정책에 의한 비정상성 문제를 제거합니다. 이를 통해 문제를 정상적인 상위 레벨 MDP로 단순화하여 안정적인 수렴을 보장합니다.
4. 계산 효율성: 매 타임스텝마다 QP를 해결하는 대신 폐형식 투영을 사용하여 계산 효율성을 높였습니다.

실험 결과

저자들은 다양한 역학(점 질량, 자전거 모델, 쿼드 로터)을 포함하는 6가지 LiDAR 기반 환경(2D 및 3D)에서 HMM을 평가했습니다.

• 성능 및 안전성: HMM은 모든 환경에서 거의 완벽한 안전율(종종 >99%)을 달성하였으며, DGPPO, InforMARL, MAPPO-Lagrangian과 같은 베이스라인을 크게 앞질렀습니다. 학습 초기 단계에서 안전 규정을 위반하는 경향이 있는 학습 기반 베이스라인들과 달리, HMM은 전체 학습 과정 동안 안전성을 유지했습니다.
• 성공률: HMM은 높은 작업 성공률을 보여주었습니다. 이는 상위 레벨 플래너가 에이전트들이 데드락이나 하위 최적 경로에 빠지지 않도록 효과적으로 협업함을 나타냅니다. 이는 상위 레벨 협업이 결여된 "Nominal + Manifold" 변형 모델과 대조적입니다.
• 계산 효율성: NVIDIA H200 GPU에서 HMM은 QP 기반 CBF 베이스라인 대비 14.4배 빠른 학습 처리량을 달s했습니다. CBF 베이스라인이 약 5일이 소요되는 학습 과정을 HMM은 8~10시간 만에 완료했습니다.
• 일반화: 3개의 에이전트와 3개의 장애물로 훈련된 정책이 최대 21개의 에이전트 또는 장애물이 있는 시나리오에서도 효과적으로 일반화되었습니다. 베이스라인들은 에이전트/장애물 수가 증가함에 따라 안전성과 성공률이 크게 저하된 반면, HMM은 높은 성능을 유지했습니다.

의의 및 주장

본 논문은 HMM이 학습 기반 방법의 경험적 성공과 제어 이론 기반 방법의 엄격한 안전성 사이의 간극을 메운다고 주장합니다. 학습 기반의 협업과 제어 이론 기반의 안전 메커니즘을 통합함으로써, 이 프레임워크는 다중 에이전트 시스템을 위한 확장 가능하고 신뢰할 수 있는 솔루션을 제공합니다.

저자들은 다음과 같은 점을 강조합니다:

• QP의 계산 부담 없이 공식적인 안전 보장을 제공합니다.
• 정상적인 학습 역학을 유도하여 안정적인 학습을 가능하게 합니다.
• 다양한 작업 규모에 대한 강력한 일반화 능력을 입증하여, 에이전트 수나 환경 복잡도가 변동할 수 있는 실제 환경 배포에 적합함을 보여줍니다.

논문은 한계점도 인정합니다: 하위 레벨 정책은 접촉이 빈번한 조작(contact-rich manipulation)이나 물체 운송과 같이 안전 제약을 분석적으로 정의하기 어려운 복잡한 물리적 상호작용이 포함된 작업에는 덜 적합할 수 있는 제어 이론적 메커로에 의존한다는 점입니다.