기술 요약: UAV 모빌리티 관리를 위한 계층적 다중 에이전트 DRL 기반 동적 클러스터 재구성

1. 문제 정의

본 논문은 다중 연결 무선 간섭 네트워크에서 무인 항공기(UAV)의 모빌리티 관리 문제를 다룹니다. 단일 액세스 포인트(AP)에 연결되는 전통적인 셀 중심 네트워크와 달리, 다중 연결 아키텍처(예: 셀 프리 네트워크, CoMP)는 분산된 AP들의 동적 클러스터를 통해 사용자를 서비스합니다. 이러한 패러다임은 고이동성 3D UAV 궤적에 대한 견고성을 제공하지만, 다음과 같은 세 가지 핵심 과제를 야기합니다:

1. 유한 블록 길이 하의 신뢰성: UAV 명령 및 제어 애플리케이션은 초신뢰 저지연 통신(URLLC)을 요구합니다. 유한 블록 길이 영역에서는 디코딩 오류 확률이 0이 아니므로, 신뢰성 목표를 달기 위해 엄격한 신호 대 간섭 및 잡음비(SINR) 제약 조건이 필요합니다.
2. 에너지 효율성: 여러 AP로부터의 동시 전송은 총 전력 소비를 증가시킵니다. 시스템은 통신 품질을 유지하면서 공동 전력 소비를 최소화해야 합니다.
3. 클러스터 안정성: 사용자가 이동함에 따라 서비스 클러스터가 빈번하게 재구성되면 상당한 제어 오버헤드와 지연이 발생합니다. 시스템은 서비스 품질(QoS)을 저해하지 않으면서 재구성 빈도를 최소화해야 합니다.

기존의 최적화, 매칭 및 게임 이론적 접근 방식은 완벽하고 실시간적인 채널 상태 정보(CSI)에 의존하며 네트워크 크기가 증가함에 따라 확장성이 떨어지기 때문에 이러한 문제들을 해결하는 데 어려움이 있습니다. 심층 강화 학습(DRL)은 적응성을 제공하지만, 중앙 집중식 DRL은 확장성이 부족하고, 표준 다중 에이전트 DRL(MADRL)은 부분 관측 가능성(partial observability)과 이질적이고 밀접하게 결합된 목적 함수(클러스터링 vs. 전력 제어)의 복잡성으로 인해 성능 제한을 겪는 경우가 많습니다.

2. 방법론

저자들은 **계층적 다중 에이전트 근사 정책 최적화(H-MAPPO)**로 구현된 계층적 다중 에이전트 심층 강화 학습(H-MADRL) 프레임워크를 제안합니다. 이 접근 방식은 결합 최적화 문제를 서로 의존적인 두 개의 하위 문제로 분해하며, 이는 서로 다른 네트워크 레벨의 에이전트에 의해 관리됩니다.

시스템 아키텍처

• 상위 레벨 에이전트 (엣지 클라우드): 동적 클러스터 재구성을 담당합니다. 글로벌 네트워크 상태(사용자 위치, AP 부하, 채널 조건)를 관찰하고 각 UAV를 위한 최적의 서빙 클러스터 $\Gamma$를 결정합니다.
• 하위 레벨 에이전트 (AP): 에너지 효율적 전력 할당을 담당합니다. 각 AP는 독립적인 에이전트로서 작동하며, 상위 레벨 에이전트로부터 받은 클러스터링 결정과 로컬 관찰 결과에 기반하여 할당된 사용자에게 전송 전력을 할당합니다.

혁신적 메커니즘: 행동-관찰 전이(Action-Observation Transition)

MADRL의 부분 관측 가능성 문제를 해결하고 협업을 개선하기 위해, 본 논문은 행동-관찰 전이 메커니즘을 도입합니다. 상위 레벨 에이전트가 취한 행동(클러스터링 결정)이 하위 레벨 에이전트의 관찰 공간에 직접 주입됩니다. 이를 통해 하위 레벨 에이전트는 글로벌 클러스터링 맥락을 로컬 전력 할당 결정에 통합할 수 있으며, 하위 레벨 정책이 상위 레벨 전략에 의해 유도되는 응집력 있는 시스템을 구축할 수 있습니다.

수학적 정식화

문제는 부분 관측 마르코프 결정 과정(POMDP)으로 모델링됩니다.

• 목표: 다음 제약 조건을 준-수하면서 클러스터 안정성(재구성 최소화)과 에너지 효율성(단위 전력당 전송 비트 최대화)의 가중치 합을 최대화합니다:
  • 유한 블록 길이 정보 이론에서 도출된 최대 디코딩 오류 확률($\varepsilon_{max}$) 제약.
  • 최대 전송 전력 제약($P_{max}$).
  • 최소 SINR 임계값($\gamma_{th}$).
• 보상 함수:
  • 상위 레벨: 안정적인 클러스터에 보상을 주고 SINR 장애(outage)에 페널티를 부여합니다.
  • 하위 레벨: 전력 최소화에 보상을 주고 오류 확률 위반에 페널티를 부여합니다.

학습 및 배포

프레임워크는 상위 레벨 에이전트를 위해 **근사 정책 최식화(PPO)**를, 하위 레벨 에이전트들을 위해 **다중 에이전트 PPO(MAPPO)**를 사용하여 학습됩니다. 학습은 온폴리시 롤아웃(on-policy rollouts)을 사용하는 디지털 트윈 환경(OpenAI Gym 및 Ray RLlib)에서 수행됩니다. 결과물인 정책은 "동결된(frozen)" 네트워크로 배포되며, 여기서 엣지 클라우드는 광학 백홀을 통해 클러스터링 명령을 발행하고, AP는 온라인 탐색 없이 로컬 추론을 수행하여 전력 제어를 수행합니다.

3. 주요 기여

1. 최적화 정식화: 저자들은 유한 블록 길이 신뢰성 및 오류 확률을 명시적으로 고려하여, 무선 간섭 네트워크에서의 결합 동적 클러스터링 및 전력 할당을 위한 다목적 최적화 문제를 정식화했습니다.
2. 계층적 프레임워크: 클러스터링과 전력 제어를 분리하는 확장 가능한 H-MADRL 프레임워크를 제안하여, 확장성과 성능 사이의 균형을 맞추며 클러스터링은 상위 레벨 에이전트가, 분산된 하위 레벨 AP 에이전트가 전력을 최적화하도록 합니다.
3. 행동-관찰 전이: 상위 레벨 에이전트의 행동(클러스터링)이 하위 레벨 에이전트의 관찰 공간의 일부가 되는 혁신적인 메커니즘을 도입했습니다. 이는 협업을 강화하고 하위 레벨 에이전트가 글로벌 클러스터링 맥락에 따라 전력을 더 효율적으로 할당할 수 있도록 합니다.
4. 검증: 제안된 H-MAPPO 알고리즘의 타당성과 성능을 중앙 집중식 및 분산형 베이스라인 모델들과의 광범에한 수치 시뮬레이션을 통해 검증했습니다.

4. 수치 결과

본 논문은 H-MAPPO를 MSAC(중앙 집중식), 표준 MAPPO(분산형), 기회적(Opportunistic) 클러스터링, JCPC(최적화 기반), 그리고 "가장 가까운(Closest)" AP 방식과 비교합니다.

• 학습 효율성: H-MAPPO는 분산형 MAPPO 베이스라인보다 약 15% 빠르게 수렴하며 더 높은 누적 보상을 달성합니다. 계층적 분해는 행동 공간을 단순화하여 더 빠른 탐색과 안정화를 돕습니다.
• 신뢰성 (장애 확률): H-MAPPO는 최적화 기반 방식인 JCPC($10^{-9}$)와 유사한 $10^{-8}$ 수준의 SINR 장애 확률을 달성하며, 이는 중앙 집중식 MSAC($10^{-5}$) 및 분산형 MAPPO보다 현저히 우수한 성능입니다. 이는 엄격한 디코딩 오류 확률(DEP) 임계값을 효과적으로 충족합니다.
• 전력 효율성: H-MAPPO는 학습 기반 방법들 중 가장 낮은 총 전송 전력으로 요구되는 신뢰성을 달성합니다. 90%의 사례에서 가용 전력의 60% 미만으로 작동하는 반면, 비학습 기회적 방식들은 90% 이상의 전력을 사용합니다.
• 클러스터 안정성: H-MAPPO는 클러스터 재구성 비율이 **9%**에 불과하여 우수한 안정성을 보여주었습니다(JCPC 최적화 방식은 83%). 이는 학습 에이전트가 불필요한 재구성을 피하기 위해 장기적인 모빌리티 패턴을 성공적으로 포착했음을 나타냅니다.
• 확장성: AP의 수가 두 배로 증가할 때(16개에서 32개로), H-MAPPO의 결정 시간은 **10%**만 증가합니다. 반면, 중앙 집중식 MSAC 방식은 결정 시간이 90% 증가하고, 표준 MAPPO는 70% 증가합니다. 이는 계층적 접근 방식의 탁월한 확장성을 강조합니다.

5. 의의 및 주장

본 논문은 제안된 H-MAPPO 프레임워크가 다중 연결 UAV 네트워크에서 확장성과 성능 사이의 트레이드오프를 해결하는 실질적인 솔루션을 제공한다고 주장합니다. 문제를 분해하고 행동-관찰 전이 메커니즘을 활용함으로써, 시스템은 다음을 달 성합니다:

• 중앙 집중식 최적화(특히 신뢰성 및 전력 효율성 측면)와 대등한 성능을 보이면서도 훨씬 뛰어난 확장성을 확보합니다.
• 클러스터 재구성을 최소화하여 제어 오버헤드를 감소시킵니다.
• 엄격한 신뢰성 제약을 충족하면서도 과잉 프로비저닝 없이 동적으로 전력 할당을 조정함으로써 에너지 효율성을 높입니다.

저자들은 결론적으로, 이러한 계층적 접근 방식이 분산 학습의 적응성과 역동적인 3D 모빌리티 시나리오에서 요구되는 조율(coordination) 사이의 간극을 효과적으로 메운다고 밝힙니다. 또한 레벨 간의 조율 복잡성과 중앙 상위 컨트롤러에 대한 의존성이라는 한계를 인정하며, 향후 연구에서 완전히 분산된 계층적 정식화를 탐구할 수 있음을 시사합니다.