Task Offloading in Multi-UAV Edge Computing Using an Improved Multi- Agent Proximal Policy Optimization Approach

기술 요약: 개선된 다중 에이전트 근사 정책 최적화(MAPPO) 접근 방식을 이용한 멀티 UAV 엣지 컴퓨팅에서의 태스크 오프로딩

문제 정의
본 논문은 대규모의 이기종 무인 항공기(UAV) 군집이 운용되는 모바일 엣지 컴퓨팅(MEC) 환경에서 에너지 효율적인 태스크 오프로딩 문제를 다룹니다. 검사, 물류, 비상 통신 등 UAV 애플리케이션이 증가함에 따라, 탑재된 계산 및 에너지 자원이 병목 현상의 원인이 되고 있습니다. 태스크를 엣지 또는 클라우드 서버로 오프로딩하는 것이 해결책이 될 수 있으나, 멀티 UAV 환경은 다음과 같은 상당한 어려움을 수반합니다:

• 부분 관측 가능성(Partial Observability): UAV는 전역 시스템 상태가 아닌 로컬 정보(예: 로컬 큐 상태, 채널 조건)에만 접근할 수 있습니다.
• 동적 조건(Dynamic Conditions): UAV의 이동성으로 인해 무선 링크 품질, 서버 접근성, 태스크 도착률이 급격히 변동합니다.
• 자원 경합(Resource Contention): 여러 에이전트의 동시 접속은 공유 엣지 서버에서의 채널 간섭과 큐 혼잡을 초래합니다.
• 확장성 문제(Scalability Issues): 전통적인 최적화 방법은 실시간으로 높은 계산 복잡도를 보이며, 기존의 다중 에이전트 강화 학습(MARL) 접근 방식은 군집 규모가 커짐에 따라 불안정한 정책 학습과 비효율적인 상호작용 모델링 문제에 직면합니다.

본 연구의 목표는 이러한 동적이고 부분적으로 관측 가능한 제약 조건 하에서 태스크 실행 요구 사항을 충족하면서 UAV 군집의 총 에너지 소비를 최소화하는 것입니다.

방법론
저자들은 이 문제를 분산 부분 관측 마르코프 결정 과정(Dec-POMDP)으로 정식화합니다. 이를 해결하기 위해, 개선된 다중 에이전트 근사 정책 최적화(MAPPO) 프레임워크인 SS-MAPPO를 제안합니다. 시스템 아키텍처는 세 개의 계층으로 구성됩니다:

1. UAV 계층: 태스크를 생성하는 이기종 UAV(경량, 중량, 중량급).
2. 엣지 서버 계층: 부하 분산을 관리하기 위해 태스크 우선순위 큐를 갖춘 엣지 서버(ES)의 공유 풀.
3. 클라우드 계층: 헤비 오프로딩을 위한 강력한 클라우드 서버.

SS-MAPPO 프레임워크는 중앙 집중식 훈련 및 분산 실행 패러다임을 따르는 표준 MAPPO에 두 가지 구체적인 구조적 개선 사항을 도입합니다:

1. 가우시안 기반 잠재 정책 표현 (Actor): 액터(Actor)는 관측값을 직접 이산적 액션 로짓(action logits)으로 매핑하는 대신, 먼저 관측값을 잠재 가우시안 분포로 인코딩합니다. 재매개변수화(reparameterization)를 통해 잠재 변수를 샘플링한 후 이를 이산 액션 분포로 투영합니다. 이 중간 확률 층은 큐 상태와 채널 조건의 급격한 변동으로 인한 급격한 액션 변화를 줄이고 정책 업데이트를 부드럽게 하도록 설계되었습니다.
2. Top-K 희소 어텐션 메커니즘 (Critic): 중앙 집중형 크리틱(Critic)에서는 밀집(dense) 어텐션 대신 Top-K 희소 어텐션을 사용합니다. 각 에이전트는 어텐션 점수를 기반으로 가장 관련성이 높은 $K$개의 이웃 에이전트에만 집중합니다. 이는 에이전트 간 상호작용 모델링의 계산 오버헤드를 $O(N^2)$에서 $O(N \cdot K)$로 줄여, 자원 경합과 관련된 핵심적인 에이전트 간 의존성을 유지하면서 대규모 군집에 대한 확장성을 높입니다.

보상 함수는 음의 정규화된 에너지 비용으로 설계되었으며, 제약 조건 위반(예: 에너지 제한) 및 서버 오버플로에 대한 페널티 항이 추가되었습니다.

주요 기여

1. 시스템 아키텍처: 자원 경합과 큐 역학을 현실적으로 모델링하기 위해 공유 엣지 서버 풀과 태스크 우선순위 큐를 포함하는 이기종 3계층(UAV-Edge-Cloud) 오프로딩 아키텍처를 구축하였습니다.
2. 알고리즘 혁신: 확장성을 개선하기 위한 Top-K 희소 어텐션 메커니즘과 동적 환경에서의 이산 의사결정을 안정화하기 위한 가우시안 기반 잠재 정책 표현을 통합한 SS-MAPPO 프레임워크를 개발하였습니다.
3. 실증적 검증: 표준 MAPPO, MADDPG, MATD3 및 고전적 휴리스틱(유전 알고리즘, 시뮬레이티드 어닐링, 라운드 로빈)을 포함한 베이스라인 모델들과 비교하여 포괄적인 시뮬레이션 실험을 수행하였습니다.

결과
최대 120대의 UAV와 다양한 태스크 부하를 대상으로 실시한 시뮬레이션 결과, SS-MAPPO는 여러 주요 지표에서 베이스라인 방법들을 능가하는 성능을 보였습니다:

• 에너지 효율성: SS-MAPPO는 다양한 군집 규모와 태스크 데이터 볼륨에 대해 MAPPO, MADDPG, MATD3 및 휴리스틱 알고리즘보다 낮은 총 에너지 소비를 달야했습니다.
• 수렴 속도: SS-MAPPO는 MAPPO(약 60 에피소드)보다 빠르게 수렴(약 50 에피소드에서 안정화)하였으며, 느린 수렴과 높은 변동성을 보인 MADDPG/MATD3보다 훨씬 빠르게 수렴했습니다.
• 확장성: UAV 수가 증가함에 따라 SS-MAPPO의 에너지 소비는 베이스라인들에 비해 더 완만하게 상승하여 더 나은 확장성을 입증했습니다.
• 안정성: SS-MAPPO는 시간 경과에 따른 에너지 소비의 표준 편차가 더 낮게 나타났으며, 이는 더 일관되고 안정적인 의사결정을 시사합니다. 가우시안 잠재 표현과 희소 어텐션이 이러한 의사결정 변동을 줄이는 데 기여한 것으로 분석됩니다.
• 강건성: 본 방법론은 다양한 태스크 크기(300 KB ~ 3300 KB)에 걸쳐 성능을 유지하며, 휴리스틱 접근 방식에 비해 태스크 규모 변화에 대한 민감도가 낮음을 보여주었습니다.

의의 및 주장
본 논문은 SS-MAPPO가 동적인 멀티 UAV 엣지 컴퓨팅 환경에서 에너지 인지적 협력 오프로딩을 위한 유망한 접근 방식임을 주장합니다. 본 연구의 의의는 대규모 시스템에서 기존 MARL 방법의 특정 한계를 해결했다는 점에 있습니다:

• 밀집된 에이전트 상호작용과 관련된 "차원의 저주" 및 계산 오버헤드를 희소 어텐션을 통해 완화합니다.
• 잠재 정책 표현을 통해 부분 관측 가능성 하에서의 이산 오프로딩 액션에 대한 훈련 및 의사결정의 안정성을 향상시킵니다.
• 자원이 제한적이고 시간에 따라 변하는 네트워크에서 계산 효율성과 의사결정 품질 사이의 트레이드오프를 균형 있게 조절하는 확장 가능한 솔루션을 제공합니다.

저자들은 현재 모델이 고정된 비행 경로와 전체 오프로딩 모드를 가정하고 있다는 한계점을 인정하며, 향후 연구에서 유연한 이동 패턴, 부분 오프로딩 전략 및 복잡한 태스크 의존성을 탐구할 것을 제안합니다.