DARA: Distributed Agent Reinforcement-based Adaptive routing in Flying Ad-hoc Network Environments

기술 요약: DARA – 비행 애드혹 네트워크 환경에서의 분산 에이전트 강화학습 기반 적응형 라우팅

문제 정의
무인 항공기(UAV)로 구성된 비행 애드혹 네트워크(FANET)는 전통적인 모바일 애드혹 네트워크(MANET)와 구별되는 고유한 라우팅 과제에 직면해 있다. 여기에는 매우 역동적인 3차원 토폴로지, 높은 이동성으로 인한 급격한 링크 단절, 심각한 에너지 제약, 그리고 지속적인 인프라의 부재가 포함된다. 기존의 MANET 프로토콜(예: AODV, OLSR)은 빈번한 경로 단절과 높은 오버헤드로 인해 이러한 환경에서 성능이 크게 저하된다. 마찬가지로, 기존의 FANET 특화 솔루션들은 계층적 클러스터링이나 중앙 집중식 소프트웨어 정의 네트워킹(SDN) 아키텍처에 의존하는 경우가 많다. 본 논문은 클러스터링 방식이 급격한 토폴로지 변화 시 높은 재클러스터링 비용과 제어 오버헤드를 발생시키며, 중앙 집중식 SDN 방식은 전역 상태 업데이트에 대한 의존성으로 인해 단일 장애점(single point of failure)과 지연 시간을 유발한다고 주장한다. 또한, FANET을 위한 기존의 많은 강화학습(RL) 접근 방식은 준중앙 집중형이거나 클러스터링 프레임워크 내에 내장되어 있어, 진정한 분산화를 달키지 못하고 있다.

방법론
이러한 한계를 해결하기 위해 저자들은 완전히 분산된 라우팅 프레임워크인 DARA(Distributed Agent Reinforcement-based Adaptive Routing)를 제안한다. DARA에서 모든 UAV는 Q-러닝을 사용하는 독립적이고 자율적인 학습 에이전트로 동작한다. 이 시스템은 클러스터 헤드나 중앙 컨트롤러에 의존하지 않는다.

• 네트워크 모델: 아키텍처는 데이터 수집을 담당하는 저고도 플랫폼(LAP) UAV와 재난 관리 스테이션(DMS)으로의 항공 중계 역할을 하는 고고도 플랫폼(HAP) UAV로 구성된다.
• 상태 표현(State Representation): 각 에이전트는 잔여 에너지, 링크 품질(RSSI, 패킷 수신율, 링크 유효 시간의 가중 결합), 가장 가까운 HAP까지의 거리, 이웃의 상대 속도, 그리고 이웃 버퍼 점유율을 포함하는 로컬 상태 벡터를 구축한다.
• 행동 공간(Action Space): 행동은 링크 품질 임계값과 HAP를 향한 전진 진행도를 기준으로 필터링된 후보 후보군으로부터 다음 홉(next-hop) 이웃을 선택하는 것이다.
• 보상 함수(Reward Function): 에이전트는 패킷 전달 신뢰도(PDR), 링크 품질, 에너지 소비, 그리고 혼잡 회피(버퍼 점유율)라는 네 가지 목적을 균형 있게 최적화하도록 설계된 스칼라 보상을 받는다. 보상 함수는 에너지 집약적인 전송과 혼잡한 노드로의 전달에 대해 페널티를 부여한다.
• 운영 워크플로우: 프로토콜은 세 단계로 작동한다:
  1. 비콘 방출(Beacon Emission): 이웃 테이블을 유지하기 위해 로컬 상태(위치, 에너지, 속도)를 주기적으로 브로드캐스트한다.
  2. 제어 에포크(Control Epoch): RL 기반의 결정 주기로, 에이전트는 Q-테이블( $\epsilon$-greedy 정책 사용)을 기반으로 다음 홉을 선택하고, 패킷을 전송하며, 결과(ACK/타임아웃)를 관찰한 후 Q-값을 업데이트한다.
  3. 중계 동작(Relay Behavior): 수신 노드는 중복 여부를 확인하고, 범위 내에 있는 경우 직접 HAP 전송을 시도하거나, 자체 로컬 RL 에이전트에 의해 선택된 다음 홉으로 패킷을 전달한다.

주요 기여
본 논문은 네 가지 주요 기여를 설명한다:

1. 분산 프레임워크: 각 UAV가 독립적인 RL 에이전트로 작동하는 완전 분산형 라우팅 프레임워크를 도입하여, 클러스터 구조 및 중앙 집중식 코디네이터와 관련된 병목 현상을 제거하였다.
2. 다목적 보상 설계: 링크 신뢰성, 라우팅 안정성, 혼잡 회피 및 에너지 사용을 공동으로 최적화하는 컴팩트한 상태 표현과 다목적 보상 함수를 개발하였다.
3. 경량 알고리즘: 비콘 교환, RL 기반의 다음 홉 선택, 그리고 중계 동작을 위한 실용적인 알고리즘을 설계하여, 자원이 제한된 UAV에서 효율적으로 실행 가능한 3단계 워크플로우를 형성하였다.
4. 포괄적 평가: 다양한 모빌리티 모델과 트래픽 패턴에 걸쳐 DARA를 AODV, EMASS, ESOFCluster와 같은 확립된 베이스라인과 검증하기 위해 ns-3와 ns3-gym을 결합한 광범의 시뮬레이션을 수행하였다.

결과
30~50개의 LAP와 10–25 m/s의 다양한 이동 속도를 가진 2km $\times$ 2km 영역에서 수행된 시뮬레이션 결과, DARA는 베이스라인 프로토콜들을 일관되게 능가하는 성능을 보여주었다:

• 패킷 전달 비율 (PDR): DARA는 베이스라인 대비 10–25%의 개선을 달성하였으며, 특히 전통적인 프로토콜이 불안정한 링크로 인해 어려움을 겪는 고이동성 및 고밀도 시나리오에서 가장 큰 이득을 보였다.
• 종단 간 지연 (End-to-End Delay): DARA는 경로 탐색 플러딩(flooding)과 클러스터 유지 오버헤드를 피함으로써 AODV 및 클러스터링 기반 방식에 비해 지연 시간을 20–45% 감소시켰다.
• 처리량 (Throughput): DARA는 안정적인 링크를 효율적으로 활용하고 혼잡 핫스팟을 피함으로써 18–40% 더 높은 처리량을 유지한다.
• 라우팅 오버헤드: DARA는 경로 탐색 플러딩과 클러스터 재선출 신호 전달을 제거함으로써 제어 오버헤드를 베이스라인 대비 45–65% 줄였다.
• 에너지 효율성: 라우팅 관련 에너지 소비가 25–45% 감소하였는데, 이는 주로 과도한 제어 신호 전달을 제거하고 에너지 효율적인 경로를 선택한 데 기 есть다.
• 링크 안정성: DARA는 훨씬 더 긴 링크 보유 시간을 유지하며, 이는 3D 모빌리티에 대한 우수한 적응성을 나타낸다.

의의 및 주장
본 논문은 DARA가 차세대 자율 UAV 네트워크를 위한 확장 가능하고 견고한 솔루션으로서 분산된 강화학습 기반 라우팅의 잠재력을 입증한다고 주장한다. 지능을 네트워크 엣지로 밀어내고 오직 로컬 상호작용에만 의존함으로써, DARA는 중앙 집중식 및 계층적 접근 방식의 핵심적인 한계인 제어 평면(control-plane) 병목 현상과 단일 장애점을 해결한다. 저자들은 "프리-클러스터링(free-clustering)" 설계가 제어 복잡성을 최소화함으로써 네트워크 효율성을 직접적으로 향상시켜야 하는 매우 역동적인 환경에서 특히 유리하다고 단언한다.

논문은 테이블 기반 Q-러닝의 매우 큰 상태 공간에서의 확장성 문제와 현재의 완전 협력적 동작 가정에 대한 한계를 인정하며 겸허하게 결론을 맺는다. 향후 연구로는 더 나은 일반화를 위한 심층 강화학습(Deep RL)의 통합과 적대적 환경을 위한 보안 메커즘의 도입이 제안되었다.