기술 요약: WDQAR - FANET를 위한 가중치 기반 더블 Q-러닝 기반 적응형 라우팅 프로토콜

1. 문제 정의

무인 항공기(UAV)로 구성된 비행 애드혹 네트워크(FANET)는 노드의 급격한 이동성, 빈번한 토폴로지 변화, 불안정한 통신 링크로 인해 신뢰할 수 있는 라우팅을 유지하는 데 상당한 어려움을 겪고 있습니다. 기존의 모바일 애드혹 네트워크(MANET) 및 차량 애드혹 네트워크(VANET)용 라우팅 프로토콜들이 존재하지만, 높은 제어 오버헤드, 위치 부정확성에 대한 민감도, 동적 조건으로부터의 학습 능력 부재로 인해 FANET의 요구 사항을 충족하지 못하는 경우가 많습니다.

구체적으로, Q-러닝 기반 라우팅 프로토콜은 적응형임에도 불구하고 다음과 같은 세 가지 주요 한계점을 가집 most니다:

1. 편향된 Q-값 추정: 전통적인 Q-러닝은 행동 선택과 가치 평가에 동일한 Q-테이블을 사용하기 때문에 미래 가치를 과대평가하는 경향이 있습니다.
2. 느린 수렴 속도: Q-값의 무작위 또는 제로 초기화는 비효율적인 초기 탐색과 현재 네트워크 환경에 대한 느린 적응을 초반에 초래합니다.
3. 높은 제어 오버헤드: 정적인 HELLO 메시지 전송 간격은 (간격이 너무 길 경우) 오래된 토폴로지 정보를 제공하거나, (간격이 너무 짧을 경우) 과도한 제어 트래픽을 발생시켜, 변화하는 링크 지속 시간과 노드 속도에 적응하지 못합니다.

2. 방법론: WDQAR

본 논문은 앞서 언급한 문제들을 해결하기 위해 설계된 2단계 프로토콜인 WDQAR(Weighted Double Q-Learning based Adaptive Routing)을 제안합니다. 이 프로토콜은 UAV들이 지상 제어 스테이션(GCS)과 통신하는 3D 재난 모니터링 시나리오 내에서 작동합니다.

2.1 적응형 이웃 발견 (Adaptive Neighbor Discovery)

토폴로지 변화를 효율적으로 관리하기 위해, WDQAR는 동적인 HELLO 메시지 브로드캐스트 간격 조정 메커니즘을 도입합니다.

• 메커니즘: 고정된 간격 대신, 브로드캐스트 주기($HP_i^t$)는 예측된 **링크 지속 시간($LD_{ij}$)**과 노드와 이웃 간의 속도 벡터에 대한 **코사인 유사도($CS_i^t$)**를 기반으로 계산됩니다.
• 로직: 노드들이 빠르게 멀어지거나(낮은 링크 지속 시간) 속도가 서로 다르면(발산하는 속도), 이웃 테이블을 빠르게 업데이트하기 위해 간격을 단축합니다. 토폴로지가 안정적이면 제어 오버헤드를 줄이기 위해 간격을 늘립니다.
• 범위: 간격은 극단적인 값을 방지하기 위해 $[HP_{min}, HP_{max}]$ 내로 제한됩니다.

2.2 라우팅 결정 모듈

라우팅 단계에서는 몇 가지 특정 최적화가 적용된 강화 학습 프레임워크를 사용합니다.

A. 후보 이웃 필터링 (Candidate Neighbor Filtering)

행동 공간(action space)을 줄이고 수렴을 가속화하기 위해, 프로토콜은 섹터 기반 메커니즘을 사용하여 잠재적인 다음 홉(next hop)을 필터링합니다.

• 현재 노드를 중심으로 하고 GCS를 중심 축으로 하는 구형 섹터(spherical sector)와 반각($\phi \approx 60^\circ$)이 정의됩니다.
• 이 섹터 내에 있는 이웃들만이 주요 후보로 고려됩니다. 만약 섹터 내에 이웃이 존재하지 않으면, 프로토콜은 그리디(greedy) 후보 집합(GCS에 더 가까운 노드들)으로 전환합니다.

B. Q-값 초기화 (Q-Value Initialization)

비효율적인 초기 탐색을 피하기 위해, WDQAR는 무작위 또는 제로 초기화 대신 위치 기반 초기화 전략을 사용합니다.

• 초기 Q-값($Q_{init}$)은 후보 이웃의 목적지까지의 거리와 현재 노드의 목적지까지의 거리 비율에 따라 할당됩니다.
• 목적지에 더 가까운 이웃은 더 높은 초기 Q-값을 받게 되어, 에이전트에게 전달 능력에 대한 사전 지식을 제공합니다.

C. 보상 함수 설계 (Reward Function Design)

보상 함수($r_i^t$)는 **정보 엔트로피(Information Entropy)**를 사용하여 동적으로 결정되는 네 가지 정규화된 지표의 가중 합입니다:

1. 잔여 에너지 ($E_j$): 특정 노드의 에너지 고갈을 방지합니다.
2. 링크 지속 시간 ($LD_{ij}$): 안정적인 링크를 우선시합니다.
3. 지리적 진행도 ($F_{ij}$): 편차 각도를 최소화하면서 목적지를 향한 전진 이동을 장려합니다.
4. 유효 이웃 비율 ($VNR_{ij}$): 후속 홉을 위한 신뢰할 수 있는 이웃의 밀도를 반영하여 라우팅 홀(routing hole)의 위험을 줄입니다.

D. 가중치 기반 더블 Q-러닝 업데이트 (Weighted Double Q-Learning Update)

표준 Q-러닝의 과대평가 편향과 더블 Q-러닝의 과소평가 가능성을 완화하기 위해, WDQAR는 가중치 기반 더블 Q-러닝 접근 방식을 활용합니다.

• 이중 테이블: 각 UAV는 두 개의 독립적인 Q-테이블($Q_1, Q_2$)을 유지합니다.
• 업데이트 프로세스: 하나의 테이블이 무작위로 선택되어 업데이트되며, 다른 테이블은 행동 가치를 평가하는 데 사용됩니다.
• 적응형 가중치: 최선 및 최악의 행동에 대한 두 추정치 사이의 값의 확산(spread)을 기반으로 적응형 가중치($\beta$)가 계산됩니다. 이 가중치는 단일 및 더블 추정치 사이의 균형을 맞추어, 더 정확한 미래 가치 추정치($Q_W$)를 산출하고 안정성을 높입니다.

E. 동적 학습 파라미터 (Dynamic Learning Parameters)

학습률($\alpha$)과 할인 계수($\gamma$)가 적응적으로 조정됩니다:

• 학습률: 다음 홉 지연이 평균보다 높을 때(불안정함을 나타냄) 증가하여 값을 더 빠르게 업데이트하고, 링크가 안정적일 때는 역사적 경험에 의존하도록 감소합니다.
• 할인 계수: 연속적인 타임 스텝 사이의 이웃 집합 안정성에 따라 조정되어, 토폴로지 변화가 급격할 때 미래 보상에 대한 의존도를 낮춥니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. 적응형 HELLO 메커니즘: 제어 오버헤드 감소와 적시 토폴로지 업데이트 사이의 균형을 맞추기 위해 링크 지속 시간과 속도 유사성을 기반으로 브로드캐스트 간격을 동적으로 조정합니다.
2. 가중치 기반 더블 Q-러닝 프레임워크: 매우 동적인 환경에서 추정 편향을 줄이고 안정성을 향상시키기 위해 적응형 가중치 메커니즘을 갖춘 두 개의 Q-테이블을 유지하는 분산 라우팅 프로토콜입니다.
3. 포괄적인 보상 함수: 정보 엔트로피를 통해 동적으로 결정되는 가중치를 사용하여 잔여 에너지, 링크 지속 시간, 지리적 진행도 및 유효 이웃 비율을 포함하는 다중 지표 보상 함수를 제공합니다.
4. 최적화 전략: 수렴을 가속화하고 적응성을 향상시키기 위해 위치 기반 Q-값 초기화 및 적응형 학습 파라미터를 통합했습니다.

4. 시뮬레이션 결과

프로토콜은 1030 m/s로 이동하는 40100대의 UAV가 있는 3D 재난 모니터링 시나리오에서 NS-3를 사용하여 평가되었습니다. WDQAR는 QFANET 및 QGEO와 비교되었습니다.

• Q-값 안정성: 가중치 기반 더블 Q-러닝은 단일 Q-러닝에 비해 Q-값 변동성을 약 45.62%, 총 변동량을 33.03% 감소시켰습니다.
• 패킷 전달율 (PDR): WDQAR는 가장 높은 PDR을 달성하여 평균 **92.62%**를 기록했습니다 (QFANET보다 약 3.42%, QGEO보다 약 6.50% 높음). 다양한 노드 밀도와 UAV 속도에서도 우수한 성능을 유지했습니다.
• 종단 간 지연 (End-to-End Delay): WDQAR는 가장 낮은 평균 지연 시간(16.80 ms)을 보여주었으며, 이는 QFANET 대비 40.93%, QGEO 대비 44.30% 감소한 수치입니다.
• 에너지 소비: 프로토콜은 부하를 분산하고 불필요한 재전송을 줄임으로써 평균 에너지 소비를 QFANET 대비 12.34%, QGEO 대비 6.86% 감소시켰습니다.
• 라우팅 오버헤드: WDQAR는 가장 낮은 오버헤드(9.94%)를 달 기록했으며, 이는 적응형 HELLO 간격 덕분에 비교 대상 프로토콜 대비 각각 29.43% 및 34.80% 감소한 수치입니다.

5. 의의 및 주장

저자들은 WDQAR가 매우 동적인 FANET 환경에서 라우팅 신뢰성과 학습 안정성을 크게 향상시킨다고 주장합니다. 기존 Q-러닝 방식의 특정 한계점인 추정 편향, 느린 수렴, 정적인 제어 오버헤드를 해결함으로써, 이 프로토콜은 자원이 제한되고 이동성이 높은 시나리오에서 운용되는 UAV 군집을 위한 강력한 솔루션을 제공합니다.

본 논문은 적응형 이웃 발견, 섹터 기반 필터링, 그리고 가중치 기반 더블 Q-러닝의 결합이 현재의 최첨단 프로토콜보다 더 정밀하게 최적 경로를 식별하고 토폴로지 변화에 더 효과적으로 적응할 수 있게 해준다고 결론짓습니다. 향-후 연구로는 더 크고 복잡한 시나리오로 프로토콜을 확장하고, 하드웨어 인 더 루프(hardware-in-the-loop) 및 실제 UAV 실험을 통해 접근 방식을 검증하는 것이 포함됩니다.