REGAL-Driven Hierarchical Graph Reinforcement Network for Stable and Energy- Efficient Communication in Wireless Sensor Networks

기술 요약: 무선 센서 네트워크의 안정적이고 에너지 효율적인 통신을 위한 REGAL 기반 계층적 그래프 강화 학습 네트워크

1. 문제 정의

대규모 모니터링 환경에 배치된 무선 센서 네트워크(WSN)는 급격한 에너지 고갈, 불안정한 라우팅 동작, 불균형한 부하 분산, 네트워크 수명 단축과 같은 심각한 과제에 직면해 있습니다. 이러한 문제는 주로 비효율적인 클러스터 헤드(CH) 선정 및 빈번한 재클러스터링 작업에 기인합니다. 기존 방식들은 다음과 같은 요소들을 포착하지 못하는 정적 최적화 또는 확률적 결정 메커즘에 의존하는 경우가 많습니다:

• 잔여 에너지의 시간적 변화.
• 이웃 의존 관계.
• 적응형 장기 결정 학습.

결과적으로, 현재의 방법들은 높은 동적 WSN 환경에서 구조적, 통신적, 에너지적 결정을 동적으로 균형 잡지 못하여 낮은 확장성, 조기 노드 실패, 그리고 성능 저하를 겪고 있습니다.

2. 방법론

저자들은 안정적인 통신 관리를 위해 그래프 표현 학습과 지능형 최적화를 통합하도록 설계된 새로운 계층적 그래프 강화 학습 네트워크(HGRN) 프레임워크를 제안합니다. 이 방법론은 네 가지 주요 구성 요소로 이루어집니다:

A. 네트워크 모델링 및 그래프 구축
센서 노드들은 클러스터로 조직되며, 정점(vertices)은 센서 노드를 나타내고 간선(edges)은 통신 링크를 나타내는 그래프 구조 $G=(V, E)$로 변환됩니다. 모델은 전송, 수신 및 데이터 집계 비용을 계산하기 위해 1차 라디오 에너지 모델을 활용합니다. 추출된 주요 노드 특징에는 잔여 에너지, 싱크까지의 거리, 노드 밀도, 트래픽 부하 및 이웃 연결성이 포함됩니다.

B. 잔여 에너지 경사 주의 레이어 (REGAL)
전통적인 그래프 신경망(GNN)이 시간적 에너지 역학을 무시한다는 한계를 해결하기 위해, 저자들은 REGAL 모듈을 도입했습니다.

• 에너지 경사 계산: 시스템은 안정성을 측정하기 위해 각 노드의 통신 라운드에 따른 에너지 경사($\Delta E$)를 계산합니다. 에너지가 안정적으로 소비되는 노드는 더 높은 안정성 점수를 받습니다.
• 주의 메커니즘 (Attention Mechanism): REGAL은 에너지가 급격히 소모되는 노드의 가중치를 낮추고, 안정적인 잔여 에너지를 가진 노드를 우선시하도록 적응형 주의 가중치를 계산합니다.
• 임베딩 생성: 이 레이어는 위상 구조와 시간적 에너지 안정성을 모두 포함하는 에너지 인식 노드 임베딩을 생성하며, 이는 강화 학습 에이전트의 입력값으로 사용됩니다.

C. 적응형 CH 선정을 위한 심층 강화 학습 (DRL)
DRL 에이전트는 WSN 환경과 상호작용하며 최적의 클러스터 헤드 선정 정책을 학습합니다.

• 상태 공간 (State Space): 잔여 에너지, 싱크까지의 거리, 노드 밀도, 트래픽 부하 및 REGAL이 생성한 노드 임베딩을 포함합니다.
• 행동 공간 (Action Space): 노드를 클러스터 헤드로 선택($a_i=1$)하거나 일반 멤버로 선택($a_i=0$)하는 이진 선택입니다.
• 보상 함수: 에너지 균형, 부하 균형, 네트워크 수명 극대화 및 통신 비용 최소화를 목표로 설계된 다목적 함수입니다.
• 학습 과정: 에이전트는 $\epsilon$-greedy 전략과 Q-러닝을 사용하여 장기적인 보상을 최적화함으로써, 조기 노드 실패를 초래하는 근시안적인 결정을 방지합니다.

D. 에너지 적응형 꿩 최적화 알고리즘 (EA-POA)
DRL 에이전트의 결정을 정교화하고 지역 최적점(local optima)에 빠지는 것을 방지하기 위해, 프레임워크는 EA-POA를 채택합니다.

• 최적화 정교화: 이 알고리즘은 클러스터 헤드 구성을 최적화하기 위해 전역 탐색을 수행합니다.
• 적합도 함수: 잔여 에너지, 클러스터 내 거리, 부하 균형 및 클러스터 안정성을 기준으로 후보 솔루션을 평가합니다.
• 적응형 이동: 최적화 에이전트의 움직임에 영향을 미치는 에너지 적응형 계수를 사용하여, 에너지 안정적인 구성을 우선시하고 불안정한 클러스터 헤드 전환을 최소화합니다.

3. 주요 기여

본 논문은 다음과 같은 구체적인 기여를 주장합니다:

1. HGRN 아키텍처: 에너지 효율적인 WSN 클러스터 헤드 선정을 위해 GNN, DRL 및 EA-POA를 결합한 혁신적인 프레임워크.
2. REGAL 모듈: GNN이 시간적 잔여 에너지 분석을 수행하여 에너지 안정적인 노드 임베딩을 생성할 수 있도록 하는 잔여 에너지 경사 주의 레이어 구현.
3. DRL 기반 프레임워크: 트래픽 볼륨, 이웃 연결성 및 REGAL 임베딩을 포함한 동적 요인을 기반으로 최적의 클러스터 헤드 전략을 학습하는 정책 네트워크.
4. EA-POA 정교화: 부하 균형, 안정성 및 통신 비용 최소화를 향상시키기 위해 적응형 꿩 이동 전략을 사용하는 클러스터링 정교화 메커니즘.

4. 실험 결과

제안된 HGRN 프레임워크는 100 × 100 m 영역에 배치된 1,000개의 센서 노드를 대상으로 10,000회의 통신 라운드 동안 시뮬레이션 환경에서 평가되었습니다. 결과는 기존 방법들(DBLOCK-RLB, CHIGWO, ISSA-C, ISSBBMFOA, FHHO)과 비교되었습니다.

성능 지표:

• 네트워크 수명: 10,000 라운드를 달성하여, 차순위 방법(FHHO, 9,600 라운드)보다 우수한 성능을 보였습니다.
• 잔여 에너지: 시뮬레이션 종료 시 535 J를 유지하여, 경쟁 모델(예: DBLOCK-RLB, 118 J)보다 현저히 높았습니다.
• 패킷 전달 비율 (PDR): **89.8%**를 달성하였으며, 패킷 손실을 **10.2%**로 감소시켰습니다.
• 처리량 (Throughput): 6,350 패킷에 도달하여 베이스라인 방법 대비 30.9% 향상되었습니다.
• 통신 지연 (Communication Delay): 198 ms로 감소하였습니다 (33.6% 감소).
• 에너지 소비: 총 소비량이 1,915 J로 감소하였습니다 (24.0% 감소).
• 안정성 및 부하 균형:
  • 부하 균형 지수: 0.95.
  • 클러스터 헤드 안정성 지수: 0.93.
  • 생존 지수: 0.89.
  • 재클러스터링 빈도: 18회로 감소.
• 계산 복잡도: 프레임워크는 $O(n \log n)$의 시간 복잡도와 $O(n + k)$의 공간 복잡도로 작동하여 대규모 네트워크에 대한 확장성을 입증했습니다.

5. 의의 및 주장

본 논문은 HGRN 프레임워크가 기존의 클러스터링 접근 방식에 비해 우수한 통신 안정성, 균형 잡힌 에너지 활용 및 개선된 장기 네트워크 지속성을 보여준다고 단언합니다. REGAL의 통합을 통해 시스템은 안정적인 노드와 불안정한 노드를 효과적으로 구분하여, 에너지가 고갈된 노드가 클러스터 헤드로 선정되는 것을 방지할 수 있습니다. 적응형 정책 학습을 위한 DRL과 전역 최적화 정교화를 위한 EA-POA의 결 조합은 네트워크가 지역 최적점에 빠지는 것을 방지하고 동적인 트래픽 및 토폴로지 변화 속에서도 연결성을 유지하도록 보장합니다.

저자들은 이 프레임워크가 구조적, 통신적, 에너지적 결정을 동시에 최적화함으로써 전통적인 방법에서 발견되는 단절된 의사결정 문제를 성공적으로 해결했다고 결론짓습니다. 본 연구는 이 접근 방식이 에너지 보존과 네트워크 수명이 매우 중요한 대규모 WSN 배치에 특히 효과적임을 시사합니다. 향후 연구 방향으로는 모바일 싱크 최적화, 연합 강화 학습(Federated Reinforcement Learning), 블록체인 기반 보안 라우팅 등으로의 확장이 제시되었으나, 이는 현재의 기능이 아닌 향후 조사 과제로 제시되었습니다.