DQN Based Joint UAV Trajectory and Association Planning in NTN Assisted Networks

논문 요약: DQN 기반의 NTN 지원 네트워크 내 UAV 궤적 및 접속 통합 계획

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 차세대 교통 시스템인 '고급 항공 모빌리티 (AAM)'의 핵심 요소인 무인 항공기 (UAV) 의 안정적인 운영을 위해서는 지상 제어 센터와의 신뢰할 수 있는 통신 링크가 필수적입니다.
• 현황 및 한계:
  • 기존 지상 기지국 (MBS) 은 지상 사용자를 위해 안테나가 하향 각도 (down-tilt) 로 설정되어 있어 UAV 에게는 신호 세기가 약합니다.
  • 농촌 및 오지 지역에는 기지국 구축이 어려워 통신 사각지대 (Coverage Hole) 가 발생하며, 빈번한 핸드오버 (Handover) 로 인한 연결 불안정성이 문제입니다.
  • UAV 는 제한된 온보드 에너지를 가지고 있어 효율적인 궤적 설계가 필요합니다.
• 핵심 문제: 지상 네트워크와 비지상 네트워크 (NTN, 특히 정지궤도 위성 GEO) 를 통합한 환경에서 UAV 가 출발지에서 목적지까지 이동할 때, **에너지 소비, 핸드오버 횟수, 연결 단절 (Disconnectivity)**을 동시에 최소화하는 최적의 궤적 (Trajectory) 과 접속 (Association) 전략을 수립하는 것입니다. 이는 혼합 정수 비볼록 최적화 문제로, 기존 Q-learning 과 같은 전통적 알고리즘으로는 상태 공간이 너무 커서 해결하기 어렵습니다.

2. 제안된 방법론 (Methodology)

• 시스템 모델:
  • 3 차원 공간에서 UAV 는 정지궤도 (GEO) 위성 또는 다수의 지상 MBS 중 하나와 연결됩니다.
  • UAV 는 3GPP 규격에 따라 300m 미만의 고도에서 비행하며, 지상 기지국과 위성은 서로 다른 주파수 대역을 사용하여 간섭이 발생하지 않습니다.
  • 채널 모델은 지상 기지국 (확률적 LoS, 간섭 포함) 과 GEO 위성 (우세한 LoS 조건) 에 대해 각각 모델링되었습니다.
• 문제 공식화 (JUTAP):
  • 목적 함수는 에너지 소비 ($E$), 핸드오버 비용 ($\eta$), 연결 단절 ($\delta$) 의 가중 합을 최소화하는 것입니다.
  • 제약 조건은 UAV 의 잔여 에너지 한도 내에서 목적지에 도달해야 한다는 것입니다.
• DQN 기반 알고리즘 설계:
  • 심층 강화 학습 (DRL): 상태 공간의 차원 문제를 해결하기 위해 심층 Q-네트워크 (DQN) 를 적용했습니다.
  • 상태 (State): UAV 의 정규화된 좌표 $(x, y)$와 접속 모드 (지상=0, 위성=1) 를 포함하는 벡터 $s_t = [x_t, y_t, \hat{c}_t]$.
  • 행동 (Action): 8 방향 이동 ($m_t$) 과 다음 단계의 접속 모드 변경 ($\hat{c}_{t+1}$) 을 결합하여 총 16 가지 행동 공간 ($8 \times 2$) 으로 축소했습니다.
  • 보상 (Reward): 에너지 효율성, 불필요한 핸드오버 방지 (특히 위성 접속 비용 고려), 연결 단절 회피를 위해 설계된 음수 보상 함수를 사용합니다.
  • 학습 전략: 경험 재생 (Experience Replay) 과 타겟 네트워크 (Target Network) 를 사용하여 학습의 안정성을 확보했습니다.

3. 주요 기여 (Key Contributions)

1. 통합 GEO-지상 네트워크 아키텍처 제안: UAV 통신의 사각지대를 해결하고 신뢰성을 높이기 위해 GEO 위성과 지상 MBS 를 통합한 새로운 네트워크 구조를 제안했습니다.
2. 효율적인 JUTAP 알고리즘 개발: 복잡한 최적화 문제를 DQN 을 통해 해결할 수 있도록 상태 및 행동 공간을 효율적으로 인코딩하고, 에너지, 핸드오버, 연결성을 동시에 고려한 보상 함수를 설계했습니다.
3. 다양한 시나리오에서의 최적화: 가중치 ($w_1, w_2, w_3$) 를 조절하여 에너지 우선, 핸드오버 최소화, 또는 연결성 유지 등 다양한 운영 요구사항에 맞춰 유연한 궤적 및 접속 정책을 학습할 수 있음을 증명했습니다.

4. 실험 결과 (Simulation Results)

• 시뮬레이션 환경: 3km x 3km 영역, 25x25 그리드, 10 개의 지상 MBS, 1 개의 GEO 위성 (Anik F2) 을 가정했습니다.
• 수렴성: DQN 알고리즘은 약 400 에피소드 후 안정적인 수렴을 보였으며, 학습을 통해 네트워크 동역학을 효과적으로 파악함을 확인했습니다.
• 성능 비교 (통합 네트워크 vs 지상 단독 네트워크):
  • 통합 네트워크: 위성을 활용하여 더 직선적인 경로를 선택했고, 통신 사각지대 (Coverage Hole) 를 우회하여 연결 단절을 최소화했습니다.
  • 지상 단독 네트워크: 사각지대를 피하기 위해 우회 경로를 선택하여 이동 거리가 길어졌고, 사각지대 발생 횟수가 5 회로 많았습니다.
  • 수치적 개선: 통합 네트워크는 이동 거리 (약 4,073m vs 4,354m) 와 사각지대 발생 횟수 (1 회 vs 5 회) 에서 모두 우수한 성능을 보였습니다.
• 가중치 영향 분석:
  • 핸드오버 최소화 우선: 위성과의 접속을 피하고 지상망에 머무르려 하여 이동 거리가 길어졌지만, 핸드오버 비용은 감소했습니다.
  • 에너지 최소화 우선: 최단 경로를 선택하고 위성을 적극 활용하여 이동 거리가 가장 짧았으며, 연결 단절을 효과적으로 방지했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 의의: 본 연구는 AI 기반 의사결정 프레임워크가 차세대 통합 위성 - 지상 네트워크 (NTN) 에서 UAV 의 자율적 운영을 어떻게 최적화할 수 있는지를 실증했습니다. 특히, 제한된 에너지를 가진 UAV 가 광범위한 지역에서 안정적인 통신을 유지하면서도 효율적으로 이동할 수 있는 전략을 제시했습니다.
• 결론: 제안된 DQN 기반 JUTAP 알고리즘은 에너지 소비, 핸드오버 빈도, 연결 단절을 종합적으로 최적화하여, 기존 지상 네트워크만으로는 달성하기 어려운 UAV 통신의 신뢰성과 효율성을 크게 향상시킵니다. 이는 미래 AAM 시스템 및 통합 위성 - 지상 통신망 설계에 중요한 통찰을 제공합니다.