Optimisation of Resource Allocation in Heterogeneous Wireless Networks Using Deep Reinforcement Learning

1. 연구 배경 및 문제 정의 (Problem Statement)

• 배경: 5G 및 차세대 6G 시스템으로의 진전은 초연결성과 고데이터 전송률을 요구하며, 이는 매크로 셀 위에 마이크로, 피코, 펨토 셀 등 밀집된 소형 셀을 중첩하는 이종 네트워크 (HetNets) 의 확산을 초래했습니다.
• 문제점:
  • 기지국 (BS) 의 밀집 배치로 인해 동일 계층 (co-tier) 및 교차 계층 (cross-tier) 간섭이 심화되어 자원 할당 (Resource Allocation, RA) 이 매우 복잡해졌습니다.
  • 기존 전통적인 최적화 기법이나 휴리스틱 방법은 비볼록 (nonconvex) 이고 조합론적인 특성을 가진 동적 RA 문제를 해결하기에 부적합하며, 종종 단순화된 정적 모델에 의존합니다.
  • 분산형 접근 방식은 간섭 조정을 위한 전역적 관점 (Global View) 을 결여하고 있습니다.
• 목표: O-RAN (Open Radio Access Network) 아키텍처 내의 Near-RT RIC (Near-Real-Time RAN Intelligent Controller) 에서 작동하는 xApp 을 통해 전송 전력, 대역폭 슬라이싱, 사용자 스케줄링을 동시에 최적화하여 네트워크 에너지 효율, 처리량 (Throughput), 그리고 사용자 간 공정성 (Fairness) 을 균형 있게 달성하는 것입니다.

2. 방법론 (Methodology)

이 연구는 O-RAN 표준에 부합하는 딥 강화 학습 (DRL) 기반의 xApp 을 설계하고 시뮬레이션했습니다.

• 시스템 모델:

  • 아키텍처: 중앙 집중식 Near-RT RIC 가 E2 인터페이스를 통해 KPM(키 성능 측정) 데이터와 CQI(채널 품질 지시) 를 수집하고, 최적화 정책을 기지국에 전달합니다.
  • MDP (Markov Decision Process) 공식화:
    • 상태 (State): 이전 전력 할당, 사용자별 추정 간섭 (CQI 기반), 고정된 토폴로지 지리 정보.
    • 행동 (Action): 전력 제어, 대역폭 슬라이스 비율, 사용자 우선순위 가중치 (Softmax 함수를 통해 로컬 스케줄러에 반영).
    • 보상 (Reward): 처리량, 공정성 (Jain's Fairness Index), 에너지 소비를 가중치하여 결합한 다목적 함수.
  • 환경: 남아프리카 케이프타운의 실제 기지국 좌표를 기반으로 한 3 개의 매크로 셀과 10 개의 마이크로 셀로 구성된 실제 지리적 간섭 환경을 시뮬레이션했습니다.

• 사용된 알고리즘:

  1. TD3 (Twin Delayed Deep Deterministic Policy Gradient): DDPG 의 불안정성과 Q 값 과대평가를 해결하기 위해 두 개의 크리틱 네트워크와 지연된 정책 업데이트를 사용하는 오프-폴리시 알고리즘.
  2. PPO (Proximal Policy Optimisation): 안정적이고 견고한 학습을 보장하는 온-폴리시 알고리즘. 정책 업데이트의 크기를 제한하여 파괴적인 변화를 방지합니다.

3. 주요 기여 (Key Contributions)

1. O-RAN 호환 MDP 공식화: 전역 채널 지식을 바탕으로 Near-RT RIC 의 E2 피드백 루프를 통해 전력과 스케줄링을 통합 관리하는 마코프 결정 과정 (MDP) 을 정립했습니다.
2. 실제 기반 시뮬레이션 환경 구축: 단순한 푸아송 점 과정 (PPP) 모델이 아닌, 실제 통신 사업자의 기지국 좌표를 사용하여 현실적인 간섭 기하학을 반영한 시뮬레이터를 개발했습니다.
3. 알고리즘 비교 및 수학적 유도: TD3 와 PPO 를 기존 휴리스틱 (Greedy OFDMA, 간섭 가격 책정, 비례 공정) 과 비교하고, 연속적인 RL 행동을 처리량 및 공정성 지표로 변환하는 수학적 유도를 제공했습니다.

4. 실험 결과 (Results)

밀집 도시, 핫스팟, 혼합 시나리오 등 다양한 토폴로지에서 PPO 기반 xApp 이 가장 우수한 성능을 보였습니다.

• 에너지 효율성:
  • PPO 기반 솔루션은 처리량 중심의 기저선 (Greedy OFDMA) 대비 약 70% 까지 네트워크 에너지 소비를 감소시켰습니다.
  • 이는 기지국이 불필요한 고전력 전송을 자제하고, 간섭을 줄이기 위해 전력을 조절하는 방법을 학습했음을 의미합니다.
• 공정성 (Fairness):
  • PPO 는 Jain's Fairness Index 를 0.65~0.75 수준으로 유지하여, 셀 에지 사용자의 서비스 저하를 방지했습니다.
  • 특히 혼합 시나리오에서 Greedy 방식 대비 공정성이 300% 이상 개선되었습니다.
• 처리량 (Throughput):
  • 에너지 절감에도 불구하고 PPO 는 사용자별 평균 처리량을 유지하거나 개선하여, 에너지와 성능 간의 최적 균형을 달성했습니다.
• 학습 수렴 및 복잡도:
  • TD3: 초기 수렴 속도가 빠르지만, 복잡한 간섭 환경에서 후기 단계에 성능이 불안정해지고 저하되는 경향이 있었습니다.
  • PPO: 학습이 안정적이고 점진적으로 향상되어 최종적으로 더 높은 누적 보상을 달성했습니다.
  • 실시간성: DRL 추론 지연 시간은 10ms~1s 범위 내에 있어 Near-RT RIC 의 요구사항을 충족하지만, MAC 스케줄러 수준의 초저지연 (1ms) 요구사항보다는 상위 제어 계층에 적합합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 6G 아키텍처 검증: 이 연구는 중앙 집중식 AI 오케스트레이션이 O-RAN 환경에서 에너지 효율적이고 공정한 자원 관리를 가능하게 함을 입증했습니다.
• 알고리즘 선택의 중요성: 빠른 적응이 필요한 경우 TD3 가 유용할 수 있으나, 에너지 제약이 엄격하고 성능이 중요한 환경에서는 PPO 가 더 강력하고 전역적으로 최적화된 정책을 제공함을 보여주었습니다.
• 미래 전망: 본 연구는 단일 에이전트 기반에서 분산형 다중 에이전트 DRL (MAPPO, MADDPG) 로 확장하고, 고속 이동성 및 더 넓은 벤치마킹을 포함하는 방향으로 향후 연구가 진행될 것을 제안합니다.

요약하자면, 이 논문은 O-RAN 기반 이종 네트워크에서 딥 강화 학습 (특히 PPO) 을 활용하여 에너지 소비를 획기적으로 줄이면서도 사용자 간 공정성을 크게 향상시킬 수 있음을 실증적으로 증명했습니다.