Energy-Efficient IRS-Assisted Green Cellular Networks With Ground Base Station Sleep Mode

기술 요약: 지상 기지국 수면 모드를 포함한 에너지 효율적인 IRS 지원 그린 셀룰러 네트워크

문제 정식화
본 연구는 B5G(Beyond-5G) 및 6G 무선 네트워크에서 에너지 효율(EE)을 극대화하는 과제를 다룹니다. 구체적인 시나리오는 지상 기지국(GBS), 단일 공중 기지국(ABS), 그리고 지능형 반사 표면(IRS)의 세 가지 핵심 구성 요소를 통합하는 다운링크 셀룰러 네트워크를 포함합니다. 핵심 문제는 에너지 절감과 서비스 품질(QoS) 요구 사항 사이의 균형을 맞추는 데서 발생합니다. GBS 수면 모드는 정적 전력 소비를 줄이지만, 커버리지 공백을 만들거나 성능을 저하시킬 수 있으며, 특히 셀 가장자리 사용자들에게 영향을 미칠 수 있습니다. 반대로, ABS는 유연한 커버리지를 제공하지만 플랫폼 에너지 비용(예: 호버링)을 발생시키며, IRS는 신호 전파를 향상시키지만 위상 변화(phase shifts)의 공동 최적화를 필요로 합니다.

저자들은 이를 혼합 정수 비볼록(mixed-integer non-convex) 최적화 문제로 정식화합니다. 목적 함수는 전체 네트워크 처리량을 총 전력 소비량으로 나눈 비율을 최대화하는 것입니다. 최적화 변수는 다음과 같습니다:

• 이산 변수: GBS 활성화 상태(수면/활성) 및 사용자 연관(어떤 송신기가 어떤 서브채널에서 어떤 사용자를 서비스할 것인지).
• 연속 변수: GBS 및 ABS의 전송 전력 할당, ABS의 수평 위치, 그리고 IRS 요소의 위상 변화.

문제는 전력 예산, QoS(최소 데이터 전송률) 요구 사항, IRS 요소의 단위 모듈러스(unit-modulus) 제약 조건, 그리고 활성화된 지상 및 공중 송신기 간의 코채널 간섭(co-channel interference)에 대한 명시적 모델링에 의해 제약됩니다. 분수 형태의 목적 함수, 이진 변수, 그리고 결합된 간섭 항으로 인한 비볼록 특성 때문에 기존의 최적화 방법으로는 계산적으로 다루기 매우 어렵습니다.

방법론
이 복잡한 최적화 문제를 해결하기 위해, 저자들은 하이브리드 심층 강화 학습(Hybrid Deep Reinforcement Learning, DRL) 프레임워크를 제안합니다. 이 접근 방식은 두 가지 서로 다른 알고리즘의 강점을 활용하여 결정 공간을 이산 및 연속 구성 요소로 분해합니다.

1. 더블 딥 Q-러닝(Double Deep Q-Learning, DDQL): 이산 결정 과업을 처리하는 데 사용됩니다. 구체적으로, DDQL 에이전트는 GBS 수면 모드 지표($\alpha_m$)와 사용자 연관 변수($\beta_{k,m,l}, \beta_{k,a,l}$)를 결정합니다. 이 모듈은 불필요한 에너지 사용을 최소화하면서 커버리지를 유지할 수 있는 최적의 네트워크 토폴로지와 활성화 패턴을 학습합니다.
2. 심층 결정론적 정책 경사(Deep Deterministic Policy Gradient, DDPG): 연속 제어 변수를 최적화하는 데 사용됩니다. DDPG 에이전트는 ABS의 수평 위치, 지상 및 공중 노드 모두의 전송 전력 할당, 그리고 IRS 위상 변화 행렬을 조정합니다. 이 모듈은 동적인 채널 조건과 간섭 패턴에 적응합니다.

시스템은 마르코프 결정 과정(MDP)으로 모델링됩니다. 상태 공간에는 채널 상태 정보(CSI), 현재 GBS 활동, 사용자 연관, 전력 수준, ABS 위치 및 IRS 구성이 포함됩니다. 보상 함수는 에너지 효율을 극대화하는 동시에 QoS 위반(최소 전송률을 충족하지 못하는 사용자) 및 제약 조건 위반(예: 전력 제한)에 대한 페널티를 부과하도록 설계되었습니다.

주요 기여
본 논문은 다음과 같은 구체적인 기여를 명시합니다:

• 프레임워크 개발: IRS 지원, ABS 이동성, GBS 수면 모드를 공동으로 통합한 에너지 효율적인 네트워크 프레임워크 설계.
• 간섭 인지 모델링: 직교 자원 할당 체계 내에서 지상 및 공중 전송 간의 코채널 간섭을 명시적으로 고려한 시스템 모델 구축.
• 최적화 정식화: 수면 지표, 사용자 연관, 전력, 위치 및 위상 변화를 공동으로 최적화하는 혼합 정수 비볼록 문제 정식화.
• 하이브리드 알고리즘: 고차원의 혼합 변수 결정 공간을 효율적으로 탐색하기 위해 DDQL과 DDPG를 결합한 하이브리드 DRL 솔루션 제안.
• 성능 검증: 제안된 접근 방식이 QoS 제약 조건을 만족하면서 에너지 효율을 개선함을 입증하고 기존 벤치마크보다 우수한 성능을 보임을 증명.

수치 결과
제안된 프레임워크는 500m 반경 영역 내 3개의 GBS, 6명의 사용자, 2개의 IRS를 포함하는 수치 시뮬레이션을 통해 평가되었습니다. 결과는 세 가지 벤치마크 스킴과 비교되었습니다: IRS가 없는 시스템, ABS가 없는 시스템, 그리고 모든 GBS가 활성 상태를 유지하는 시스템(수면 모드 없음).

• 수렴: 하이브리드 DRL 프레임워크는 안정적인 수렴을 보여주었으며, 훈련 후 에너지 효율이 약 $3 \times 10^6$ bit/J에서 $5.5$~$6.5 \times 10^6$ bit/J 사이로 증가했습니다.
• 트레이드오프(Trade-offs): 시스템은 평균 사용자 데이터 속도를 높이는 동시에 총 전력 소비를 줄이는 이중 개선을 성공적으로 달ей했습니다.
• 수면 모드의 효과: 학습된 정책은 훈련 에피소드가 진행됨에 따라 활성 GBS의 수를 점진적으로 줄였습니다. 결과는 IRS 지원 링크와 ABS 지원을 통해 GBS가 적게 활성화된 상태에서도 네트워크가 QoS를 유지할 수 있음을 나타냅니다.
• 비교 성능: 제안된 방법은 비교된 모든 스킴 중에서 가장 높은 에너지 효율을 달성했습니다. "No-IRS" 및 "No-ABS" 베이스라인과의 성능 격차는 각각 신호 반사 강화와 공중 유연성의 구체적인 이점을 강조했습니다.

의의 및 주장
본 논문은 ABS의 유연성, IRS 지원 전파, 그리고 지능형 수면 모드 제어의 통합이 매우 효율적이고 적응적인 네트워크 운영을 가능하게 한다고 주장합니다. 저자들은 하이브리드 DRL 접근 방식이 커버리지, 간섭 관리, 에너지 소비 사이의 균형을 효과적으로 맞춤으로써 미래 무선 네트워크의 에너지 효율 문제를 해결하는 유망한 솔루션을 제공한다고 단언합니다. 본 연구는 제안된 프레임워크가 IRS 지원, ABS 지원 또는 수면 모드 최적화가 결여된 스킴들에 비해 사용자 데이터 속도를 저해하지 않으면서도 에너지 효율을 크게 향상시킨다고 결론짓습니다.

저자들은 향후 연구 방향으로 다중 ABS 시나리오, 동적 IRS 배치 전략, 그리고 더 현실적인 이동성 및 트래픽 모델로의 확장을 언급하며 향후 연구의 범위를 겸허하게 설정하였습니다.