DRL-based Power Allocation in LiDAL-Assisted RLNC-NOMA OWC Systems

기술 요약: LiDAL 지원 RLNC-NOMA OWC 시스템의 DRL 기반 전력 할당

문제 제기
비직교 다중 접속 (NOMA) 을 활용한 광무선 통신 (OWC) 은 전력 도메인을 통해 여러 사용자가 광 스펙트럼을 공유할 수 있게 하여 고속 실내 연결을 위한 유망한 해결책을 제공합니다. 그러나 NOMA 기반 OWC 시스템의 성능은 불완전한 채널 상태 정보 (CSI) 와 잔류 복호화 오류로 인해 크게 저하되며, 특히 사용자 이동이 포함된 밀집 사용자 실내 시나리오에서 두드러집니다. 전통적인 전력 할당 (PA) 전략은 종종 정적 채널 가정이나 표준 확률 분포 (예: 레일리, 가우시안) 에 의존하는데, 이는 차폐, 양자화 오류, 사용자 이동으로 특징지어지는 실내 환경의 동적 현실을 포착하지 못합니다. furthermore, 시스템 스루풋을 극대화하기 위해 연속적인 PA 를 동적으로 최적화하는 것은 계산적으로 불가능한 경우가 많습니다. 왜냐하면 이 문제는 종종 NP-난해 (NP-hard) 문제이기 때문입니다. 기존 휴리스틱 방법 (예: 유전 알고리즘) 은 지역 최적점에 수렴할 수 있으며, 표준 강화 학습 (RL) 알고리즘은 차원의 저주와 느린 수렴으로 인해 대규모 연속 상태 - 행동 공간에서 어려움을 겪습니다.

방법론
이러한 과제를 해결하기 위해 저자들은 Deep Reinforcement Learning (DRL) 프레임워크와 통합된 LiDAL 지원 RLNC-NOMA OWC 시스템을 제안합니다. 방법론은 세 가지 핵심 구성 요소로 구성됩니다:

1. 시스템 모델 (LiDAL 및 RLNC):

   • LiDAL 통합: 공간 - 시간 정보를 활용하기 위해 광원 탐지 및 위치 확인 (LiDAL) 시스템이 사용됩니다. 사용자의 존재와 위치를 수동적으로 포착함으로써 LiDAL 은 CSI 추정을 정제하는 보조 데이터를 제공합니다. 시스템은 광원 비선형성과 눈 안전 제약 조건이 RF 시스템과 다르게 위치 정확도를 재구성한다는 점을 인정하여, 위치 오류의 크라메르 - 라오 하한 (CRLB) 과 시선 (LOS) 거리의 함수로서 불완전한 CSI 를 모델링합니다.
   • RLNC 통합: 무작위 선형 네트워크 코딩 (RLNC) 이 NOMA 프레임워크에 통합됩니다. 광 액세스 포인트는 중첩된 NOMA 신호에 대한 무작위 선형 결합으로 데이터 패킷을 인코딩합니다. 이를 통해 수신기는 충분한 수의 독립적인 결합을 수신하면 원래 정보를 신뢰성 있게 재구성할 수 있으며, 결과적으로 불완전한 연속 간섭 제거 (SIC) 로 인한 오류 전파를 완화합니다.

2. 최적화 공식화:
   저자들은 사용자 공평성을 보장하고 최소 데이터 속도 제약 ($\gamma_{min}$) 을 충족하면서 시스템의 평균 합계 속도를 극대화하는 것을 목표로 하는 복잡한 최적화 문제를 공식화합니다. 이 문제는 특정 광 액세스 포인트 (AP) 하에 그룹화된 사용자들에 대한 최적 전력 할당 계수 ($\alpha$) 를 결정하는 것으로, 총 전력, SIC 를 위한 전력 순서, 그리고 최소 속도 요구 사항에 대한 제약 조건을 따릅니다.

3. DRL 솔루션 (NAF 알고리즘):
   비볼록 동적 최적화 문제를 효율적으로 해결하기 위해, 저자들은 정규화 이점 함수 (Normalized Advantage Function, NAF) 알고리즘을 기반으로 한 Deep Reinforcement Learning 프레임워크를 제안합니다.

   • 에이전트 아키텍처: NAF 에이전트는 상태 - 가치 함수 $V(s)$, 평균 행동 함수 $\mu(s)$ (정책), 그리고 2 차 이점 함수 $A(s, a)$의 세 가지 헤드를 갖춘 심층 신경망 아키텍처를 활용합니다. 이 구조는 연속 공간에서 행동을 직접 최적화할 수 있게 합니다.
   • 학습 과정: 에이전트는 상태에 추정된 채널 이득, 위치 노이즈 계수, 현재 전력 인자가 포함된 환경 (마르코프 결정 과정으로 모델링됨) 과 상호작용합니다. 보상은 평균 합계 속도로 정의되며, 제약 조건이 위반될 경우 페널티를 받습니다. NAF 알고리즘은 전통적인 액터 - 크리틱 방법 (예: Deep Deterministic Policy Gradient, DDPG) 에 비해 학습을 안정화하고 수렴을 가속화하기 위해 소프트 업데이트를 사용하는 타겟 네트워크와 평가 네트워크를 사용합니다.

주요 기여

• 시스템 모델링: 본 논문은 향상된 CSI 추정을 위한 위치 기반 정보와 잔류 복호화 오류가 존재하는 환경에서 견고한 데이터 전송을 위한 RLNC 를 공동으로 활용하는 새로운 LiDAL 지원 RLNC-NOMA OWC 시스템을 모델링합니다.
• 알고리즘적 혁신: 동적이고 고차원 환경에서 연속 전력 할당 문제를 해결하기 위해 NAF 기반 DRL 모델이 소개되었습니다. 이 접근법은 연속 행동 공간에서의 수렴 속도와 안정성 측면에서 전통적인 RL 알고리즘 (Q-learning 등) 과 액터 - 크리틱 방법 (DDPG 등) 의 한계를 극복합니다.
• 성능 분석: 이 연구는 사용자 위치 추정 정확도와 네트워크 성능에 미치는 영향을 종합적으로 평가합니다. 제안된 NAF 알고리즘을 DDPG, Gain Ratio Power Allocation (GRPA), 그리고 전수 조사 (exhaustive search) 와 비교 벤치마킹합니다.

결과
8 개의 광 AP 와 최대 32 명의 사용자를 가진 실내 연구 공간에서 수행된 시뮬레이션 결과는 다음과 같습니다:

• 수렴 및 효율성: NAF 알고리즘은 DDPG 보다 훨씬 빠르게 수렴하며 (약 56% 빠른 수렴 시간), 반복당 훈련 시간이 더 적습니다 (DDPG 의 0.44 초 대비 0.27 초). 2 차 이점 구조로 인해 메모리 요구 사항이 약간 더 높지만, 밀집 시나리오에서 계산적으로 불가능한 전수 조사에 비해 명확한 구현상의 이점을 제공합니다.
• 합계 속도 성능: NAF 기반 전력 할당은 평균 합계 속도 1.882 Gbps 를 달성합니다. 이는 기존 GRPA 방식 대비 4.6% 향상이며, DDPG 에이전트 대비 1.64% 향상된 수치입니다.
• 최적성: NAF 알고리즘의 성능은 이산 그리드 내에서 전역 최적점으로 간주되는 전수 조사 방법과 거의 일치하여 학습된 정책의 준최적성을 검증합니다.
• 공평성 및 견고성: 제안된 방법은 전수 조사와 비교 가능한 높은 사용자 공평성 (Jain's fairness index) 을 보장하며, 위치 추정 오류에 대한 견고성을 입증합니다. 이 알고리즘은 시스템 신뢰성을 유지하기 위해 위치 추정 오류가 더 큰 사용자에게 더 높은 전력을 효과적으로 할당합니다.

의의
본 논문은 제안된 프레임워크가 현실적인 밀집 사용자 실내 OWC 시스템에서 전력 할당을 최적화하기 위한 실용적이고 효율적인 해결책을 제공한다고 주장합니다. LiDAL 과 RLNC 를 통합함으로써 시스템은 불완전한 CSI 와 잔류 복호화 오류라는 이중 과제를 해결합니다. NAF 기반 DRL 접근법의 채택은 계산적으로 불가능한 전수 조사와 수렴이 느린 DRL 방법에 비해 저비용 고품질 대안을 제공합니다. 결과는 이 접근법이 동적 실내 환경에 내재된 불확실성에 강건하며, 차세대 고속 광무선 네트워크를 위한 실현 가능한 후보임을 시사합니다.