Robust SAC-Enabled UAV-RIS Assisted Secure MISO Systems With Untrusted EH Receivers

기술 요약: 불신 에너지 수확 수신자를 갖는 견고한 SAC 기반 UAV-RIS 지원 보안 MISO 시스템

문제 제기
본 논문은 무인 항공기 (UAV) 지원 재구성 가능 지능형 표면 (RIS) 이 적용된 다중 사용자 다중 입력 단일 출력 (MISO) 시스템에서 보안 다운링크 전송의 과제를 다룹니다. 구체적인 시나리오는 호버링하는 UAV 에 탑재된 RIS 가 다중 안테나 기지국 (BS) 을 지원하여 합법적인 정보 - 에너지 수확 수신자 (IHR) 를 서비스하는 동시에, 불신 에너지 수확 수신자 (UEHR) 와 공존하는 상황을 포함합니다. 이러한 UEHR 은 잠재적인 도청자 역할을 하며 동시에 에너지를 수확합니다 (SWIPT).

시스템은 다음과 같은 중요한 실용적 제약 하에 운영됩니다:

1. 불완전한 채널 상태 정보 (CSI): BS 는 UEHR 채널에 대한 불완전한 추정치만을 보유하며, 이는 노름 경계 불확실성 집합을 통해 모델링되므로 최악의 경우 보안 형식이 필요합니다.
2. 이산 RIS 위상 천이: 실제 RIS 하드웨어는 이상적인 연속 값이 아닌 유한 해상도 위상 천이로 제한됩니다.
3. 결합 최적화: 이 문제는 UAV 의 수평 위치, BS 의 전송 전력 할당 (제로 포싱 프리코딩 사용), 그리고 이산 RIS 위상 천이라는 세 가지 고도로 결합된 변수의 공동 최적화를 요구합니다.
4. 목적: 목표는 UEHR 의 에너지 수확 요구 사항을 준수하면서 합법적 사용자 간의 최소 비밀 용량의 비율로 정의된 최악의 경우 비밀 에너지 효율 (WCSEE) 을 최대화하는 것입니다.

결과적으로 도출된 최적화 문제는 분수 목적 함수, 기하학적 채널 관계와 제어 변수 간의 결합, RIS 위상의 이산적 성질, 그리고 CSI 불확실성으로 인한 부과된 견고성 제약으로 인해 매우 비볼록합니다.

방법론
WCSEE 최대화 문제의 해결 불가능성을 극복하기 위해 저자들은 두 가지 상호 보완적인 접근 방식을 제안합니다:

1. 모델 기반 벤치마크 (BCD-SCA):

   • 전력 할당, RIS 위상 천이, UAV 위치를 교대로 최적화하는 블록 좌표 하강 (BCD) 프레임워크가 개발되었습니다.
   • **연속 볼록 근사 (SCA)**가 비볼록성을 처리하는 데 사용됩니다. 전력 할당의 경우, Charnes–Cooper 변환을 통해 분수 프로그램을 볼록 형태로 변환합니다. RIS 위상과 UAV 위치의 경우, 1 차 테일러 전개와 산술 - 기하 평균 (AGM) 부등식을 사용하여 볼록 대리 제약 조건을 구성합니다.
   • 이 접근 방식은 구조화된 벤치마크 역할을 하기 위해 이상적인 조건 (완벽한 CSI 및 연속 위상) 을 가정합니다.

2. 학습 기반 솔루션 (Soft Actor-Critic - SAC):

   • 모든 채널 실현에 대해 반복적으로 해결할 필요 없이 이산 위상과 CSI 불확실성을 포함한 일반적인 WCSEE 문제를 해결하기 위해 Soft Actor-Critic (SAC) 기반의 맞춤형 심층 강화 학습 (DRL) 프레임워크가 제안됩니다.
   • MDP 형식화: 이 문제는 채널 추정치와 UAV 위치를 상태로, 전력, 위상, 위치를 공동으로 제어하는 행동을 포함하며, 보상은 WCSEE (에너지 수확 제약이 위반되면 0) 인 마르코프 결정 과정으로 모델링됩니다.
   • 아키텍처: SAC 에이전트는 과대 추정 편향을 완화하기 위해 액터 네트워크 (가우시안 정책) 와 트윈 크리틱 네트워크를 활용합니다. 엔트로피 정규화는 탐색을 장려하고 안정적인 수렴을 보장하는 데 사용됩니다.
   • 제약 처리: 이산 RIS 위상은 연속 SAC 출력을 이산 집합에 매핑하여 관리하며, 에너지 수확과 같은 하드 제약은 보상 형성 메커니즘을 통해 강제됩니다.

주요 기여

• 시스템 형식화: 본 논문은 불완전한 CSI 와 불신 수신자 하에서 UAV 위치, RIS 구성, 전력 할당을 공동으로 고려하여 WCSEE 를 최대화하려는 새로운 보안 UAV-RIS 지원 SWIPT 시스템을 형식화합니다.
• 최적화 프레임워크: 효율적으로 해결 가능한 보안 에너지 효율 (SEE) 형식을 해결하는 BCD-SCA 기반 알고리즘을 개발하여 빠르게 수렴하는 벤치마크를 제공합니다.
• DRL 혁신: 일반적인 WCSEE 문제를 위한 맞춤형 SAC 기반 접근 방식을 제안합니다. 이 방법은 변수 간의 고차원 결합을 효과적으로 포착하고 기존 방법이 요구하는 반복적 최적화를 피하며, 계산 부하를 오프라인 훈련으로 이전합니다.
• 성능 검증: 이 연구는 기존 최적화 (SCA) 및 기타 DRL 벤치마크 (DDPG, TD3) 에 대한 포괄적인 비교를 제공합니다.

결과
시뮬레이션 결과는 제안된 SAC 접근 방식의 우월성을 보여줍니다:

• 성능 향상: SAC 방법은 SCA 기반 벤치마크 대비 최대 28% 의 SEE 개선을 달성하며, Deep Deterministic Policy Gradient (DDPG) 대비 약 16% 의 개선을 보입니다. 또한 Twin Delayed DDPG (TD3) 보다 우수한 성능을 발휘합니다.
• 견고성: SAC 접근 방식은 다양한 RIS 요소 수 및 전송 전력 수준을 포함한 다양한 시스템 구성 전반에 걸쳐 안정적인 성능과 견고성을 유지합니다. 이는 CSI 불확실성 (변화하는 불확실성 반경 $\nu$) 에 대한 강력한 복원력을 보여줍니다.
• 수렴: SAC 는 작은 미니 배치 크기에서도 DDPG 및 TD3 에 비해 더 빠른 수렴과 더 높은 평균 보상을 나타냅니다.
• 확장성: 고차원 결합 변수로 인해 계산 집약적이 되는 SCA 와 달리, SAC 방법은 오프라인 훈련 후 저복잡성 온라인 배포를 제공합니다.

의의
본 논문은 보안 UAV-RIS 시스템에서 이론적 최적화와 실제 배포 간의 격차를 해소하는 데 주요한 의의가 있다고 주장합니다. 기존 연구들은 종종 SWIPT, 보안, 또는 UAV 배포를 분리하여 다루거나 이상화된 모델을 가정하는 반면, 이 프레임워크는 불완전한 CSI, 이산 위상과 같은 현실적 제약 하에서 이러한 요소들을 통합합니다. 복잡한 결합 및 불확실한 환경에서 모델 기반 최적화 (SCA) 보다 모델 프리 DRL 접근 방식 (SAC) 이 더 우수한 성능을 발휘할 수 있음을 입증함으로써, 차세대 보안 무선 네트워크를 위한 학습 기반 제어로의 패러다임 전환을 시사합니다. 결과는 SAC 가 결합된 UAV-RIS 자원 할당에 내재된 비볼록성과 고차원성을 처리하는 데 특히 적합하며, 차세대 5G 이후 네트워크를 위한 확장 가능한 솔루션을 제공함을 나타냅니다.