Secure Energy Efficient Wireless Transmission: A Finite v/s Infinite-Horizon RL Solution

기술 요약: 보안 에너지 효율적 무선 전송: 유한 vs 무한 시계(Horizon) RL 솔루션

문제 정의
본 논문은 에너지 하베스팅(EH) 능력을 갖춘 시스템에서 무선 네트워크 보안과 에너지 효율성을 최적화하는 문제를 다룹다. 저자들은 에너지 하베스팅이 가능한 충전식 배터리와 제한된 용량을 가진 소스 노드(S), 전이중(full-duplex) 방식의 목적지 노드(D), 그리고 수동형 도청자(E)가 포함된 시나리오를 고려한다. 소스와 목적지 모두는 스토캐스틱(stochastic) 에너지 하베스팅 프로세스에 의존하며, 목적지는 전이중 능력을 활용하여 도청자의 수신 성능을 저하시키는 동시에 소스로부터 데이터를 수신하기 위해 재밍(jamming) 신호를 전송한다.

핵심 과제는 정해진 시간 기간($K$) 동안 소스의 송신 전력($P_S$)과 목적지의 재밍 전력($P_D$)을 공동으로 할당하는 것이다. 목표는 **평균 보안 에너지 효율(Average Secrecy Energy Efficiency, SEE)**을 극대화하는 것인데, 이는 단위 에너지 소비당 전송되는 평균 보안 비트 수로 정의된다. 시스템은 인과성 제약(에너지는 하베스팅되기 전에 사용할 수 없음), 배터리 용량 제한, 그리고 채널 상태 및 에너지 유입의 마르코프(Markovian) 특성을 따른다.

방법론
전송 기간 $K$가 사전에 알려져 있고 시스템 역학(채널 이득 및 에너지 하베스팅)이 시간에 따라 진화하므로, 본 문제는 **유한 시계 마르코프 결정 과정(Finite-Horizon MDP)**으로 정식화된다. 저자들은 유한 시계와 무한 시계 모델링 전략을 비교하기 위해 세 가지 뚜렷한 솔루션 접근 방식을 제안한다:

1. 유한 시계 공동 전력 할당 (FHJPA): 이는 유한 시계 문제에 대한 제안된 최적 솔루션이다. 이는 역방향 귀납법(Backward Induction, BI) 알고리즘을 활용한다. 이 알고리즘은 마지막 타임 슬롯($K$)에서 첫 번째 타임 슬롯($0$)까지 역순으로 반복하며, 모든 가능한 상태에 대해 가치 함수(value function)와 최적 정책(전력 쌍의 룩업 테이블)을 계산한다. 상태에는 채널 이득, 배터리 수준, 현재 타임 슬롯이 포함된다.
2. 탐욕 알고리즘 (Greedy Algorithm, GA): 저복잡도 서브 옵티멀(sub-optimal) 베이스라인이다. 각 타임 슬롯에서 GA는 미래의 보상이나 상태 전이를 고려하지 않고 즉각적인 보상(순간 SEE)을 최대화하는 전력 할당을 선택한다.
3. 무한 시계 공동 전력 할당 (IHJPA): 네트워크 수명을 알 수 없거나 사실상 무한한 시나리오를 위한 알고리즘이다. 이는 할인 계수(discount factor) 또는 시간 지평의 기하학적 분포를 가정하여 장기 평균 보상을 최대화하는 정적 정책(stationary policy)을 찾기 위해 **정책 반복(Policy Iteration, PI)**을 사용한다.

주요 기여

• 새로운 정식화: 본 논문은 SEE를 최대화하기 위해 송신 및 재밍 전력을 결합한 새로운 공동 최적화 프레임워크를 제시한다. 이는 소스와 목적지 양측 모두의 EH 능력을 통합하며, 기존 연구들이 SEE보다는 총 보안 비트 극대화에 집중했거나 목적지에서의 EH만을 가정했던 점과 차별화된다.
• 시계(Horizon)의 비교 분석: 본 연구는 SEE를 최대화하는 공동 전력 할당 문제에 대해 유한 시계 및 무한 시계 강화 학습(RL) 모델을 조사하고 비교한 최초의 연구이다.
• 알고리즘 개발: 저자들은 유한 시계 최적화를 위한 FHJPA 알고리즘과 무한 시계 최적화를 위한 IHJPA 알고리즘을 제안하며, 탐욕 베이스라인과의 상세한 비교 분석을 제공한다.
• 에너지 가용성에 대한 통찰: 에너지 하베스팅 가용성이 탐욕 전략과 최적 동적 계획법(dynamic programming)의 최적성 사이의 관계에 어떻게 영향을 미치는지에 대한 통찰을 제공한다.

결과
알고리즘의 성능은 하베스팅 에너지 수준($E_S, E_D$), 하베스팅 확률($p, q$), 그리고 총 타임 슬롯 수($K$)와 같은 파라미터를 변화시키며 시뮬레이션을 통해 평가되었다.

• FHJPA의 성능: FHJPA 알고리즘은 평균 SEE 측면에서 GA와 IHJPA 알고리즘보다 일관되게 우수한 성능을 보였다. 이러한 우월성은 문제를 유한 시계 MDP로 정확하게 모델링하여 특정 시간 제약과 배터리 역학을 반영했기 때문이다.
• GA의 동작: GA는 일반적으로 FHJPA보다 낮은 성능을 보이지만, 소스 노드의 배터리가 충분한 에너지(높은 하베스팅 확률 또는 큰 에너지 단위 덕분)를 보유할 때 그 성능 격차가 크게 줄어든다. 이러한 고에너지 시나리오에서는 즉각적인 보상의 탐욕적 최대화가 거의 최적에 가깝게 된다.
• IHJPA의 동작: IHJPA 알고리즘은 시간 지평 $K$가 작을 때 무한 시계 가정이 유한한 종료를 정확히 반영하지 못해 성능이 저하된다. 그러나 $K$가 증가함에 따라 무한 시계 모델의 정확도가 향상되어 FHJPA와 IHJPA 간의 성능 격차가 줄어든다.
• 트레이드오프(Trade-offs): 결과는 평균 SEE와 총 전송 보안 비트 수 사이의 트레이드오프를 나타낸다. 효율성을 최적화하는 FHJPA 알고리즘은 에너지를 보존하기 위해 송신 전력을 줄일 수 있으며, 이는 에너지가 풍부할 때 공격적으로 송신하는 GA에 비해 총 보안 비트 수가 적어질 수 있음을 의미한다.
• 계산 복잡도: FHJPA 알고리즘은 $O((K-1)N_S^2 N_A)$의 복잡도를 갖는 계획 단계(planning phase)를 필요로 하는 반면, GA는 계획 단계가 없다. 흥미롭게도 계산 시간 분석 결과, FHJPA 알고리즘은 IHJPA 알고리즘보다 16.6% 적은 시간이 소요되었으며, 이는 이 특정 맥락에서 유한 시계 문제를 해결할 때 역방향 귀납법이 무한 시계를 위한 정책 반복보다 더 효율적임을 시사한다.

의의 및 주장
본 논문은 유한한 전송 기간과 에너지 하베스팅 제약이 있는 무선 네트워크의 경우, 유한 시계 모델링이 무한 시계 모델링보다 우수하다고 주장한다. 저자들은 무한 시계 모델이 문헌에서 흔히 사용되지만, 네트워크 수명이 유한하고 알려진 경우 최적이 아닌 결과를 초래할 수 있음을 강조한다.

또한, 에너지가 풍부할 때 저복잡도 탐욕 전략이 최적 성능에 근접할 수 있다는 실질적인 통찰을 제시하며, 이는 계산 자원이 제한된 시스템에서 실행 가능한 대안이 될 수 있음을 보여준다. 마지막으로, 저자들은 시스템 최적화가 단순히 SEE나 총 보안 비트 중 하나만을 극대화하는 것이 아니라, 특정 네트워크 요구 사항에 따라 두 지표 사이의 균형을 찾는 방향으로 이루어져야 한다고 결론짓는다.