Active Beyond-Diagonal RIS Empowered Heterogeneous Edge Computing: A Distributional Reinforcement Learning Approach

기술 요약: 능동형 비대각(Beyond-Diagonal) RIS 기반 이종 엣지 컴퓨팅

문제 정의
본 논문은 능동형 비대각 재구성 가능한 지능형 표면(Active Beyond-Diagonal Reconfigurable Intelligent Surface, BD-RIS)에 의해 보조되는 이종 모바일 엣지 컴퓨팅(MEC) 시스템에서 에너지 인지적 태스크 오프로딩 및 자원 할당 문제를 다룹니다. 이 시스템은 CPU 지향 태스크와 GPU 지향 태스크가 혼합되어 있으며, 차단 정도가 다양한 사용자들(RIS의 보조가 절실히 필요한 깊은 차단 상태의 사용자와 잔여 직접 링크가 존재하는 사용자)과, 송신 및 반사 하이브리드 모드로 동작하는 능동형 BD-RIS를 포함합니다.

식별된 핵심적인 물리적 제약 사항은 실제 능동형 BD-RIS 장치가 상호성 회로(reciprocal circuits)를 통해 구현된다는 점입니다. 이러한 상호성은 RIS가 서로 다른 섹터의 사용자를 보조할 때(예: 한쪽 측면으로 신호를 반사하는 동시에 다른 쪽으로 송신할 때) **교차 섹터 에너지 누설(cross-sector energy leakage)**을 본질적으로 발생시킵니다. 이 누설은 시스템 수준의 에너지-지연 시간 트레이드오프를 재편하여, 업링크 전송 및 엣지 실행에 사용할 수 있는 에너지 예산을 압축합니다. 또한, 최적화 문제는 오프로딩 결정, CPU/GPU 계산 할당, 업링크 송신 전력, 수신 처리 및 능동형 BD-RIS 설정을 포함하는 밀접하게 결합된 변수들을 가진 고차원 혼합 정수 비볼록(mixed-integer, nonconvex) 문제입니다. 기존의 사례별(per-instance) 최적화 방법은 이 문제의 계산 복잡도와 강한 시나리오 의존성을 해결하는 데 어려움이 있습니다.

방법론
이 복잡한 최적화 문제를 효율적으로 해결하기 위해, 저자들은 분포형 소프트 액터-크리틱(Distributional Soft Actor-Critic, DSAC-T)에 기반한 엔드 투 엔드 공동 최적화 프레임워크를 제안합니다. 이는 분포형 강화 학습 알고리즘의 정교한 버전입니다.

1. 시스템 모델링:

   • 채널 모델: 시스템은 비대칭 차단을 모델링하며, 차단된 사용자는 능동형 BD-RIS에 의존하고, 차단되지 않은 사용자는 심하게 감쇠되었으나 0은 아닌 직접 링크를 가집니다. 능동형 BD-RIS는 상호성 산란 행렬(reciprocal scattering matrix)로 모델링되어, 교차 섹터 결합($\Theta_{1,2} = \Theta_{2,1}$)과 그로 인한 에너지 누설을 명시적으로 포착합니다.
   • 이종 계산: 엣지 서버는 서로 다른 유형의 태스크를 처리하기 위해 분리된 CPU 및 GPU 자원 풀을 유지합니다.
   • 에너지 모델: 정적 회로 전력, 증폭기 효율, 그리고 노이즈 증폭 및 교차 섹터 누설 비용을 포함하는 능동형 RIS의 동적 전력 소비를 고려합니다.

2. MDP 재정의:
   문제는 슬롯 단위의 마르코프 결정 과정(MDP)으로 재정의됩니다.

   • 상태(State): 태스크 특징, 채널 정보 및 자원 조건을 포함합니다.
   • 행동(Action): 액터 네트워크에 의해 생성되며, 오프로딩 결정, 엣지 계산 할당, 송신 전력 및 RIS 제어 벡터를 포함합니다. 이들은 가능한 이진 및 연속 제약 조건(예: RIS 행렬이 대각 성분을 가지고 상호성을 갖도록 보장) 내로 투영됩니다.
   • 보상(Reward): 원래 목적 함수의 페널티 기반 대리 함수입니다. 이는 로컬, 오프로딩 및 RIS 에너지 소비의 음의 가중 합을 최대화하는 동시에 지연 시간 위반을 명시적으로 처벌합니다.

3. 알고리즘 선택 (DSAC-T):
   저자들은 표준 기대값 기반 액터-크리틱 방법(SAC 또는 DDPG 등)이 보상 이질성(다양한 차단 패턴 및 태스크 유형에 의해 발생)과 타당성 경계 민감도(작은 결정 변화가 타당성을 급격히 변화시키는 경우) 때문에 불충분하다고 주장합니다.

   • 분포형 접근 방식: DSAC-T는 반환값(return)의 분포를 단순한 기대값이 아닌 두 개의 가우시안 분포를 사용하여 모델링합니다. 이를 통해 크리틱(critic)이 평균 반환값뿐만 아니라 불확실성(분산)도 학습할 수 있게 합니다.
   • 강건성: 업데이트 시 두 개의 타겟 평균 중 더 작은 값을 사용함으로써, 알고리즘은 과대평가 편향을 줄이고, 결과적으로 급격한 타당성 경계가 있는 환경에서 더 안정적인 정책 업데이트를 유도합니다.

주요 기여

1. 물리적 일관성을 갖춘 시스템 모델: 본 논문은 상호성 능동형 BD-RIS가 지원되는 이종 MEC를 위한 엄격한 모델을 구축했습니다. 이는 회로 상호성으로 인한 교차 섹터 에너지 누설, 차단된 사용자를 위한 잔여 직접 링크 감쇄, 그리고 분리된 CPU/GPU 엣지 자원 사이의 결합을 명시적으로 포착합니다.
2. 공동 최적화 프레임워크: 저자들은 강력하게 결합된 혼합 정수 비볼록 문제를 정식화하고 해결합니다. 오프로딩, 계산, 전력 및 RIS 구성을 공동으로 최적화하는 정책을 학습함으로써 고차원성과 비볼록성을 처리하는 DSAC-T 기반 프레임워크를 개발했습니다.
3. 알고리즘 적응성: 본 연구는 분포형 가치 학습(특히 DSAC-T)이 보상 이질성과 엄격한 타당성 제약이 있는 문제를 최적화하는 데 적합함을 입증하며, 기대값 기반의 베이스라인 모델보다 분포 모델링이 안정성을 향상시킨다는 것을 보여줍니다.

성능 결과
시뮬레이션은 10명의 사용자(4명은 깊게 차단됨), 8개 안테나 기지국, 128개 셀의 능동형 BD-RIS를 갖춘 300개의 평가 시나리오에 대해 수행되었습니다.

• 보상 및 타당성: DSAC-T는 가장 우수한 에너지-지연 시간 보상(-2.828)과 **81.67%**의 가장 높은 타당성 비율을 달 기록했습니다. 이는 SAC(71.33%), TD3(70.67%), DDPG(64.33%), 그리고 성공적 순차 볼록 근사(SCA) 기반의 수학적 교대 최적화(AO) 방법(66.67%)을 포함한 베이스라인들을 모두 앞질렀습니다.
• 효율성: DSAC-T의 시나리오당 온라인 결정 시간은 0.0267초였습니다. 반면, AO-SCA 방법은 41.865초가 소요되어, 학습 기반 접근 방식이 실시간 의사결정을 위해 수십 배 더 빠르다는 점을 강조했습니다.
• 수렴성: DSAC-T는 빠르게 수렴하며 가장 높은 보상을 유지한 반면, 다른 DRL 방법들은 더 낮은 수준에서 안정화되거나 더 느리게 수렴했습니다.
• RIS 영향: 능동형 BD-RIS 셀의 수를 늘릴수록 보상과 타당성이 모두 개선되었으며, 이는 학습된 RIS 제어가 단순히 개구면(aperture) 크기를 키우는 것 이상의 이득을 제공함을 확인시켜 줍니다.

의의 및 주장
본 논문의 주요 의의는 기존 연구에서 종종 지나치게 이상적으로 다루어졌던 상호성 능동형 BD-RIS의 특정 물리적 한계를 다루는 데 있다고 주장합니다. 교차 섹터 에너지 누설과 잔여 직접 링크를 엄격하게 모델링함으로써, 제안된 프레임워크는 무시될 경우 에너지 효율을 저하시킬 수 있는 실제 제약 조건을 포착합니다.

저자들은 제안된 DSAC-T 프레임워크가 우수한 성능-복잡도 트레이드오프를 제공한다고 단언합니다. 이는 기존의 최적화 및 다른 DRL 베이스라인보다 더 높은 타당성과 더 나은 에너지-지연 성능을 달 수 있게 할 뿐만 아니라, 지연 시간에 민로한 MEC 애플리케이션에 필수적인 실시간 운영을 가능하게 합니다. 본 연구는 분포형 가치 학습이 보상 이질성과 타당성 경계로 인해 전통적인 기대값 기반 학습이 불안정한 시스템을 최적화하는 데 효과적인 도구임을 검증합니다.