Deep Reinforcement Learning for Interference Suppression in RIS-Aided Space-Air-Ground Integrated Networks

기술 요약: RIS 지원 SAGIN에서의 간섭 억제를 위한 심층 강화 학습

문제 정의
본 논문은 6G를 위해 구상된 우주-항공-지상 통합 네트워크(SAGIN)에서의 상호 링크 간섭 문제를 다룹니다. 특히, 효율성을 극대화하기 위해 위성 업링크와 지상 다운링크가 동일한 주파수 스펙트럼을 공유하는 고고도 플랫폼 스테이션(HAPS) 시스템에 초점을 맞춥니다. 이러한 주파수 공유는 HAPS 업링크 안테나(위성을 향함)의 후방 로브(back-lobe) 방사 에너지가 인접한 다운링크 배열로 결합되어 지상 사용자들의 신호 품질을 저하시키는 심각한 간섭을 유발합니다.

제로 포싱(Zero-Forcing, ZF) 빔포밍 및 코드북 기반 널 스티어링(null steering)과 같은 전통적인 완화 기법들은 이러한 맥락에서 상당한 한계에 직면합니다. 이러한 방식들은 이산적인 코드북에 의존하며 완전한 채널 상태 정보(CSI)를 필요로 하므로, 양자화 오류를 발생시키고 매우 역동적인 채널 환경에서 최적이 아닌 성능을 보입니다. 또한, 기존의 최적화 방법론은 계산 비용이 많이 들며, 재구성 가능한 지능형 표면(RIS)에 의해 도입된 기하급수적인 구성 공간을 처리하는 데 어려움이 있습니다.

방법론
이러한 한계를 극려하기 위해, 저자들은 모델 프리(model-free) 심층 강화 학습(DRL) 접근 방식인 심층 결정론적 정책 경사(Deep Deterministic Policy Gradient, DDPG) 알고리즘을 사용하여 최적화된 RIS 지원 HAPS 프레임워크를 제안합니다.

• 시스템 모델: 본 아키텍처는 위성 계층, 상/하향 링크를 위한 균일 평면 배열(UPA)을 갖춘 항공 HAPS 계층, 그리고 RIS와 다수의 사용자를 포함하는 지상 계층으로 구성됩니다. 수동 반사 소자로 구성된 RIS는 추가 전력 없이 원하는 신호를 강화하고 간섭을 억제하도록 전파 환경을 재구성합니다.
• 최적화 목표: 목표는 모든 지상 사용자에 대해 최소 신호 대 간섭 및 잡음비(SINR)를 충족하면서 HAPS의 총 송신 전력을 최소화하는 것입니다.
• DDPG 프레임워크:
  • 상태(State): 시스템 상태는 실수부와 허수부를 포함한 복합 채널 행렬($H_{HAPS}$)로 정의됩니다.
  • 행동(Action): 에이전트는 HAPS 안테나 배열을 위한 연속적인 빔포밍 행렬($W$)을 출력합니다.
  • 보상(Reward): 보상 함수는 제약 조건 위반(SINR 및 전력 제한)에 대해 페널티를 부여하고, 높은 스펙트럼 효율과 간섭 억제에 대해 보상을 주도록 설계되었습니다.
  • 아키텍처: 프레임워크는 완전 연결 계층(fully connected layers), 배치 정규화(batch normalization), PReLU 활성화 함수를 갖춘 4개의 신경망(훈련용 액터, 훈련용 크리틱, 타겟 액터, 타겟 크리틱)을 활용합니다. 에이전트는 환경과의 상호작용을 통해 최적의 빔포밍 전략을 학습하며, 가중치를 조정하여 원하는 사용자에게는 견고한 링크를 유지하면서 간섭원 쪽으로는 공간적 널(spatial nulls)을 형성합니다.

주요 기여

1. 새로운 프레임워크: 본 논문은 주파수 공유 시나리오에서 백로브 간섭 억제를 목표로 하는, DRL 기반의 RIS 지원 SAGIN용 HAPS 빔포밍 최적화 접근 방식을 소개합니다.
2. 적응형 널 지향성(Adaptive Null Directivity): 정적인 ZF 방식과 달리, 제안된 DDPG 프레임워크는 시간 변화가 심한 채널 조건에 적응하면서 의도하지 않은 수신기 쪽으로 안테나 널을 형성하는 동시에 의도된 사용자의 서비스 품질(QoS)을 보존하는 법을 동적으로 학습합니다.
3. 성능 검증: 본 연구는 다양한 RIS 구성 및 사용자 분포에 대해 제안된 DDPG 방식이 기존의 ZF 빔포밍보다 우수한 성능을 보임을 입증하는 비교 분석을 제공합니다.

결과
Python 환경에서 28 GHz 반송파 주파수, 4×4 RIS 구성, 가변적인 지상 사용자 수를 사용하여 시뮬레이션을 수행했습니다. 주요 결과는 다음과 같습니다:

• 처리량 개선: DDPG 프레임워크는 ZF 빔포밍보다 일관되게 높은 처리량을 달면했습니다. 4×4 RIS 구성의 경우, 제안된 방식은 최대 **11.3%**의 처리량 향상을 달성했습니다(구체적으로 공정성 가중 시나리오에서 $\alpha=1$일 때 11.34%, $\alpha=2$일 때 10.99%).
• 확장성 및 강건성: DDPG 접근 방식은 다양한 사용자 분포(Poisson, Normal, Uniform)에 대해 우수한 성능을 유지했으며, 지상 사용자 수가 증가함에 따라 ZF와의 성능 격차가 더욱 벌어지는 것을 보여주었습니다.
• 수렴성: 시스템은 안정적인 수렴을 보였으며, 더 높은 송신 전력 예산을 사용할수록 더 빠른 학습과 더 높은 점근적 보상이 가능했습니다. 본 연구는 두 개의 은닉층 신경망 구조가 이 특정 문제에 대해 표현력과 일반화 사이의 최적의 균형을 제공함을 확인했습니다.

의의 및 주장
본 논문은 제안된 DDPG 기반 프레임워크가 차세대 6G 비지상 네트워크에서 간섭 완화를 위한 확장 가능하고 에너지 효율적이며 적응 가능한 솔루션을 제공한다고 주장합니다. HAPS 빔포밍 설계와 RIS의 유연성을 활용함으로써, 이 접근 방식은 완전한 채널 지식이나 복잡한 반복 솔버 없이도 주파수 공유로 발생하는 간섭을 효과적으로 억제합니다.

저자들은 이 연구를 동적인 SAGIN 환경에서 스펙트럼 효율성과 공간 격리를 향상시키기 위한 단계로 규정합니다. 현재 연구는 계산 가능성을 위해 축소된 규모의 구성을 중심으로 하고 있으나, 학습된 전략은 이론적으로 타당하며 더 큰 규모의 배포를 위한 신뢰할 수 있는 확장 접근 방식을 제공한다고 언급합니다. 향-후 과제로는 더 많은 사용자와 RIS 소자를 가진 대규모 네트워크로의 프레임워크 확장, 그리고 하드웨어 결함 및 불완전한 CSI와 같은 실제적인 고려 사항의 통합을 제시하였습니다.