Robust Beam Codebooks for mmWave/THz Systems: Toward a Stochastic RL Approach

논문 요약: mmWave/THz 시스템을 위한 강건한 빔 코드북 설계: 확률적 강화학습 (RL) 접근법

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 밀리미터파 (mmWave) 및 테라헤르츠 (THz) 대역의 Massive MIMO 시스템은 경로 손실을 극복하기 위해 대규모 안테나 어레이와 아날로그 빔포밍을 사용합니다.
• 기존 방식의 한계:
  • 현재 시스템은 사전 정의된 빔포밍 코드북 (Codebook) 에 의존합니다.
  • 비선형 가시거리 (NLoS) 환경: 단일 로브 (single-lobe) 설계로 인해 다중경로 이득을 활용하지 못하며, 빔 밀도가 높아 훈련 오버헤드가 큽니다.
  • 하드웨어 제약: 안테나 어레이의 보정 비용이 높으며, 위상 시프터 (Phase Shifter) 의 양자화 오차, 발진기 위상 잡음 (Phase Noise), 그리고 노이즈가 포함된 피드백 신호에 매우 취약합니다.
  • 채널 상태 정보 (CSI) 의존성: 기존 방식은 정확한 채널 지식이 필요하지만, 하드웨어 결함이나 동적 환경에서는 이를 얻기 어렵거나 비효율적입니다.
• 핵심 문제: 강화학습 (RL) 을 이용한 적응형 코드북 설계가 제안되었으나, 실제 환경의 하드웨어 결함과 노이즈가 있는 피드백 하에서 RL 알고리즘의 강건성 (Robustness) 에 대한 체계적인 평가가 부족했습니다.

2. 제안된 방법론 (Methodology)

이 논문은 하드웨어 결함과 노이즈가 있는 피드백 환경에서도 견고하게 작동하는 다중 에이전트 강화학습 (Multi-Agent RL) 프레임워크를 제안합니다.

• MDP (Markov Decision Process) 공식화:
  • 상태 (State): 모든 위상 시프터의 위상 값.
  • 행동 (Action): 위상 조정 값 (연속 행동을 K-Nearest Neighbors 를 통해 이산화된 하드웨어 제약에 매핑).
  • 보상 (Reward): 3 단계 (Ternary) 보상 메커니즘 사용.
    • +1: 적응형 임계값을 초과할 때.
    • 0: 성능이 개선되었으나 임계값 미달일 때 (탐색 유도).
    • -1: 성능이 저하될 때.
    • 특징: 절대값이 아닌 상대적 개선 (현재 vs 이전) 을 기반으로 하여 정적 노이즈 편향을 필터링합니다.
• 다중 에이전트 아키텍처:
  • 클러스터링: 사용자를 공간적 상관관계에 따라 그룹화 (Near-far 효과 제거를 위해 감지 빔 기반 특징 벡터 사용).
  • 할당: Hungarian 알고리즘을 사용하여 각 RL 에이전트를 최적화된 사용자 클러스터에 할당.
  • 병렬 학습: 각 에이전트가 할당된 섹터의 빔포밍 이득을 최대화하도록 독립적으로 학습.
• 강건성 평가 프레임워크:
  • 하드웨어 결함 모델링: 안테나 요소에 고정된 미지의 위상 오차 ($\Delta\theta$) 를 추가.
  • 노이즈 피드백 모델링: 측정된 이득에 신호 강도에 비례하는 가우시안 노이즈 ($\delta$) 를 추가.
  • 비교 대상 알고리즘:
    • 결정론적 (Deterministic): DDPG, TD3 (고정된 OU 노이즈를 통한 탐색).
    • 확률적 (Stochastic): SAC (Soft Actor-Critic) (엔트로피 정규화를 통한 확률적 정책 학습).

3. 주요 기여 (Key Contributions)

1. 강건성 평가 방법론 정립: 하드웨어 위상 불일치를 명시적으로 모델링하고, 노이즈가 있는 피드백 환경에서 RL 알고리즘의 성능을 정량화하는 스트레스 테스트 방법론을 제시.
2. 확률적 정책의 우월성 입증: 결정론적 정책 (DDPG, TD3) 에 비해 SAC(확률적 정책) 이 하드웨어 결함과 노이즈에 훨씬 더 강건함을 실험적으로 증명. SAC 는 엔트로피 정규화를 통해 "단일 최적점"이 아닌 "유효 구성 영역"을 학습하여 노이즈에 유연하게 대응함.
3. 노이즈 내성 한계 규명: 피드백 신호가 40% 까지 오염되어도 제안된 SAC 기반 학습 전략이 높은 빔포밍 이득을 유지함을 확인하여, 실제 THz 배포를 위한 데이터 기반 빔포밍의 상한선을 제시.

4. 실험 결과 (Results)

DeepMIMO 데이터셋을 기반으로 한 시뮬레이션 결과 (LoS 및 NLoS 시나리오, 60GHz 및 28GHz) 는 다음과 같습니다.

• 기본 성능 (Ideal Conditions):
  • SAC 는 LoS 및 NLoS 모든 시나리오에서 DDPG 와 TD3 보다 일관되게 높은 빔포밍 이득을 기록했습니다.
  • 특히 NLoS 환경에서 SAC 는 다중경로 성분을 더 효과적으로 포착하여 16 빔 코드북에서 이론적 한계 (EGC) 의 80% 에 도달했습니다.
• 하드웨어 결함에 대한 강건성:
  • 위상 불일치 ($\sigma_p$) 가 증가함에 따라 모든 알고리즘의 성능이 안정적으로 유지되었으나, SAC 가 가장 높은 이득을 유지했습니다.
  • SAC 의 확률적 특성이 하드웨어의 불규칙성에 적응하는 데 효과적이었습니다.
• 노이즈 피드백에 대한 강건성:
  • 피드백 노이즈가 40% 까지 증가하는 극한 조건에서도 SAC 는 초기 성능의 약 78% 를 유지했습니다.
  • 반면, 결정론적 알고리즘 (DDPG) 은 노이즈로 인한 가치 함수 과대평가 (Overestimation) 로 인해 성능이 급격히 하락 (약 36% 손실) 했습니다.
• 탐색 메커니즘 분석:
  • DDPG/TD3 는 고정된 OU 노이즈를 사용하여 노이즈 환경에서 수렴이 어렵습니다.
  • SAC 는 적응형 엔트로피 온도 ($\alpha$) 를 통해 학습 초기에는 높은 탐색을 유지하다가, 환경이 안정화되면 자동으로 엔트로피를 낮추어 노이즈를 필터링하고 최적화합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 하드웨어 무관성 (Hardware-Agnostic): 이 연구는 사전 채널 지식이나 정밀한 하드웨어 보정 없이도, 환경 피드백만으로 최적의 빔 패턴을 학습할 수 있음을 보여줍니다.
• 실제 배포 가능성: mmWave/THz 시스템이 직면한 위상 잡음, 양자화 오차, 노이즈가 있는 피드백 등 실제 물리층의 불완전성을 고려할 때, SAC 와 같은 확률적 강화학습이 필수적인 기술임을 입증했습니다.
• 향후 방향: 본 연구는 데이터 기반 빔포밍이 실제 통신 시스템의 신뢰성과 복원력 (Resilience) 을 확보하는 데 있어 핵심적인 역할을 할 수 있음을 시사합니다.

핵심 요약:
이 논문은 mmWave/THz 시스템에서 하드웨어 결함과 노이즈가 있는 피드백 하에서도 견고하게 작동하는 빔 코드북을 설계하기 위해 확률적 강화학습 (SAC) 을 도입했습니다. 기존 결정론적 RL 알고리즘 (DDPG, TD3) 이 노이즈와 하드웨어 오차에 취약한 반면, SAC 는 엔트로피 정규화를 통해 노이즈를 필터링하고 유효한 구성 영역을 학습함으로써, 극한의 환경에서도 높은 빔포밍 이득을 유지하는 것을 입증했습니다.