Reinforcement Learning-Enabled Agent for Transmitter Optimization in Digital-Analog Radio-over-Fiber Fronthaul

기술 요약: 디지털-아날로그 무선 광전송(DA-RoF) 프론트홀의 송신기 최적화를 위한 강화 학습 기반 에이전트

문제 정의
디지털-아날로그 무선 광전송(DA-RoF)은 아날로그 전송의 스펙트럼 효율성과 디지털 전송의 견고함 사이의 균형을 제공함으로써 6G 및 차세대 클라우드-RAN(Cloud-RAN) 아키텍처를 위한 유망한 프론트홀 솔루션으로 부상했습니다. 그러나 DA-RoF 시스템의 성능은 반올림 계수(Rounding Factor, RF), 스케일링 계수(Scaling Factor, SF), 기하학적 성형(Geometric Shaping, GS) 계수, 그리고 프리 이퀄라이제이션(Pre-equalization) 탭 계수와 같이 서로 밀접하게 결합된 여러 송신기 파라미터의 공동 최적화에 결정적으로 의존합니다. 이러한 파라미터들은 양자화 잡음, 피크 대 평균 전력비(PAPR), 비선형 왜곡, 그리고 대역폭 유발 심볼 간 간섭(ISI)에 집단적으로 영향을 미칩니다.

고정 설정, 경험적 튜닝 또는 전수 그리드 탐색(Exhaustive Grid Search)과 같은 기존의 최적화 방법은 계산 비용이 매우 많이 들며, 실제 하드웨어 결함 및 변화하는 링크 조건 하에서 최적의 결과를 얻지 못하는 경우가 많습니다. 또한, 기존의 엔드 투 엔드(End-to-end) 딥러닝 접근 방식은 비미분 가능한 반올림 연산에 의존하는 DA-RoF에 적합하지 않으며, 원격 무선 유닛(RRU)에 복잡한 신경망을 배치하는 것은 비용 효율성이 떨어집니다. 따라서 미분 가능한 채널 모델이나 추가적인 수신기 측 복잡성 없이도 최적의 파라미터를 자율적으로 학습할 수 있는 모델 프리(Model-free) 방식의 하드웨어 효율적인 최적화 방법이 필요합니다.

방법론
저자들은 송신기 측(중앙 장치/분산 장치, CU/DU)에서만 작동하도록 설계된 RL 기반 DA-RoF 프론트홀 에이전트 아키텍처를 제안합니다. 핵심 방법론은 다음과 같습니다:

1. MDP 정식화: 송신기 파라미터 최적화 문제를 마르코프 결정 과정(MDP)으로 정식화합니다.

   • 상태(State): 현재의 RF, SF, GS 계수 및 프리 이퀄라이제이션 계수의 값으로 정의됩니다.
   • 행동(Action): 이러한 파라미터에 적용되는 이산적인 변화(증가 또는 감소)입니다.
   • 보상(Reward): 수신기에서 전달된 오류 벡터 크기(EVM) 피드백을 통해 계산된 복구된 무선 신호의 신호 대 잡음비(SNR)로부터 도출됩니다. 보상 함수는 변조 방식별 SNR 임계값을 초과하고 단조적인 개선을 이루도록 유도합니다.
   • 환경(Environment): 증폭기 비선형성 및 대역폭 제한과 같은 결함을 포함하는 물리적 IMDD(강도 변조 직접 검출) DA-RoF 링크입니다.

2. 알고리즘 선택: 저자들은 **듀얼링 딥 Q-네트워크(Dueling Deep Q-Network, DQN)**를 채택합니다. 이 아키텍처는 상태 가치(State Value)와 행동 이득(Action Advantage)의 추정을 분리하며, 이는 많은 국소적 행동들이 즉각적인 보상은 비슷하더라도 장기적인 영향에서는 다를 수 있는 DA-RoF의 결합된 이산 파라미터 공간에 특히 효과적입니다. 에이전트는 모델 프리 방식으로, 분석적인 채널 모델 대신 엔드 투 엔드 SNR 피드백에만 의존합니다.

3. 시스템 아키텍처: 에이전트는 CU/DU에 상주합니다. 에이전트는 송신기 파라미터를 조정하고 원격 유닛(RU)으로부터 SNR 피드백을 받으며 프론트홀 링크와 상호작용합니다. 결정적으로, RU는 하드웨어 수정이나 추가적인 DSP 모듈이 필요하지 않으며, 단순히 피드백만을 제공하므로 네트워크 엣지에서의 복잡성을 낮게 유지합니다.

주요 기여

• DA-RoF를 위한 MDP 정식화: 논문은 RF, SF, GS 계수 및 프리 이퀄라이제이션 계수의 공동 최적화를 MDP로 정식화하여, 이들 파라미터의 비분리적 특성을 해결했습니다.
• 하드웨어 친화적인 RL 에이전트: 제안된 프레임워크는 학습 에이전트를 송신기에만 배치하여, 수신기의 복잡성을 낮게 유지하고 기존 IMDD 프론트홀 배포와의 호환성을 확보했습니다.
• 모델 프리 최적화: 시스템은 미분 가능한 채널 모델이나 전수 그리드 탐색 없이도 듀얼링-DQN을 활용하여 시행착오를 통해 최적의 정책을 학습함으로써 최적화를 달もの합니다.

실험 결과
제안된 프레임워크는 1km 표준 단일 모드 광섬유(SSMF) 링크를 사용하는 실험적 IMDD DA-RoF 테스트베드에서 검증되었습니다. 주요 결과는 다음과 같습니다:

• SNR 개선: 훈련된 에이전트는 그리드 탐색 베이스라인 대비 약 2.7 dB의 평균 SNR 향상을 달성했습니다.
• 차수별 성능: 시스템은 고차 변조 형식을 성공적으로 지원하였으며, 최종 SNR은 다음과 같습니다:
  • 1차 DA-RoF (1024-QAM): 35.8 dB
  • 2차 DA-RoF (4096-QAM): 42.9 dB
  • 3차 DA-RoF (16384-QAM): 53.8 dB
  • 4차 DA-RoF (65536-QAM): 63.2 dB
• 수렴성: 에이전트는 32회의 상호작용 단계 내에 최적 상태에 도달하여 빠른 수렴을 보여주었으며, 이는 수만 번의 측정이 필요한 전수 탐색 방식보다 현저히 빠른 속도입니다.
• 파라미터 적응: 에이전트는 양자화 잡음과 PAPR 사이의 균형을 맞추기 위해 RF와 SF를 조정하고, 진폭 비선형성을 완화하기 위해 GS를 활용하며, 대역폭 유발 ISI를 보상하기 위해 프리 이퀄라이제이션 탭을 자율적으로 최적화하는 법을 학습했습니다.
• 견고성: 최적화된 파라미터는 변화하는 전기 구동 진폭 및 수신 광전력 전반에서 높은 성능을 유지하며 강력한 일반화 능력을 입증했습니다.

의의 및 주장
본 논문은 제안된 RL 기반 프레임워크가 DA-RoF 프론트홀의 파라미터 최적화를 위한 온라인, 확장 가능하며 하드웨어 효율적인 솔루션을 제공한다고 주장합니다. 복잡한 수신기 측 DSP나 전수 탐색의 필요성을 제거함으로써, 이 방법은 비용에 민감한 액세스 네트워크의 실질적인 제약을 해결합니다. 결과는 지능적인 모델 프리 제어가 DA-RoF의 복잡한 파라미터 결합을 효과적으로 관리할 수 있음을 입증하며, 이는 테라비트 이상의 용량과 초고밀도 배포를 지원할 수 있는 지능형 차세대 무선 접속 네트워크 구축을 위한 발판을 마련합니다. 저자들은 이 연구를 하드웨어 적응형 프론트홀 시스템을 향한 단계로 제시하고 있습니다.