Adaptive Machine Learning Framework for UAV Trajectory Optimization in O-RAN

기술 요약: O-RAN 내 UAV 궤적 최적화를 위한 적응형 머신러닝 프레임워크

문제 정의
Open Radio Unit(O-RU)으로서 무인 항공기(UAV)를 6G Open Radio Access Network(O-RAN) 아키텍처에 배치하는 것은 확장 가능하고 적응적인 네트워크 커버리지를 위한 유망한 솔루션을 제공한다. 그러나 동적이고 생소한 도시 환경에서 UAV 궤적을 최적화하는 것은 상당한 과제를 안겨준다. 기존의 강화 학습(Reinforcement Learning, RL) 방식은 단일 환경 최적화에는 효과적이지만, 다양한 시나리오에 걸친 적응성이 부족하다. UAV가 서로 다른 건물 배치, 지형 또는 통신 특성을 가진 새로운 환경에 진입할 때, 표준 RL 모델은 일반적으로 처음부터 다시 학습(retraining)해야 한다. 이 과정은 계산 비용이 많이 들고 시간이 오래 걸려 실시간 운영과 확장성을 저해한다. 또한, 기존의 전이 학습(Transfer Learning, TL) 방법은 소스 모델을 타겟 환경에 적용할 수 있는지 평가하는 메커니즘이 부족하여, 유사하지 않은 환경으로부터의 지식이 성능을 향상시키기보다 오히려 저하시키는 "부정적 전이(negative transfer)"의 위험이 있다.

방법론
본 논문은 이러한 한계를 해결하기 위해 O-RAN 아키텍처 내에서 강화된 지속적 전이 학습(Continual Transfer Learning, CTL)을 통합하는 새로운 프레임워크를 제안한다. 핵심 방법론은 세 가지 주요 구성 요소로 이루어진다:

1. 모델 선택 메커니즘: 시스템은 특정 도시 환경(예: York, London, Ottawa)에서 학습된 사전 학습된 Deep Deterministic Policy Gradient(DDQN) 모델 라이브러리를 유지한다. UAV가 새로운 환경($E_{new}$)에 직면하면, 프레임워크는 환경적 특성(건물 높이, 밀도, 기지국 분포, 지도 크기, UAV 고도)을 나타내는 특징 벡터를 추출한다. $E_{new}$와 라이브러리의 모든 환경 간의 합성 유사도 점수가 계산된다. 만약 가장 높은 유사도 점수가 미리 정의된 임계값을 초과하면, 가장 유사한 사전 학습 모델이 전이 학습을 위해 선택된다.
2. 폴백 일반 모델 ($M_G$): 라이브러리에 충분히 유사한 모델이 없는 경우(즉, 유사도 점수가 임계값 미만인 경우), 시스템은 폴백 모델 $M_G$를 사용한다. 이 모델은 가용한 모든 실제 도시의 주요 구조적 파라미터를 결합하고 평균화하여 구축된 합성 도시 환경에서 초기 학습된다. 이러한 설계는 $M_G$가 중립적이고 편향되지 않은 도시 환경을 나타내도록 보장하며, 특정 도시 형태에 대한 과적합을 방지하고 부정적 전이 시나리오에서 신뢰할 수 있는 베이스라인을 제공한다.
3. 지속적 학습(CL) 통합: 프레임워크는 $M_G$를 지속적으로 업데이트하기 위해 CL을 활용한다. UAV가 새로운 환경에서 작동하며 새로운 정책을 생성함에 따라, 이 모델들은 라이브러리에 저장될 뿐만 아니라 가중치 집계(weighted aggregation)를 통해 $M_G$를 정교화하는 데 사용된다. 기존 $M_G$와 새로운 모델에 할당되는 가중치는 새로운 환경과 원래 학습 조건 사이의 유사성에 따라 결정되며, 이를 통해 시스템은 다양한 시나리오에 걸쳐 지식을 점진적으로 축적하면서 파괴적 망각(catastrophic forgetting)을 완화할 수 있다.

전체 시스템은 O-RAN 구조 내에 내장된다. Non-Real-Time RIC(Non-RT RIC)는 모델 선택, 전이 학습 및 지속적 학습 업데이트를 위한 rApp을 호스팅하며, Near-Real-Time RIC(Near-RT RIC)는 실시간 도시 유사도 비교, 모델 디스패칭 및 궤적 추론을 위한 xApp을 활용한다.

주요 기여
본 논문은 다음과 같은 구체적인 기여를 명시한다:

• 적응형 모델 선택: 환경 유사도 메트릭을 기반으로 라이브-러리로부터 가장 적절한 사전 학습된 궤적 정책을 선택하는 메커니즘을 개발하여, 재학습 오버헤드를 크게 줄였다.
• 강건한 폴백 모델: 지속적 학습을 통해 지속적으로 업데이트되는 합성 폴백 모델($M_G$)을 구축하여, 시스템이 미지의 환경에서도 베이스라인 성능을 유지하고 점진적으로 일반화 능력을 향상할 수 있도록 하였다.
• O-RAN 통합: 실시간 추론 및 지속적 학습 루프를 가능하게 하기 위해 xApp과 rApp을 활용하여 O-RAN 아키텍처 내에 통합된 UAV 궤적 시스템을 구현하였다.
• 실제 환경 검증: 회절 및 다중 경로 효과와 같은 현실적인 전파 조건을 포함하여, 실제 도시(York, Beijing, Ottawa 등)의 고정밀 레이 트레이싱(ray-traced) RSSI 맵을 사용하여 프레임워크를 검증하였다.

결과
여러 도시 환경(York, Ottawa, Beijing 포함)에서 수행된 시뮬레이션은 제안된 프레임워크의 효능을 입증한다:

• 수렴 속도: 모델 선택 기반의 전이 학습 방식은 처음부터 다시 학습하는 방식(DDQN)에 비해 수렴 시간을 44%에서 56%까지 단축시킨다.
• 전통적 TL과의 비교: 제안된 방법은 모델 선택이 없는 전통적인 전이 학습에 비해 수렴 성능을 최대 40% 개선한다.
• 특정 시나리오에서의 성능:
  • 유사한 소스가 존재하지 않았던 York 환경에서, 폴백 모델 $M_G$는 880 에피소드 만에 수렴하여, 최적의 라이브러리 모델(940 에피소드)과 DDQN 베이스라인(1380 에피소드)보다 우수한 성능을 보였다.
  • Ottawa에서는 구조적으로 유사한 Manchester 모델로부터 전이하여 750 에피소드 만에 수렴하였으며, 이는 DDQN 베이스라인 대비 44.8% 개선된 결과이다.
  • Beijing에서는 유사한 York 모델로부터 전이하여 590 에피소드 만에 수렴하였으며, 이는 베이스라인 대비 45.9% 개선된 결과이다.
• 부정적 전이: 서로 다른 환경(예: Rosslyn에서 Ottawa로)으로부터 모델을 전이하는 것이 처음부터 학습하는 것보다 느린 수렴과 더 낮은 성능을 초래할 수 있음을 확인하였으며, 이는 유사도 기반 선택 메커니즘의 필요성을 입증한다.
• 지속적 학습의 영향: CL이 업데이트된 폴백 모델이 특정 사례에서 항상 최적의 선택된 전이 모델보다 뛰어난 성능을 보이지는 않았으나, 시간이 지남에 따라 적응력이 향려되어 라이브러리의 환경이 확장됨에 따라 시스템이 견고함을 유지하도록 보장하였다.

의의 및 주장
저자들은 본 연구가 이질적인 도시 시나리오에서의 UAV 궤적 최적화에 관한 핵심적인 격차를 해결한다고 주장한다. O-RAN 프레임워크 내에서 모델 선택과 지속적으로 업데이트되는 폴백 메커니즘을 결려함으로써, 시스템은 처음부터 다시 학습해야 하는 과도한 비용 없이 새로운 환경에 빠르게 적응할 수 있다. 본 논문은 이 접근 방식이 학습을 가속화할 뿐만 아니라, 부정적 전이를 방지함으로써 견고하고 신뢰할 수 있는 운영을 보장한다는 점을 강조한다. 실세계 레이 트레이싱 데이터와 O-RAN 아키텍처의 통합은 이 프레임워크가 확장 가능하고 지능적인 6G 네트워크 배포를 위한 실질적인 단계임을 입증한다. 저자들은 향ar 연구에서 모델 선택 전략 및 에너지 효율적인 궤적 계획의 추가적인 향상을 탐구할 것이라고 언급하였다.