[기술 요약] RANalyzer: 자동화된 지속적 RAN 소프트웨어 평가 및 회귀 분석

1. 문제 정의 (Problem Statement)

O-RAN(Open RAN) 아키텍처의 확산으로 인해 네트워크 기능이 소프트웨어화(Virtualization)되면서, 구성 요소(CU, DU, RIC 등)의 업데이트 주기가 매우 빨라졌습니다. 이로 인해 다음과 같은 핵심적인 기술적 난제가 발생합니다.

• 성능 변동의 원인 규명 어려움: 무선 통신 시스템은 채널 상태(Channel conditions), 간섭(Interference), 하드웨어 가변성 등 확률적(Stochastic) 요소에 의해 성능이 크게 좌우됩니다. 따라서 특정 성능 저하가 '소프트웨어 업데이트' 때문인지, 아니면 단순히 '무선 환경의 변화' 때문인지 구분하기가 매우 어렵습니다.
• 기존 방식의 한계: 기존의 임계값 기반 모니터링이나 수동 트러블슈팅은 현대의 빠른 소프트웨어 진화 속도와 복잡한 분산 아키텍처를 감당하기에 확장성(Scalability)이 부족합니다.
• 분석의 공백: 기존 CI/CD/CT(지속적 통합/배포/테스트) 프레임워크는 데이터 수집과 단순 성능 검증에 치중되어 있으며, 성능 변동의 근본 원인을 체계적으로 해석하는 기능이 미비합니다.

2. 제안 방법론 (Methodology: RANalyzer)

본 논문은 무선 환경 요인을 배제하고 소프트웨어 변경에 의한 순수 성능 영향을 정량화하기 위해 RANalyzer라는 자동화된 분석 프레임워크를 제안합니다. 프레임워크는 크게 5단계로 구성됩니다.

① 하이브리드 코드 변경 분류 (Hybrid Code Change Categorization)

소프트웨어 커밋(Commit) 메시지로부터 변경 사항의 의미를 추출합니다.

• Keyword-based: 도메인 특화 키워드를 사용하여 프로토콜 계층(PHY, MAC, RRC 등)과 기능적 구성 요소를 빠르게 분류합니다.
• LLM-assisted Refinement: 키워드 매칭의 모호성을 해결하기 위해 Claude 4.5 Sonnet과 같은 대규모 언어 모델(LLM)을 사용하여 문맥을 파악하고, 영향을 받은 계층을 정밀하게 재분류합니다.

② 분산 분석 (Variance Decomposition)

성능 변동(Variance)에 기여하는 요인들을 통계적으로 분해합니다. 이를 통해 채널 상태, 트래픽 부하, 코드 변경이 각각 성능 지표(Throughput, Packet Loss, Jitter)에 미치는 상대적 기여도를 산출합니다.

③ 환경 모델링 (Environment Model)

무선 환경과 부하 조건이 주어졌을 때 기대되는 **'이상적인 성능(Baseline)'**을 예측하는 머신러닝 모델을 구축합니다. (본 논문에서는 Random Forest 모델이 가장 우수한 성능을 보임)

④ 잔차 기반 성능 분석 (Residual-Based Performance Analysis)

실제 측정된 성능($\eta_{test}$)과 환경 모델이 예측한 기대 성능($\eta_{exp}$)의 비율인 **잔차(Residual, $\rho$)**를 계산합니다.

• Degradation 판정 조건:
  1. 잔차가 특정 임계값($\tau_\rho$) 미만일 것 (성능 저하 발생).
  2. 기대 성능이 일정 수준($\tau_{exp}$) 이상일 것 (환경이 충분히 좋았음에도 성능이 낮아야 소프트웨어 문제로 간주 가능).

⑤ 성능 리스크 추정 (Performance Risk Estimation)

LightGBM 분류기를 사용하여 새로운 커밋이 배포되었을 때 성능 저하를 일으킬 확률을 사전에 예측합니다.

3. 주요 기여 (Key Contributions)

• 대규모 데이터셋 구축: 2년 이상의 연속적인 OTA(Over-the-Air) 테스트를 통해 69개의 OAI(OpenAir-Interface) 릴리스와 8,600개 이상의 자동화된 테스트 데이터를 수집했습니다.
• 하이브리드 분석 파이프라인: 키워드 매칭과 LLM을 결합하여 소프트웨어 변경 사항을 자동 분류하는 효율적인 방식을 제안했습니다.
• 환경 제어형 분석 방법론: 무선 환경의 변동성을 수학적으로 모델링하여 소프트웨어 유도 성능 변화(Software-induced effects)를 격리해내는 방법론을 제시했습니다.

4. 실험 결과 (Results)

• LLM의 유효성: 키워드만으로는 식별 불가능했던 복잡한 커밋 메시지(예: 특정 페이로드 수정 등)를 LLM이 정확하게 프로토콜 계층(MAC, NAS 등)과 연결함을 확인했습니다.
• 잔차 분석의 정확성: 잔차 분석을 통해 환경적 제약으로 인한 저하(Case 2)와 실제 코드 버그로 인한 저하(Case 3)를 명확히 구분해냈습니다. 특히 NVIDIA Aerial 업그레이드 과정에서 발생한 PHY 계층의 버그를 성공적으로 식별했습니다.
• 계층별 영향도: 분석 결과, PDCP 계층의 수정이 성능 저하에 가장 큰 영향을 미치는 것으로 나타났으며, MAC 계층은 수정 빈도가 가장 높았습니다.
• 리스크 예측: 성능 저하 예측 모델은 높은 정밀도(Precision)를 보여, CI/CD 파이프라인에서 잠재적 위험을 사전에 감지할 수 있는 가능성을 입증했습니다.

5. 의의 (Significance)

RANalyzer는 소프트웨어 중심의 차세대 이동통신(5G/6G) 네트워크 운영에 있어 **"자동화된 품질 보증(QA)"**의 새로운 패러다임을 제시합니다. 개발자는 이 프레임워크를 CI/CD/CT 파이프라인에 통합함으로써, 복잡한 무선 환경 속에서도 소프트웨어 업데이트가 네트워크 성능에 미치는 영향을 실시간으로 모니터링하고, 문제 발생 시 근본 원인(Root Cause)을 신속하게 파악하여 네트워크 안정성을 극대화할 수 있습니다.