FGGM: Formal Grey-box Gradient Method for Attacking DRL-based MU-MIMO Scheduler

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 5G 및 차세대 이동통신 시스템에서 다중 사용자 다중 입출력 (MU-MIMO) 기술은 스펙트럼 효율성을 극대화하기 위해 핵심적으로 사용됩니다. 기지국 (BS) 은 많은 사용자 중 데이터 전송을 위해 최적의 사용자 서브셋을 선택해야 하는데, 이는 NP-hard 문제 (정수 선형 계획법, ILP) 로 알려져 있습니다. 이를 해결하기 위해 심층 강화 학습 (DRL) 기반의 스케줄러가 실시간 근사 최적 해를 도출하는 방법으로 제안되었습니다.
• 문제점: DRL 기반 스케줄러는 사용자의 채널 상태 정보 (CSI) 를 입력으로 받아 의사결정을 내립니다. 그러나 이는 '내재적 보안 문제 (Intrinsic Security Problem)'를 야기합니다. 공격자가 CSI 를 조작하면 DRL 에이전트의 의사결정을 왜곡하여 정상 사용자의 처리량 (Throughput) 을 급격히 저하시킬 수 있습니다.
• 기존 연구의 한계: 대부분의 기존 공격 연구는 공격자가 **피해자 (정상 사용자) 의 정확한 CSI 값을 알고 있다 (White-box)**는 전제하에 이루어졌습니다. 그러나 실제 LTE/5G 상향 링크 (Uplink) 환경에서는 기지국이 CSI 를 추정하거나 물리 계층 암호화가 적용되어 있어, 공격자가 피해자의 정확한 CSI 값을 획득하는 것은 비현실적입니다.

2. 제안 방법론: FGGM (Methodology)

이 논문은 **Formal Grey-box Gradient Method (FGGM)**를 제안하여, 피해자의 정확한 CSI 값을 모른 채도 효과적인 공격을 수행하는 방법을 제시합니다.

• 그레이박스 (Grey-box) 위협 모델:

  • 지식: 공격자는 DRL 정책 (모델 구조 및 가중치) 을 알고 있습니다 (White-box 요소).
  • 불확실성: 공격자는 피해자의 정확한 CSI 값을 알지 못하지만, DRL 에이전트 훈련 시 사용된 **관측 정규화기 (Observation Normalizer)**의 평균 ($\mu$) 과 분산 ($\sigma$) 정보를 통해 피해자 관측값의 **상한 및 하한 범위 (Bounds)**를 추정할 수 있습니다.
  • 목표: 피해자의 CSI 가 이 범위 내의 어떤 값을 가지더라도, 피해자가 선택될 확률을 최소화하고 처리량을 저하시키는 단 하나의 조작된 CSI 벡터를 생성하는 것입니다.

• 핵심 기술: 다면체 추상 도메인 (Polytope Abstract Domains):

  • DNN 검증 (Verification) 기술인 Polytope (다면체) 추상화를 활용합니다.
  • 입력값 (피해자 CSI) 을 특정 구간 (Interval) 으로 정의하고, 이를 DRL 정책 네트워크 (Actor) 와 크리티크 네트워크 (Critic) 를 통과시키며 출력값의 상한/하한을 선형적으로 전파합니다.
  • 이를 통해 "피해자가 선택될 수 있는 모든 가능한 시나리오"에 대해 DRL 의 출력 (Q-value) 상한을 계산합니다.

• 최적화 문제:

  • 공격자의 관측값 ($o_{adv}$) 을 조정하여, 모든 가능한 피해자 관측값에 대해 Q-value 의 상한 (Upper Bound) 을 최소화하는 문제를 설정합니다.
  • 이 목적 함수는 미분 가능하므로, **확률적 경사 하강법 (Stochastic Gradient Descent, SGD)**을 사용하여 최적의 공격 CSI 를 한 번에 계산합니다.
  • 계산된 공격 CSI 는 공격 시작 시 한 번만 생성된 후, 피해자의 CSI 가 변하더라도 재계산 없이 전체 시뮬레이션 동안 재사용됩니다.

3. 주요 기여 (Key Contributions)

1. 새로운 위협 모델 정립: DRL 기반 MU-MIMO 스케줄러에 대한 그레이박스 위협 모델을 제안했습니다. 이는 공격자가 DRL 모델을 알지만 피해자의 정확한 관측값은 모르고, 오직 범위 (Bounds) 만 아는 현실적인 시나리오를 다룹니다.
2. FGGM 알고리즘 개발: DNN 검증 기법 (Polytope) 을 활용하여, 불확실한 입력 범위 내에서 모든 가능한 피해자 시나리오를 포괄하는 공격 CSI 를 생성하는 알고리즘을 제안했습니다.
3. 성능 우위 입증: 기존 블랙박스 공격 (Noise) 및 샘플링 기반 화이트박스 공격 (SPGD) 보다 FGGM 이 피해자 선택 확률 감소 및 처리량 저하 측면에서 월등히 우수함을 실험을 통해 증명했습니다.
4. 심각한 영향도 분석: 공격자가 전체 사용자의 50% 를 차지할 경우, 피해자의 처리량을 최대 70% 까지 저하시킬 수 있음을 확인했습니다.

4. 실험 결과 (Results)

• 실험 환경: QuaDRiGa 채널 생성기를 사용한 5G MU-MIMO 시뮬레이션 (사용자 수 816 명, 안테나 416 개).
• 성능 비교:
  • FGGM vs SPGD (Sampling-based PGD): FGGM 은 다양한 입력 범위 ($\delta$) 에서 SPGD 보다 피해자 선택 확률을 더 낮게 유지했습니다. 특히 피해자 관측 범위가 넓을 때 FGGM 의 성능 우위가 두드러졌습니다.
  • 공격자 수에 따른 영향: 공격자 수가 증가할수록 FGGM 의 공격 효과는 더욱 커졌습니다. 공격자가 1 명일 때에도 피해자 처리량을 9.5% 저하시켰으며, 공격자가 50% 일 때는 처리량이 70% 까지 감소했습니다.
  • 최대 저하율: 8 사용자 환경에서 최적의 파라미터 하에 FGGM 은 피해자의 데이터 전송률을 **88.5 MB/s 에서 26.6 MB/s 로 (약 70% 감소)**까지 떨어뜨렸습니다. 이는 기존 DRL 스케줄러의 성능을 무력화시키는 수준입니다.
• 공격 효율성: FGGM 은 공격 시작 시 한 번의 계산으로 생성된 CSI 를 재사용하므로, 실시간으로 계산 부하를 주지 않으면서도 지속적인 공격 효과를 발휘합니다.

5. 의의 및 결론 (Significance)

• 보안 취약성 경고: DRL 기반 네트워크 자원 할당 시스템이 공격자의 CSI 조작에 얼마나 취약한지, 특히 공격자가 피해자의 정확한 정보를 모를 때조차도 심각한 피해를 입힐 수 있음을 보여줍니다.
• 검증 기술의 적용: 신경망 검증 (Neural Network Verification) 기술인 Polytope 추상화를 공격 (Adversarial Attack) 분야에 성공적으로 적용한 사례입니다. 이는 불확실성이 있는 입력 환경에서도 DRL 시스템의 견고성을 평가하는 새로운 패러다임을 제시합니다.
• 향후 방향: 이 연구는 DRL 기반 스케줄러의 보안 강화를 위한 필요성을 강조하며, 향후 DRL 모델의 훈련 과정에 적대적 훈련 (Adversarial Training) 이나 검증 기반 강화 기법이 필수적임을 시사합니다. 또한, 이 방법은 다른 NP-hard 자원 할당 문제 (예: 배낭 문제 기반 자원 할당) 에도 적용 가능한 일반성을 가집니다.

이 논문은 5G/6G 네트워크의 핵심 기술인 DRL 기반 스케줄링이 가진 보안 리스크를 체계적으로 분석하고, 이를 해결하기 위한 새로운 방어 및 평가 프레임워크의 필요성을 강력하게 제기합니다.