6G Sensing Security: Distributed Game-Theoretic RL for Urban Beamforming and Attacker Detection

기술 요약: 분산 게임 이론 기반 강화 학습을 통한 6G 센싱 보안

문제 정의
차세대 6G 통합 센싱 및 통신(ISAC) 시스템에서 무선 인프라의 이중 기능은 새로운 보안 취약점을 생성합니다. 특히 도시 환경에서는 능동적 공격자가 허위 채널 상태 또는 빔 품질 피드백을 제공함으로써 빔포밍 방향을 조작할 수 있습니다. 이러한 조작은 간섭을 증가시키고 송신기(TX)가 정당한 사용자 대신 공격자 쪽으로 주 빔 로브(main beam lobes)를 향하도록 유도하는 것을 목적으로 합니다. 핵심 과제는 복잡한 도시 전파 특성(가시선 및 비가시선 조건)으로 특징지어지는 동적이고 불확실한 환경 내에서 이러한 능동적 공격자를 탐지하고, 시스템 용량과 보안에 미치는 영향을 완화하는 것입니다.

방법론
저자들은 이러한 보안 문제를 해결하기 위해 강화 학습(RL), 베이즈 추론(Bayesian inference), 그리고 **게임 이론(Game Theory)**을 결합한 하이브리드 프레임워크를 제 제안합니다. 이 방법론은 다음 구성 요소들을 통해 작동합니다:

1. 시스템 모델:

   • 시나리오: 독일 도르트문트의 도시 마이크로(UMi) 환경에서 28 GHz(FR2 mmWave 대역), 400 MHz 대역폭으로 동작하는 3GPP 기반 레이 트레이싱 시뮬레이션.
   • 하드웨어: 두 개의 기지국(TX)과 균일 직사각형 배열(URA)을 갖춘 네 개의 수신기(RX).
   • 전파: 채널은 경로 손실, 섀도잉 페이딩(로그 정규 분포), 소규모 페이딩(3GPP NR 클러스터 지연 선로)을 포함하는 3GPP TR 38.901 표준을 사용하여 모델링되었습니다. 최대 1개의 반사와 3개의 회절을 포함하는 탄사 광선(Shooting and Bouncing Rays, SBR) 방식이 다중 경로 효과를 모델링합니다.

2. 상태 표현 및 신념 업데이트 (State Representation and Belief Update):

   • 시스템은 각 사용자 $j$가 공격자일 확률($P_j$)을 나타내는 **베이즈 신념 벡터(Bayesian belief vector)**를 유지합니다.
   • 이 신념은 예측된 채널 용량과 관측된 채널 용량 사이의 편차를 기반으로 반복적으로 업데이트되며, 이상 점수(anomaly score)로부터 유도된 지수형 가능도(exponential likelihood)를 활용합니다.
   • Q-러닝 과정을 안정화하기 위해, 연속적인 확률값은 신뢰 수준(노드당 5단계)으로 이산화되며, 의심되는 노드 ID와 해당 신뢰 수준으로 정의된 상태 공간을 형성합니다.

3. 게임 이론적 정식화:

   • 행동을 예측하고 효용을 최적화하기 위해 두 가지 게임 모델인 **내쉬(Nash)**와 **슈토켈버그(Stackelberg)**가 구현되었습니다.
   • 효용 함수: $U = \sum (1 - P_j)C_j - \beta_{risk} P_j C_j$, 여기서 $C_j$는 채널 용량이고 $P_j$는 공격자 확률입니다. 이 정식화는 정당한 사용자의 성능과 보안 리스크 사이의 균형을 맞춥니다.
   • 내쉬 모델: TX들은 동시에 독립적으로 행동하며, 최적 대응 평형(best-response equilibrium)을 추구합니다.
   • 슈토켈버그 모델: 계층적 구조로, 한 TX는 "리더(Leader)"(더 많은 사용자를 서비스하는 것을 우선순위로 함) 역할을 하고 다른 하나는 "팔로워(Follower)" 역할을 합니다. 리더는 팔로워의 최적 대응을 예측하여 자신의 전략을 최적화합니다.

4. 강화 학습 통합:

   • Q-러닝 에이전트는 전체 채널 용량을 최대화하고 간섭을 최소화하기 위해 빔포밍 각도(액션 공간: 안테나당 25개의 이산 각도)를 선택합니다.
   • 탐험 대 이용 (Exploration vs. Exploitation): $\epsilon$-greedy 정책이 사용되지만, 탐험은 순수하게 무작위적인 것이 아니라 슈토켈버그-베이즈 모델에 의해 유도됩니다.
   • 메모리 메커니즘: 본 연구는 $(s, a, r, s')$ 튜플을 사용하는 **경험 재현(Experience Replay)**을 사용하는 메모리 기반 접근 방식과 메모리리스(memoryless) 접근 방식을 비교합니다. 메모리 기반 모델은 시간적 상관관계를 줄이고 수렴을 가속화하는 것을 목표로 합니다.

주요 기여

• 하이브리드 프레임워크: 본 논문은 불확실성 모델링을 위한 베이즈 추론, 전략적 상호작용 모델링을 위한 게임 이론, 그리고 장기적 최적화를 위한 강화 학습을 결다는 새로운 아키텍처를 소개합니다.
• 슈토켈버그의 우월성: 본 연구는 계층적 슈토켈버그 게임 구조가 동시적인 내쉬 접근 방식보다 공격자 탐지에서 더 우수한 성능을 보임을 입증합니다. 리더-팔로워 역학은 내부 네트워크 간섭을 줄여, 베이즈 알고리즘이 악의적인 행동과 자연스러운 채널 페이딩을 구분할 수 있는 더 명확한 신호를 제공합니다.
• 보안에서의 경험 재현: 메모리 기반 Q-러닝(경험 재현)의 적용이 적대적 환경에서 메모리리스 업데이트에 비해 탐지 정확도와 시스템 안정성을 크게 향상시킨다는 것을 보여줍니다.
• 도시 레이 트레이싱 검증: 단순화된 이론적 채널 모델이 아닌, 레이 트레이싱이 적용된 실제 디지털화된 도시 지도(도르트문트)를 사용하여 방법론을 검증했습니다.

성능 결과

• 공격자 탐지:
  • 슈토켈버그 모델은 평균 **69.41%**의 탐지 정확도를 달성하여, **38.38%**를 기록한 내쉬 모델을 크게 앞질렀습니다.
  • 슈토켈버그 시나리오에서 공격자(RX3)에 대한 신념 값은 0.9를 초과할 때까지 빠르게 수렴한 반면, 내쉬 모델은 공격자를 높은 신뢰도로 구별하는 데 실패했습니다(값이 0.5 미만으로 유지됨).
• 시스템 처리량:
  • 메모리 기반 Q-러닝 접근 방식은 평균 총 채널 용량 934 Mbps를 달성하여, 메모리리스 접근 방식의 841 Mbps 대비 11.06%의 향상을 보였습니다.
  • 탐지 정확도는 70.13%(메모리리스)에서 **75.46%(메모리 기반)**로 개선되었습니다.
• 강건성: 제안된 프레임워크 하에서 시스템은 심각한 섀도잉 및 다중 경로 효과가 존재하는 상황에서도 일관되게 0.9 이상의 확률로 공격자를 성공적으로 식별했습니다. 시스템은 채널 역학에 의한 일시적인 신념 저하로부터 빠르게 회복하며 탄력성을 입증했습니다.
• 용량 회복: 공격자의 존재에도 불구하고, 최적화된 빔포밍을 통해 총 시스템 용량은 후기 반복 단계에서 약 2500 Mbps에 도달하여 5G New Radio 요구 사항을 충족했습니다.

의의 및 주장
본 논문은 제안된 프레임워크가 시스템을 단순한 수치 최적화 도구에서 "리스크를 인지하고, 불확실성에 기반하며, 행동에 민감한 의사결정자"로 변모시킴으로써 동적인 6G ISAC 시스템의 보안 과제를 효과적으로 해결한다고 주장합니다. 게임 이론적 효용 함수에 베이즈 추론을 통합함으로써 표준 내쉬 접근 방식보다 더 정확한 공격자 탐지가 가능해졌습니다. 또한, 본 연구는 RL 프로세스에 메모리(경험 재현)를 포함하는 것이 노이즈가 많은 적대적 도시 환경에서 학습을 안정화하고 처리량을 개선하는 데 필수적임을 확립합니다. 이 연구는 향후 이동성 및 실시간 ISAC 시나리오로 이러한 방법을 확장할 수 있는 기초를 제공하며, 미래 네트워크의 안전하고 효율적인 자원 할당을 보장합니다.