Belief-Space Quantum-Inspired Reinforcement Learning for Partially Observable Autonomous Cyber Defense in the Internet of Vehicles

기술 요약: IoV 보안을 위한 벨리프 공간(Belief-Space) 양자 영감 강화 학습

문제 정의
본 논문은 차량 사물 인터넷(IoV)의 고유한 보안 과제를 다룬다. IoV의 동적이고 적대적인 환경은 기존의 정적인 침입 탐지 시스템(IDS)을 무력화시킨다. 기존 방식들은 오프라인 데이터셋과 고정된 분류기에 의존하기 때문에, 순차적 의사결정, 공격자의 적응, 그리고 실제 배포 환경에서의 부분 관측 가능성(partial observability)을 반영하지 못한다. 특히 저자들은 현재의 강화 학습(RL) 방어 체계의 결정적인 한계를 지적한다. 즉, 기존의 방식들은 숨겨진 공격자의 의도를 추적하기 위해 고전적인 베이지안 벨리프(Bayesian belief) 모델에 의존하는데, 부분 관측 가능성 하에서, 특히 공격자가 탐색(probing)이나 회피(evasion) 전략을 사용할 때 이러한 고전적 모델은 과도하게 확신에 찬 추정치로 "붕괴(collapse)"되는 경향이 있다. 이러한 붕괴는 신뢰할 수 있는 추론이 가장 필요한 시점에 정책 입력을 오염시켜, 변동성이 크고 불안정한 방어 동작을 초래한다.

방법론: Q-BIRD
이러한 한계를 극복하기 위해, 저자들은 **양자 벨리프 통합 강화 방어(Quantum Belief-Integrated Reinforcement Defense, Q-BIRD)**를 제안한다. 이 프레임워크는 IoV 보안을 부분 관측 가능한 POMDP(Partially Observable Markov Decision Process)로 정식화된, 순차적인 공격자-방어자 상호작용으로 모델링한다.

1. 양자 영감 벨리프 표현: 공격자 의도 가설에 대한 확률 벡터를 유지하는 고전적 접근 방식과 달리, Q-BIRD는 진폭 기반 벨리프 상태($\psi_t \in \mathbb{C}^H$)를 활용한다. 방어자는 복소수 형태의 상태 벡터를 유지하며, 각 항목은 가능한 공격자의 의도(예: 정상, 탐색, 공격, 회피)에 대응한다.

   • 진화(Evolution): 벨리프 상태는 직접적인 확률 업데이트가 아닌, 진폭 공간에서의 선형 변환 행렬($U_t$)을 통해 진화한다.
   • 확률 추출: 확률은 필요할 때만 Born rule($b_t(\theta_i) = |\psi_t(i)|^2$)을 사용하여 도출된다.
   • 메커니즘: 이 접근 방식은 모호하거나 기만적인 관측값 하에서 불확실성이 가설들의 "중첩(superposition)" 상태로 지속될 수 있게 한다. 이는 고전적인 베이지안 업데이트에서 발생하는 조기 벨리프 붕괴를 방지하여, 노이즈와 적대적 조작에 더 강건한 비-베이지안 벨리프 진화를 가능하게 한다.

2. 강화 학습과의 통합: 양자 벨리프 상태는 근사 정책 최적화(PPO) 방어 모델에 통합된다. 정책($\pi_\phi$)은 관측 가능한 시스템 상태($s_t$)와 벨리프 상태($b_t$ 또는 $\psi_t$)를 모두 입력으로 받는다. 방어자는 누적 피해와 운영 비용의 음의 합으로 정의된 보상 함수를 최소화하기 위해 비용 효율적인 완화 조치(경고, 스로틀링, 격리)를 선택한다.

3. 위협 모델: 환경에는 숨겨진 의도 상태를 가진 적응형 공격자가 존재하며, 이 의도는 방어자의 행동에 따라 변화한다. 공격자는 탐색, 능동적 공격, 회피 전략 사이를 동적으로 전환하며 탐지를 피하기 위해 움직이며, 이는 비정상적(non-stationary) 환경을 생성한다.

주요 기여
본 논문은 네 가지 주요 기여를 설명한다:

1. 정식화: IoV 보안를 숨겨진 의도 상태 하에서 작동하는 적응형 공격자가 존재하는 순차적 의사결정 과정으로 정식화하였다.
2. 양자 영감 벨리프: 모호한 관측 상황에서 의도 가설 전반에 걸쳐 분산된 불확실성을 보존하는 새로운 진폭 기반 벨리프 표현을 제안하였다. 이는 붕괴되기 쉬운 고전적 베이지안 벨리프와 대조된다.
   �3. 정책 통합: 양자 벨리프 상태를 PPO 기반 방어 모델에 통합하여, 관측된 상태와 벨리프 불확실성 모두에 조건화된 비용 인식 완화 조치를 가능하게 하였다.
3. 검증: 통제된 시뮬레이션과 사후 설명 가능성 분석(SHAP, LIME, Grad-CAM)을 통해 프레임워크를 검증하였으며, 양자 벨리프 상태가 공격자 전략 전환 시 핵심적인 결정 신호 역할을 함을 확인하였다.

실험 결과
제안된 방식은 적응형 공격자 모델을 포함한 시뮬레이션된 IoV 환경에서 600회의 훈련 에피소드와 80회의 테스트 에피소드를 통해 평가되었다. 결과는 고전적 베이지안 벨리프를 사용하는 PPO, Q-Learning, 그리고 무작위 정책(random policy) 등의 베이스라인과 비교되었다.

• 피해 감소: 제안된 방법은 고전적 베이지안 벨리프를 사용하는 PPO 대비 누적 평균 피해를 60.4% 감소시켰다 (69.345 vs 27.495).
• 안정성: 결정적으로, 이 방법은 피해 분산을 90.2% 감소시켜 (37.054 vs 3.636) 10.2배의 안정성 향상을 보여주었다. 이는 방어자의 행동이 훨씬 더 예측 가능하고 신뢰할 수 있음을 나타낸다.
• 공격 성공률(ASR): 양자 PPO는 테스트 에피소드에서 0.000의 ASR을 달성하였으며, 이는 고전적 PPO 베이스라인(0.247) 대비 50% 개선된 수치이다.
• 생존 확률: 생존 확률이 46.4% 증가하였다 (0.683 vs 1.000).
• 절제 연구(Ablation) 결과: 연구 결과, 무작위 정책이 오히려 고전적 벨리프를 사용하는 PPO보다 평균 피해 측면에서 더 나은 성능을 보였다. 이는 고전적 벨리프 모델이 회피 상황에서 잘못되고 과도하게 확신에 찬 상태 데이터를 제공함으로써 정책에 실질적인 해를 끼치고 있음을 시사하는 반면, 양자 벨리프는 불확실성을 유지하여 정책이 일관성을 유지할 수 있게 함을 보여준다.

의의 및 주장
본 논문은 성능 향상의 주요 원인이 밑단의 RL 알고리즘(PPO)이 아니라 양자 영감 벨리프 표현임을 주장하며, 이는 벨리프 업데이트 메커니즘만 달랐던 절제 연구를 통해 확인되었다. 저자들은 양자 하드웨어를 요구하지 않으면서도 비-고전적 불확실성 표현이 IoV 네트워크에 우수한 보안을 제공할 수 있다고 단언한다. 여기서 "양자"라는 용어는 클래식 하드웨어 상에서 불확실성을 표현하기 위한 수학적 프레임워크를 의미한다.

이 연구의 의의는 적대적 환경에서 고전적 벨리프 모델의 특정 실패 모드인 기만적 관측 하에서의 "불확실성 붕괴" 문제를 해결했다는 데 있다. 진폭 공간에서 불확실성을 보존함으로써, Q-BIRD는 전략 전환기 동안 견고한 의사결정을 가능하게 하며, 안전이 중요한 IoV 환경에서 적응형 공격자에 대해 더 안정적이고 효과적인 방어를 제공한다. 본 연구는 미래의 자율 방어 시스템이 현대의 사이버 위협이 가진 모호성과 적응성을 다루기 위해 정적인 탐지와 고전적 확률 모델을 넘어설 필요가 있음을 시사한다.