Deception Against Data-Driven Linear-Quadratic Control

1. 문제 정의 (Problem Definition)

이 논문은 데이터 기반 선형 2 차 (Linear-Quadratic, LQ) 제어 환경에서 발생하는 기만 (Deception) 문제를 다룹니다.

• 배경: 데이터 기반 제어는 시스템의 동역학 (모델) 을 정확히 알지 못하더라도, 상태 및 입력 데이터의 이력을 통해 최적 제어 정책을 학습하는 방식입니다. 그러나 이는 측정 데이터에 대한 민감성으로 인해 적대적 공격에 취약할 수 있습니다.
• 적대적 시나리오:
  • 공격자 (Adversary): 시스템의 동역학 행렬 ($A$) 을 알지 못하지만, 시스템의 상태 데이터를 관측하여 최적의 선형 2 차 공격 (Linear-Quadratic Attack) 을 학습하려 합니다. 즉, 시스템을 불안정하게 만들거나 성능을 저하시키는 최적의 공격 이득 (Gain, $K^\star$) 을 데이터 기반으로 추론합니다.
  • 방어자 (Defender): 시스템의 동역학 ($A, B_u, B_a$) 을 완전히 알고 있으며, 공격자의 학습 목적을 파악하고 있습니다.
• 목표: 방어자는 시스템에 기만 입력 (Deceptive Input, $u(t) = \Lambda x(t)$) 을 주입하여, 공격자가 수집하는 데이터를 왜곡시킵니다. 이를 통해 공격자가 학습하게 되는 공격 이득 ($K(\Lambda)$) 이 방어자가 미리 선택한 우호적이거나 덜 파괴적인 목표 이득 ($\bar{K}$) 에 가깝도록 유도하는 것이 핵심 문제입니다.

2. 방법론 (Methodology)

방어자의 기만 입력 설계는 다음과 같은 수학적 프레임워크로 해결됩니다.

A. 수학적 모델링

• 시스템 동역학: 방어자가 기만 입력 $\Lambda$를 주입하면 공격자가 관측하는 시스템은 $A + B_u \Lambda$로 변경됩니다.
• 공격자의 학습 목표: 공격자는 변경된 동역학 하에서 최적의 공격 이득 $K(\Lambda) = R^{-1}B_a^T P_u(\Lambda)$를 학습하려 합니다. 여기서 $P_u(\Lambda)$는 변형된 대수적 리카티 방정식 (Algebraic Riccati Equation, ARE) 의 해입니다.
• 최적화 문제: 방어자는 공격자가 학습한 이득 $K(\Lambda)$와 목표 이득 $\bar{K}$ 사이의 거리 (Frobenius 노름) 를 최소화하면서, 기만 입력 $\Lambda$의 크기를 규제하는 비용 함수를 최소화하는 문제를 풉니다.
  $$\min_{\Lambda, P_u} \| K(\Lambda) - \bar{K} \|_F^2 + \text{tr}(\Lambda^T \Gamma \Lambda)$$
  • 제약 조건: $P_u$는 변형된 ARE 의 해여야 하며, 폐루프 시스템은 안정적이어야 합니다.

B. 해의 특성화

• 연립 방정식 유도: 최적해에 대한 필요 조건 (KKT 조건) 을 도출하면, 연립 대수적 리카티 방정식 (ARE) 과 리야푸노프 방정식 (Lyapunov Equation) 으로 구성된 비선형 연립 방정식 (14a-14c) 을 얻습니다.
  • (14a): 변형된 ARE ($P_u$ 구하기)
  • (14b): 리야푸노프 방정식 ($\Pi$ 구하기)
  • (14c): 기만 이득 업데이트 ($\Lambda$ 구하기)
• 해석적 해의 어려움: 이 연립 방정식은 변수들이 서로 복잡하게 결합되어 있어 해석적으로 풀기 어렵습니다.

C. 수치적 알고리즘 (Block Successive Over-Relaxation)

• 알고리즘 제안: 해석적 해가 불가능하므로, 블록 순차 과이완 (Block Successive Over-Relaxation, BSOR) 알고리즘을 제안합니다.
  1. 초기 기만 이득 $\Lambda_0$ 설정.
  2. 현재 $\Lambda_i$를 고정하고 ARE 를 풀어 $P_u$ 업데이트.
  3. 업데이트된 $P_u$와 $\Lambda_i$를 고정하고 리야푸노프 방정식을 풀어 $\Pi$ 업데이트.
  4. 새로운 $\Lambda_{i+1}$을 계산하고 오버-relaxation 계수 ($\omega$) 를 적용하여 업데이트.
  5. 수렴할 때까지 반복.
• 수렴성 증명: 제안된 알고리즘이 목적 함수의 기울기 하강법 (Gradient Descent) 과 동치임을 보이며, 특정 조건 하에서 알고리즘이 수렴하고 정류점 (Stationary Point) 에 도달함을 수학적으로 증명했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 기만 프레임워크: 데이터 기반 제어 환경에서, 공격자가 모델을 알지 못하는 정보 비대칭 상황을 활용하여 공격자의 학습 정책을 사전에 지정된 우호적 정책으로 유도하는 기만 전략을 최초로 체계화했습니다.
2. 이론적 기반 마련: 최적 기만 이득이 연립 ARE 와 리야푸노프 방정식의 해로 특성화됨을 보였으며, 이를 수치적으로 풀기 위한 BSOR 알고리즘을 개발하고 수렴성을 엄밀하게 증명했습니다. (기존 연구들은 시뮬레이션 결과만 제시했음).
3. 강건성 분석: 공격자가 사용하는 비용 함수 행렬 ($Q, R$) 에 오차가 있거나 불확실성이 존재하는 경우에도 제안된 기만 전략이 유효함을 보였습니다.
4. 최소화 및 최대화 문제 확장: 기존에 연구된 '최소화' LQ 규제기 (Defender learning) 에 대한 기만뿐만 아니라, 본 논문에서는 더 어려운 '최대화' LQ 공격 (Adversary learning) 에 대한 기만 문제를 다룹니다.

4. 시뮬레이션 결과 (Results)

논문의 유효성을 검증하기 위해 ADMIRE 항공기 모델을 사용하여 시뮬레이션을 수행했습니다.

• Case 1 (성능 저하 공격에 대한 기만):

  • 공격자가 항공기 안정화를 방해하는 공격을 학습하려 할 때, 방어자는 공격자가 영 (0) 에 가까운 공격 이득을 학습하도록 유도했습니다.
  • 알고리즘은 약 3500 회 반복 후 수렴했으며, 학습된 공격 이득은 최적 공격 이득에 비해 크게 억제되었습니다.
  • 공격자의 학습 알고리즘 (데이터 기반 및 시스템 식별 기반) 이 모두 방어자가 예측한 우호적 이득으로 수렴함을 확인했습니다.
  • 상태 에너지 (State Energy): 기만 공격 하에서는 시스템이 안정적으로 유지되어 상태 에너지가 매우 낮게 유지되었으나, 기만이 없는 경우 (Nominal) 는 시스템이 불안정해지거나 에너지가 급증했습니다.

• Case 2 (불안정화 공격에 대한 기만):

  • 공격자가 시스템을 불안정하게 만드는 공격 ($R$이 작아 최적 공격이 발산하는 경우) 을 학습하려 할 때, 방어자는 공격자가 안정적인 공격 이득을 학습하도록 유도했습니다.
  • 초기화 전략을 조정하여 알고리즘이 수렴하도록 했으며, 최종적으로 학습된 공격은 시스템을 불안정하게 만들지 않았습니다.

• 강건성 검증: 공격자가 방어자가 가정한 비용 행렬 ($Q, R$) 과 다른 행렬을 사용하더라도, 유도된 공격 이득은 여전히 억제 효과를 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 데이터 기반 제어 시스템의 보안에 중요한 통찰을 제공합니다.

• 적극적 방어 (Active Defense): 단순히 공격을 탐지하거나 차단하는 것을 넘어, 공격자의 학습 과정 자체를 조작하여 공격자가 스스로 '덜 위험한' 공격을 선택하도록 유도하는 능동적 방어 전략을 제시했습니다.
• 정보 우위의 활용: 방어자가 시스템 모델을 알고 있다는 정보 우위를 전략적으로 활용하여, 모델이 없는 공격자를 속이는 메커니즘을 수학적으로 정립했습니다.
• 이론적 엄밀성: 기존 데이터 중독 (Poisoning) 연구들이 주로 경험적 결과에 의존했던 것과 달리, 수렴성 증명과 강건성 분석을 통해 이론적 토대를 확고히 했습니다.

결론적으로, 이 연구는 사이버 - 물리 시스템 (CPS) 이나 자율 주행 차량 등에서 데이터 기반 학습 알고리즘을 표적으로 하는 적대적 공격에 대응하기 위한 새로운 기만 기반 방어 패러다임을 제시합니다.