🤖 machine learning

Adversarial Robustness of Deep State Space Models for Forecasting

이 논문은 제어 이론적 관점에서 스페이스타임 SSM 의 최적 칼만 예측자 표현 능력을 규명하고, 스택버그 게임을 통한 적대적 훈련 및 폐쇄형 오차 한계 도출을 통해 모델의 취약성을 분석하며, 심지어 그래디언트 없이도 모델의 국소 선형성을 악용한 공격이 기존 방법보다 33% 이상 큰 오차를 유발할 수 있음을 실험적으로 입증합니다.

원저자: Sribalaji C. Anand, George J. Pappas

게시일 2026-04-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sribalaji C. Anand, George J. Pappas

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"미래를 예측하는 인공지능 (SSM) 이 얼마나 속임수에 취약한지"**와 **"그 속임수를 어떻게 막을지"**에 대한 연구입니다.

비유하자면, 이 연구는 **"날씨 예보관 (AI) 이 거짓말쟁이 (해커) 에게 어떻게 속아 넘어가는지, 그리고 그 거짓말쟁이를 어떻게 잡아낼지"**를 분석한 보고서라고 볼 수 있습니다.

다음은 이 복잡한 논문을 일상적인 언어와 비유로 풀어낸 설명입니다.

1. 배경: 똑똑한 예보관 '스페이스타임 (Spacetime)'

우리가 매일 보는 날씨 예보나 주식 시세 예측은 과거 데이터를 바탕으로 미래를 계산합니다. 최근에는 **'스페이스타임 (Spacetime)'**이라는 아주 똑똑한 AI 모델이 등장했습니다. 이 모델은 과거의 패턴을 아주 잘 기억해서 미래를 예측하는 데 탁월한 능력을 보여줍니다. 마치 과거의 기록을 완벽하게 외우고 있는 천재 예보관 같은 존재죠.

하지만 문제는, 이 천재 예보관도 속임수에 당할 수 있다는 것입니다.

2. 문제: 보이지 않는 속임수 (적대적 공격)

해커는 AI 가 보는 데이터에 아주 미세한 '노이즈 (잡음)'를 섞습니다.

비유: 해커가 예보관에게 "내일 기온은 20 도야"라고 말해주는데, 그 말에 아주 미세하게 "20 도 + 0.0001 도"라는 거짓말을 섞어 넣는 것입니다.
결과: 예보관 (AI) 은 이 미세한 차이를 감지하지 못하고, 그 작은 거짓말이 모여서 **"내일 기온은 -50 도야!"**라고 완전히 엉뚱한 예보를 내놓습니다.
핵심: 해커는 AI 가 경보음을 울리지 않도록 (탐지되지 않도록) 아주 정교하게 속임수를 설계합니다. 이를 **'스텔스 (Stealth) 공격'**이라고 합니다.

3. 연구의 핵심 발견 1: "왜 AI 는 속는 걸까?" (이론적 분석)

연구진은 AI 가 왜 이렇게 취약한지 수학적 원리를 파헤쳤습니다. 세 가지 주요 원인을 찾았습니다.

불안정한 과거 (Open-loop Instability): 과거 데이터를 기억하는 방식이 불안정하면, 아주 작은 거짓말이 시간이 지날수록 기하급수적으로 커집니다. (작은 나비효과가 폭풍이 되는 것)
불안정한 미래 예측 (Closed-loop Instability): 미래를 예측하는 과정 자체가 불안정하면, 예측 기간이 길어질수록 오차가 폭발합니다.
너무 복잡한 두뇌 (Decoder Dimension): AI 의 내부 구조가 너무 복잡하고 크면, 오히려 작은 공격에 더 취약해집니다.

교훈: 더 똑똑한 AI 를 만드는 것보다, **"안정적인 구조"**를 갖는 것이 해킹을 막는 데 더 중요합니다.

4. 연구의 핵심 발견 2: "AI 를 모르면 어떻게 공격할까?" (모델 없는 공격)

가장 놀라운 점은, 해커가 AI 의 내부 구조 (코드나 알고리즘) 를 전혀 몰라도 공격할 수 있다는 것입니다.

비유: 해커가 AI 의 '뇌'를 보지 않아도, AI 가 과거에 어떻게 반응했는지 (데이터) 만 보고 "아, 이 AI 는 이런 패턴에 약하구나"라고 추측해서 공격합니다.
결과: AI 의 내부 구조를 모르고 공격하는 방법 (모델 프리 공격) 이, AI 를 자세히 분석해서 공격하는 방법보다 더 큰 피해를 입힐 수 있음이 밝혀졌습니다. 이는 AI 가 너무 '선형적 (직관적)'으로 작동하기 때문입니다.

5. 해결책: "강한 AI 만들기" (적대적 훈련)

연구진은 이 문제를 해결하기 위해 **'적대적 훈련 (Adversarial Training)'**이라는 방법을 제안했습니다.

비유: AI 를 훈련시킬 때, 해커가 만든 가짜 데이터 (공격 데이터) 를 섞어서 가르치는 것입니다. 마치 소방 훈련을 하거나, 사격 연습을 할 때 적이 숨어있는 상황을 가정하고 훈련하는 것과 같습니다.
효과: 이렇게 훈련된 AI 는 속임수를 감지하는 '경보 시스템'이 작동하지 않는 범위 내에서도, 예측 오차를 최소화하도록 단련됩니다. 실험 결과, 이 방법으로 훈련된 AI 는 공격을 받았을 때 오차가 최대 10% 까지 줄어든 것으로 확인되었습니다.

6. 결론: 무엇을 배울 수 있을까?

이 논문은 우리에게 두 가지 중요한 메시지를 줍니다.

안정성이 곧 보안이다: AI 가 미래를 예측할 때, 단순히 정확도만 높이는 것이 아니라 시스템이 '불안정하지 않도록' 설계하는 것이 해킹을 막는 첫걸음입니다.
완벽한 방어는 어렵다: AI 의 내부 구조를 몰라도 공격할 수 있다는 사실은, 우리가 AI 를 사용할 때 항상 "데이터가 조작되었을 가능성"을 염두에 두어야 함을 시사합니다.

한 줄 요약:

"미래를 예측하는 AI 는 과거의 작은 거짓말에 쉽게 넘어갈 수 있는데, AI 를 훈련시킬 때 '가짜 공격'을 섞어서 단련하면 훨씬 튼튼해지지만, 해커는 AI 의 비밀을 몰라도 데이터를 이용해 공격할 수 있으니 항상 경계해야 한다."

이 연구는 AI 가 우리의 삶 (전기 요금, 교통량, 날씨 등) 을 예측하는 중요한 도구로 쓰이는 시대에, 그 도구가 얼마나 안전한지 점검하고 튼튼하게 만드는 방법을 제시했다는 점에서 매우 의미 있습니다.

이 논문은 시계열 예측을 위한 최신 딥러닝 모델인 **Deep State Space Models **(SSM), 특히 Spacetime 모델의 **적대적 강건성 **(Adversarial Robustness)을 제어 이론 (Control-theoretic) 관점에서 분석하고 강화하는 방법을 제시합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem Formulation)

배경: 시계열 예측 (TSM) 분야에서 CNN, RNN, Transformer 에 이어 Deep SSM (Spacetime) 이 뛰어난 성능을 보이지만, 적대적 공격 (Adversarial Attacks) 하에서의 취약성은 거의 연구되지 않았습니다.
목표: 탐지 예산 (Detection Budget) 내에 제한된 '은밀한 (Stealthy)' 적대적 공격자가 예측 오차를 최대화하는 worst-case 시나리오를 가정합니다.
문제 설정:
- 공격자: 입력 데이터에 교란 신호를 추가하여 예측 오차를 극대화하려 하지만, 탐지기 (Detector) 에 의해 탐지되지 않도록 (False Alarm Rate, FAR 을 일정 수준 이하로 유지) 공격합니다.
- 방어자: 이러한 worst-case 공격에 대해 예측 오차 (MSE) 를 최소화하는 강건한 예측기를 설계합니다.
- 게임 이론적 접근: 이 문제는 예측기 (리더) 가 먼저 모델을 결정하고, 공격자 (팔로워) 가 이에 대해 최악의 공격을 수행하는 Stackelberg 게임으로 형식화됩니다.

2. 방법론 (Methodology)

A. Spacetime 모델의 제어 이론적 분석

칼만 예측기 표현 능력: 저자는 Spacetime 모델의 디코더 (Decoder-only) 구조가 자기회귀 (AR) 데이터 생성 과정 하에서 **최적의 칼만 예측기 **(Optimal Kalman Predictor)를 정확히 표현할 수 있음을 증명했습니다. 이는 다른 SSM 모델에는 없는 고유한 특성입니다.
강건성 분석: 적대적 오차에 대한 폐쇄형 (Closed-form) 상한을 유도하여, 모델의 취약성이 다음 요소들에 의해 증폭됨을 밝혔습니다:
1. **개루프 불안정성 **(Open-loop instability) 인코더나 디코더의 고유값이 1 을 초과할 경우, 긴 시퀀스에서 오차가 기하급수적으로 증가합니다.
2. **폐루프 불안정성 **(Closed-loop instability) 피드백이 포함된 디코더 행렬이 불안정하면 긴 예측 구간 (Horizon) 에서 오차가 급증합니다.
3. 디코더 상태 차원: 디코더의 상태 차원이 클수록 오차 민감도가 증가합니다.

B. 강건한 예측기 설계 (Adversarial Training)

적대적 훈련: Stackelberg 게임 문제를 해결하기 위해 적대적 훈련 (Adversarial Training) 을 적용했습니다.
공격 생성: 탐지 임계값 ( $\delta$ ) 을 초과하지 않는 범위 내에서 예측 오차를 최대화하는 공격 신호를 생성하기 위해 **Project Gradient Descent **(PGD)를 변형하여 사용했습니다.
탐지기: 두 가지 탐지기를 고려했습니다.
1. 오토인코더 기반: 입력 재구성 오차를 탐지 통계량으로 사용.
2. **오차 노름 기반 **(Norm-based) 예측 오차의 크기를 직접 탐지.
- 실험 결과, 오토인코더 기반 탐지기를 사용한 적대적 훈련이 더 강력한 강건성을 제공했습니다.

C. 모델 프리 (Model-Free) 공격 전략

**데이터 기반 공격 **(Data-Driven Attacks, DDAs) 공격자가 예측기 모델의 구조나 그래디언트 정보를 전혀 알지 못하는 상황 (Black-box) 에서도 공격이 가능함을 보였습니다.
원리: Spacetime 모델이 국소적으로 선형 (Locally Linear) 행동을 보인다는 점을 이용합니다.
- 입력과 출력 간의 노름 비율 ( $\gamma$ ) 과 방향 정렬 계수 ( $\beta$ ) 를 추정하여, 탐지기를 우회하면서 예측 오차를 발생시키는 공격 벡터를 명시적으로 설계합니다.
- 이 방법은 그래디언트 계산이 전혀 필요하지 않습니다.

3. 주요 결과 (Key Results)

강건성 향상: Monash 벤치마크 데이터셋 (전기 소비량 등) 에서 적대적 훈련을 적용한 모델은 공격 시 평균 절대 오차 (MAE) 를 최대 10% 까지 감소시켰습니다.
모델 프리 공격의 위험성:
- 그래디언트 계산이 전혀 필요 없는 데이터 기반 공격 (DDA) 이 작은 스텝 크기의 PGD 공격보다 최소 33% 더 큰 오차를 유발했습니다.
- 이는 모델의 내부 구조를 알지 못하더라도, 모델의 국소적 선형성을 악용하면 매우 효과적으로 공격할 수 있음을 시사합니다.
이론적 검증: 인코더와 디코더의 불안정성이 오차에 미치는 영향을 실험적으로 확인했으며, 이론적으로 유도된 오차 상한과 실험 결과가 일치함을 보였습니다.

4. 기여 및 의의 (Contributions & Significance)

최초의 SSM 강건성 연구: 시계열 예측을 위한 Deep SSM 모델의 적대적 취약성을 체계적으로 분석한 최초의 연구 중 하나입니다.
제어 이론적 통찰: 머신러닝 관점을 넘어 제어 이론 (칼만 필터, 관측기, 안정성) 을 적용하여 모델의 취약성 원인을 명확히 규명하고, 강건한 설계 원칙 (안정성 유지 등) 을 제시했습니다.
실용적 위협 경고: "모델에 대한 지식이 없어도 공격 가능"하다는 점을 강조하여, 실제 배포 환경 (Black-box) 에서 SSM 기반 예측 시스템이 얼마나 취약할 수 있는지를 경고합니다.
강건성 향상 프레임워크: 탐지 제약 하의 적대적 훈련을 통해 실제 데이터셋에서 성능을 개선하는 유효한 프레임워크를 제시했습니다.

결론

이 논문은 Spacetime 과 같은 Deep SSM 모델이 뛰어난 예측 성능을 보이지만, 개루프/폐루프 불안정성과 국소적 선형성으로 인해 적대적 공격에 매우 취약함을 밝혔습니다. 특히, 그래디언트 없이도 효과적인 공격이 가능하다는 점은 향후 SSM 기반 시스템의 보안 설계에 있어 중요한 시사점을 제공합니다. 저자들은 향후 표적 공격 (Targeted Attacks) 연구 등으로 확장할 것을 제안합니다.