기술 요약: 이중 타겟 공격을 통한 시계열 분류기 설명의 취약성 노출

1. 문제 정의

본 논문은 해석 가능한 시계열 딥러닝 시스템(ITSDL)의 중대한 보안 격차를 다룹니다. 이러한 시스템은 예측 모델과 설명 모델을 결합하여 결정에 대한 인간 이해 가능한 근거(예: 의료 또는 결함 탐지 분야)를 제공하지만, 여기에는 설명의 안정성이 곧 결정의 강건함을 의미한다는 암묵적인 가정이 깔려 있습니다. 저자들은 이러한 가정에 의문을 제기하며, 예측과 설명이 **적대적으로 분리(adversarially decoupled)**될 수 있다고 주장합니다.

핵심 문제는 다음과 같은 상황을 동시에 수행할 수 있는 공격자가 존재하는지에 대한 체계적인 검토가 부족하다는 점입니다:

1. 시계열 분류기가 입력을 특정 타겟 클래스로 오분류하도록 강제함.
2. 결합된 설명 모델을 조작하여, 선택된 참조 근거(종종 원래의 클래스나 특정 패턴을 모방함)와 일치하는 그럴듯하고 일관된 설명을 생성함.

기존의 시계계열 적대적 공격은 대개 예측의 강건성에만 집중하거나, 설명의 품질을 테스트하기 위해 비적응적이고 무작위적인 섭동(perturbation)을 사용합니다. 이러한 방식은 공격자가 오분류를 은폐하기 위해 설득력 있는 설명을 조작함으로써, 인간의 감독 및 설명 기반 감사를 우회하는 구체적인 위협을 포착하지 못합니다.

2. 방법론: TSEF (Time Series Explanation Fooler)

저자들은 예측 결과와 설명 결과를 동시에 조작하도록 설계된 이중 타겟 공격 프레임워크인 TSEF를 제안합니다. 이 방법은 시계열 데이터 고유의 "고차원 역설(high-dimensional paradox)"에서 동기를 얻었습니다. 즉, 표준적인 밀집형 $\ell_\infty$ 공격은 예측을 뒤집는 데는 효과적이지만, 어트리뷰션 질량(attribution mass)을 전체 입력 공간으로 분산시켜, 희소하고 연속적인 참조 근거와 일치하지 않는 시간적으로 비일관적인 설명을 생성하는 경향이 있습니다.

이를 해결하기 위해, TSEF는 공격을 두 가지 구조화된 구성 요소로 분리합니다.

2.1. 이론적 토대

저자들은 표준적인 밀집형 $\ell_\infty$ 업데이트 하에서, 타겟 영역 외부의 기대 어트리뷰션 질량이 입력 공간의 차원($d - |\Omega|$)에 따라 선형적으로 증가함을 증명합니다(정리 4.1). 이는 구조화되지 않은 노이즈를 사용하여 예측 변화를 유도하면서 국소적인(localized) 설명을 유지하는 것이 수학적으로 어렵다는 것을 의미합니다.

2.2. 공격 아키텍처

TSEF는 공격자가 분류기 $f$와 설명 모델 $H_E$에 모두 접근할 수 있는 화이트박스 위협 모델 하에서 작동합니다. 공격은 $\ell_\infty$ 섭동 예산(budget) 제약 조건 하에서 결합 손실 함수를 최소화합니다. 이는 두 단계의 반복 과정을 거칩니다.

1. 시간적 취약성 마스크 ($M_t$):

   • 목표: 섭동이 예측과 설명 모두에 가장 효과적으로 영향을 미칠 수 있는 희소하고 연결된 시간적 영역을 식별합니다.
   • 메커니즘: 학습 가능한 마스크 $M_t \in [0, 1]^{T \times D}$를 최적화하여 특정 시간-채널 세그먼트를 억제합니다.
   • 정규화: 마스크가 희소하고 연속적(실제 패턴을 모방)이 되도록 하기 위해 다음을 도입합니다:
     • 희소성(Sparsity): 입력과 마스크 사이의 상호 정보량을 최소화합니다(희소한 베르누이 사전 확률에 대한 KL 발산 바운드 활용).
     • 연결성(Connectivity): 시간 단계에 따른 마스크의 불연속성에 패널티를 주는 정규화 항을 사용합니다.
   • 최적화: 이산적인 마스크 선택을 통해 그래디언트 흐름을 허용하기 위해, Straight-Through Estimator(STE)를 사용하는 Concrete (Gumbel-Softmax) 완화 기법을 사용합니다. 진폭 불변(amplitude-invariant) 업데이트 규칙을 통해 신호의 크기가 아닌 민감도에 기반한 선택을 보장합니다.

2. 주파수 섭동 필터 ($M_f$):

   • 목표: 선택된 시간적 영역 내의 역학(dynamics)을 수정하여, 흩어진 아티팩트를 생성하지 않으면서 예측과 설명을 유도합니다.
   • 메커니즘: 선택된 세그먼트를 주파수 영역으로 변환합니다. 스펙트럼에 학습 가능한 필터 $M_f$를 곱셈적으로 적용합니다.
   • 장점: 주파수 영역에서의 편집은 점 단위의 노이즈가 아니라, 시간 영역에서 일관된 변화(예: 추세나 주기성 변경)를 유도합니다.
   • 최적화: 고에너지 주파수 빈(bin)이 그래디언트를 지배하는 것을 방지하기 위해 에너지 불변 사인(energy-invariant sign) 업데이트를 사용합니다. 적응형 스케일링 인자를 통해 최종 섭동이 인스턴스별 $\ell_\infty$ 예산을 준수하도록 합니다.

최종적인 적대적 예시는 마스크 처리된 세그먼트에 주파수 필터를 적용하고 이를 원래 신호에 다시 삽입함으로써 재구성됩니다.

3. 주요 기여

• 체계적인 취약성 평가: 시계열 설명 모델의 적대적 강건성을 평가한 첫 사례를 제공하며, 예측 오류가 발생하더라도 설명이 지정된 근거에 맞게 유도될 수 있음을 입증했습니다.
• 고차원 역설 분석: 점 단위로 제한된 공격이 차원이 증가함에 따라 어트리뷰션 질량을 분산시켜, 희소한 타겟 근거와 일치하지 않는 확산된 설명을 생성한다는 것을 이론적, 경험적으로 보여주었습니다.
• TSEF 프레임워크: "언제 섭동할 것인가"(희소한 시간적 마스크를 통해)와 "어떻게 섭동할 것인가"(주파수 영역 필터를 통해)를 분리하여, 제어 가능하고 연속적인 설명 조작을 가능하게 하는 새로운 이중 타겟, 구조화된 공격을 제안했습니다.
• 모듈형 테스트베드: 공유된 공격 인터페이스를 사용하는 결합된 분류기-설명 모델 시스템을 위한 표준화된 평가 프레임워크를 공개했습니다.

4. 실험 결과

저자들은 세 가지 합성 데이터셋(LOWVAR, SEQCOMB-UV, SEQCOMB-MV)과 세 가지 실제 데이터셋(ECG, PAM, Epilepsy)에 대해, 세 가지 서로 다른 설명 백본(TIMEX++, TIMEX, Integrated Gradients) 및 트랜스포머 기반 분류기를 사용하여 TSEF를 평가했습니다.

• 예측 vs. 설명의 트레이드오프: 기존의 예측 전용 공격(예: PGD, BlackTreeS)은 높은 공격 성공률(ASR)을 달성했지만 낮은 설명 정렬도(예: 낮은 AUPRC)를 보였습니다. 반대로, 무작위 노이즈는 일부 설명 점수를 보존했지만 오분류에는 실패했습니다.
• TSEF 성능: TSEF는 높은 ASR(강력한 베이스라인과 대등하거나 이를 상회함)을 달면서도 참조 근거와의 높은 설명 정렬도를 유지하는 데 성공했습니다.
  • 예시: ECG 데이터셋과 TIMEX++ 환경에서, TSEF는 ASR 0.951을 달성(PGD의 0.946 대비)하면서도 설명 지표를 크게 개선했습니다(PGD의 AUPRC 0.639 대비 AUPRC 0.713).
  • 예시: LOWVAR 데이터셋에서, TSEF는 ASR ~0.85를 유지하면서 AUPRC ~0.845를 달성한 반면, PGD는 ~0.258로 떨어졌습니다.
• 일반화: 이러한 취약성은 다양한 설명 유형(마스크 기반 및 그래디언트 기반)과 분류기 백본(Transformer, CNN, TimesFM) 전반에서 관찰되었습니다.
• 실제적 함의: 정답 근거가 없는 설정(클린 설명을 참조로 사용)에서, TSEF는 유효한 설명의 외형을 성공적으로 보존하면서 예측을 뒤집음으로써, 설명 기반 감사를 효과적으로 회피했습니다.

5. 의의 및 주장

본 논문은 **설명의 안정성이 시계열 시스템에서 결정의 강건성을 나타내는 오해의 소지가 있는 대리 지표(proxy)**라고 주장합니다. 예측과 설명을 분리할 수 있다는 능력은, 설명의 일관성을 통해 모델의 동작을 검증하려는 현재의 감사 프로토콜이 체계적으로 우회될 수 있음을 의미합니다.

저자들은 본 연구가 특정 실패 모드를 드러내는 "화이트박스 스트레스 테스트"임을 강조합니다. 모든 시계열 시스템이 불안전하다고 주장하는 것이 아니라, 결합된 예측-설명 출력에 대한 내재적 신뢰라는 가정이 결함이 있다는 점을 지적합니다. 이 연구의 의의는 **결합형 강건성 평가(coupling-aware robustness evaluations)**와, 예측기와 설명기의 행동을 개별적으로 평가하는 대신 이들의 공동 동작을 명시적으로 제약하는 방어 기법의 개발을 촉구하는 데 있습니다. 논문은 고위험 애플리케이션에서, 단순히 설명이 그럴듯해 보이는지를 확인하는 것만으로는 신뢰를 회복할 수 없으며, 결정과 근거 사이의 관계 자체가 적대적 조작으로부터 보호되어야 한다고 결론짓습니다.