C-SHAP for time series: An approach to high-level temporal explanations

1. 문제 정의 (Problem Statement)

• 배경: 의료 및 산업과 같은 고위험 (high-stakes) 분야에서 AI 기반 의사결정의 설명 가능성 (Explainable AI, XAI) 이 필수적입니다. 그러나 많은 블랙박스 모델은 투명성이 부족하여 신뢰를 저해합니다.
• 현황의 한계: 시계열 데이터에 적용되는 기존 XAI 기법들은 대부분 점 기반 (point-based) 또는 부분 시퀀스 기반 (subsequence-based) 설명에 집중되어 있습니다.
  • 이러한 접근법은 개별 시점이나 짧은 구간에서의 기여도를 분석하지만, 신호의 전체적인 추이 (trend), 분산 변화, 주파수 성분과 같은 고수준의 패턴 (high-level patterns) 을 포착하지 못합니다.
  • 결과적으로 생성된 설명은 인간이 직관적으로 이해하기 어렵거나, 중요한 전역적 패턴의 중요성을 제대로 반영하지 못합니다.
• 목표: 점 단위 설명의 한계를 극복하고, 도메인 전문가나 일반 사용자가 이해할 수 있는 고수준 개념 (concepts) 기반의 시계열 설명 기법을 제안하는 것.

2. 제안 방법론: C-SHAP (Methodology)

이 논문은 시계열 데이터의 고수준 패턴을 설명하기 위해 C-SHAP (Concept-based SHAP) 을 제안합니다. 이는 SHAP (Shapley Additive exPlanations) 을 개념 단위로 확장한 방법론입니다.

2.1. 핵심 개념

• 개념 (Concept): 저수준의 개별 입력 피처가 아닌, 시계열 데이터에서 추출된 고수준의 패턴 (예: 추세, 진폭, 주파수 등) 을 의미합니다.
• SHAP 적용: 기존 SHAP 이 개별 데이터 포인트의 기여도를 계산하는 반면, C-SHAP 은 개념 (Concept) 을 피처로 간주하여 모델 예측에 대한 기여도를 계산합니다.

2.2. 두 가지 접근 방식

논문은 C-SHAP 을 구현하기 위해 두 가지 다른 워크플로우를 제시합니다 (그림 1 참조):

1. 완전 사후적 (Fully Post-hoc) 접근:
   • 개념에 무관한 (concept-agnostic) 블랙박스 모델을 대상으로 합니다.
   • 모델 학습 시 개념을 고려하지 않으며, 학습된 모델에 대해 사후적으로 개념을 추출하고 SHAP 값을 계산합니다.
   • 장점: 기존 MLOps 파이프라인에 모델 수정 없이 쉽게 통합 가능.
   • 요구 사항: 개념 추출 알고리즘이 가역적 (invertible) 이어야 함 (원래 시계열 신호를 개념들의 합으로 재구성할 수 있어야 SHAP 의 일관성 조건을 만족).
2. 부분 사전적 (Partially Ante-hoc) 접근:
   • 개념 정보 기반 (concept-informed) 모델을 사용합니다.
   • 모델 학습 시 추출된 개념들을 직접 입력 피처로 사용합니다 (예: 멀티채널 입력).
   • 장점: 모델이 중요한 개념을 명시적으로 학습하므로 성능 향상이 기대됨.

2.3. 개념 추출 및 마스킹 (Implementation)

• 개념 추출 (Concept Construction): 시계열 분해 (Time Series Decomposition) 를 사용하여 고수준 개념을 추출합니다.
  • Discrete Wavelet Transform (DWT): 신호를 'Approximation'과 'Detail' 성분으로 분해.
  • 커스텀 분해 (Custom Decomposition): 인간 중심의 해석성을 위해 설계된 분해 방식.
    • 정의된 개념: Trend(추세), Bias(평균 수준), Scale(진폭 크기), Variance(진폭 변화), Low/High Frequency(저/고주파 성분).
    • 가산 (additive) 과 승산 (multiplicative) 성분을 혼합하여 순차적으로 추출.
• 개념 마스킹 (Concept Masking): SHAP 계산을 위해 특정 개념을 '비정보적 (uninformative)' 값으로 대체합니다.
  • 개념 기반 모델: 해당 개념 채널을 훈련 데이터에서 샘플링된 다른 시계열의 해당 개념으로 교체.
  • 개념 무관 모델: 개념을 마스킹한 후, 역분해 (recombination) 함수를 통해 원래 시계열 형태로 재구성하여 모델에 입력.

3. 주요 기여 (Key Contributions)

1. 공식화: SHAP 을 기반으로 한 시계열 개념 기반 설명을 위한 두 가지 접근법 (완전 사후적, 개념 정보 기반) 을 공식화했습니다.
2. 분해 기법 활용: 시계열 분해 (DWT 및 커스텀 분해) 를 개념 기반 설명에 효과적으로 적용하는 방법을 제시했습니다.
3. 인간 중심 분해 알고리즘 설계: 도메인 전문가나 일반 사용자가 이해하기 쉬운 'Trend', 'Scale' 등의 개념을 추출하는 커스텀 분해 알고리즘을 설계했습니다.
4. 실증 연구: 인간 활동 인식 (HAR) 과 예측 정비 (Predictive Maintenance) 라는 두 가지 다른 도메인의 실제 사례에 C-SHAP 을 적용하여 유효성을 입증했습니다.

4. 실험 결과 (Results)

두 가지 데이터셋 (OPPORTUNITY: HAR, Turbofan: 예측 정비) 에서 실험을 수행했습니다.

• 로컬 설명 (Local Explanations):
  • 비교: C-SHAP 은 'Trend'와 같은 전역적 패턴의 중요성을 명확히 드러내는 반면, 기존 KernelSHAP(점 기반) 은 중요한 패턴이 여러 점에 분산되어 있어 해석이 어려웠습니다.
  • HAR (OPPORTUNITY): 커스텀 분해 기반 설명에서 'Scale'(진폭) 이 가장 중요한 개념으로 나타났으며, 이는 보행 시의 큰 움직임 진폭을 모델이 인식함을 의미합니다. DWT 기반 설명에서는 'Approximation' 성분이 중요하게 작용했습니다.
  • 예측 정비 (Turbofan): 'Trend'(추세) 가 모델 예측에 가장 큰 영향을 미치는 개념으로 확인되었습니다. 이는 엔진 압력의 선형적 변화가 잔여 수명을 판단하는 핵심 지표임을 보여줍니다.
• 글로벌 설명 (Global Explanations):
  • 전체 테스트 세트를 평균화한 SHAP 값은 모델이 각 도메인에서 어떤 고수준 패턴에 의존하는지 일관되게 보여주었습니다.
  • HAR 모델은 'Bias'(무릎 각도) 와 'Scale'(움직임 크기) 에 의존하고, 예측 정비 모델은 'Trend'에 의존함을 확인했습니다.
• 성능: 개념 기반 모델을 사용한 경우와 개념 무관 모델을 사용한 경우의 성능 (정확도, RMSE) 은 유사하거나 개념 기반 모델이 약간 더 우수한 경향을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 해석 가능성의 향상: 점 단위 설명의 한계를 넘어, 인간의 직관과 부합하는 고수준 패턴 (추세, 진폭 등) 으로 AI 의 의사결정 근거를 설명함으로써 신뢰성을 높였습니다.
• 유연성: 모델의 종류 (블랙박스 vs 개념 기반) 와 분해 방법 (DWT vs 커스텀) 에 따라 유연하게 적용 가능한 범용 프레임워크를 제시했습니다.
• 실용성: 의료 (활동 인식) 와 산업 (예측 정비) 등 고위험 분야에서 실제 적용 가능성을 입증하여, 이론과 실무를 연결하는 가교 역할을 했습니다.
• 향후 과제: 개념 추출 알고리즘의 하이퍼파라미터 최적화 자동화, 다양한 분해 기법의 도메인별 적용성 검증, 그리고 최종 사용자를 대상으로 한 사용자 연구 (User Study) 를 통한 해석성 검증이 필요하다고 강조했습니다.

이 논문은 시계열 데이터의 XAI 분야에서 개념 기반 (Concept-based) 접근법의 중요성을 부각시키고, 이를 구현하기 위한 구체적인 방법론 (C-SHAP) 을 제시했다는 점에서 의의가 큽니다.