xaitimesynth: A Python Package for Evaluating Attribution Methods for Time Series with Synthetic Ground Truth

이 논문은 실제 데이터셋에 존재하지 않는 시간적 근거를 평가하기 위해, 합성 시계열 데이터 생성 및 표준 로컬라이제이션 지표를 제공하는 재사용 가능한 Python 패키지 'xaitimesynth'를 소개합니다.

핵심

이 논문은 **"시간 흐름에 따른 데이터 **(시계열 데이터)에 대한 이야기를 담고 있습니다.

마치 요리사가 만든 요리의 맛을 평가할 때, "이 요리에 어떤 재료가 들어갔는지"를 정확히 알려주는 **비밀 레시피 **(Ground Truth)가 없다면, 요리사가 "내가 쓴 소금 양이 적절했나요?"라고 물어봐도 답할 수 없는 것과 같습니다.

이 논문의 핵심 내용을 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제: "왜 이 예측을 했지?"를 증명하기 어려운 이유

우리가 AI 에게 "내 시계열 데이터 (예: 주식 차트, 심박수 기록) 를 보고 '병'이라고 예측했어"라고 하면, AI 는 "아, 이 부분에서 심박수가 급격히 올라갔기 때문입니다"라고 설명합니다. 이것이 **설명 **(Attribution)입니다.

하지만 여기서 큰 문제가 생깁니다.
"정말 그 부분이 중요했을까? 아니면 AI 가 우연히 그 부분을 보고 착각한 걸까?"

실제 세상 (Real-world) 에서는 AI 가 왜 그렇게 판단했는지, **정답 **(Ground Truth)을 알 수 없습니다. 마치 시험 문제를 풀었는데 정답지가 없어서, "내가 푼 풀이 과정이 맞았는지"를 확인할 수 없는 상황과 같습니다.

2. 기존 해결책의 한계: "매번 새로 발명하는 바퀴"

연구자들은 이 문제를 해결하기 위해 **가짜 데이터 **(Synthetic Data)를 만들어 실험합니다.

• 비유: "AI 가 '사과'를 구별하도록 훈련시킬 때, 정말 사과가 있는 곳을 미리 정해두고 그 위치를 기록해두는 것"입니다.
• 문제점: 지금까지는 각 연구팀이 스스로 가짜 데이터를 만드는 프로그램을 0 부터 직접 짰습니다. A 팀은 A 방식, B 팀은 B 방식으로 만들었으니, 서로의 결과를 비교하거나 검증하기가 매우 어려웠습니다.

3. 해결책: xaitimesynth (엑사타임스인스)

이 논문은 **xaitimesynth**라는 **만능 도구 상자 **(Python 패키지)를 소개합니다. 이 도구는 다음과 같은 역할을 합니다.

🛠️ 역할 1: 완벽한 가짜 데이터 공장

이 도구를 사용하면 연구자는 복잡한 코딩 없이 YAML(설정 파일)만 작성하면 됩니다.

• 비유: 레시피 책에서 "배경은 잡음 (노이즈), 핵심 특징은 30 초 뒤에 나타나는 '피크' 모양"이라고 적어두면, 도구가 알아서 수천 개의 가짜 시계열 데이터를 만들어줍니다.
• 핵심: 이 도구는 **"어디에 어떤 특징이 숨겨져 있는지"를 자동으로 기록해 둔 정답지 **(Ground Truth Mask)도 함께 만들어줍니다.

📏 역할 2: 공정한 채점관

AI 가 만든 설명이 정답지와 얼마나 잘 일치하는지 공식적인 점수를 매겨줍니다.

• 비유: AI 가 "여기가 중요해요!"라고 손가락을 가리켰을 때, 정답지가 가리키는 "진짜 중요한 곳"과 얼마나 겹치는지 AUC-ROC, Relevance Mass Accuracy 같은 점수표로 평가합니다.
• 만약 AI 가 엉뚱한 곳을 가리켰다면, 이 도구가 "점수 0 점! 다시 공부하세요"라고 알려줍니다.

4. 왜 이것이 중요한가요?

이 도구의 가장 큰 장점은 **재현성 **(Reproducibility)과 편의성입니다.

• 과거: 연구자 A 는 "내 방식이 최고야!"라고 주장했고, 연구자 B 는 "아니야, 내 방식이 더 좋아"라고 주장했지만, 서로 다른 가짜 데이터를 썼기 때문에 누가 진짜로 좋은지 알 수 없었습니다.
• 현재: xaitimesynth 를 사용하면 **모두가 같은 기준 **(같은 가짜 데이터, 같은 채점 기준)으로 AI 의 설명 능력을 평가할 수 있습니다. 마치 모든 요리사가 같은 재료를 주고 같은 맛 평가 기준으로 요리를 시합하는 것과 같습니다.

5. 요약: 한 문장으로 정리

"AI 가 시계열 데이터를 분석할 때, '어떤 부분을 보고 판단했는지'가 맞는지 검증하기 위해, 정답이 미리 정해져 있는 가짜 데이터를 자동으로 만들고 공평하게 채점해 주는 만능 도구 상자를 만들었습니다."

이 도구는 이제 연구자들이 매번 가짜 데이터를 새로 만들 필요 없이, AI 의 설명 능력을 믿을 수 있는지를 쉽고 정확하게 확인할 수 있게 해줍니다.

기술 요약

1. 문제 정의 (Problem)

시계열 데이터에 대한 설명 가능한 AI(XAI) 의 속성 (Attribution) 방법론을 평가하는 것은 현실적인 어려움에 직면해 있습니다.

• Ground Truth 부재: 실제 세계의 데이터셋에서는 모델의 예측을 주도하는 특정 시점 (time points) 이 무엇인지에 대한 '정답 (Ground Truth)'을 제공하지 않는 경우가 대부분입니다.
• 현재의 한계: 이를 해결하기 위해 연구자들은 종종 클래스를 구분하는 특징을 알려진 위치에 배치한 **합성 데이터 (Synthetic Data)**를 생성하여 평가합니다. 그러나 현재 각 연구마다 이를 매번 처음부터 (from scratch) 재구현하고 있어, 재현성 (Reproducibility) 과 비교 가능성이 떨어집니다.
• 기존 평가 지표의 문제: 입력을 교란 (Perturbation) 시켜 모델 출력 변화를 측정하는 기존 평가 지표들은 구현 선택 사항에 민감하거나 클래스 간 편차를 보일 수 있어 신뢰성에 의문이 제기됩니다.

2. 방법론 (Methodology)

이 논문은 시계열 속성 방법론 평가를 위한 표준화된 Python 패키지인 **xaitimesynth**를 제안합니다.

• 데이터 생성 원리 (Additive Model):
  • 각 합성 시계열 샘플 ($x$) 은 **배경 신호 ($n$)**와 **국소화된 클래스 구분 특징 ($f$)**의 합으로 구성됩니다 ($x = n + f$).
  • 배경 신호: 가우시안 노이즈, 랜덤 워크, 계절성 신호 등 다양한 패턴을 포함합니다.
  • 특징 ($f$): 특정 시간 창 (window) 내에만 존재하는 클래스별 패턴 (예: 피크, 골, 가우시안 펄스) 을 가지며, 나머지 부분은 0 입니다.
  • Ground Truth Mask: 특징이 위치한 시간 창을 자동으로 이진 (Binary) 마스크로 추적하여 기록합니다. 이는 평가 시 정답 레이블로 사용됩니다.
• 유연한 구성 (Fluent API & YAML):
  • Builder API: 선언적 방식으로 각 클래스별 신호와 특징을 정의할 수 있습니다. 단변량 (Univariate) 및 다변량 (Multivariate) 시계열 모두 지원하며, 채널 간 특징 정렬도 제어 가능합니다.
  • YAML 설정: 데이터셋 정의를 YAML 파일로 작성하여 재현성과 공유를 용이하게 합니다.
  • 확장성: 사용자 정의 생성기 함수를 등록하거나 수동 컴포넌트를 추가할 수 있어 실험 요구사항에 맞춰 유연하게 구성 가능합니다.
• 평가 지표 (Localization Metrics):
  • 속성 점수 (Attribution scores) 와 Ground Truth 마스크 간의 공간적 일치도를 측정하는 표준 지표를 제공합니다.
  • 주요 지표: AUC-ROC, AUC-PR, Relevance Mass Accuracy (RMA), Relevance Rank Accuracy, Pointing Game, Normalized Attribution Correspondence (NAC), MAE, MSE 등.

3. 주요 기여 (Key Contributions)

1. 표준화된 평가 워크플로우: 시계열 속성 방법론 평가를 위한 합성 데이터 생성부터 Ground Truth 추적, 그리고 표준 로컬라이제이션 지표 계산까지를 하나의 패키지로 통합하여, 연구별 재구현을 방지했습니다.
2. 재현 가능한 데이터 생성 인프라: CLEVR-XAI(이미지용) 와 유사한 원리를 시계열에 적용하여, 배경 신호와 특징을 분리하고 특징 위치를 자동으로 추적하는 시스템을 구축했습니다.
3. 포괄적인 평가 도구: 기존 라이브러리 (Captum, Quantus, Time Interpret 등) 가 시계열용 합성 데이터 생성이나 로컬라이제이션 지표 측면에서 가진 한계를 보완합니다. (표 1 참조: 기존 패키지 대비 xaitimesynth 는 합성 데이터 생성과 로컬라이제이션 지표를 모두 지원합니다.)
4. 오픈소스 및 접근성: MIT 라이선스로 오픈소스화되었으며, GitHub 및 Zenodo 를 통해 접근 가능합니다.

4. 결과 및 성능 (Results)

• 논문은 구체적인 수치적 성능 비교 (Benchmarking) 결과보다는 도구의 기능성과 유효성을 강조합니다.
• Listing 1과 Figure 1을 통해 두 클래스 (Gaussian 펄스 vs 계절성 파동) 를 가진 합성 데이터셋 생성, 학습/테스트 분할, 그리고 속성 평가 (AUC-PR, RMA 등) 가 성공적으로 수행됨을 시연합니다.
• 이 도구를 사용하면 연구자들은 Ground Truth 를 알고 있는 환경에서 속성 방법론이 모델의 실제 의사결정 과정을 얼마나 정확하게 반영하는지 (Correctness) 를 체계적으로 검증할 수 있습니다.

5. 의의 및 중요성 (Significance)

• 신뢰성 있는 XAI 평가: 실제 데이터의 불확실성을 제거하고 Ground Truth 를 명확히 함으로써, 속성 방법론의 '정확성 (Correctness)'을 검증하는 Sanity Check 도구로서 핵심적인 역할을 수행합니다.
• 단축 학습 (Shortcut Learning) 위험 관리: 합성 데이터 생성 시 클래스 간 통계적 차이 등 의도치 않은 아티팩트가 발생할 경우 모델이 이를 악용할 수 있음을 인지하고, 이를 통제된 환경에서 연구할 수 있게 합니다.
• 연구 커뮤니티의 표준화: 각 연구마다 다른 방식으로 합성 데이터를 만들던 비효율성을 해결하고, 공유 가능한 표준 툴킷을 제공함으로써 시계열 XAI 평가의 재현성과 비교 가능성을 획기적으로 높였습니다.

결론적으로, xaitimesynth 는 시계열 분류 모델의 설명 가능성을 평가할 때 필수적인 'Ground Truth 기반 평가'를 표준화하고 자동화하여, 더 신뢰할 수 있는 XAI 연구 환경을 조성하는 데 기여합니다.