TSFMAudit: Data Contamination Auditing in Forecasting Time Series Foundation Models

기술 요약: TSFMAudit – 시계열 기초 모델 예측에서의 데이터 오염 감사

1. 문제 정의

시계열 기초 모델 (TSFMs) 은 increasingly 다양한 실제 및 합성 소스에서 파생된 대규모 이질적 코퍼스로 사전 훈련되고 있습니다. 동시에, 널리 사용되는 평가 벤치마크 (예: GIFT-Eval, TIME) 는 종종 동일한 공개 소스에서 구성됩니다. 이러한 중첩은 모델의 사전 훈련 단계에서 평가 데이터가 노출된 경우인 사전 훈련 오염의 상당한 위험을 초래합니다. 이러한 노출은 하류 성능 추정을 인위적으로 부풀려 모델의 일반화 능력에 대해 지나치게 낙관적인 평가를 초래할 수 있습니다.

시계열에서의 이러한 오염 감사는 데이터의 특성으로 인해 대규모 언어 모델 (LLM) 에 비해 고유하게 어렵습니다:

• 연속성과 이질성: 시계열은 연속적인 값이므로, LLM 중첩 탐지에 사용되는 정확한 문자열 또는 토큰 매칭이 적용 불가능합니다.
• 전처리 민감성: 동일한 기본 신호는 재스케일링, 이름 변경, 재 윈도우화 또는 기타 변환 후에도 다시 나타날 수 있어 단순한 중복 탐지를 취약하게 만듭니다.
• 문서화 부재: 코퍼스 수준의 문서화는 종종 불완전하여 메타데이터만으로는 노출을 확인하기 어렵습니다.
• 정적 지표의 불신뢰성: 정적 손실 또는 퍼플렉시티 점수는 신뢰할 수 있는 지표가 아닙니다. 매끄러운 계절적 추세나 쉬운 데이터셋은 데이터를 본 적이 없는 모델에게도 낮은 손실을 생성할 수 있기 때문입니다.

본 논문은 오염 감사 목표를 공식화합니다: 후보 TSFM $f_\theta$와 감사 대상 데이터셋 $D$가 주어졌을 때, 전체 사전 훈련 코퍼스에 접근하지 않고도 "클린"과 "오염된" 쌍을 구별하여 사전 훈련 오염의 위험을 정량화하는 점수 $S(f_\theta, D)$를 추정하는 것입니다.

2. 방법론: TSFMAudit

저자들은 프로브 적응 역학에 기반한 프레임워크인 TSFMAudit를 제안합니다. 핵심 직관은 오염이 파인튜닝 프로브 동안 비정상적으로 효율적인 적응으로 나타난다는 것입니다.

주요 관찰:

1. 효율적인 적응: 모델이 사전 훈련 중 데이터셋에 특정한 예측 구조를 이미 인코딩했다면, 동일한 데이터셋으로 후속 파인튜닝 시 더 적은 적응이 필요합니다. 이는 백본 파라미터의 최소 이동으로 더 빠른 손실 감소를 초래합니다.
2. 데이터셋 난이도 편향: 빠른 적응은 오염된 모델에만 국한되지 않습니다. 데이터셋이 본질적으로 쉬운 경우 클린 모델도 빠르게 적응할 수 있습니다. 이를 완화하기 위해, 이 방법은 대상 데이터셋에 노출되지 않은 유사한 아키텍처를 가진 참조 스위트의 모델과 후보를 비교합니다.

TSFMAudit 파이프라인:

1. 프로브 단계: 후보 모델과 참조 모델 스위트 ($\mathcal{R}$) 모두 감사 대상 데이터셋 $D$에서 고정된 에포크 수 ($T_{probe}$) 동안 파인튜닝됩니다.
2. 추적 추출: 각 에포크 $t$에 대해 시스템은 다음을 기록합니다:
   • $\ell_t$: 예측 손실.
   • $w_t$: 초기 상태로부터의 백본 파라미터의 누적 $\ell_2$ 변위.
   • 파생 지표: 상대 손실 감소 ($d_t$) 및 적응 효율 ($a_t = d_t / w_t$).
3. 참조 비교를 통한 편향 제거: 데이터셋 특정 난이도 편향을 제거하기 위해, 후보의 추적 특징을 각 참조 모델의 추적과 요소별로 비교합니다. 이는 차이 ($\Delta$) 및 비율 ($\rho$) 특징을 생성합니다.
4. 점수 매기기 및 보정: 경량 스코어러 (로지스틱 회귀) 는 이러한 편향 제거된 특징을 사용하여 감사 훈련 세트에서 훈련되어 오염 확률을 예측합니다.
   • 임계값 설정: 시스템은 "무죄를 의심하지 않는다"는 보수적 원칙 (FP-0 보정) 을 채택합니다. 결정 임계값 $\tau$는 알려진 클린 검증 데이터셋에서 관찰된 최대 점수로 설정되어, 클린 데이터셋이 오염된 것으로 잘못 플래그되지 않도록 보장합니다.

3. 주요 기여

• 첫 체계적 연구: 저자들의 지식 범위 내에서, 이는 TSFMs 에 대한 사전 훈련 오염 감사를 공식적으로 연구하고 방법을 제안한 첫 작업입니다.
• 새로운 방법론: 정적 손실이나 기억 추출이 아닌, 프로브 시간 적응 역학 (손실 감소 대 파라미터 이동) 을 활용하는 TSFMAudit의 도입.
• 참조 기반 편향 제거: 처음부터 훈련되거나 관련 없는 데이터로 훈련된 참조 모델 스위트에 대한 후보 적응 효율을 비교하여 데이터셋 난이도를 통제하는 메커니즘.
• 포괄적 평가: 이 방법은 6 개의 TSFM(Chronos, TiRex, Moirai1/2, TimesFM2.0, Kairos) 과 187 개의 데이터셋 (GIFT-Eval 및 TIME 벤치마크 결합) 에서 평가되었으며, LLM 문헌에서 적응된 10 개의 베이스라인과 비교되었습니다.

4. 실험 결과

실험은 방법의 효과성에 관한 네 가지 주요 질문에 답합니다:

• 탐지 성능 (Q1): TSFMAudit 는 정적 손실 베이스라인 (Raw Loss, Loss Drop Rate), LiRA 에서 영감을 받은 비율, 주파수 영역 베이스라인을 크게 능가합니다. 정적 지표는 거의 0 에 가까운 매튜스 상관 계수 (MCC) 를 산출하는 반면, TSFMAudit 는 (All Ref 구성에서) 0.125의 MCC 와 0.521의 Macro-F1 을 달성합니다. 저자들은 절대적인 MCC 값이 보수적인 FP-0 보정과 노이즈가 있는 프록시 레이블 하에서의 문제의 본질적 어려움으로 인해 여전히 modest하다고 지적합니다.
• 편향 제거 효과 (Q2): 참조 기반 편향 제거는 결정적입니다. 모든 참조 기반 변형은 후보-only 역학 베이스라인을 능가합니다. "All Ref"구성 (ScratchCNN, ScratchTransformer, Stat, VisionTS 의 네 가지 참조 모델 모두 사용) 이 가장 좋은 집계 성능을 보여주어, 절대적 신호보다 상대적 적응 신호가 더 유익함을 확인시켜 줍니다.
• 특징 유용성 (Q3): 특징 제거 실험은 단일 특징으로는 충분하지 않음을 보여줍니다. 적응 효율 ($a_t$) 이 가장 강력한 개별 특징이며, 오염은 높은 효율성 (빠른 손실 감소, 낮은 파라미터 이동) 으로 특징지어진다는 가설을 지지합니다. 그러나 모든 역학 특징 (손실, 변위, 효율) 을 결합하는 것이 가장 좋은 결과를 낳습니다.
• 실제 배포 (Q4): 이 방법은 오염 레이블이 없는 새로운 외부 벤치마크인 TIME 벤치마크에서 테스트되었습니다. 이전 데이터로 훈련된 고정 감사기를 사용하여 TSFMAudit 는 높은 신뢰도로 TIME 데이터셋을 "클린" (비유출) 으로 올바르게 식별했습니다 (집계된 비유출률 > 95%), 재훈련 없이 실제 배포 시나리오에서의 유용성을 입증했습니다.

5. 중요성과 주장

본 논문은 TSFMAudit 가 시계열에서 신뢰할 수 있는 오염 감사를 위한 유망한 기초로서 프로브 시간 역학을 확립한다고 주장합니다.

• 패러다임 전환: 시계열에서 신뢰할 수 없는 정적, 사전 프로브 지표에서 파인튜닝 중의 동적, 행동 분석으로의 전환.
• 실행 가능성: 사전 훈련 코퍼스에 접근하거나 대규모 사전 훈련을 재현할 수 없더라도 모델의 적응 행동을 프로브할 수만 있다면 오염 감사가 실행 가능함을 입증합니다.
• 한계: 저자들은 결과가 modest하며 탐지 문제가 도전적임을 인정합니다. modest 한 MCC 점수는 엄격한 위양성 제약 하에서 그리고 (변환된 중복과 같은) 모든 형태의 유출을 포착하지 못할 수 있는 프록시 레이블을 다룰 때, 이 방법이 베이스라인보다 우월하지만 완벽한 탐지기 아님을 나타냅니다.

결론적으로, TSFMAudit 는 시계열 데이터의 연속적이고 이질적인 특성을 고려하여 데이터 오염을 식별하는 견고하고 동적인 접근 방식을 제공하는 TSFMs 감사를 위한 첫 전용 프레임워크를 제공합니다.