TTCD:Transformer Integrated Temporal Causal Discovery from Non-Stationary Time Series Data

기술 요약: TTCD – 트랜스포머 통합 시간적 인과 발견

문제 제기
본 논문은 환경 과학, 역학, 경제학 등의 분야에서 흔히 발생하는 비정상성, 비선형성, 그리고 노이즈가 포함된 시계열 데이터에서의 인과 발견 과제를 다룹니다. 기존 방법론들은 중대한 한계에 직면해 있습니다: 제약 기반 접근법은 조건부 독립성 검정 (CIT) 에 의존하는데, 이는 제한된 샘플과 복잡한 분포에서 성능이 저하되며 종종 정확한 그래프 대신 동치 클래스를 산출합니다. 점수 기반 방법론들은 오류 전파를 완화하지만, 노이즈 분포나 데이터 생성 과정에 관한 강력한 통계적 가정을 자주 부과하며 정상성을 가정하는 경우가 많습니다. 또한, 특정 비정상성 시나리오 (예: 변화점 탐지 또는 분포 변화) 를 다루는 최근 방법론들은 노이즈나 매개변수 정보에 대한 사전 지식을 요구하지 않는 일반적인 비정상성 시간 데이터에 대한 통합된 해결책을 제시하지 못합니다.

방법론
저자들은 제한적인 가정 없이 비정상성 시계열로부터 동시적 및 지연된 인과 관계를 모두 학습하도록 설계된 종단간 (end-to-end) 접근법인 트랜스포머 통합 시간적 인과 발견 (TTCD) 프레임워크를 제안합니다. 이 프레임워크는 두 가지 주요 모듈로 구성됩니다:

1. 비정상성 특징 학습기:

   • 이 모듈은 특수한 어텐션 메커니즘이 강화된 트랜스포머 기반 인코더-디코더 아키텍처를 활용합니다.
   • 복잡한 패턴을 포착하기 위해 시간 영역 및 주파수 영역 어텐션을 통합합니다. 푸리에 변환은 시간 영역 신호를 주파수 스펙트럼으로 변환하여 네트워크가 서로 다른 스펙트럼 대역에 주의를 기울일 수 있게 합니다.
   • 정규화 과정에서 비정상성 특성이 약화되는 문제를 해결하기 위해, 이 모듈은 비정상성 프로파일링 네트워크와 **비정상성 제거 특징 학습 블록 (DSB)**을 도입합니다. 프로파일링 네트워크는 국소적 변동성 (예: 국소 변동성) 과 같은 동적 국소 통계를 추출하여 어텐션 가중치를 동적으로 적응시키는 메타 조건부 신호 ($\gamma_Q, \gamma_K$) 를 생성합니다. DSB 는 스케일링 인자 ($\tau$) 와 이동 벡터 ($\Delta$) 를 학습하여 본질적인 비정상성 특징을 명시적으로 복원하며, 이는 이후 어텐션 계산에 통합됩니다.
   • 디코더는 이러한 잠재 표현으로부터 입력 신호를 재구성합니다. 결정적으로, 재구성 과정은 노이즈와 허위 상관관계를 완화하면서 의미 있는 의존성을 보존하기 위해 필수적인 인과 신호를 정제하는 필터 역할을 합니다. 출력은 정규화되지 않은 스케일로 다음 모듈에 제공됩니다.

2. 인과 구조 학습기:

   • 이 모듈은 정제된 재구성 신호를 기반으로 근본적인 인과 그래프를 추론합니다.
   • 각 목표 변수마다 하나씩인 N 개의 커스텀 비순차적 Causal Conv2D 레이어를 사용합니다. 각 레이어는 모든 가능한 부모 (지연된 및 동시적) 로부터 특정 목표 변수로의 인과 링크를 학습합니다.
   • 인접 행렬은 이러한 컨볼루션 레이어의 학습된 가중치에서 유도됩니다. 임계값 처리 연산은 약한 의존성을 제거합니다.
   • 학습 과정은 지연된 엣지가 시간적 우선순위에 의해 본질적으로 비순환적이므로, 인접 행렬의 동시적 부분에 대해 비순환성 제약을 적용합니다. 이는 등식 제약을 제약 없는 최적화 문제로 변환하기 위해 증강 라그랑주 방법을 사용하여 해결됩니다.

최적화
프레임워크는 네 가지 항을 최소화하는 목적 함수를 사용하여 훈련됩니다:

• 재구성 손실 ($L_r$): 입력과 재구성된 출력 간의 평균 제곱 오차 (MSE).
• 목표 변수 추정 손실 ($L_{tve}$): 학습된 인과 연결을 통해 추정된 값과 실제 값 간의 MSE.
• 비순환성 제약: 동시성 인접 행렬의 트레이스 지수 함수를 통해 부과되며, 증강 라그랑주 방법을 사용하여 해결됩니다.
• 희소성 손실 ($L_s$): 더 적고 더 강력한 인과 링크를 가진 희소 그래프를 장려하기 위한 $L_1$ 노름 패널티.

주요 기여

1. 비정상성 트랜스포머: 시간 및 주파수 영역 어텐션을 사용하여 시계열로부터 지배적인 특징을 학습하고, 비정상성 프로파일링과 비정상성 제거 특징 학습을 통해 중요한 비정상성 특성을 유지하도록 보완된 새로운 아키텍처.
2. 컨볼루션 기반 인과 구조 학습기: 정제된 신호를 사용하여 지연된 및 동시적 인과 링크를 동시에 식별하고, 비순환성 제약과 희소성 패널티를 최적화에 직접 통합하는 커스텀 모듈.
3. 통합 프레임워크: 노이즈 분포, 데이터 생성 과정, 또는 변수 독립성에 대한 가정 없이 비정상성 데이터로부터 인과 구조를 포착할 수 있는 방법.

결과
저자들은 TTCD 를 합성 데이터셋 (가우시안 노이즈가 있는 Dataset-1 과 푸아송 노이즈가 있는 Dataset-2) 과 실제 세계 데이터셋 (난류 운동 에너지, 북극 해빙, FMRI 벤치마크) 에서 평가했습니다. 이 방법은 CD-NOD, LIN, PCMCI+, DAG-GNN 을 포함한 여덟 가지 최첨단 베이스라인과 비교되었습니다.

• 성능: TTCD 는 대부분의 데이터셋에서 구조적 해밍 거리 (SHD), F1 점수, 그리고 거짓 발견률 (FDR) 에서 일관되게 베이스라인을 능가했습니다.
• 구체적 발견: TTCD 는 합성 Dataset-1, TKE, 그리고 북극 해빙 데이터셋에서 최상의 결과를 달성했습니다. FMRI 데이터셋에서는 최상의 FDR 점수를 달성했으며, SHD 는 최상위 성능 베이스라인 (DAG-GNN) 과 비교 가능한 수준이었습니다.
• 결손 연구: 비정상성 제거 특징 블록 (DSB), 주파수 영역 어텐션을 제거하거나 표준 트랜스포머로 비정상성 트랜스포머를 대체할 경우 모든 데이터셋에서 성능이 저하되어, 비정상성 환경에서 견고한 인과 발견을 위해 각 구성 요소가 필수적임을 확인했습니다.

의의
본 논문은 TTCD 가 데이터가 비정상성, 비선형성, 그리고 노이즈가 있는 까다로운 실제 세계 맥락에서 인과 발견을 위한 견고한 해결책을 제공한다고 주장합니다. 데이터 분포와 생성 메커니즘에 대한 특정 조건을 완화함으로써, 이 프레임워크는 다른 방법론들이 요구하는 노이즈나 매개변수 정보에 대한 사전 지식을 필요로 하지 않습니다. 재구성 유도 신호 정제의 통합은 모델이 허위 상관관계를 효과적으로 필터링할 수 있게 합니다. 저자들은 TTCD 를 기존 최첨단 접근법보다 뛰어난 정확성과 도메인 지식과의 일관성을 보여주는 시계열 인과 발견의 강력한 경쟁자로 위치시킵니다.