Time Series Correlations and Kolmogorov Complexity: A Hausdorff Dimension Perspective

1. 문제 제기 (Problem Statement)

시계열 데이터 분석에서 가장 오래되고 지속적인 문제 중 하나는 허위 상관관계 (Spurious Correlations) 입니다.

• 현상: 서로 근본적인 인과 관계가 없는 두 시계열 데이터가 우연히 높은 피어슨 상관관계 (Pearson correlation, $\rho$) 를 보이는 경우가 빈번합니다.
• 원인: 자연계나 실제 데이터에는 단순하고 저차원적인 패턴 (단조 증가/감소 추세, 주기적 패턴 등) 이 풍부하게 존재합니다. 이러한 '단순한' 시계열은 우연히 서로 정렬될 확률이 매우 높습니다 (예: 해왕성과 태양의 거리와 절도율, 혹은 특정 이름의 인기도와 주식 가격).
• 한계: 기존의 통계적 유의성 검정 (Surrogate testing 등) 만으로는 이러한 단순한 패턴에 의한 허위 상관관계를 효과적으로 구별하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 허위 상관관계를 방지하기 위한 원칙적인 접근법으로 콜모고로프 복잡도 (Kolmogorov Complexity) 와 유효 하우스도르프 차원 (Effective Hausdorff Dimension) 이론을 도입했습니다.

2.1 이론적 프레임워크

• 콜모고로프 복잡도 ($K(x)$): 데이터 객체를 설명하는 데 필요한 최소 정보량 (압축 불가능성) 을 측정합니다. 단순한 패턴은 복잡도가 낮고, 무작위하거나 혼돈 (chaotic) 인 패턴은 복잡도가 높습니다.
• 솔로모노프 사전 (Solomonoff Prior) 과 허위 정렬: 알고리즘 정보 이론에 따르면, 단순한 패턴 (낮은 $K(x)$) 은 우연히 발생할 확률이 기하급수적으로 높습니다. 따라서 두 개의 독립적인 시계열이 단순할수록 우연히 높은 상관관계를 보일 확률이 높습니다.
• 허위 정렬 상한 (Spurious Alignment Bound): 두 독립 시계열 $x, y$의 정규화된 콜모고로프 복잡도가 높을수록, 우연히 높은 상관관계 ($\hat{\rho} > \tau$) 를 가질 확률은 $2^{-n(\tilde{K}(x) + \tilde{K}(y))}$에 비례하여 기하급수적으로 감소함을 증명했습니다.
• 하우스도르프 차원 연결: 시계열의 그래프가 갖는 하우스도르프 차원 ($dim_H$) 은 정규화된 LZ 복잡도와 밀접하게 연관되어 있습니다. (예: 프랙탈 브라운 운동의 경우 $dim_H = 2 - H$). 복잡도가 높을수록 차원이 커지고, 이는 시계열이 고차원 어트랙터에서 움직임을 의미하여 우연한 정렬이 기하학적으로 불가능해짐을 뜻합니다.
• 노이즈의 영향 (Posobin-Shen 정리): 측정 노이즈는 복잡도를 인위적으로 높입니다. 따라서 관측된 복잡도 임계값 설정 시 노이즈로 인한 '바닥값 (noise floor, 약 0.15)'을 고려해야 합니다.

2.2 제안된 지표: JLZ (Joint Complexity Indicator)

기존의 복잡도 유사도 지표 ($SLZ = -|e_{CLZ}(x) - e_{CLZ}(y)|$) 는 두 시계열의 복잡도가 '비슷한지'만 보여주며, 둘 다 단순한 경우에도 0 이 되어 허위 상관관계를 놓칠 수 있습니다. 이를 해결하기 위해 JLZ를 제안했습니다.

• 정의: $JLZ(x, y) = \sqrt{e_{CLZ}(x) \cdot e_{CLZ}(y)}$
• 특징: 두 시계열 모두가 개별적으로 높은 복잡도를 가져야 JLZ 값이 높아집니다. 하나라도 단순하면 (압축 가능하면) JLZ 는 0 에 수렴하여 해당 상관관계가 신뢰할 수 없음을 경고합니다.
• 측정 방법: 실제 계산에는 압축 기반의 LZ 복잡도 (zlib 사용) 와 주파수 영역의 스펙트럼 엔트로피를 사용합니다.

3. 주요 실험 및 결과 (Key Results)

3.1 실험 1: 결합 로지스틱 맵 (Coupled Logistic Maps)

• 모델: 매개변수 $r$을 조절하여 주기적 ($r=3.4$, 저복잡도) 인 상태와 혼돈적 ($r=3.9$, 고복잡도) 인 상태를 생성한 두 개의 로지스틱 맵을 결합했습니다.
• 결과:
  • 허위 상관관계: 독립적인 시계열 ($\epsilon=0$) 에서 $r=3.4$(주기적) 인 경우 허위 상관관계 발생률이 100% 였으나, $r=3.9$(혼돈적) 인 경우 0% 였습니다.
  • 동기화 감지: 혼돈 영역에서 동기화 임계점 ($\epsilon_c$) 직전에 개별 복잡도가 급격히 붕괴하는 현상을 JLZ 가 감지했습니다. 이는 기존 유사도 지표 ($SLZ$) 가 포착하지 못하는 현상입니다.
  • 결론: 단순한 시계열 간의 높은 상관관계는 허위일 가능성이 매우 높으며, JLZ 가 이를 정확히 식별했습니다.

3.2 실험 2: 다변수 분수 브라운 운동 (Multivariate Fractional Brownian Motion, mfBm)

• 모델: 허스트 지수 ($H$) 를 조절하여 거친 (고복잡도, $H \approx 0$) 과 매끄러운 (저복잡도, $H \approx 1$) 시계열을 생성했습니다.
• 결과:
  • 하우스도르프 차원과의 관계: $H$가 감소할수록 (복잡도 증가, 차원 증가) 허위 상관관계 발생률이 급격히 감소했습니다.
  • 비정상성 (Non-stationarity) 문제: 분수 브라운 운동 경로 (fBm) 자체는 비정상성이 있어 허위 상관관계가 발생하지만, 이를 1 차 차분하여 정상성 (fGn) 을 확보한 후 복잡도 진단을 적용하면 허위 상관관계를 효과적으로 제거할 수 있음을 확인했습니다.
  • 임계값 설정: $JLZ > 0.3$임계값은 허위 상관관계 발생률이 5$e_{CLZ} \approx 0.4$) 에서 보수적으로 설정되었습니다.

4. 주요 기여 (Key Contributions)

1. 이론적 증명: 알고리즘 정보 이론과 하우스도르프 차원을 기반으로, 단순한 시계열 간의 우연한 상관관계가 기하급수적으로 높다는 것을 수학적으로 증명했습니다.
2. 새로운 진단 도구 (JLZ): 피어슨 상관관계 ($\rho$) 와 함께 보고해야 할 결합 복잡도 지표 (JLZ) 를 제안하여, "단순한 데이터 간의 높은 상관관계"를 식별하고 경계할 수 있는 실용적인 도구를 제공했습니다.
3. 실용적 가이드라인:
   • 시계열 분석 시 먼저 정상성 (Stationarity) 을 검증하고 차분/추세 제거를 수행할 것.
   • 상관관계를 보고할 때 $\rho$와 함께 $e_{CLZ}$ (또는 JLZ) 를 반드시 함께 제시할 것.
   • $JLZ < 0.3$인 경우 (단순한 시계열), 높은 상관관계가 발견되더라도 강력한 회의적 시각 (skepticism) 을 가져야 함.

5. 의의 및 의의 (Significance)

• 실무적 적용: 금융, 과학, 공학 등 다양한 분야에서 데이터 마이닝 시 발생하는 '가짜 인사이트 (Spurious Insights)'를 줄이는 데 기여합니다.
• 인과 추론의 전처리: MDL(Minimum Description Length) 기반의 인과 추론이나 복잡한 인과 그래프 탐색을 수행하기 전에, 저복잡도 데이터로 인한 허위 신호를 걸러내는 가벼운 스크리닝 단계로 활용 가능합니다.
• 이론과 실증의 연결: 추상적인 콜모고로프 복잡도 이론을 실제 시계열 분석 (압축 알고리즘, 스펙트럼 엔트로피) 에 적용 가능한 구체적인 지표로 변환하여, 이론적 통찰을 실증적으로 검증했습니다.

결론적으로, 이 논문은 "높은 상관관계가 반드시 의미 있는 관계를 의미하는 것은 아니며, 데이터의 복잡도 (압축 불가능성) 를 고려해야만 진정한 관계를 식별할 수 있다"는 핵심 메시지를 전달하며, 이를 위한 JLZ 지표를 제안합니다.