Assessment of Spatio-Temporal Predictors in the Presence of Missing and Heterogeneous Data

이 논문은 결측치와 이질적인 데이터를 포함하는 복잡한 시계열 데이터의 경우에도 최소한의 가정 하에 잔차 상관관계 분석을 통해 딥러닝 모델의 예측 성능을 평가하고 개선이 필요한 시공간 영역을 식별하는 새로운 프레임워크를 제안합니다.

핵심

이 논문은 **"예측 모델이 얼마나 잘하는지, 그리고 어디서 잘못하는지"**를 찾아내는 새로운 방법을 소개합니다.

기존의 방법들은 마치 **"시험 점수 (평균 점수)"**만 보고 학생의 실력을 판단하는 것과 비슷합니다. "평균 점수가 80 점이다"라고 하면 좋지만, "어떤 과목은 100 점인데, 어떤 과목은 20 점이고, 특히 화요일에는 집중이 안 되어 10 점만 받았다"는 세부적인 정보는 알 수 없습니다.

이 논문은 **AZ-분석 (AZ-analysis)**이라는 새로운 도구를 제안합니다. 이 도구는 모델의 **"실수 패턴 (오차)"**을 자세히 들여다보아, "어디서, 언제, 왜" 실수가 반복되는지 찾아냅니다.

---

🕵️‍♂️ 핵심 비유: "실수 탐정"과 "잔여물"

이 논문의 핵심 아이디어를 이해하기 위해 두 가지 비유를 사용해 보겠습니다.

1. 잔여물 (Residuals) = "남은 빵 부스러기"

예측 모델이 빵 (데이터) 을 잘게 부숴서 먹습니다. 그런데 완벽하게 다 먹지 못하고 **빵 부스러기 (오차/잔여물)**가 남습니다.

• 기존 방법: "남은 빵 부스러기의 양이 적으면 모델이 잘한 거야!"라고만 봅니다. (양만 재는 것)
• 이 논문의 방법: "빵 부스러기들이 특정한 모양으로 모여 있지는 않나?"를 봅니다.
  • 만약 빵 부스러기가 아무렇게나 흩어져 있다면 (무작위), 모델이 잘한 것입니다.
  • 하지만 빵 부스러기가 특정 모양 (예: 사각형, 원형) 으로 모여 있거나, 특정 방향으로 쏠려 있다면, 모델이 그 패턴을 놓치고 있다는 뜻입니다. 즉, "여기서 더 잘할 수 있어!"라는 신호입니다.

2. AZ-분석 = "실수 지도" 그리기

이 논문은 이 빵 부스러기들이 **공간 (어디서)**과 **시간 (언제)**에 어떻게 모여 있는지 지도로 그려줍니다.

• 공간: "아, 이 센서 (예: 서울 강남역) 에서만 빵 부스러기가 모여 있네? 이 센서의 데이터를 잘못 처리하고 있구나."
• 시간: "아, 매일 아침 7 시에만 빵 부스러기가 모여 있네? 아침 시간대의 예측이 안 되는구나."

---

🌟 이 방법이 특별한 이유 (기존 방식과의 차이)

1. "불완전한 데이터"도 상관없어요 (Missing Data)

실제 세상 데이터는 항상 완벽하지 않습니다. 센서가 고장 나거나, 인터넷이 끊겨 데이터가 빠진 (Missing) 경우가 많습니다.

• 기존 방법: 데이터가 하나라도 빠지면 "이건 분석할 수 없어!"라고 손을 들어버립니다. (완벽한 시험지만 채점 가능)
• 이 방법: "아, 여기 데이터가 없구나. 하지만 있는 데이터들의 빵 부스러기 패턴을 보면, 빠진 부분도 어렴풋이 추측할 수 있어!"라고 합니다. 데이터가 일부 없어도 실수 패턴을 찾아낼 수 있습니다.

2. "서로 다른 성격"도 다룰 수 있어요 (Heterogeneous Data)

데이터가 제각각일 때도 있습니다. 어떤 센서는 온도를 재고, 어떤 센서는 습도를 재고, 어떤 센서는 속도를 재는 식입니다.

• 기존 방법: 모든 데이터가 똑같은 규칙을 따라야 분석이 가능합니다.
• 이 방법: "서로 다른 성격의 데이터라도, **그들 사이의 관계 (그래프)**를 보면 실수 패턴을 찾을 수 있어."라고 합니다. 서로 다른 센서들이 어떻게 연결되어 있는지 (예: 도로망, 뇌 신경망) 를 지도로 그려서 분석합니다.

---

🗺️ 이 도구가 찾는 3 가지 질문

이 "실수 탐정"은 세 가지 중요한 질문에 답을 줍니다.

1. Q1: 모델이 정말 최선인가?
   • "빵 부스러기가 아무 데나 흩어져 있니? 아니면 특정 패턴이 있니?" (전체적인 모델의 최적성 확인)
2. Q2: 특정 지역 (센서) 에서 문제가 있나?
   • "서울 강남역 센서에서만 빵 부스러기가 너무 많네? 이 센서만 고쳐야겠다." (특정 센서/지역 식별)
3. Q3: 특정 시간대에 문제가 있나?
   • "매일 저녁 6 시에만 빵 부스러기가 모여 있네? 저녁 시간대 예측을 다시 훈련시켜야겠다." (특정 시간대 식별)

---

🚗 실제 사례로 이해하기

논문의 저자들은 이 방법을 두 가지 실제 상황에 적용해 보았습니다.

1. 교통량 예측 (차량 흐름)

   • 상황: 도로의 차량 수를 예측하는 모델.
   • 발견: 평균 오차는 낮았지만, 데이터가 인위적으로 채워진 (Imputed) 시간대에서만 빵 부스러기 (오차) 가 특이하게 모여 있었습니다.
   • 의미: "평균 점수는 좋지만, 데이터가 끊겼을 때 모델이 어떻게 반응하는지 알 수 없었다"는 것을 이 분석으로 찾아냈습니다.

2. 태양광 발전량 예측

   • 상황: 햇빛 양을 예측하여 발전량을 계산.
   • 발견: 해가 뜨는 새벽과 해가 지는 황혼 시간에 빵 부스러기 패턴이 나타났습니다.
   • 의미: "낮 시간에는 잘 예측하지만, 빛이 변하는 시간대에는 모델이 혼란을 겪고 있구나."라는 것을 발견하여, 이 시간대 예측을 개선할 수 있는 방향을 제시했습니다.

---

💡 결론: 왜 이 논문이 중요한가?

이 논문은 **"모델이 얼마나 틀렸는지 (오차의 크기)"**만 보는 것이 아니라, **"모델이 어디서, 왜 틀렸는지 (오차의 패턴)"**를 찾아내는 진단 도구를 제공합니다.

• 비유하자면: 의사가 환자의 "체온"만 재는 게 아니라, "어떤 부위가 왜 아픈지"를 정확히 찾아내는 정밀 MRI와 같습니다.
• 효과: 개발자들은 이 정보를 통해 모델의 약점을 정확히 파악하고, 데이터가 부족한 곳이나 특정 시간대에 집중해서 모델을 더 똑똑하게 만들 수 있습니다.

이 방법은 복잡한 인공지능 모델이 실생활 (교통, 에너지, 날씨 등) 에서 더 신뢰할 수 있게 작동하도록 돕는 중요한 나침반이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

심층 학습 (Deep Learning) 은 복잡한 대규모 시공간 데이터를 모델링하는 데 탁월한 예측 성능을 보이지만, 유도된 모델의 품질을 평가하는 것은 점점 더 어려워지고 있습니다. 특히 다음과 같은 이유로 기존 통계적 가정들이 더 이상 유효하지 않습니다.

• 데이터의 복잡성: 시공간 데이터는 시간과 공간에 걸친 의존성, 비선형 동역학, 시간 가변성 (time variance) 을 가집니다.
• 데이터 결함: 센서 네트워크 등에서 발생하는 불규칙한 샘플링, 상당한 결측치 (missing observations), 그리고 이질적인 데이터 (heterogeneous data) 가 일반적입니다.
• 기존 평가 방법의 한계:
  • 기존 평가 지표 (MSE, MAE 등) 는 예측 오차의 크기 (magnitude) 만을 비교하여 모델 간 우위를 판단할 뿐, 모델이 왜 실패했는지나 개선이 필요한 구체적인 영역 (시간/공간) 을 식별하지 못합니다.
  • 기존 잔차 상관관계 분석 (잔차의 '흰색 잡음' 여부 확인) 은 완전한 데이터, 동기화된 샘플링, 동일한 분포 (i.i.d.) 라는 강한 가정을 요구하여 실제 불완전한 데이터에는 적용하기 어렵습니다.

따라서, 결측치와 이질적 데이터가 존재하는 환경에서도 모델의 최적성 (잔차에 상관관계가 없는지) 을 평가하고, 성능이 저하되는 구체적인 시공간 영역을 식별할 수 있는 새로운 방법론이 필요합니다.

2. 제안된 방법론: AZ-분석 (Methodology: AZ-analysis)

이 논문은 잔차 상관관계 분석 프레임워크인 'AZ-analysis' 를 제안합니다. 이 방법은 모델이 포착하지 못한 정보 (잔차의 상관관계) 를 식별하고 공간/시간적으로 위치를 파악하는 데 중점을 둡니다.

핵심 구성 요소

1. 시공간 다중 그래프 (Spatio-temporal Multiplex Graph, $g^*$):

   • 관측 데이터와 예측 잔차 ($r_{t,v}$) 를 노드로, 센서 간의 기능적 의존성 (공간) 과 시간적 연속성 (시간) 을 엣지로 표현하는 정적 그래프를 구성합니다.
   • 이 그래프는 결측치가 있거나 센서가 추가/제거되는 동적인 환경에서도 유연하게 작동합니다.

2. AZ-whiteness Test 기반 통계량:

   • 기존 AZ-whiteness test [Zambon and Alippi, 2022] 의 통계량을 활용합니다. 이 검정은 잔차 쌍 간의 상관관계를 탐지하며, 잔차의 분포에 대한 가정 (동일 분포 등) 을 거의 요구하지 않습니다.
   • 핵심 아이디어: 잔차 벡터의 내적 부호 (sign) 를 사용하여 상관관계를 측정합니다. 이는 분포에 대한 민감도를 줄이고 강건성을 높입니다.

3. 상관관계 점수 (Correlation Scores, $c_\lambda(\cdot)$):

   • 그래프의 크기 (엣지 수) 에 의존하지 않고 서로 다른 하위 그래프 (서브그래프) 간의 상관관계를 비교할 수 있도록 통계량을 정규화한 점수를 정의합니다.
   • $\lambda$ 파라미터: 공간적 상관관계와 시간적 상관관계의 가중치를 조절합니다 ($\lambda=0$: 시간만, $\lambda=1$: 공간만, $\lambda=0.5$: 균형).

4. 다단계 분석 프로세스 (Q1-Q3 해결):

   • Q1 (전체 최적성): 전체 그래프 $g^*$ 에 대한 점수를 통해 모델 전반에 잔차 상관관계가 존재하는지 확인합니다.
   • Q2 (공간적 영역 식별): 특정 센서 (노드) 또는 센서 그룹에 대한 노드 점수 (Node scores, $c_\lambda(v)$) 를 계산하여 특정 센서에서 모델이 실패하는지 식별합니다.
   • Q3 (시간적 영역 식별): 특정 시간 구간을 슬라이싱한 시간 점수 (Time scores, $c_\lambda(t)$) 를 계산하여 비정상성 (non-stationarity) 이나 특정 시간대의 모델 실패를 탐지합니다.
   • 국소 분석: 시간과 공간이 교차하는 국소 점수 (Local scores, $c_\lambda(t, v)$) 를 통해 구체적인 시공간 영역의 이상을 파악합니다.

3. 주요 기여 (Key Contributions)

1. 결측 및 이질적 데이터 처리: 잔차의 분포가 동일하지 않거나 (non-i.i.d.), 데이터가 결측되어 있더라도 적용 가능한 강건한 잔차 분석 방법론을 제시했습니다.
2. 구체적 문제 영역 식별: 단순히 "모델이 나쁘다"가 아니라, "어떤 센서 (노드) 에서", "어떤 시간대에" 모델이 실패하는지 정량적으로 식별하고 위치를 특정 (localization) 할 수 있는 방법을 제공합니다.
3. 비모수적 접근 (Non-parametric): 잔차의 분포에 대한 강한 가정을 요구하지 않으며, 잔차가 0 을 중심으로 분포하기만 하면 (중위수가 0) 적용 가능합니다.
4. 실용적 가이드라인: 분석 결과 (점수) 를 해석하고, 발견된 상관관계 패턴 (예: 데이터 결측, 비정상성, 모델 구조 결함) 에 따라 모델을 개선하기 위한 구체적인 지침을 제공합니다.

4. 실험 결과 (Results)

논문은 합성 데이터와 두 가지 실제 데이터셋 (교통 흐름, 에너지 생산) 을 통해 방법론을 검증했습니다.

• 합성 데이터 실험:

  • 인위적으로 공간적, 시간적 상관관계를 도입한 잔차 데이터에서 AZ-분석이 이를 정확히 탐지하고, 상관관계가 있는 영역 (노드 및 시간대) 을 정확히 위치시켰습니다.
  • 기존 방법 (Moran's I, Autocorrelation) 과 비교했을 때, 결측치와 이질적 분포 (Uniform, Laplace, Bimodal 등) 가 섞인 환경에서도 동등하거나 더 우수한 성능을 보였습니다.
  • $k$-hop 이웃을 확장할 때 점수의 분산이 감소하여 더 안정적인 탐지가 가능함을 확인했습니다.

• 실제 적용 사례 1: 교통 흐름 예측 (MetrLA 데이터셋)

  • 결측치 보간 영향: 결측치를 보간한 시간 구간에서 예측 오차 (MAE) 는 크게 증가하지 않았으나, AZ-점수는 급격히 상승하여 보간된 데이터가 모델의 잔차 상관관계에 영향을 미친다는 것을 발견했습니다. 이는 기존 오차 기반 평가만으로는 놓칠 수 있는 통찰입니다.
  • 예측 지평선 (Horizon): 1 단계ahead 예측보다 다단계ahead 예측에서 상관관계 패턴이 더 뚜렷하게 나타났습니다.
  • 특정 노드 식별: 인위적으로 상관관계를 주입한 특정 센서 노드를 AZ-점수를 통해 정확히 찾아냈습니다.

• 실제 적용 사례 2: 태양광 에너지 생산 예측 (EngRAD 데이터셋)

  • 일일 주기 및 전환기: 일출/일몰 시간대에 MAE 는 낮았으나, 상대적 오차 (MAPE) 와 AZ-점수가 높게 나타났습니다. 이는 모델이 전환기 (dawn/dusk) 의 동역학을 완전히 포착하지 못했음을 시사합니다.
  • 예측 난이도: 특정 기간에 예측이 쉬워 MAE 가 낮아도, 잔차 상관관계 분석을 통해 모델이 여전히 개선의 여지가 있음을 발견했습니다.

5. 의의 및 중요성 (Significance)

• 모델 진단 도구로서의 가치: AZ-분석은 예측 정확도 (Accuracy) 를 높이는 것뿐만 아니라, 모델이 왜, 어디서 실패하는지에 대한 진단 도구 (Diagnostic Tool) 로서 깊은 통찰을 제공합니다.
• 실제 적용 가능성: 심층 신경망 (STGNN 등) 을 사용하는 실제 시나리오 (교통, 에너지, IoT 등) 에서 결측치와 이질적 데이터가 흔한 환경에 적합합니다.
• 가정 최소화: 기존 통계 검정들이 요구하는 복잡한 가정 (정규분포, 완전 데이터 등) 을 제거함으로써, 현대적인 복잡한 데이터셋에 대한 모델 평가의 새로운 표준을 제시합니다.
• 모델 개선 방향 제시: 분석 결과를 통해 시간 처리 파이프라인 수정, 공간적 구조 재설계, 결측 데이터 처리 방식 변경 등 구체적인 모델 개선 전략을 수립할 수 있게 합니다.

결론적으로, 이 논문은 시공간 예측 모델의 품질 평가에 있어 잔차의 상관관계를 공간적, 시간적으로 세분화하여 분석하는 새로운 패러다임을 제시하며, 불완전한 데이터 환경에서도 신뢰할 수 있는 모델 진단을 가능하게 합니다.