Time Series Analysis in Machine Learning

개요: 시간의 이야기를 읽는 법

당신이 한 페이지의 글자를 읽는 대신, 일어나는 사건들의 연속적인 흐름을 보고 있다고 상상해 보세요. 이것이 바로 **시계열(time series)**입니다. 매시간 변하는 외부 기온, 매분 변하는 주식 가격, 혹은 매일 밤 변하는 별의 밝기 등이 될 수 있습니다.

이 논문의 목표는 우리가 이러한 "이야기"를 읽는 법을 가르쳐서, 과거에 어떤 일이 일어났는지 파악하고, 더 중요한 것은 다음에 어떤 일이 일어날지 추측하는 법을 알려주는 것입니다. 저자인 안토니오 팔리아로(Antonio Pagliaro)와 안나 안잘로네(Anna Anzalone)는 우리에게 고전적인 수학적 방법에서 현대적이고 매우 똑똑한 컴퓨터 학습(머신러닝)으로 어떻게 넘어가는지를 보여주는 가이드 역할을 합니다.

---

파트 1: 구식 도구들 (고전 통계학)

컴퓨터가 정말 똑똑해지기 전, 통계학자들은 시간의 이야기를 이해하기 위한 도구 상자를 만들었습니다. 이 도구들을 예측 레시피라고 생각해 보세요.

• "보통 이렇더라" 규칙 (ARIMA): 내일의 날씨를 추측한다고 상상해 보세요. 당신은 오늘의 날씨, 어제의 날씨, 그리고 그 전날의 날씨를 봅니다. 당신은 미래가 최근 과거의 혼합체일 것이라고 가정합니다. 이것이 ARIMA 모델입니다. 조수 간만의 차나 월간 매출처럼 일정한 리듬을 따르는 것들에 매우 효과적입니다.
• "굴곡을 매끄럽게 만들기" 규칙 (지수 평활법, Exponential Smoothing): 때때로 데이터는 노이즈가 많습니다. 이 방법은 마치 다림질하는 다리미처럼 작동하여, 최근의 사건에는 더 많은 무게를 두고 오래된 사건에는 적은 무게를 두어 전반적인 추세를 파악합니다.
• "숨겨진 상태" 규칙 (칼만 필터 및 HMM): 안개가 자욱한 도시에서 자동차를 추적하고 있다고 상상해 보세요. 당신은 자동차를 완벽하게 볼 수는 없지만, 자동차가 보통 얼마나 빨리 달리는지는 알고 있습니다. **칼만 필터(Kalman Filter)**는 마지막으로 알았던 위치와 자동차가 보통 어떻게 움직이는지를 바탕으로 자동차의 위치를 추측하는 똑똑한 네비게이터와 같습니다. **은닉 마르코프 모델(HMM)**도 비슷합니다. 이 모델은 시스템이 직접 보이지 않더라도 시간이 지남에 따라 변하는 "숨겨진 모드"(예: "맑음" 대 "폭풍우")에 있다고 가정합니다.
• "주파수 찾기" (롬-스카글레, Lomb-Scargle): 때때로 데이터는 지저nd히고 중간에 끊긴 부분이 있습니다(예: 구름 때문에 별을 볼 수 없는 경우). 이 도구는 라디오 튜너와 같습니다. 빈 공간을 무시하고 노이즈 속에서 숨겨진 "비트"나 리듬을 찾아내어, 별이 심장 박동처럼 맥동하고 있는지 알려줍니다.

함정: 이 오래된 도구들은 지도를 가지고 운전하는 자동차와 같습니다. 직선의 포장도로(규칙적이고 예측 가능한 데이터)에서는 잘 작동하지만, 도로에 구멍이 많거나, 우회로가 있거나, 자동차가 지도에 예측되지 않은 방식으로 갑자기 방향을 틀면 어려움을 겪습니다.

---

파트 2: 머신러닝 업그레이드

데이터가 너무 지저분하거나, 너무 방대하거나, 혹은 기존의 레시피로는 너무 복잡해지면, 우리는 **머신러닝(ML)**으로 전환합니다. 컴퓨터에게 엄격한 레시피를 주는 대신, 컴퓨터가 스스로 패턴을 학습하도록 합니다.

1. "특징 공학(Feature Engineer)" 접근법

이것은 시계열 데이터를 "평균 속도", "피크의 개수", "어제와 얼마나 변했는가"와 같은 다양한 재료(특징)로 썰어서 샐러드를 만드는 과정이라고 생각하세요. 그런 다음 이 샐러드를 표준 컴퓨터 두뇌(예: 랜덤 포레스트 또는 XGBoost)에 넣어 결정을 내립니다.

• 비유: 이는 범죄 현장만 보는 것이 아니라, 사건을 해결하기 전에 먼저 모든 단서를 깔끔한 폴더에 정리하는 형사를 고용하는 것과 같습니다.
• 황금률: 탐정이 미래를 훔쳐보게 해서는 안 됩니다! 시계열에서는 오늘을 예측하기 위해 다음 주의 데이터를 학습시켜서는 안 됩니다. 반드시 과거의 데이터로 학습하고 미래의 데이터로 테스트해야 하며, 이를 단계별로 진행해야 합니다 합니다.

2. "딥러닝" 혁명

여기서부터는 정말 화려해집니다. 데이터를 특징으로 쪼개는 대신, 원시 "이야기"를 **뉴럴 네트워크(Neural Network)**라고 불리는 매우 복잡한 두뇌에 직접 입력합니다.

• RNN과 LSTM (기억의 수호자들): 한 번에 한 단어씩 책을 읽는 사람을 상상해 보세요. 일반적인 컴퓨터는 마지막 단어에 도달할 때쯤이면 첫 단어를 잊어버립니다. **LSTM(Long Short-Term Memory)**은 문장의 끝을 읽는 동안에도 문장의 시작 부분을 기억하는 초능력 기억력을 가진 사람과 같습니다. 긴 이야기를 이해하는 데 탁월합니다.
• CNN (패턴 포착기): 주로 이미지에 사용되지만, 시계열 위를 돋보기처럼 미끄러지듯 움직이며 작고 반복되는 모양(예: 심장 박동의 스파이크)을 매우 빠르게 찾아낼 수 있습니다.
• 트랜스포머 (Transformer, "주의 집중"의 달인): 가장 최신의 가장 강력한 도구입니다. 책 전체를 한 번에 보고, 결말을 이해하는 데 어떤 문장이 가장 중요한지 즉각적으로 결정할 수 있는 독자를 상상해 보세요. 단어 단위로 읽는 것이 아니라, 전체 그림을 보고 멀리 떨어진 점들을 연결합니다. 이는 장기적인 패턴을 찾는 데 매우 유용합니다.

---

파트 3: 논문에 등장하는 실제 사례

저자들은 이러한 도구들이 실제 세계, 특히 천문학(별 관측) 및 기타 분야에서 어떻게 사용되는지 보여줍니다.

• 별 분류: 천문학자들은 수백만 개의 광도 곡선(그래프)을 가지고 있습니다. 예전 방식은 이를 분류하는 데 오랜 시간이 걸렸습니다. 이제 딥러닝 모델은 별의 밝기가 변하는 구불구불한 선을 보고 즉시 "저것은 맥동하는 별이다" 또는 "저것은 별 앞을 지나가는 행성이다"라고 말할 수 있습니다.
• 중력파 찾기: 두 개의 블랙홀이 충돌할 때, 우주에 아주 작은 물결을 보냅니다. 이 물결은 노이즈 속에 파묻혀 있습니다. **합성곱 신경망(CNN, 패턴 포착기)**은 기존의 수학적 방법보다 훨씬 빠르게 이 미세한 물결을 찾아내어, 우주를 위한 금속 탐지기 역할을 합니다.
• 날씨와 금융: 별과 마찬가지로 주식 가격과 날씨도 패턴을 가지고 있습니다. 머신러닝 모델은 기존의 수학이 놓쳤던 복잡하고 비선형적인 관계를 찾아냄으로써 이들을 예측하는 데 도움을 줍니다.

---

파트 4: 도전 과제 ("하지만..." 섹션)

이러한 슈퍼 도구들이 있음에도 불구하고 몇 가지 문제가 있습니다.

1. 블랙박스(Black Box): 딥러닝 모델은 강력하지만 이해하기 어렵습니다. 왜 작동하는지는 알지만, 정확히 왜 그런 결과가 나왔는지는 알 수 없는 경우가 많습니다. 과학에서 '왜'를 아는 것은 '무엇'을 아는 것만큼 중요합니다.
2. 지저분한 데이터: 실제 데이터(예: 망원경 관측 데이터)는 종종 불규칙합니다. 오후 1시에 데이터가 있다가 구름 때문에 오후 4시까지 아무것도 없는 경우가 있습니다. 기존 도구들은 이를 잘 처리하지만, 많은 새로운 AI 도구들은 특별히 교육받지 않으면 어려움을 겪습니다.
3. 너무 많은 데이터 vs 너무 적은 데이터: 날씨 예측 같은 문제는 데이터가 넘쳐납니다. 반면 우주 전체를 연구하는 문제처럼 데이터가 매우 적은 경우도 있습니다. AI는 보통 학습을 위해 많은 데이터를 필요로 하므로, 과학자들은 이를 사용하는 법에 대해 영리하게 대처해야 합니다.
4. 물리학 vs AI: 논문은 멋진 절충안을 제시합니다: 물리 정보 기반 머신러닝(Physics-Informed Machine Learning). 이것은 AI에게 물리 법칙(예: 중력)을 가르쳐서, AI가 모든 것을 처음부터 추측하지 않도록 하는 것입니다. 이는 AI를 더 똑똑하고 신뢰할 수 있게 만듭니다.

결론

논문은 우리가 고전 수학과 새로운 AI 중 하나를 선택할 필요가 없다고 결론짓습니다. 가장 좋은 접근 방식은 종종 이 둘을 섞는 것입니다. 우리는 기초를 이해하기 위해 기존 도구를 사용하고, 지저분하고 복잡한 부분을 처리하기 위해 새로운 도구를 사용합니다. 우주가 우리에게 그 어느 때보다 많은 데이터를 보내오고 있으므로(예: 새로운 베라 루빈 천문대), 이러한 머신러닝 기술을 숙달하는 것은 그 데이터를 새로운 발견으로 바꾸는 데 필수적일 것입니다.