Spatially-Enhanced Temporal Fusion Transformer: Interpretable Multi-Output Prediction for Parametric Dynamical Systems with Time-Varying Inputs

당신이 기상 시스템이나 거대한 전력망처럼 복잡한 기계의 미래를 예측하려고 한다고 상상해 보십시오. 과학의 세계에서 이러한 기계들은 종종 미분 방정식이라는 거대하고 복잡한 수학 방정식으로 설명됩니다. 이 방정식들을 기계가 어떻게 작동하는지를 보여주는 '레시피'라고 생각할 수 있습니다. 문제는 이 레시피들이 너무 방대하고 상세해서, 이를 푸는 데 슈퍼컴퓨터로도 오랜 시간이 걸린다는 점입니다. 특히 온도나 압력 같은 몇 가지 재료를 조절하거나, 갑작스러운 돌풍 같은 외부 힘을 변화시키며 실험하고 싶을 때는 더욱 그렇습니다. 과학자들은 이 레시피들의 더 단순하고 빠른 버전인 '대리 모델(surrogate models)'을 만들기 위해 수십 년 동안 노력해 왔습니다.

최근, '트랜스포머(Transformer)'라고 불리는 인공지능 유형은 긴 이야기를 읽고 시간이 흐름에 따라 단어들이 서로 어떻게 연관되는지 이해하는 능력으로 유명해졌습니다. 여러분은 챗봇이나 번역 도구에서 이를 접했을 수도 있습니다. 이 모델들은 시간 기반 데이터(예를 들어 한 도시의 기온이나 주식 가격)에서 다음 단어나 다음 가격을 예측하는 데 탁ла 뛰어납니다. 하지만 대부분의 이러한 모델은 한 번에 하나의 결과만을 예측하도록 설계되었습니다. 예를 들어 한 도시의 기온 하나만을 예측하는 식입니다. 그러나 실제 세상의 기계들은 서로 영향을 주고받는 수많은 움직이는 부품들을 가지고 있습니다. 팬의 속도를 바꾸면 온도, 압력, 소음 수준이 동시에 변할 수 있습니다. 여기서 큰 질문이 생깁니다. 과연 트랜스포머에게 이 모든 다양한 부분들을 함께 바라보고, 그들이 어떻게 서로 춤을 추는지 이해하며, 혼란에 빠지지 않고 한 번에 전체 공연을 예측하도록 가르칠 수 있을까요?

이 논문은 **공간적으로 강화된 시계열 융합 트랜스포머(Spatially-Enhanced Temporal Fusion Transformer, SE-TFT)**라는 새로운 AI 모델을 소개합니다. 저자들인 막스 플랑크 연구소의 연구원들은 기존의 '시계열 융합 트랜스포머(TFT)' 모델을 가져와 대대적인 업그레이드를 진행했습니다. TFT는 과거 데이터와 미래의 입력값을 바탕으로 단일 결과를 예측하는 데 이미 능숙한 모델이었습니다. 연구진은 복잡한 시스템(온도, 압력, 속도를 동시에 예측해야 하는 경우 등)을 예측하기 위해서는 AI가 단순히 '언제(시간)' 일이 일어나는지뿐만 아니라, 그 일들이 서로 어떤 관계 속에 '어디에(공간)' 위치하는지도 이해해야 한다는 점을 깨달았습니다.

기존 모델을 하나의 타임라인을 암기하는 데는 뛰어나지만 세 가지 다른 줄거리가 동시에 진행되면 당황하는 학생이라고 생각해 보십시오. SE-TFT는 그 학생이 이제 격자가 그려진 특별한 노트를 갖게 된 것과 같습니다. 단순히 목록을 적는 대신, 매 순간 '온도' 이야기가 '압력' 이야기와 어떻게 연결되는지 볼 수 있게 된 것입니다. 저자들은 새로운 '마스킹(masking)' 기술을 통해 이를 구현했습니다. 트랜스포머의 세계에서 '마스크'란 AI가 무엇을 볼 수 있는지 알려주는 규칙입니다. 보통 AI는 미래를 예측하기 위해 과거만을 보도록 허용됩니다. 하지만 SE-TFT는 새로운 규칙을 추가했습니다. 바로 모든 서로 다른 출력값의 과거를 동시에 볼 수 있다는 것입니다. 이를 통해 모델은 시스템의 각 부분이 서로 어떻게 영향을 미치는지 나타내는 '공간적' 관계와, 시간이 흐름에 따라 어떻게 변하는지 나타내는 '시간적' 관계를 동시에 학습할 수 있습니다.

연구진은 이 새로운 모델이 혼돈을 감당할 수 있는지 확인하기 위해 세 가지 매우 다른 유형의 복잡한 시스템을 테스트했습니다. 첫째, 기상 패턴을 설명하는 유명한 수학적 시스템인 로렌츠-63(Lorenz-63) 모델을 사용했습니다. 이는 마치 나비의 비행 경로를 정확히 예측하려는 것과 같습니다. 시작점이 아주 조금만 달라져도 결과는 판이하게 달라집니다. SE-TFT는 시작 조건이 무작위인 상황에서도 시스템의 세 가지 변수 모두의 미래 경로를 성공적으로 예측했습니다.

다음으로, 뉴런(뇌세포)이 전기 신호에 반응하여 어떻게 발화하는지를 시뮬레이션하는 피츠휴-나구모(FitzHugh-Nagumo) 모델을 테스트했습니다. 이것은 도미노가 쓰러지는 것을 지켜보는 것과 비슷하지만, 도미노가 다시 초기화되어 복잡한 리듬으로 다시 쓰러질 수도 있는 상황입니다. 여기서 모델은 변화하는 외부 신호를 다루면서 두 가지 출력값(전압과 회복 변수)을 예측해야 했습니다. SE-TFT는 단순히 숫자를 추측하는 데 그치지 않고, 실제 정답이 위치할 가능성이 높은 구역을 보여주는 '신뢰 구간(confidence interval)', 즉 예측 주변에 초록색 영역을 그리는 기능도 제공했습니다. 실제 결과는 이 영역 안에 안전하게 머물렀습니다.

마지막으로, 배터리와 같은 설정에서 화학 물질이 어떻게 이동하고 반응하는지를 설명하는 결합된 전기화학적 키네틱스 및 확산 모델을 다루었습니다. 이는 회전 속도와 전기 신호의 빈도가 화학 물질의 행동을 변화시키는 복잡한 시스템입니다. SE-TFT는 전류와 두 가지 화학 물질의 농도를 놀라운 정확도로 예측했으며, 오차는 종종 1% 미만이었습니다.

이 논문의 가장 멋진 특징 중 하나는 모델이 '해석 가능하다(interpretable)'는 점입니다. 보통 딥러닝 모델은 데이터를 넣으면 숫자가 나오는 '블랙박스'와 같아서 컴퓨터가 어떻게 결론을 내렸는지 알 수 없습니다. 그러나 SE-TFT는 자신의 '주의(attention)' 기록을 유지합니다. 저자들은 모델의 내부 '주의 지도(attention map)'를 살펴봄으로써 어떤 과거의 요소들이 예측에 영향을 미쳤는지 정확히 파악할 수 있음을 보여주었습니다. 예를 들어, 화학 모델에서 주의 지도는 전기 전류에 대한 예측은 그 자체의 이력에 크게 의존하는 반면, 화학 농도에 대한 예측은 모든 서로 다른 변수의 혼합에 의존한다는 것을 드러냈습니다. 이는 마치 AI에게 "왜 온도가 떨어질 것이라고 생각했나요?"라고 물었을 때, AI가 그 결론에 이르게 된 특정 과거 사건들을 가리키며 답하는 것과 같습니다.

저자들은 SE-TFT가 한 번에 한 단계씩 예측하고 그 예측값을 다시 입력값으로 사용하는 방식(오차가 누적되기 쉬운 '자기회귀(autoregression)' 방식) 없이도, 복잡한 다중 출력 시스템을 단 한 번의 단계로 예측할 수 있다는 것을 발견했습니다. 모델이 아주 먼 미래를 예측할 때는 정확도가 약간 떨어지기도 했지만, 놀라울 정도로 견고함을 유지했습니다. 결론적으로, 이 논문은 AI에게 서로 다른 출력들 사이의 '공간적' 연결을 가르침으로써, 기상 패턴부터 화학 반응기에 이르기까지 복잡한 물리적 세계를 시뮬레이션할 수 있는 더 빠르고, 정확하며, 이해 가능한 도구를 구축할 수 있다고 밝히고 있습니다. 이 실험에 사용된 코드와 데이터는 누구나 확인할 수 있도록 공개되어 있어, 다른 이들이 이 결과를 검증하고 발전시킬 수 있도록 되어 있습니다.