Conditional Extremes with Graphical Models

당신은 단순히 내일의 날씨를 예측하는 것이 아니라, 모든 상황이 최악으로 치닫는 '퍼펙트 스톰(perfect storm)'—즉, 거대한 홍수, 폭염, 그리고 허리케인이 같은 지역에 동시에 들이닥칠 확률을 알고 싶다고 상상해 보십시오. 이것이 바로 극단값 통계학(extreme value statistics)의 세계입니다. 이 분야는 가장 큰 피해를 입히는 드물고 거친 사건들을 이해하기 위해 헌신하는 과학의 한 갈래입니다. 이를 수행하기 위해 통계학자들은 강 수위, 풍속, 또는 기온과 같은 서로 다른 요소들이 정말 커질 때 어떻게 행동하는지를 살펴봅니다. 때로는 한 가지 요소가 미쳐 날뛸 때 다른 요소도 즉시 뒤따라오기도 하는데, 이를 점근적 의존성(asymptotic dependence)이라고 합니다. 반대로, 어떤 경우에는 두 요소 모두 높아지기는 하지만 동시에 일어나지는 않거나, 혹은 서로 전혀 관련이 없을 수도 있습니다. 이것은 점근적 독립성(asymptotic independence)입니다. 까다로운 점은 현실 세계의 데이터는 매우 무질서하다는 것입니다. 때로는 변수들이 연결되어 있고, 때로는 그렇지 않으며, 극단적인 상황에서 이들이 정확히 어떻게 연결되는지 파악하는 것은 마치 불타는 조각들을 가지고 거대하고 변화무쌍한 퍼즐을 푸는 것과 같습니다. 만약 퍼즐을 잘못 풀게 되면, 실제로는 발생 가능한 재난을 불가능하다고 생각하거나 그 반대의 상황을 겪을 수 있습니다.

이것이 바로 에이든 패럴(Aiden Farrell), 엠마 이스트코(Emma Eastoe), 클레멘트 리(Clement Lee)가 새로운 논문에서 다루고 있는 문제입니다. 그들은 고차원 데이터(매우 많은 변수를 가진 데이터)를 위해 이 퍼즐을 더 잘 해결할 수 있는 더 나은 방법을 연구하고 있습니다. 기존의 방법들은 계산 속도가 너무 느리거나, 현실에 맞지 않는 '일률적인' 가정을 강요했습니다. 저자들은 구조적 조건부 다변량 극단값 모델(Structured Conditional Multivariate Extreme Value Model, SCMEVM)이라는 새로운 유연한 모델을 제안합니다. 이것을 어떻게 설명하자면, 단순히 변수들이 어떻게 연결되어 있는지 추측하는 것이 아니라, 그 관계의 지도를 실제로 학습하는 똑똑한 탐정이라고 할 수 있습니다. 저자들은 그래프 모델(누가 누구와 대화하는지를 보여주는 순서도와 같은 것)을 이용한 영리한 수학적 기법과 새로운 형태의 확률 분포를 사용하여, 빠르고 정확하며 자연계에서 발견되는 연결되거나 연결되지 않은 변수들의 복잡한 혼합을 처리할 수 있는 도구를 만들었습니다. 이들의 시뮬레이션과 실제 강 데이터에 대한 테스트는 이 새로운 접근 방식이 공동 재난을 예측하는 데 있어 중요한 진전이며, 더 신뢰할 수 있는 위험 평가 안전망을 제공한다는 것을 시사합니다.

강과 비의 이야기

당신이 강가에 서서 물이 차오르는 것을 지켜보고 있다고 상상해 보십시오. 당신은 강과 그 지류의 31개 지점에 센서를 설치해 두었습니다. 거대한 폭풍이 몰아칠 때, 당신은 다음과 같은 것을 알고 싶을 것입니다. 만약 A 지점의 수위가 기록적인 수준에 도달한다면, B 지점의 수위 또한 기록적인 수준에 도달할 확률은 얼마인가?

오랫동안 통계학자들에게는 이를 답변하기 위한 두 가지 주요 방법이 있었습니다. 첫 번째 방법은 만약 한 곳이 범람하면, 모두가 함께 범람할 것이라고 가정하는 것이었습니다. 이는 마치 군중 속의 한 사람이 재채기를 하면, 그 순간 군중 전체가 동시에 재채기를 할 것이라고 가정하는 것과 같습니다. 이것을 점근적 의존성이라고 부릅니다. 이는 어떤 것들에 대해서는 유용한 가정이지만, 현실 세계에서는 종종 틀리곤 합니다. 때로는 두 강이 동시에 범람할 수도 있지만, 동시에 일어나지는 않을 수도 있으며, 혹은 두 지점이 너무 멀리 떨어져 있어서 한 곳의 범람이 다른 곳에 별다른 정보를 주지 못할 수도 있습니다. 이것이 점근적 독립성입니다.

이것을 모델링하는 두 번째 방법은 조건부 다변량 극단값 모델(Conditional Multivariate Extreme Value Model, CMEVM)이었습니다. 이것은 영리한 아이디어였습니다. 어떻게 모든 것이 연결되는지 추측하는 대신, "A 지점이라는 특정 지점을 정하고, 만약 A 지점이 엄청나게 커진다면 나머지 지점들에는 어떤 일이 일어날까?"라고 묻는 것이었습니다. 이 방법은 적은 수의 관측소 그룹에는 잘 작동했습니다. 하지만 31개(혹은 수백 개)의 관측소에 적용하려고 하면 한계에 부딪혔습니다. 이 모델은 예측을 하기 위해 과거 데이터의 '룩업 테이블(look-up table)'에 의존했습니다. 통계학에서 이를 차원의 저주(curse of dimensionality)라고 합니다. 수영장에 물을 채우기 위해 찻숟가락을 사용하는 것을 상상해 보십시오. 수영장이 커질수록(변수가 많아질수록), 찻숟가락(데이터)은 쓸모없어집니다. 예측은 신뢰할 수 없게 되었고, 컴퓨터는 숫자를 계산하는 데 너무 오랜 시간이 걸렸습니다.

새로운 탐정 도구

논문의 저자들은 더 나은 '찻숟가락'을 만듦으로써 이 문제를 해결하기로 했습니다. 그들은 룩업 테이블을 완전 모수 모델(fully parametric model)로 대체했는데, 이는 아주 멋진 표현으로, 과거의 모든 홍수를 암기할 필요 없이 물의 행동을 설명하는 수학적 공식을 구축했다는 뜻입니다.

그들은 다변량 비대칭 일반화 가우시안(Multivariate Asymmetric Generalised Gaussian, MVAGG) 분포라는 새로운 재료를 도입했습니다. 이를 이해하기 위해 언덕의 모양을 상상해 보십시오. 표준 종 모양 곡선은 완벽하게 대칭입니다. 하지만 현실 세계의 홍수는 항상 대칭적이지 않습니다. 때로는 물이 천천히 차올랐다가 빠르게 쏟아져 내려오기도 하고, 그 반대인 경우도 있습니다. MVAGG는 실제 데이터에 완벽하게 맞출 수 있도록 비대칭적인(lopsided) 형태를 가질 수 있는 유연한 언덕 모양입니다.

하지만 문제가 여전히 남아 있었습니다. 더 나은 공식을 갖게 되었음에도 불구하고, 31개의 관측소가 서로 어떻게 상호작용하는지 파악하는 것은 수백만 개의 연결 관계를 계산하는 것을 의미했습니다. 이는 여전히 컴퓨터에 너무 무거운 작업이었습니다. 그래서 저자들은 그래프 모델을 추가했습니다.

강의 네트워크를 가계도로 생각해 보십시오. A 지점은 B로 흐르고, B는 C로 흐릅니다. 만약 A가 범람하면 B도 범람할 가능성이 매우 높습니다. 하지만 A가 강의 완전히 다른 줄기에 있다면, 그것은 C에 아무런 영향을 주지 않을 수도 있습니다. 저자들은 이 논리를 사용하여 희소 그래프(sparse graph)를 만들었습니다. 모든 관측소가 서로 대화한다고 가정하는 대신, 데이터가 스스로 어떤 관측소들이 '친구(연결됨)'이고 어떤 관측소들이 낯선 이인지 결정하도록 했습니다. 이는 거대한 방의 불을 끄고, 실제로 서로 대화하고 있는 사람들에게만 불을 켜두는 것과 같습니다. 이러한 '희소성(sparsity)'은 필요한 계산량을 획기적으로 줄여주어, 모델이 일반 노트북에서도 실행될 수 있을 만큼 빠르게 만들었습니다.

강의 테스트

저자들은 자신들의 새로운 탐정 도구가 제대로 작동하는지 확인하기 위해 유럽의 다뉴브 강 상류 유역(upper Danube River basin)으로 향했습니다. 그들은 31개 관측소에서 수집된 50년간의 일일 유량 데이터를 확보했습니다.

그들은 새로운 SCMEVM을 기존의 '가계도' 모델 및 모든 것이 연결되어 있다고 가정하는 인기 있는 Engelke와 Hitz 모델과 비교했습니다. 결과는 다음과 같았습니다:

1. 기존 모델의 실수: 모든 것이 연결되어 있다고 가정하는 모델(점근적 의존성)은 서로 멀리 떨어진 관측소에 대해 위험을 과대평가하는 경향이 있었습니다. 그들은 한 곳이 범람하면 먼 곳도 함께 범람할 것이라고 생각했지만, 실제로는 항상 그렇지는 않았습니다.
2. 새 모델의 정교함: 저자들의 새로운 모델은 일부 관측소는 밀접하게 연결(유량 연결)되어 있는 반면, 다른 관측소들은 느슨하게 관련되어 있거나 독립적이라는 점을 정확히 식별해 냈습니다. 연결이 없는 곳에 억지로 연결을 부여하지 않았습니다.
3. 속도와 정확도: 새로운 모델은 더 정확할 뿐만 아니라 훨씬 더 빨랐습니다. 테스트 결과, 관측소의 수가 늘어남에 따라 새로운 방식은 효율성을 유지한 반면, 기존 방식들은 속도가 급격히 느려졌음을 보여주었습니다.

흥미롭게도, 데이터를 살펴보았을 때 단순한 '유량 연결' 지도(가계도)가 전부는 아니라는 점을 발견했습니다. 물의 흐름으로 직접 연결되지 않은 일부 관측소들도 지리적으로 가깝거나 유사한 기상 패턴을 공유하기 때문에 여전히 연결되어 있었습니다. 저자들이 강 지도를 강요하는 대신 데이터로부터 직접 연결 관계를 '학습'하도록 허용했을 때, 예측은 더욱 정교해졌습니다.

이것이 의미하는 바

이 논문은 모든 기상 예측 문제를 해결했다고 주장하는 것이 아닙니다. 다음 홍수의 정확한 날짜를 예측할 수 있다고 말하는 것도 아닙니다. 대신, 전체 강 네트워크, 도시의 교통량, 또는 금융 시장과 같은 고차원 데이터에 대해, 이 새로운 접근 방식이 극단적인 사건들이 어떻게 함께 발생하는지를 이해하는 데 훨씬 더 신뢰할 수 있는 방법을 제공한다는 것을 시사합니다.

유연한 수학적 형태(MVAGG)와 연결을 찾는 영리한 방법(그래프 모델)을 결합함으로써, 저자들은 빠르고 적응력이 뛰어난 도구를 만들어 냈습니다. 이 도구는 자연이 무질서하다는 사실을 존중합니다. 즉, 때로는 연결되어 있고, 때로는 그렇지 않으며, 때로는 우리가 예상치 못한 방식으로 연결되어 있다는 사실을 인정합니다. 자연재해로부터 우리를 보호하기 위해 노력하는 과학자들에게, 컴퓨터를 멈추게 하지 않으면서도 이러한 복잡성을 다룰 수 있는 모델을 갖는다는 것은 매우 중요한 일입니다. 이는 세상이 잘못 돌아갈 때 어떻게 행동하는지에 대한 더 명확한 그림을 바탕으로, 미래를 위한 더 나은 안전망을 구축할 수 있음을 의미합니다.