AutoCause: A Python framework that automates expert decisions in environmental time-series causal discovery

당신이 복잡하고 혼란스러운 도시에서 미스터리를 풀려는 탐정이라고 상상해 보세요. 당신은 교통 신호가 언제 빨간불로 바뀌는지, 커피숍이 언제 문을 여는지, 새들이 언제 노래를 시작하는지, 그리고 비가 언제 내리는지에 대한 기록이 가득 담긴 수첩을 가지고 있습니다. 당신의 목표는 무엇이 무엇을 유발하는지 알아내는 것입니다. 비가 오면 새들이 노래를 하는 것일까요, 아니면 해가 뜨기 때문에 새들이 노래를 하는 것일까요? 교통 신호가 커피숍을 열게 만드는 것일까요, 아니면 그저 숨겨진 일정에 따라 동시에 일어나는 일일까요?

과학의 세계에서는 이를 **인과 발견(causal discovery)**이라고 부릅니다. 이는 단순히 두 사건이 함께 일어난다는 것을 알아차리는 수준을 넘어, 누가 이 복잡한 시스템의 실을 당기고 있는지를 밝혀내는 기술입니다. 이는 시계열 데이터(time-series data), 즉 강물의 수위가 매시간 기록되거나 숲의 온도 측정값이 기록되는 것처럼 시간에 따라 측정된 긴 데이터 목록을 다루는 일이라 매우 까다롭습니다. 문제는 이 기록들이 매우 지저질 수 있다는 점입니다. 어떤 것들은 주기적으로 반복되고(계절처럼), 어떤 것들은 시간차를 두고 영향을 미치며(홍수 파동이 이동하는 데 몇 시간이 걸리는 것처럼), 때로는 보이지 않는 힘(숨겨진 기상 패턴처럼)이 한꺼번에 모든 것에 영향을 미치기도 합니다. 단순히 숫자만 본다면, 연결되지 않은 두 현상이 연결되어 있다고 착각하거나, 너무 복잡해서 실제 연결 고리를 놓칠 수도 있습니다. 과학자들은 이 문제를 해결하기 위해 다양한 "탐정 도구(알고리즘)"를 만들어 왔지만, 각 도구는 저마다의 규칙과 약점을 가지고 있습니다. 어떤 도구는 직선 형태의 연결을 찾는 데는 뛰어나지만 곡선 형태의 연결은 찾아내지 못할 수 있고, 어떤 도구는 빠르지만 누락된 데이터가 있으면 혼란에 빠질 수 있습니다 vậy. 지금까지는 적절한 도구를 선택하고 이를 올바르게 설정하기 위해 인간 전문가의 복잡한 결정이 필요했으며, 두 전문가의 선택이 다를 경우 완전히 다르고 비교 불가능한 결과가 나올 수도 있었습니다.

여기서 새로운 파이썬 프레임워크인 AutoCause가 등장합니다. AutoCause를 하나의 도구만 실행하는 것이 아니라, 여러 도구로 구성된 팀을 동시에 운영하는 초정밀 자동화 탐정단이라고 생각해보세요. 데이터를 보고 인간이 피곤함이나 편향에 빠져 내릴 법한 복잡한 결정을 내리는 대신, AutoCause는 먼저 데이터를 검사하여 이것이 어떤 종류의 "범죄 현장"인지 파악합니다. 데이터가 요동치고 비선형적인가요? 누락된 정보가 많은가요? 이 단서들을 바탕으로 가장 적합한 탐정 도구들의 조합을 선택하고, 매개변수를 설정하며, 이들을 모두 실행합니다. 그 후, 단순히 한 도구의 답변을 믿는 대신, Auto에는 **합의(consensus)**를 확인합니다. 만약 네 가지 서로 다른 탐정 도구 중 세 가지가 동일한 연결 고리를 가리킨다면, AutoCause는 이 연결을 "높은 신뢰도"로 표시합니다. 만약 단 하나만이 이를 찾아낸다면, 그것은 "단순한 짐작"으로 표시합니다. 연구진은 이 자동화된 탐정단을 145개의 서로 다른 데이터셋(완벽하게 만들어진 컴퓨터 시뮬레이션부터 독일 바바리아의 실제 하천 네트워크까지)에 테스트했습니다. 그 결과, 정교하게 만들어진 컴퓨터 퍼즐에서는 "다수결" 방식이 매우 효과적이었으며, 가짜 알람을 걸러내고 실제 연결을 높은 정밀도로 찾아냈습니다. 그러나 무질서한 실제 하천 데이터에서는 다수결 방식이 항상 가장 정확한 연결을 선택하지는 못했는데, 이는 현실 세계에서는 모든 것을 움직이는 숨겨진 요소(예: 숨겨진 하천 줄기) 때문에 전문가 집단조차 잘못된 답에 동의할 수 있음을 시사합니다. 궁극적으로 AutoCause는 미스터리를 마법처럼 해결하거나 진실을 증명하는 것이 아니라, 혼란스럽고 일관성 없는 과정을 명확하고 감사 가능하며 반복 가능한 조사 과정으로 바꾸어 놓으며, "왜"에 대한 최종적인 해석은 인간 과학자의 몫으로 남겨둡니다.

탐정단: AutoCause의 작동 방식

당신이 하천 네트워크나 기상 패턴처럼 복잡한 시스템의 인과 관계를 파악하려고 한다고 상상해 보세요. 당신에게는 시간에 따라 기록된 긴 데이터 목록이 있습니다. 문제는 단순히 두 가지 일이 함께 일어난다고 해서 하나가 다른 하나를 일으켰다는 뜻은 아니라는 점입니다. 아마도 두 현상 모두 제3의 보이지 않는 요인 때문에 발생했을 수도 있고, 혹은 단순히 우연히 하나가 다른 하나를 뒤따라 일어난 것일 수도 있습니다. 이를 해결하기 위해 과학자들은 인과 발견 방법을 사용합니다. 이러한 방법들을 서로 다른 유형의 탐정이라고 생각하면 쉽습니다. 어떤 탐정은 직선형 연결(선형 관계)을 찾는 데 능숙하고, 어떤 탐정은 복잡한 곡선형 연결(비선형 관계)을 찾는 데 더 뛰어납니다. 어떤 탐정은 빠르지만 미세한 단서를 놓칠 수 있고, 어떤 탐정은 철저하지만 시간이 오래 걸립니다.

문제는 적절한 탐정을 고르고 그들의 도구를 올바르게 설정하는 것이 어렵다는 점입니다. 인간 전문가는 다음과 같은 질문을 던져야 합니다: "어떤 탐정을 사용해야 할까? 원인을 찾기 위해 얼마나 과거까지 거슬러 올라가야 할까? 데이터의 일부가 누락되었다면 어떻게 할 것인가?" 만약 두 전문가가 서로 다른 선택을 한다면, 그들은 완전히 다른 인과 지도를 갖게 되어 서로의 작업을 비교하거나 신뢰하는 것이 불가능해집니다.

AutoCause는 이러한 결정들을 자동화하기 위해 설계된 새로운 소프트웨어 프레임워크입니다. 이는 마치 여러 명의 인과 발견 탐정 팀을 관리하는 프로젝트 매니저와 같습니다. 작동 방식은 다음과 같습니다:

1. 사전 점검 (Causal Audit): 어떤 탐정도 실행하기 전에, AutoCause는 먼저 데이터를 살펴보고 이것이 어떤 종류의 "범죄 현장"인지 확인합니다. 데이터가 안정적인지, 아니면 격렬하게 요동치는지, 계절처럼 반복되는 패턴이 있는지, 누락된 부분이 있는지 등을 체크합니다. 이 점검을 바탕으로 어떤 탐정 도구를 사용할지, 데이터를 어떻게 준비할지(예를 들어, 결과를 혼란스럽게 만드는 계절적 패턴을 제거할지 여부)를 권장합니다.
2. 팀 실행: 단 한 명의 탐정에 의존하는 대신, AutoCause는 네 가지 서로 다른 인과 발견 방법을 동시에 실행합니다. 이 방법들은 세 가지 서로 다른 "탐정 스타일 가족"에서 옵식됩니다:
   • 회귀 기반 (Regression-based): 한 변수가 다른 변수를 예측하는 패턴을 찾습니다.
   • 정보 이론 기반 (Information-theoretic): 한 변수를 아는 것이 다른 변수에 대한 불확실성을 얼마나 줄여주는지 측정합니다.
   • 제약 기반 (Constraint-based): 다른 변수들을 고려했을 때 두 변수가 독립적인지를 테스트합니다.
3. 합의 투표 (Consensus Vote): 팀의 실행이 끝나면, AutoCause는 결과를 검토합니다. 만약 세 개 또는 네 개의 서로 다른 방법이 "변수 A가 변수 B를 유발한다"는 것에 동의한다면, 이 연결은 Tier-1 라벨(높은 신뢰도)을 받습니다. 두 개가 동의하면 Tier-2(중간 신뢰도), 단 하나의 방법만이 찾아냈다면 Tier-3(탐색적/짐작)로 분류됩니다. 이 "다수결" 방식은 가짜 알람을 걸러내는 데 도움을 줍니다.
4. 보고서: AutoCause는 어떤 연결이 발견되었는지, 팀의 확신 수준은 어느 정도인지, 그리고 진행 과정에서 어떤 결정이 내려졌는지를 보여주는 명확한 보고서를 생성합니다. 이를 통해 전체 과정은 투명하고 반복 가능해집니다.

탐정단이 발견한 것

연구진은 AutoCause가 얼마나 잘 작동하는지 확인하기 위해 145개의 서로 다른 데이터셋을 대상으로 테스트를 진행했습니다. 이 데이터셋들은 세 가지 출처에서 왔습니다:

• DGP-Atlas: 연구진이 정확한 "정답(ground truth)"을 알고 있는 97개의 컴퓨터 생성 합성 데이터셋입니다. 이는 비선형 관계나 누락된 데이터와 같은 특정 약점을 테스트하도록 설계되었습니다.
• TimeGraph: 추세, 계절성, 누락된 데이터 블록 등을 테스트하는 18개의 합성 데이터 카테고리입니다.
• CausalRivers: 독일 바바리아의 하천 네트워크에서 추출한 30개의 실제 서브그래프입니다. 여기서 "정답"은 물리적인 하천 지도(어느 관측소가 상류에 있는지)이지만, 연구진은 이 지도가 모든 영향(예: 숨겨진 강우나 저수지)을 포착하지 못한다는 점을 알고 있었습니다.

결과:

• 합성 퍼즐 (DGP-Atlas 및 TimeGraph)의 경우: "다수결" 전략이 매우 잘 작동했습니다. 세 개 이상의 방법이 연결에 동의했을 때, 그 연결은 실제로 참일 가능성이 매우 높았습니다. 예를 들어, DGP-Atlas 데이터에서 Tier-1 연결의 정밀도는 약 **85%**였던 반면, 단 하나의 방법만이 찾아낸 Tier-3 연결의 정밀도는 약 **13%**에 불랬습니다. 이는 통제된 깨끗한 데이터에서는 서로 다른 방법으로부터 합의를 얻는 것이 진실을 찾는 훌륭한 방법임을 시사합니다.
• 실제 하천 데이터 (CausalRivers)의 경우: 결과는 더 놀라웠습니다. 하천 데이터에서는 다수결 방식이 항상 가장 정확한 연결을 선택하지는 못했습니다. 실제로 Tier-1 연결(대부분의 방법이 동의한 연결)의 정밀도는 **42%**로, Tier-2나 Tier-3 연결보다 낮았습니다. 왜 그럴까요? 현실 세계는 무질서하기 때문입니다. 하천 관련 방법들이 물리적 지도에는 없는 연결에 대해 모두 동의할 수 있는데, 이는 그들이 모두 지도가 보여주지 못하는 '숨겨진 요인'(예: 공유된 강우 이벤트)에 반응하고 있기 때문입니다. 하천의 "정답"으로 사용된 물리적 구조(topology)가 불완전했기 때문에, 방법들은 사실 물리적 지도에는 누락된 실제 수문학적 연결을 찾아내고 있었던 것입니다. 이는 합의가 강력하긴 하지만, 참조 지도가 불완전하거나 숨겨진 공통 동인이 존재할 경우 반드시 진실을 보장하는 것은 아님을 보여줍니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

이 논문은 AutoCause가 인과 관계를 입증하는 마법의 지팡이가 아니라는 점을 매우 명확히 하고 있습니다. 이는 관측 데이터를 인과 관계의 증거로 직접 바꿔주는 것이 아닙니다. 대신, 무질서하고 일관성 없는 과정을 투명하고 감사 가능한 워크플로우로 바꾸어 줍니다.

• 수행하는 것: 모든 결정을 기록하고, 여러 방법을 실행하며, 얼마나 많은 방법이 동의하는지에 따라 증거의 등급을 매깁니다. 과학자들이 어떤 연결이 견고하고 어떤 것이 불안정한지 파악할 수 있도록 돕습니다.
• 수행하지 않는 것: 숨겨진 변수(잠재적 교란 요인) 문제를 스스로 해결하지 못합니다. 만약 숨겨진 요인이 모든 것을 조종하고 있다면, 모든 방법이 틀린 답에 동의할 수도 있습니다. 또한 인간 전문가를 대체하지도 않습니다. 소프트웨어는 수학적 근거를 바탕으로 지연 시간(lag, 얼마나 과거까지 볼 것인지)을 제안할 수 있지만, 그 지연 시간이 물리적으로 타당한지(예: 홍수 파동이 그 거리까지 이동하는 데 정말 30시간이 걸리는지)는 인간 전문가가 판단해야 합니다.
• 신뢰 수준: "다수결"이 더 정밀하다는 발견은 시뮬레이션(DGP-Atlas 및 TimeGraph)과 특정 실제 데이터셋(CausalRivers)에 기반한 것입니다. 저자들은 이 패턴이 합성 데이터에는 적용되지만, 참조 지도가 불완전한 다른 실제 환경 시나리오에서는 깨질 수 있다고 경고합니다. 따라서 이것이 모든 환경 데이터에 적용되는 보편적인 법칙이라고 주장하지는 않습니다.

요약하자면, AutoCause는 과학자들이 시계열 데이터라는 복잡한 정글을 헤쳐 나갈 수 있도록 돕는 강력한 새로운 도구입니다. 이것이 최종적인 답을 주는 것은 아니지만, 서로 다른 경로가 어디에서 일치하고 어디에서 갈라지는지를 보여주는 명확하고 반복 가능한 지도를 제공함으로써, 과학자들이 무엇이 진정으로 원인인지에 대해 더 나은 결정을 내릴 수 있도록 돕습니다.