🤖 machine learning

Joint Causal Structure and Cluster Discovery Using Variational Inference

본 논문은 사전 정의된 그룹화가 필요한 기존 방법들의 한계를 해결하기 위해 잠재 변수 클러스터와 그 인과 구조를 동시에 추론하는 새로운 변분 추론 프레임을 제안하며, 합성 데이터셋과 실제 데이터셋 모두에서 그 유효성을 입증한다.

원저자: Avni Rajpal, Anubhav Kumar, Rishabh Karnad, Mohammad Emtiyaz Khan, P. K. Srijith

게시일 2026-08-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Avni Rajpal, Anubhav Kumar, Rishabh Karnad, Mohammad Emtiyaz Khan, P. K. Srijith

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

데이터 과학의 광활한 풍경 속에서, 연구자들은 서로 다른 정보들을 연결하는 숨겨진 실타래를 찾기 위해 종종 노력합니다. 수많은 사람들이 대화를 나누고 있는 방을 상상해 보십시오. 어떤 대화는 개인 간에 일어나기도 하지만, 어떤 대화는 긴밀하게 연결된 집단 내에서 일어나기도 합니다. 수십 년 동안 과학자들은 모든 사람을 하나의 독립적인 목소리로 취급하여, 누가 누구와 대화하는지를 지도화하는 도구들을 개발해 왔습니다. 인과 발견(causal discovery)이라고 알려진 이 접근 방식은 단순한 관찰을 넘어 세상의 진정한 메커니즘을 밝혀냄으로써, 한 사물이 어떻게 다른 사물을 유발하는지를 이해하도록 돕습니다. 그러나 뇌 속 뉴런의 발화부터 전 지구적 기상 패턴의 변화에 이르기까지, 많은 복잡한 시스템에서 가장 중요한 상호작용은 고립된 개별 단위 사이가 아니라, 하나의 단위로서 행동하는 전체 집단 사이에서 발생합니다. 지금까지 과학자들은 이 그룹들이 어떻게 서로에게 영향을 미치는지 연구하기 전에, 이 그룹들이 어디서 시작되고 어디서 끝나는지를 미리 추측해야만 했으며, 이러한 한계는 종종 더 큰 그림을 가리곤 했습니다.

인도 하이데라바드 공과대학교와 도쿄 RIKEN AI 프로젝트 센터의 연구진은 이 수수께끼를 풀기 위한 새로운 방법을 개발했습니다. 그들은 변수들을 어떻게 하나의 그룹으로 묶을 것인지와 그 그룹들 사이의 인과적 연결을 어떻게 지도화할 것인지를 동시에 파악할 수 있는 시스템을 만들었으며, 이 과정에서 그룹 구성을 사전에 알려주지 않아도 됩니다. 데이터를 미리 정의된 상자에 강제로 끼워 맞추는 대신, 그들의 접근 방식은 데이터 스스로가 자신의 자연스러운 군집과 그 사이를 흐르는 보이지 않는 영향력을 드러내도록 합니다. 컴퓨터가 단 하나의 고정된 답을 찾는 대신 불확실성으로부터 학습할 수 있게 해주는 변분 추론(variational inference)이라는 기술을 사용하여, 연구진은 그룹화와 연결 모두를 밝혀내야 할 숨겨진 비밀로 취급하는 모델을 구축했습니다.

연구진은 컴퓨터로 생성된 데이터와 단백질 구조 및 기후 패턴에 관한 정보를 포함한 실제 데이터셋 모두에서 이 방법을 테스트했습니다. 이 테스트에서 그들은 그룹이 이미 알려져 있다고 가정하거나, 더 단순하고 덜 유연한 추측 방식에 의존하는 기존 방법들과 자신들의 새로운 접근 방식을 비교했습니다. 결과는 그들의 방법이 실제 밑바닥에 깔린 구조를 재구성하는 데 훨씬 더 뛰어나다는 것을 보여주었습니다. 예를 들어, 단백질 데이터셋을 분석했을 때, 그들의 모델은 데이터가 인과적 연결이 없는 두 개의 별개 그룹을 형성하고 있음을 정확히 식별해 낸 반면, 기존의 방법들은 존재하지 않는 연결을 잘못 그려냈습니다. 마찬가지로 기후 데이터에서 새로운 접근 방식은 다른 방법들이 놓쳤던 서로 다른 기상 변수들 사이의 비선형적 관계를 성공적으로 밝혀냈으며, 클러스터와 이를 연결하는 엣지(edges)를 모두 정확하게 지도화했습니다.

이 연구가 특히 강력한 이유는 불확실성을 다루는 능력에 있습니다. 단 하나의 경직된 지도를 제공하는 대신, 이 시스템은 확률 분포를 학습하며, 이는 각 연결과 각 그룹에 대해 자신이 얼마나 확신하는지를 표현할 수 있음을 의미합니다. 이는 의학이나 기후 과학처럼 우리가 무엇을 알고 있는지에 대한 한계를 아는 것이 사실 자체만큼이나 중요한 고위험 분야에서 매우 중요합니다. 연구진은 그룹 내부와 엣지 사이의 복잡한 의존성을 허용할 때, 즉 모든 것이 독립적이라고 가정하지 않을 때 이 방법이 가장 잘 작동한다는 것을 발견했습니다. 기후 데이터의 경우, 이러한 복잡한 관계를 고려한 모델 버전이 거의 완벽한 정확도를 달eri, 실제 세계의 메커니즘이 비선형적이고 복잡하다는 것을 시사했습니다.

이 연구는 인과 발견의 모든 문제를 해결했다고 주장하거나, 가능한 모든 데이터셋에서 완벽하게 작동한다고 주장하는 것이 아닙니다. 연구진은 현재의 작업이 특정 유형의 데이터로 제한되어 있으며, 이 방법을 매우 크고 고차원적인 데이터셋으로 확장하는 것이 향후 과제로 남아 있음을 인정합니다. 그러나 그룹과 인과 구조를 동시에 학습하는 것이 가능하다는 것을 입증함으로써, 그들은 복잡한 시스템을 이해하는 새로운 길을 열었습니다. 그들의 연구는 데이터가 스스로 말하게 하고, 실제 관찰에 내재된 불확실성을 수용함으로써, 우리가 한 번에 하나의 클러스터씩 더 명확하고 정확하게 세상이 어떻게 돌아가는지 그려낼 수 있다는 것을 시사합니다.

기술 요약: 변분 추론을 이용한 결합 인과 구조 및 클러스터 발견

문제 정의

인과 발견(Causal discovery)은 전통적으로 개별 확률 변수 간의 관계를 추론하는 데 집중하며, 이는 일반적으로 유향 비순환 그래프(DAG)로 표현됩니다. 그러나 뇌 영상 처리나 기후 모델링과 같은 복잡한 영역에서는 상호작용이 고립된 단위가 아닌 변수들의 그룹 사이에서 발생하는 경우가 많습니다. 기존의 "클러스터 DAG"(C-DAG) 또는 "그룹 DAG" 방법들이 존재하기는 하지만, 이들은 대개 변수의 그룹화(clustering)가 도메인 지식을 통해 사전에 알려져 있다고 가정합니다.

본 논문은 클러스터(변수들의 분할)와 클러스터 간의 인과 구조(클러스터 위의 DAG)가 모두 **잠재적(latent)**이며, 관측 데이터로부터 동시에 추론되어야 하는 격차를 다룹니다. 저자들은 클래식한 SCM을 벡터 값 출력(클러스터 변수들의 집합에 의해 생성됨)으로 일반화하여 선형 가우시안 및 비선형 가법 노이즈 시나리오를 모두 수용하는 벡터 값 구조적 인과 모델(vSCM)을 고려합니다. Niu 등(2022)이 이러한 공동 추정을 위한 점수 기반(score-based) 접근법을 제안한 바 있으나, 본 연구는 불확실성 정량화를 위한 베이지안 처리를 제공하는 새로운 변분 추론(variational inference) 프레임워크를 도입하여 동일한 목표를 달성합니다.

방법론

제안된 접근 방식은 잠재적인 클러스터 할당( $C$ )과 클러스터 그래프 구조( $E_C$ )에 대한 근사 사후 분포를 학습하기 위해 **변분 추론(VI)**을 활용합니다. 이 방법의 핵심은 생성 모델을 정의하고 증거 하한(ELBO)을 최적화하는 것입니다.

1. 생성 모델

데이터 $D$ 는 각 클러스터 $X_{C_i}$ 가 부모 클러스터 $Pa(X_{C_i})$ 와 노이즈 벡터 $\epsilon_i$ 의 함수인 vSCM에 의해 생성된다고 가정합니다:
$X_{C_i} := f_{C_i}(Pa(X_{C_i}), \epsilon_i)$
결합 분포는 C-DAG 구조에 따라 인수분해됩니다. 저자들은 두 가지 특정 사례를 고려합니다:

선형 가우시안 vSCM: 함수 $f$ 는 선형이며, 노이즈는 다변량 가우시안입니다. 주변 가능도(marginal likelihood)는 파라미터를 적분하여 닫힌 형태(closed form)로 계산할 수 있습니다.
비선형 가법 노이즈 모델: 함수 $f$ 는 신경망으로 모델링됩니다. 여기서 파라미터에 대한 적분은 다루기 까다로우므로, 변분 추론과 함께 파라미터의 점 추정(point estimation)을 사용합니다.

2. 변분 근사

가능한 C-DAG의 공간은 지수적으로 증가하므로, 정확한 베이지안 추론은 불가능합니다. 저자들은 클러스터와 엣지에 대한 분포으로 분해되는 변분 분포 $Q_\phi(C, E_C)$ 를 사용하여 실제 사후 분포 $P(C, E_C | D)$ 를 근사합니다:
$Q_\phi(C, E_C) = Q_T(C) Q_Z(E_C)$

클러스터( $C$ )를 위한 변분 가족:

인수 분해 모델(Factorized Model): 변수 할당 간의 독립성을 가정하며, 범주형 분포의 곱으로 모델링됩니다.
선형 자기회귀 모델(Linear Autoregressive Model): 이전 할당에 따라 로짓(logits)이 결정되는 조건부 곱을 모델링함으로써 클러스터 할당 간의 의존성을 포착합니다.

그래프( $E_C$ )를 위한 변분 가족:

독립 이진 모델(Independent Binary Model): 엣지를 독립적인 베르누이 변수로 가정합니다.
선형 자기회귀 모델(Linear Autoregressive Model): 엣지를 이전 엣지에 조건부로 의존하도록 모델링합니다.
조건부 모델(Conditional Model): 전역 클러스터 할당( $C$ )에 대한 엣지의 의존성을 명시적으로 모델링합니다.
자기회귀 조건부 모델(Autoregressive Conditional Model): 자기회귀적 엣지 의존성과 클러스터 할당에 대한 의존성을 결합합니다.

3. 최적화

변분 분포의 파라미터( $T$ 는 클러스터, $Z$ 는 엣지)와 모델 파라미터( $\Theta$ 는 비선형 사례)는 ELBO를 최대화함으로써 학습됩니다.

경사도 추정(Gradient Estimation): $C$ 와 $E_C$ 는 이산적이므로, 저자들은 경사도를 근사하기 위해 REINFORCE 점수 함수 추정기를 사용합니다. 높은 분산을 완화하기 위해 지수 이동 평균을 베이스라인으로 사용합니다.
학습: 최적화는 국소 최적해(local optima)를 피하기 위해 여러 번의 무작위 재시작(random restarts)을 포함한 경사 기반 방법(예: Adam, RMSprop)을 사용하여 수행됩니다.

주요 기여

변분 추론을 통한 공동 잠재 추론: 본 논문은 그룹화에 대한 사전 지식 없이도 잠재 변수 클러스터와 그 클러스터 위의 인과 DAG를 동시에 추론할 수 있는 새로운 변분 추론 프레임워크를 제안합니다. 이는 점 추정치를 제공하는 기존의 점수 기반 접근법(Niu et al., 2022)을 보완하여 완전한 베이지안 사후 분포를 제공합니다.
표현력이 풍부한 변분 가족: 저자들은 다양한 변분 가족을 도입하고 평가하며, 특히 자기회귀(autoregressive) 및 조건부(conditional) 모델의 중요성을 강조합니다. 이를 통해 단순한 인수 분해 모델이 놓칠 수 있는 클러스터 할당 및 그래프 엣지 간의 복잡한 의존성을 포착할 수 있습니다.
비선형 vSCM으로의 확장: 프레임워크가 신경망을 사용하여 비선형 인과 메커니즘을 처리하도록 확장되었으며, 이를 통해 복잡하고 비선형적인 데이터 생성 과정에서 클러스터와 구조를 발견할 수 있습니다.
새로운 평가 지표: 저자들은 **Expected Expanded-Graph Structural Hamming Distance (ExG-SHD)**를 도입했습니다. 표준 SHD와 달리, 이 지표는 C-DAG를 전체 변수 수준의 DAG로 확장한 후 거리를 계산함으로써 클러스터 할당과 그래프 구조 모두에서의 근사 오차를 고려합니다.

실험 결과

방법론은 부트스트래핑을 사용하는 점수 기반 베이스라인(Niu et al., 2022)과 함께 합성 및 실제 데이터셋에서 평가되었습니다.

합성 데이터 (선형): 자기회귀 클러스터 모델이 인수 분해 변형 및 베이스라인보다 일관되게 우수한 성능을 보였습니다. 예를 들어, 4개 변수의 "fork" 데이터셋에서 자기회귀 모델은 ExG-SHD 0.02와 E-RI(Expected Rand Index) 0.99를 달성하여 실제 참값을 거의 완벽하게 복구했습니다.
합성 데이터 (비선형): 신경망 기반 공식화는 베이스라인을 크게 앞질렀습니다. 여러 변형 모델은 4개 변수 데이터셋에서 0.00의 완벽한 ExG-SHD를 달형했습니다. 결과는 엣지의 위상적 의존성(자기회귀 또는 조건부 모델을 통해)을 포착하는 것이 구조적 정확성에 결정적임을 나타냈습니다.
실제 데이터:
- 단백질 데이터셋: 신경망 모델은 거의 완벽한 ExG-SHD 및 E-SHD(0.0)를 달성하여 연결되지 않은 두 개의 클러스터를 정확히 식별한 반면, 베이스라인은 훨씬 높은 오차(ExG-SHD = 3.0)를 보였습니다.
- 기후 데이터셋: 신경망 조건부 엣지 모델은 ExG-SHD 0.04와 완벽한 E-RI 1.0을 달성하였으며, 이는 기저의 인과 메커니즘이 본질적으로 비선형적이며 조건부 모델링이 다른 방법보다 상당한 개선을 제공함을 시사합니다.

의의 및 주장

본 논문은 클러스터와 구조에 대한 분포를 학습하는 베이지안 처리가 점 추정 방식에 비해 뚜렷한 장점을 제공한다고 주장합니다:

불확실성 정량화: 사후 분포를 학습함으로써, 추론된 C-DAG에 대한 불확실성 척도를 제공하며, 이는 고위험 애플리케이션에서 매우 중요합니다.
능동적 개입(Active Interventions): 확률적 프레임워크는 기저의 인과 모델을 더 잘 이해하기 위한 능동적 개입 전략을 용이하게 합니다.
잠재 혼란 변수(Latent Confounding) 처리: 변수를 그룹화함으로써 독립 노이즈 가정이 위반되는 시나리오를 해결하고, 외생 변수 간의 잠재적 혼란을 효과적으로 처리합니다.

저자들은 현재의 접근 방식이 저차원 내지 중차원 데이터셋에서 효과적이지만, 향후 고차원 데이터로 확장하는 것을 목표로 한다고 결론지었습니다. 그들은 사전 도메인 지식 없이 잠재 클러스터와 인과 구조를 공동으로 발견할 수 있는 능력이 복잡한 시스템의 인과 발견에 있어 중요한 진전임을 강조합니다.