Moment Matters: Mean and Variance Causal Graph Discovery from Heteroscedastic Observational Data

이 논문은 이분산성 관측 데이터에서 평균과 분산에 각각 작용하는 인과 관계를 별도의 그래프로 식별하고 불확실성을 정량화할 수 있는 베이지안 프레임워크를 제안하여 기존 방법의 한계를 극복하고 해석 가능성과 개입 설계를 개선합니다.

핵심

🍳 1. 문제: "왜 요리 맛이 들쭉날쭉할까?"

전통적인 원인 분석 (인과 그래프 발견) 은 **"어떤 재료가 요리의 맛 (평균) 을 결정하는가?"**만 찾아냈습니다.

• 예시: "소금 (A) 이 요리의 짠맛 (평균) 을 결정한다."

하지만 현실 세계의 데이터는 단순히 '평균'만 변하는 게 아닙니다. **불안정성 (분산)**도 중요합니다.

• 실제 상황: "소금 (A) 은 짠맛을 결정하지만, **불 (B)**은 요리가 매번 들쭉날쭉하게 변하는지 (불안정성), 아니면 매번 일정하게 나오는지를 결정한다."

기존 방법들은 이 '불안정성'을 무시하고 "소금과 불이 모두 요리에 영향을 준다"고만 알려주었습니다. 하지만 연구자나 의사, 기업 입장에서 중요한 건 **"어떤 원인이 맛을 바꾸고, 어떤 원인이 요리의 실패 확률 (변동성) 을 바꾸는지"**를 구분하는 것입니다.

🔍 2. 해결책: "두 개의 지도를 한 번에 그리다"

이 논문은 **평균 (Mean)**과 **분산 (Variance)**을 각각 설명하는 두 개의 다른 지도를 동시에 그리는 새로운 방법을 제안합니다.

• 평균 지도 (Mean Graph): "무엇이 결과의 크기를 결정하는가?" (예: 소금이 얼마나 짠지)
• 분산 지도 (Variance Graph): "무엇이 결과의 흔들림을 결정하는가?" (예: 불이 얼마나 일정하게 타는지)

이 두 지도를 따로따로 그려주면, "소금 양을 조절하면 맛을 맞출 수 있고, 불 조절을 하면 실패 확률을 줄일 수 있다"는 구체적인 해결책을 제시할 수 있게 됩니다.

🛠️ 3. 방법론: "수학적인 추리와 AI 의 조합"

이렇게 두 지도를 어떻게 그릴까요? 저자들은 세 가지 핵심 기술을 사용했습니다.

1. 수학적 증명 (Identifiability):

   • "데이터만 보고 두 지도를 구별할 수 있을까?"라는 질문에 대해, **"네, 가능합니다!"**라고 수학적으로 증명했습니다.
   • 비유: 마치 두 개의 서로 다른 악기가 섞인 소리를 듣고, 각각의 악기 소리를 분리해 내는 기술 (소리 분리) 을 수학적으로 보장한 것과 같습니다.

2. 불확실성 고려 (Bayesian Approach):

   • 데이터가 부족할 때는 "정답이 100% 확실하지 않을 수 있다"는 점을 인정합니다.
   • 비유: 단순히 "이게 정답이다"라고 말하기보다, "이게 정답일 확률이 80%, 저게 정답일 확률이 20%"라고 확률 분포로 알려줍니다. 이는 의사결정 시 리스크를 관리하는 데 매우 중요합니다.

3. 지식 활용 (Prior Knowledge):

   • 데이터가 너무 적을 때는 전문가의 지식을 활용합니다.
   • 비유: "소금이 설탕보다 먼저 들어가는 게 일반적이다"라는 규칙을 AI 에게 미리 알려주어, 적은 데이터로도 더 정확하게 학습하도록 돕습니다.

🌍 4. 실제 활용: "왜 이것이 중요한가?"

이 기술은 다양한 분야에서 혁신을 일으킬 수 있습니다.

• 💊 신약 개발:
  • 약이 환자마다 효과가 들쭉날쭉한 이유를 찾습니다. "어떤 단백질이 약효의 평균을 결정하고, 어떤 단백질이 부작용 (변동성) 을 일으키는지"를 구분하여, 효과를 극대화하면서 부작용은 줄이는 약을 설계할 수 있습니다.
• ⚖️ 공정한 AI:
  • 채용이나 대출 심사 AI 가 특정 집단에게만 결과가 들쭉날쭉한지 (불공정) 를 찾아냅니다. 단순히 평균적인 편견만 찾는 게 아니라, 어떤 요소가 특정 집단의 불확실성을 키우는지를 파악하여 더 공정한 시스템을 만듭니다.
• 🧬 생명 과학:
  • 세포마다 유전자 발현이 왜 다른지 (변동성) 를 이해하여, 질병의 원인을 더 정밀하게 파악합니다.

💡 5. 결론: "단순한 평균을 넘어선 통찰"

이 논문은 **"데이터의 평균만 보는 것은 과거의 일"**이라고 말합니다.
데이터가 흔들리는 이유 (분산) 를 이해하는 것이야말로 복잡한 현실 세계 (약, 경제, AI) 에서 더 나은 결정을 내리는 핵심 열쇠입니다.

한 줄 요약:

"이제부터는 무엇이 결과를 바꾸는지뿐만 아니라, 무엇이 결과를 불안정하게 만드는지까지 한 번에 찾아내는 '초고해상도' 인과 분석 시대가 열렸습니다."

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 실제 데이터에서는 변수의 분산이 다른 변수에 따라 변화하는 이분산성 (Heteroscedasticity) 현상이 광범위하게 존재합니다.
• 기존 방법의 한계: 기존의 표준적인 인과 발견 (Causal Discovery) 방법들은 인과 관계를 단일한 '모멘트 무관 (Moment-agnostic)' 인과 그래프로만 추론합니다. 이는 원인이 변수의 평균 (Mean) 에 영향을 미치는지, 분산 (Variance) 에 영향을 미치는지, 혹은 둘 다에 영향을 미치는지 구분하지 못합니다.
• 실제 필요성:
  • 신약 개발: 특정 단백질의 활성을 조절할 때, 평균 효과를 높이는 조절자와 분산 (변동성) 을 줄이는 조절자를 구분해야 표적 치료 전략을 수립할 수 있습니다.
  • 시스템 생물학 및 경제학: 세포 간 변동성이나 경제적 결과의 불확실성을 제어하는 요인을 파악하는 것이 중요합니다.
  • 알고리즘 공정성: 특정 하위 집단의 결과 분산이 높을 때 발생할 수 있는 통계적 차별을 식별하기 위해 분산 수준의 인과 요인을 파악해야 합니다.
• 핵심 질문: 개입 (Intervention) 없이 관찰 데이터만으로 평균 인과 그래프와 분산 인과 그래프를 별도로 식별 (Identify) 할 수 있는가?

2. 제안 방법론 (Methodology)

저자는 이 문제를 해결하기 위해 베이지안 기반의 모멘트 주도 (Moment-driven) 인과 발견 프레임워크를 제안합니다.

2.1. 이론적 기반: 평균 - 분산 이분산 노이즈 모델 (Mean-Variance HNM)

• 모델 정의: 각 변수 $X_j$의 생성 과정을 다음과 같이 정의합니다.
  $$X_j = m_j(X_{pa_M(j)}) + v_j(X_{pa_V(j)}) E_j$$
  • $m_j$: 평균 함수 (평균 인과 그래프 $G_M$의 부모 $X_{pa_M(j)}$에 의존)
  • $v_j$: 분산 함수 (분산 인과 그래프 $G_V$의 부모 $X_{pa_V(j)}$에 의존, $v_j > 0$)
  • $E_j$: 평균 0, 분산 1인 가우시안 노이즈.
• 식별 가능성 (Identifiability) 조건: 관찰 데이터 $P(X)$로부터 $G_M$과 $G_V$를 분리하여 식별하기 위한 충분 조건을 증명했습니다.
  1. 비선형성: 평균 함수 $m_j$는 비선형이어야 함.
  2. 비상수성: 분산 함수 $v_j$는 상수가 아닌 조각별 (piecewise) 함수여야 함.
  3. 가우시안 노이즈: 노이즈 $E_j$는 가우시안 분포를 따라야 함.
  4. 공유 순서 조건: $G_M$과 $G_V$가 동일한 위상적 순서 (Topological Ordering) 를 공유한다고 가정합니다.

2.2. 추론 알고리즘: 변분 추론 (Variational Inference)

• 목표: 평균 그래프와 분산 그래프의 인접 행렬 ($A_M, A_V$) 에 대한 사후 분포 $P(A_M, A_V | D)$를 학습합니다.
• DAG 분포 모델링:
  • 두 그래프가 공유하는 순열 행렬 (Permutation Matrix, $\Pi$) 을 도입하여 DAG 구조를 보장합니다.
  • 이산적인 그래프 샘플링을 가능하게 하기 위해 Gumbel-Softmax와 SoftSort 기법을 사용하여 미분 가능한 연속 완화 (Continuous Relaxation) 를 적용합니다.
• 우도 모델: MLP(다층 퍼셉트론) 를 사용하여 평균 함수 $m_j$와 분산 함수 $v_j$를 파라미터화합니다.
  • $v_j$의 양수 보장을 위해 $\log v_j$를 모델링하고 지수 함수를 적용합니다.
  • Theorem 3.5 의 조건 (비선형, 비상수) 을 만족하도록 ReLU 기반의 활성화 함수를 사용합니다.
• 최적화 전략 (Curvature-aware Optimization):
  • 이분산 모델의 파라미터 최적화 시 발생하는 문제 (분산 함수 값이 커지면 기울기가 작아지는 문제 등) 를 해결하기 위해 평균 제곱 오차 (MSE) 기반의 기울기 스케일링과 변수별 업데이트를 교대로 수행합니다.
  • 이는 2 차 뉴턴 단계 (Newton step) 를 근사하여 수렴 속도를 높입니다.
• 사전 지식 활용: 노드 순서에 대한 도메인 지식 (예: $X_i$가 $X_j$의 상위 조절자임) 을 사전 분포에 통합하여 소표본 상황에서의 샘플 효율성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 평균 및 분산 그래프에 대한 정의 및 식별성 증명: 이분산 노이즈 모델 하에서 평균과 분산 인과 그래프가 관찰 데이터로부터 분리되어 식별 가능하다는 이론적 조건을 최초로 제시했습니다.
2. 원칙적인 불확실성 정량화 (Uncertainty Quantification): 단일 점 추정 (Point Estimation) 이 아닌 베이지안 변분 추론을 통해 그래프 구조 (엣지, 경로, 서브그래프) 에 대한 사후 확률을 제공합니다. 이는 소표본 환경에서 의사결정의 신뢰성을 높입니다.
3. 효율적인 학습 프레임워크: 두 개의 그래프 구조를 동시에 학습하는 고차원 최적화 문제를 해결하기 위해 곡률 인식 (Curvature-aware) 최적화 기법과 노드 순서 사전 지식 통합 기법을 개발했습니다.

4. 실험 결과 (Results)

• 데이터셋: 합성 데이터 (Synthetic), 반합성 데이터 (SERGIO 시뮬레이터 기반 유전자 발현 데이터), 실제 데이터 (Sachs 단백질 신호 전달 네트워크 데이터).
• 비교 대상:
  • 베이지안 방법: MC3 (MCMC), DDS (Variational Inference).
  • 점 추정 방법: ICDH, HOST (기존 이분산 인과 발견 방법).
• 성과:
  • 평균/분산 그래프 추론: 제안된 방법은 모든 베이스라인보다 평균 그래프와 분산 그래프 추론 정확도 (SHD, F1 Score) 에서 압도적으로 우수한 성능을 보였습니다. 특히 기존 방법들은 분산 그래프 추론에 실패하거나 평균 그래프 구조에 편향되는 경향이 있었습니다.
  • 모멘트 무관 그래프 추론: 평균과 분산을 분리하여 학습했음에도 불구하고, 단일 인과 그래프 추론 성능에서도 기존 방법들과 경쟁력 있거나 더 나은 성능을 보였습니다.
  • 실제 데이터 적용 (Sachs 데이터): 소표본 ($n=100, 200$) 상황에서도 생물학적으로 타당한 분산 조절 관계 (예: MEK $\to$ ERK 경로의 분산 영향) 를 높은 확률로 식별해냈습니다.
  • 비가우시안 노이즈: 가우시안 노이즈 가정이 위배된 경우 (Laplace, Student-t) 에도 강건한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 해석 가능성 향상: 인과 관계가 변수의 평균뿐만 아니라 분산 (불확실성) 에 어떻게 영향을 미치는지 명확히 구분함으로써, 복잡한 시스템의 인과 메커니즘에 대한 깊은 통찰을 제공합니다.
• 실용적 가치: 신약 개발, 공정성 있는 AI 의사결정, 리스크 관리 등 분산 (변동성) 을 제어해야 하는 실제 문제 해결에 직접적으로 기여할 수 있는 도구를 제공합니다.
• 미래 방향: 고차 모멘트 (왜도, 첨도 등) 를 포함한 더 일반적인 모멘트 의존적 인과 그래프 식별 이론으로의 확장을 제시합니다.

이 논문은 이분산 데이터를 다루는 인과 발견 분야에서 평균과 분산 인과 구조를 분리하여 추론할 수 있는 이론적 토대와 실용적 알고리즘을 제시했다는 점에서 중요한 이정표가 됩니다.