Density Ratio-based Causal Discovery from Bivariate Continuous-Discrete Data

이 논문은 연속 변수와 이산 변수 간의 인과 방향을 식별하기 위해 밀도 비율의 단조성과 위치 이동 가정의 유무를 이론적으로 분석하고, 이를 기반으로 한 새로운 인과 발견 방법 DRCD 를 제안하여 기존 방법보다 우수한 성능을 입증합니다.

핵심

이 논문은 **"어떤 것이 원인이고 어떤 것이 결과인지, 두 가지 다른 종류의 데이터 (숫자와 카테고리) 를 보고 어떻게 알아낼 수 있을까?"**라는 질문에 대한 해법을 제시합니다.

기존의 방법들은 두 변수가 모두 숫자이거나 모두 글자일 때는 잘 작동했지만, 하나는 숫자 (예: 혈압) 이고 다른 하나는 카테고리 (예: 질병 유무) 일 때는 헷갈려 했습니다. 이 논문은 **'밀도 비율 (Density Ratio)'**이라는 새로운 지표를 이용해 이 문제를 해결했습니다.

이해하기 쉽게 세 가지 비유로 설명해 드리겠습니다.

---

1. 문제 상황: "닭이 먼저냐, 달걀이 먼저냐?"

우리가 관찰할 수 있는 데이터만 가지고 인과관계를 찾아야 할 때, 두 가지 경우가 있습니다.

• A 경우 (숫자 → 카테고리): "혈압이 높아서 (숫자) 고혈압 진단을 받는다 (카테고리)."
• B 경우 (카테고리 → 숫자): "고혈압 진단을 받는다 (카테고리) → 그래서 혈압 수치가 높아진다 (숫자)."

기존 방법들은 이 두 경우를 구별하기 위해 "두 데이터의 분포 모양이 똑같이만 이동했다면 B 경우다"라고 가정했습니다. 하지만 현실은 그렇게 단순하지 않습니다. 질병이 혈압에 영향을 줄 때, 혈압의 '모양'이나 '퍼짐 정도'까지 바뀔 수 있기 때문입니다.

2. 새로운 해법: "밀도 비율의 등산로"

이 논문은 **"밀도 비율 (Density Ratio)"**이라는 도구를 사용합니다. 쉽게 말해, **"두 그룹 (예: 질병 있음 vs 없음) 의 데이터 분포를 비교했을 때, 그 비율이 어떻게 변하는지"**를 보는 것입니다.

이를 등산로에 비유해 볼까요?

• A 경우 (숫자 → 카테고리):

  • 원인이 되는 숫자 (혈압) 가 결정되면, 그 결과로 질병 유무가 나뉩니다.
  • 이때 두 그룹의 데이터 비율을 그래프로 그리면, 등산로를 한 방향으로만 오르는 (단조 증가) 혹은 한 방향으로만 내리는 (단조 감소) 직선처럼 보입니다.
  • 비유: "산 정상으로 가는 길은 항상 위로만 올라갑니다." (이게 X → Y의 특징입니다.)

• B 경우 (카테고리 → 숫자):

  • 질병 유무가 먼저 결정되고, 그에 따라 혈압이 결정됩니다.
  • 이때 두 그룹의 데이터 비율을 그리면, 등산로를 오르락내리락하는 구불구불한 길이 됩니다.
  • 비유: "산에서 내려오다가 다시 오르는 복잡한 길"처럼 보입니다. (이게 Y → X의 특징입니다.)

핵심 발견:
논문의 수학적인 증명에 따르면, 숫자가 원인이면 비율은 항상 '일직선'으로 변하고, 카테고리가 원인이면 비율은 '구불구불'하게 변할 확률이 압도적으로 높습니다. (단, 두 그룹의 분포가 단순히 위치만 바뀐 특수한 경우는 예외로 처리합니다.)

3. DRCD: "등산로 탐험가"

이 논리는 바탕으로 DRCD라는 새로운 알고리즘을 만들었습니다. 이 알고리즘은 다음과 같은 4 단계로 작동합니다.

1. 관계 확인: 두 변수가 아무 상관도 없는지 먼저 봅니다. (비율이 1 이면 관계 없음)
2. 위치 이동 확인: 두 그룹의 데이터가 단순히 '좌우로만 이동'했는지 봅니다. (그렇다면 Y → X)
3. 비율 계산: 두 그룹의 데이터 비율을 계산합니다.
4. 등산로 검사: 그 비율 그래프가 **일직선 (단조)**인지 구불구불한지 확인합니다.
   • 일직선이면? → "아! 숫자가 원인이야!" (X → Y)
   • 구불구불하면? → "아! 카테고리가 원인이야!" (Y → X)

4. 왜 이것이 중요한가요? (실제 효과)

기존 방법들은 "가정"을 너무 많이 했습니다. 예를 들어 "분포 모양은 절대 바뀌지 않아"라고 믿고 있었죠. 하지만 DRCD 는 그런 가정을 하지 않습니다.

• 실제 실험 결과: 인공적으로 만든 데이터와 실제 심장병 데이터, 날씨 데이터 등을 테스트했을 때, 기존 방법들보다 훨씬 정확하게 원인과 결과를 찾아냈습니다.
• 장점: "닭이 먼저냐, 달걀이 먼저냐"를 고민할 때, 복잡한 통계 수식 대신 **"비율 그래프가 직선인지 구불구불한지"**만 보면 된다는 직관적인 원리를 제공했습니다.

요약

이 논문은 **"숫자와 글자 (카테고리) 가 섞인 데이터에서 인과관계를 찾을 때, 두 그룹의 데이터 비율이 '일직선'으로 변하면 숫자가 원인이고, '구불구불'하게 변하면 글자가 원인이다"**라는 새로운 규칙을 찾아냈습니다.

이는 마치 등산로 지도를 보고 "이 길은 한 방향으로만 가니까 정상으로 가는 길이구나"라고 판단하는 것과 같습니다. 복잡한 통계적 가정을 줄이고, 데이터가 가진 자연스러운 패턴을 이용해 더 정확하게 인과관계를 찾아내는 혁신적인 방법입니다.

기술 요약

1. 문제 정의 (Problem)

이 논문은 관측 데이터만으로 연속형 변수 (Continuous, $X$) 와 이산형 변수 (Discrete, $Y$) 간의 인과 방향을 추론하는 문제를 다룹니다.

• 배경: 생물학적 마커 (연속) 와 질병 유무 (이산) 와 같이 연속과 이산 변수가 공존하는 현실적 시나리오에서 인과 관계를 규명하는 것은 중요하지만, 무작위 통제 실험 (RCT) 이 불가능한 경우가 많습니다.
• 기존 방법의 한계:
  • 제약 기반 방법 (Constraint-based): 조건부 독립 검정에 의존하며, 2 변수 (Bivariate) 설정에서는 추가 변수가 없어 인과 방향을 판별할 수 없습니다.
  • 함수적 인과 모델 (Functional Causal Models): $Y \to X$일 때 조건부 분포 $P(X|Y)$가 위치 이동 (Location-shift) 가족 (평균만 다르고 모양/분산은 동일) 을 이룬다고 가정합니다. 이는 분포의 모양이나 분산이 다른 경우 (Heteroscedasticity) 를 다루지 못합니다.
  • 점수 기반 방법 (Score-based): 연속과 이산 변수의 정보량과 스케일 차이로 인해 공정한 비교를 위해 임의의 정규화 (Ad-hoc normalization) 가 필요하며, 이론적 근거가 부족합니다.

2. 제안 방법론: DRCD (Density Ratio-based Causal Discovery)

저자들은 인과 방향을 판별하기 위해 **밀도 비율 (Density Ratio) 의 단조성 (Monotonicity)**과 위치 이동 가정의 유무를 핵심 지표로 활용하는 새로운 방법론인 DRCD를 제안합니다.

가. 인과 모델 가정

1. $X \to Y$ (연속이 이산을 유발):
   • 기존 연구의 Threshold Model을 따릅니다. $Y$는 $f(X) + \text{noise}$가 임계값을 넘는지 여부에 따라 결정됩니다.
   • 핵심 발견: 이 모델 하에서 조건부 분포 $P(X|Y)$는 위치 이동 가족을 형성하지 않으며, 밀도 비율 $G(x) = \frac{P(X|Y=c_t)}{P(X|Y=c_s)}$가 **단조 함수 (Monotonic)**가 됩니다.
2. $Y \to X$ (이산이 연속을 유발):
   • Case 1 (위치 이동): 조건부 분포가 평균만 다른 경우 (기존 방법의 가정).
   • Case 2 (비-위치 이동): 조건부 분포가 **일반화된 정규 분포 (Generalized Normal) 의 혼합 (Mixture)**으로, 각 $Y$ 값마다 분포의 모양 (Shape) 이나 분산 (Scale) 이 독립적으로 결정되는 경우.
   • 핵심 발견: Case 2 에서 밀도 비율은 매개변수 공간에서 단조성이 성립하지 않는 (Non-monotonic) 것이 일반적 (Generic) 입니다.
3. 인과 관계 없음: $X$와 $Y$가 독립이면 조건부 분포가 동일하므로 밀도 비율은 1 입니다.

나. DRCD 알고리즘 단계

1. 인과 존재 여부 테스트: KS 검정 (Kolmogorov-Smirnov test) 을 사용하여 $Y$의 값에 따른 $X$의 조건부 분포가 통계적으로 유의미하게 다른지 확인합니다.
2. 위치 이동 (Location-shift) 관계 테스트: 조건부 샘플의 평균을 제거 (Centering) 한 후 KS 검정을 수행합니다. 분포가 동일하다면 (위치 이동 가정 성립) $Y \to X$로 판별합니다.
3. 밀도 비율 추정: 위치 이동 가정이 성립하지 않는 경우, uLSIF (unconstrained Least-Squares Importance Fitting) 를 사용하여 밀도 비율 $G(x)$를 추정합니다.
4. 단조성 평가: 추정된 밀도 비율이 단조적인지 (Spearman 상관 계수 확인) 확인합니다.
   • 단조적 (Monotonic) 인 경우: $X \to Y$로 판별.
   • 비단조적 (Non-monotonic) 인 경우: $Y \to X$ (비-위치 이동) 로 판별.

3. 주요 이론적 기여 (Key Contributions)

논문은 세 가지 핵심 이론적 결과를 통해 인과 방향의 **식별 가능성 (Identifiability)**을 증명합니다.

1. $X \to Y$ 하의 단조성: $X$가 $Y$의 원인일 때, 조건부 밀도 비율은 항상 단조적임을 증명했습니다 (Lemma 3).
2. $Y \to X$ (비-위치 이동) 하의 비단조성: $Y$가 $X$의 원인이고 조건부 분포가 위치 이동 가족이 아닐 때, 밀도 비율이 단조적인 경우는 매개변수 공간에서 **르베그 측도 0 (Lebesgue measure zero)**인 집합에 국한됩니다. 즉, 실제 데이터에서는 거의 발생하지 않는 비일반적 (Non-generic) 인 경우입니다 (Lemma 2, Corollary 1).
3. 위치 이동 가정의 비일반성: $X \to Y$ 모델 하에서 조건부 분포가 위치 이동 가족을 형성하려면 인과 메커니즘과 입력 분포가 정교하게 조율되어야 합니다. 이는 **독립 메커니즘 원칙 (Principle of Independent Mechanisms)**에 위배되므로, 실제 세계에서는 거의 발생하지 않는다고 주장합니다 (Lemma 1).

결론적으로: 밀도 비율의 단조성은 $X \to Y$를, 비단조성 또는 위치 이동 가정은 $Y \to X$를 특징짓는 지표가 됩니다.

4. 실험 결과 (Results)

합성 데이터와 실세계 데이터 (UCI Heart Disease, Tübingen Cause-Effect Pairs) 를 통해 기존 방법 (LiM, MIC, MANMs, CRACK, GSF) 과 비교 평가했습니다.

• 합성 데이터:
  • DRCD 는 모든 시나리오 (인과 없음, $X \to Y$, $Y \to X$ 위치 이동, $Y \to X$ 비-위치 이동) 에서 80% 이상의 높은 정확도를 보였습니다.
  • 특히, 기존 방법들이 분포 모양이 다른 경우 (비-위치 이동) 에 성능이 급격히 떨어지는 반면, DRCD 는 이를 효과적으로 처리했습니다.
• 실세계 데이터:
  • UCI 심장병 데이터와 Tübingen 데이터셋에서 DRCD 는 기존 방법들 중 가장 높은 정확도를 기록하거나, CRACK 와 함께 최상위 성능을 보였습니다.
  • DRCD 는 인과 방향을 반대로 추론하는 오류 (Reversed inference) 를 거의 발생시키지 않았습니다.

5. 의의 및 의의 (Significance)

1. 강건한 가설: 기존 방법들이 가진 "위치 이동 가정"의 제한을 완화하여, 분포의 모양이나 분산이 다른 더 일반적인 현실적 시나리오를 다룰 수 있습니다.
2. 원칙적인 접근: 연속형과 이산형 변수 간의 점수 비교를 위한 임의의 정규화 (Ad-hoc normalization) 를 제거하고, 밀도 비율의 수학적 성질 (단조성) 에 기반하여 인과 방향을 판별합니다.
3. 이론적 기반: 측도 0 집합과 독립 메커니즘 원칙을 결합하여 인과 방향 식별 가능성에 대한 엄밀한 이론적 근거를 제시했습니다.
4. 실용성: 오픈소스 코드 (GitHub) 를 제공하며, 실제 의료 및 경제 데이터 등 다양한 도메인에서 연속 - 이산 변수 간의 인과 관계를 규명하는 데 유용한 도구로 활용될 수 있습니다.

요약하자면, 이 논문은 밀도 비율의 단조성이라는 새로운 특징을 발견하고 이를 활용한 DRCD 알고리즘을 제안함으로써, 혼합형 (Continuous-Discrete) 데이터에서의 인과 발견 문제를 이론적으로 해결하고 실용적으로 개선한 획기적인 연구입니다.