기술 요약: EML-CD – EML 심볼릭 트리를 통한 인과 기제 회복

1. 문제 정의

현재의 인과 발견(causal discovery) 방법론들은 구조적 정확도와 기제적 해석 가능성(mechanistic interpretability) 사이에서 근본적인 트레이드오프에 직면해 있다. NOTEARS, GOLEM과 같은 연속 최적화 방법이나 GraNDAG, NOTEARS-MLP와 같은 신경망 기반 가법 노이즈 모델(additive noise models)은 DAG(방향성 비순환 그래프) 구조를 회복하는 데 높은 정확도를 달erm하지만, 이들은 인과 기제를 블랙박스 신경망으로 표현한다. Waxman 등[22]이 주장했듯이, 신경망의 가중치로부터 특정 함수 형태를 추출하는 것은 부적절한 문제(ill-posed problem)이다. 즉, 가중치는 기저의 기제를 유일하게 식별하지 못한다. 결과적으로, 기존 방법들은 개입 효과(intervention effects)를 예측하거나 인과 효과 함수를 정량적으로 분석하기 위한 폐쇄형 방정식(closed-form equations)을 제공할 수 없다. 사후 설명 도구(SHAP, LIME)는 국소적 근사만을 제공하며, 스플라인 기반 모델(CAM)은 심볼릭 방정식으로 추출될 수 없다. 단일 학습 과정 내에서 인과 구조와 임의의 비선형 폐쇄형 기제를 동시에 회복하는 프레임워크는 현재 존재하지 않는다.

2. 방법론: EML-CD

EML-CD(EML 기반 인과 발견)는 EML 연산자[14]를 인과 구조 학습에 통합함으로써 이 간극을 해결한다. $S \to 1 \mid eml(S, S)$ 문법을 통해 합성되는 EML 연산자 $eml(x, y) = \exp(x) - \ln(y)$는 기본 함수들에 대해 기능적으로 완전하다(functionally complete).

2.1 EML 트리 표현

EML-CD는 각 엣지 기제 $f_{j,i}(X_i)$를 유한한 깊이 $D$를 가진 **게이트형 EML 이진 트리(gated EML binary tree)**로 표현한다.

• 구조: 트리는 내부 노드가 EML 연산자를 적용하거나 게이팅 메커니즘을 통해 이를 우회하는 완전 이진 트리이다.
• 게이팅(Gating): 깊이 게이트 $\sigma(\gamma)$가 복잡도를 제어한다. 만약 $\gamma \ll 0$이면 노드는 EML 연산을 우회하여(선형 경로로 퇴화) 작동하고, $\gamma \gg 0$이면 EML 연산이 활성화된다. 이를 통해 모델은 선형 기제와 비선형 기제 사이에서 데이터 기반의 선택을 수행할 수 있다.
• 학습: 모델은 게이트 온도 $\tau_g$에 대해 **결정론적 어닐링 스케줄(deterministic annealing schedule)**을 채택하여 학습 중 1에서 0.02로 어닐링한다. 이는 학습 초기에는 그래디언트가 자유롭게 흐르도록 보장하면서, 게이트가 이진 상태에 가깝게 수렴하여 훈련된 소프트 함수를 충실히 나타내는 하드 임계값(hard-thresholded) 폐쇄형 방정식을 생성하도록 한다.
• 안정성: 수치적 발산(예: $\exp$ 또는 $\ln$에 의한)을 방지하기 위해, 연산자는 입출력을 특정 범위로 클리핑한다(예: $\exp$ 입력은 $[-2, 2]$, $\ln$ 인자는 0.5로 하한 설정).

2.2 2단계 추론

학습 과정은 두 가지 뚜렷한 단계로 구성된다:

1. 기제 사전 학습(Mechanism Pre-training): 모든 $d(d-1)$개의 잠재적 쌍 $(i, j)$에 대해, MSE를 최소화하도록 Adam을 통해 EML 트리 $T_{j,i}$를 학습시킨다. 각 쌍에 대해 세 번의 무작위 초기화 중 최적의 것을 선택한다. 이 단계는 $R^2$ 점수(예측력)와 학습된 트리 파라미터를 산출한다.
2. 탐욕적 DAG 구축(Greedy DAG Construction): 엣지는 $R^2$ 점수가 높은 순서대로 추가되며, 비순환성을 엄격히 유지한다. $R^2$가 임계값 $\tau$ 미만인 엣지는 제외된다. OLS 기반의 BIC를 사용한 선택적 역방향 가지치기(backward pruning)를 통해 허위 엣지를 추가로 제거할 수 있다.

2.3 식별 가능성 및 방향성

EML-CD는 잔차 독립성 테스트 대신 적합 품질 비대칭성($R^2_{i \to j}$ 대 $R^2_{j \to i}$)을 기준으로 엣지의 방향을 결정한다. 함수 클래스를 EML 트리로 제한함으로써 역인과(anticausal) 기제를 표현하기 어렵게 만들며, 이는 자연스럽게 $R^2$를 낮춘다. 이는 가법 노이즈 모델(ANM) 식별성을 위한 휴리스틱 대리 지표 역할을 한다.

3. 주요 기여

1. 프레임워크 통합: EML-CD는 EML 심볼릭 트리를 인과 구조 학습에 직접 통합하여, 감지된 모든 엣지에 폐쇄형 방정식과 해석적 자코비안(analytical Jacobians)을 부착한 최초의 프레임워크이다.
2. 희생 없는 해석 가능성: 심볼릭 해석 가능성을 추가하는 것이 최신 성능(SOTA) 베이스라인들과 비교했을 때 구조 회복 정확도를 반드시 저하시키지는 않는다는 것을 입증하였다.
3. 충실한 기제 회복: 통제된 환경에서, 이 방법은 단순히 곡선을 피팅하는 것을 넘어 기본 함수의 형태를 높은 충실도로 회복한다.
4. 해석적 인과 효과: 트리 구조로부터 방정식을 직접 유도함으로써, EML-CD는 선형 계수나 수치적 NN 미분으로는 불가능한 상태 의존적 인과 효과 정량화를 위한 해석적 자코비안($\partial X_j / \partial X_i$) 계산을 가능하게 한다.

4. 실험 결과

4.1 실제 데이터: Sachs 단백질 신호 전달 ($d=11$)

• 구조 회복: EML-CD는 11.2 ± 0.4의 구조적 해밍 거리(SHD, 5개 시드 평균)를 달성했다. 이는 PC 및 GES(SHD=11)와 대등하며, CAM(SHD=12)보다 우수하다.
• 정밀도/재현율: 가장 높은 정밀도(0.756)를 기록했으나 재현율(0.36)은 낮았는데, 이는 고신뢰도 엣지를 선호함을 나타낸다.
• 기제: 이 방법은 알려진 경로(예: Raf $\to$ Mek)를 폐쇄형 방정식과 함께 성공적으로 회복했다. 예를 들어, PKC $\to$ P38에 대해 -5.4에서 +2.3 사이의 상태 의존적 자코비안을 갖는 비선형 기제를, Erk $\to$ Akt에 대해서는 선형 기제를 식별했다.

4.2 통제된 이변량 회복

알려진 기저 함수($N=2000$)를 이용한 테스트에서, EML-CD는 홀드아웃 형태 상관관계(held-out shape correlation) $\ge 0.96$로 11개 중 10개의 기본 함수군(linear, quadratic, cubic, cos, tanh, exp, sqrt, sigmoid, log, abs)을 회복했다. 오직 고주파 사인 함수($\sin(1.5x)$)만이 부분적 회복(0.84)을 보였다.

4.3 합성 심볼릭 벤치마크 (S-Sym)

• 고정 딕셔너리 대비 안정성: 심볼릭 SEM 벤치마크에서 EML-CD는 평균 기제 $f$-MSE 3.67을 달성하였으며, 이는 고정된 SINDy 딕셔너리(평균 7644)보다 현저히 낮고 안정적이다. SINDy 베이스라인은 한 시드에서 파멸적인 외삽 문제를 겪었다.
• 구조 회복: 구조적 SHD(14.0)는 SINDy 딕셔너리 베이스라인과 일치했으나, 특화된 선형 최적화 도구보다는 낮았다.
• 한계: 안정적이기는 하지만, 주어진 샘플 크기와 깊이 2 설정에서는 매우 비선형적인 형태(예: tanh의 포화)를 안정적으로 회복하지 못했다.

4.4 인과 챔버 (Light-Tunnel 서브셋)

Malus의 법칙($\cos^2(\theta_1 - \theta_2)$)에 의해 지배되는 물리 시스템에서, 깊이 2의 EML-CD 모델은 선형 OLS-BIC(0.273)보다 개선된 F1(0.444)을 보였다. 그러나 작은 샘플 환경에서의 깊이 3 모델은 실패했다. 상호작용을 고려한 리프(interaction-aware leaves)와 개입 메타데이터를 포함하면 정밀도는 1.000까지 향상되었으나, 재현율은 여전히 제한적이었다.

5. 의의 및 주장

본 논문은 EML-CD를 **개념 증명(proof of concept)**으로 제시하며, 심볼릭 인과 기제 해석 가능성이 구조 학습의 정확도를 희생하지 않고도 통합될 수 있음을 보여준다.

• 핵심 성과: 이 방법은 탐색 공간을 유한 차원의 해석 가능한 EML 함수 클래스로 제한함으로써 NN 기반 기제 추출의 부적절성을 우회한다.
• 실용적 가치: 방정식을 직접 출력할 수 있는 능력은 개입 효과의 정량적 예측과 상태 의존적 인과 분석을 가능하게 하며, 이는 기존의 DAG 전용 방법으로는 불가능하다.
• 겸허한 태도: 저자들은 다음과 같은 한계를 명시적으로 인정한다:
  • 현재 방법은 단변량 가법 기제를 가정하며, 특정 확장을 없이는 변수 간 상호작용(예: $\cos^2(\theta_1 - \theta_2)$)을 네이티브하게 표현할 수 없다.
  • 합성 벤치마크에서의 구조 회복은 딕셔너리 베이스라인과 일치할 뿐, 아직 특화된 선형 최적화 도구를 능가하지 못한다.
  • 시드 간 회복된 방정식의 안정성은 추가적인 개선이 필요하다.
  • EML 연산자 자체는 대규모로 독립적인 검증이 아직 이루어지지 않은 최근의 개발물이다.

결론적으로, EML-CD는 인과 그래프에 폐쇄형 방정식을 부착하는 것이 가능하다는 초기 증거를 제공하며, 투명하고 분석적으로 다룰 수 있는 인과 모델을 향한 경로를 제시한다.