Learning a directed acyclic graph with additive heteroscedastic errors

기술적 요약: 가법적 이분산 오차를 가진 방향성 비순환 그래프 학습

문제 정의
본 논문은 구조적 방정식 모델 (SEM) 하에서 가법적 이분산 오차를 가진 방향성 비순환 그래프 (DAG) 에 대한 인과적 발견을 관찰 데이터를 사용하여 해결하는 과제를 다룹니다. 기존 방법들은 종종 등분산성 (일정한 분산) 이나 특정 오차 분포 (예: LINGAM 과 같은 비가우시안 선형 모델) 에 대한 가정에 의존하는 반면, 실제 세계 데이터는 부모 변수에 따라 노이즈 분산이 의존하는 이분산성을 자주 나타냅니다. 문헌에서 중요한 공백은 이러한 분산 신호를 효과적으로 활용하는 다변량 인과적 발견 방법의 부재이며, 특히 전통적인 식별성 결과가 종종 실패하는 경계 변수 (bounded variables) 에 대한 것입니다. 또한, 이분산 설정에서의 가능도 기반 방법은 매개변수 오지정 (parametric misspecification) 에 취약하며, 독립성 검정 방법은 고차원에서는 어려움을 겪거나 표본 분할을 요구하는 경우가 많습니다.

방법론: RESQUE
저자들은 DAG 의 위상적 순서와 그래프 구조를 복원하도록 설계된 새로운 반복 절차인 잔차 동시 양분수 추정 (Residual Simultaneous Quantile Estimation, RESQUE) 을 제안합니다. 이 방법은 위치 - 스케일 노이즈 모델 하에서 작동합니다:
$$X_j = f_j(X_{PA(j)}) + g_j(X_{PA(j)})\varepsilon_j$$
여기서 노이즈 항 $\varepsilon_j$는 부모와 독립적이지만, 그 스케일 $g_j(\cdot)$은 부모에 의존할 수 있습니다.

RESQUE 알고리즘은 각 반복마다 두 가지 주요 단계로 진행됩니다:

1. 잔차 구성: 평균 함수 $f_j$를 추정하기 위해 최소제곱 회귀를 수행하여 잔차를 생성합니다. 그런 다음 로그 절대 잔차를 계산하여 조건부 스케일 함수 추정 문제로 변환합니다.
2. 복합 양분수 회귀 (Composite Quantile Regression): 변환된 잔차에 대해 여러 양분수 수준 ($\tau_1, \dots, \tau_K$) 에서 정규화된 복합 양분수 회귀를 적용합니다.
   • 싱크 노드 식별: 핵심 통찰은 싱크 노드 (자식이 없는 노드) 의 경우 조건부 스케일 계수가 서로 다른 양분수 수준에서 불변이라는 점입니다. 알고리즘은 모든 양분수에 걸쳐 추정된 계수 벡터가 동일한 값으로 수렴하는지 (동등성을 장려하는 페널티 항을 사용하여) 확인함으로써 싱크 노드를 식별합니다.
   • 반복적 제거: 식별된 싱크 노드는 그래프에서 제거되며, 이 과정은 남은 부분 그래프에 대해 반복됩니다. 이 재귀적 제거를 통해 싱크에서 소스 방향으로 위상적 순서가 복원됩니다.
   • 그래프 구조 복원: 순서가 확립되면, 방법론은 평균 및 분산 구성 요소 모두에 변수 선택 (접힌 오목 페널티 또는 하드 임계값을 통해) 을 적용하여 특정 방향 간선을 식별합니다.

주요 기여

1. 새로운 식별성 결과: 본 논문은 가법적 이분산 오차를 가진 DAG 에 대한 이론적 식별성을 확립합니다. 특히, 유계 및 무계 연속 변수에 대한 이론을 통합합니다. 저자들은 유계 변수 간의 인과적 발견이 무계 변수에 비해 더 완화된 조건을 필요로 함을 보여주며, 무계 지원을 요구하지 않고도 식별성을 보장하기 위해 경계 속성을 활용합니다.
2. 새로운 추정 절차 (RESQUE): 저자들은 양분수 전반에 걸친 조건부 스케일 계수의 불변성을 활용하여 싱크 노드를 식별하는 반복적 프레임워크를 도입합니다. 이 접근법은 가능도 최적화 (매개변수 오지정 회피) 가 필요하지 않도록 하며, 독립성 검정을 특징 선택 문제로 변환함으로써 표본 분할 및 고차원 독립성 검정의 함정을 피합니다.
3. 이론적 보장: 본 논문은 위상적 순서와 그래프 구조 모두에 대한 일관성 결과를 제공합니다. 희소성 가정이 성립한다면 변수의 수가 표본 크기와 함께 발산하더라도 RESQUE 가 진정한 DAG 를 일관되게 복원함을 증명합니다.

실증 결과
RESQUE 의 성능은 시뮬레이션 연구와 실제 데이터 벤치마크를 통해 평가되었습니다:

• 합성 데이터: 저차원 및 고차원 설정 (최대 $p=100$) 모두에서 RESQUE 는 거짓 발견률 (FDR) 과 참 양성률 (TPR) 측면에서 기존 방법들 (CAM, rank-PC, TL, NOTEARS) 보다 우수한 성능을 발휘했습니다. 다양한 그래프 구조 (랜덤, 트리, 스케일 프리) 와 오차 분포 (균일, 베타, 가우시안) 에서 견고함을 보여주었습니다. 특히, NOTEARS 는 낮은 FDR 을 보였으나 표준화 후 고차원 설정에서 거의 0 에 가까운 TPR 을 겪은 반면, RESQUE 는 높은 정확도를 유지했습니다.
• Sachs 의 유세포 분석 데이터셋: 11 가지 단백질로 구성된 데이터셋에 적용된 RESQUE 는 20 개의 합의 간선 중 13 개를 식별하여 비교된 방법들 중 가장 높은 TPR 과 가장 낮은 구조적 해밍 거리 (SHD) 를 달성했습니다. 분석 결과, 올바르게 식별된 간선 중 4 개는 분산 구성 요소를 통해서만 탐지되었으며, 이는 이분산성에 인코딩된 인과적 정보를 추출하는 방법의 능력을 강조합니다.
• CauseEffectPairs 컬렉션: 99 개의 단변량 쌍으로 구성된 컬렉션에서 RESQUE 는 71.1% 의 정확도를 달성하여 CAM (56.7%) 과 NOTEARS (25.8%) 와 같은 경쟁자들을 크게 앞섰습니다. 저자들은 선형 방법의 실패를 데이터에 존재하는 비선형성과 이분산성 때문이라고 귀결했습니다.

의의 및 주장
본 논문의 핵심 메시지는 두 가지라고 주장합니다: 첫째, 유계 변수는 이분산 SEM 의 식별성을 용이하게 하며, 둘째, 이분산 패턴에 내재된 구조적 인과 신호는 다변량 인과적 발견을 위해 체계적으로 활용되어야 합니다. 평균 기반 모델을 넘어선 RESQUE 는 매개변수 오지정에 강건하고 분산이 중요한 인과 방향 정보를 인코딩하는 고차원 설정에서 효과적인 인과적 발견을 위한 원칙적인 프레임워크를 제공합니다. 저자들은 이 작업을 분산이 단순히 노이즈가 아닌 인과적 신호의 원천인 복잡하고 실제 세계의 데이터 구조를 처리할 수 있는 자동화된 학습 및 추론 시스템 구축을 위한 한 걸음으로 위치시킵니다.