🤖 machine learning

Ordering-based Causal Discovery via Generalized Score Matching

이 논문은 새로운 리프 판별 기준(leaf discriminant criterion)을 도입하여 스코어 매칭 프레임워크를 이산 데이터로 확장함으로써, 기존 인과 발견 방법론의 성능을 유의미하게 향상시키는 정확한 인과 순서 추론을 가능하게 한다.

원저자: Vy Vo, He Zhao, Trung Le, Edwin V. Bonilla, Dinh Phung

게시일 2026-07-28

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Vy Vo, He Zhao, Trung Le, Edwin V. Bonilla, Dinh Phung

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 사건 현장에 남겨진 단서 더미만을 가진 채 미스터리를 풀려는 탐정이라고 상상해 보십시오. 당신에게는 자백도, 영상 기록도, 사건의 타임라인도 없습니다. 그저 일어난 모든 일의 스냅샷만이 있을 뿐입니다. 당신의 목표는 무엇일까요? 누가 무엇을 일으켰는지 알아내는 것입니다. 깨진 창문 때문에 알람이 울린 것일까요, 아니면 알람 때문에 창문이 깨진 것일까요? 과학의 세계에서 이것은 **인과 발견(causal discovery)**이라고 불립니다. 이는 바이러스가 어떻게 퍼지는지, 왜 주식 시장이 폭락하는지, 혹은 무엇이 식물을 자라게 하는지처럼, 서로를 연결하는 숨겨진 인과관계의 사슬을 찾아내는 기술입니다.

까다로운 점은 자연이 종종 '시간의 화살'을 숨긴다는 것입니다. 예를 들어, 7월에 아이스크림 판매량과 상어 공격 횟수가 모두 증가하는 것을 본다면, 당신은 하나가 다른 하나를 유발한다고 추측할 수 있습니다. 하지만 대개 제3의 요소(더운 날씨)가 두 현상 모두를 일으키는 것입니다. 이를 해결하기 위해 과학자들은 어떤 것이 진정으로 다른 것에 영향을 미칠 때만 나타나는 패턴을 찾기 위해 수학을 사용합니다. 오랫동안 이러한 수학적 기법들은 온도나 속도와 같이 매끄럽고 연속적인 것들에 대해서는 매우 잘 작동했습니다. 하지만 실제 세상은 "예/아니오", "빨강/파랑/초록", 또는 "질병 있음/없음"과 같은 카테고리 형태의 "이산적(discrete)"인 것들로 가득 차 있습니다. 지금까지 이들을 위한 최선의 수학 도구들은 이러한 카테고리를 다룰 줄 몰랐습니다. 그것들은 마치 둥근 너트에는 잘 맞지만 사각형 너트는 건드리지 못하는 렌치와 같았습니다.

"일반화된 스코어 매칭을 통한 순서 기반 인과 발견(Ordering-based Causal Discovery via Generalized Score Matching)"이라는 제목의 이 논문은, 사각형 너트에 완벽하게 맞는 새로운 렌치를 발명하는 것과 같습니다. 저자들(모나쉬 대학교와 CSIRO의 팀)은 **스코어 매칭(Score Matching)**이라는 강력한 수학적 방법을 가져와서 이를 이산적이고 범주적인 데이터에서도 작동하도록 가르쳤습니다. 그들의 핵심 아이디어는 인과 사슬의 맨 마지막에 위치하여 더 이상 아무것도 유발하지 않는 항목인 '리프 노드(leaf nodes, 잎 노드)'를 찾아내는 것입니다. 조부모로부터 시작해 아래로 내려가는 가계도를 상상해 보십시오. 이 논문은 데이터가 숫자 형태가 아니라 단순히 카테고리 목록일지라도, 맨 아래(증손주)에서 시작해 위로 거슬러 올라가는 방법을 보여줍니다.

그들은 컴퓨터로 생성된 퍼즐과 의료 기록 및 생태학적 모델과 같은 실제 데이터셋 모두에서 이 새로운 방법을 테스트했습니다. 결과는 이 새로운 순서 결정 방식이 사건의 순서를 정확하게 식별함으로써, 전체 인과 지도를 그리려는 기존 도구들의 정확도를 크게 높일 수 있음을 시사합니다. 이것은 모든 미스터리를 즉시 해결하는 마법 지팡이는 아니지만, 우리가 이 고급 수학 기법을 우리 일상을 구성하는 지저iously한 범주형 데이터에 적용할 수 있음을 증명하는 중요한 진전입니다.

탐정의 새로운 도구 상자

그렇다면 이것이 실제로 어떻게 작동할까요? 이야기를 통해 풀어보겠습니다.

사람들이 쪽지를 주고받는 방 안에 있다고 상상해 보십시오. 어떤 사람들은 쪽지를 쓰고 다른 이에게 전달하며, 어떤 이들은 받기만 하고 멈춥니다. 당신은 누가 누구에게 쓰고 있는지는 볼 수 없지만, 사람들이 들고 있는 최종적인 쪽지 더미는 볼 수 있습니다. 당신의 임무는 누가 사슬을 시작했고 누가 그저 끝맺음을 했는지 알아내는 것입니다.

데이터의 세계에서 '쪽지'는 변수(예: "흡연", "기침", "폐암")입니다. '사슬'은 **방향성 비순환 그래프(Directed Acyclic Graph, DAG)**입니다. '방향성'은 특정 방향(원인 $\to$ 결과)이 있음을 의미하고, '비순환'은 A가 B를 일으키고, B가 C를 일으키며, 다시 C가 A를 일으키는 루프(시간 여행의 역설!)가 발생할 수 없음을 의미합니다.

수년 동안 과학자들에게는 스코어 매칭이라는 훌륭한 도구가 있었습니다. 여기서 '스코어'를 게임의 점수가 아니라, 시스템이 특정 데이터에 대해 얼마나 '놀라는지'를 측정하는 척도로 생각하십시오. 만약 당신이 게임의 규칙을 알고 있다면, 가능한 모든 결과에 대해 '스코리'를 계산할 수 있습니다. 연속적인 데이터(온도 등)의 경우, 이 스코어는 언덕 위의 경사와 같습니다. 만약 당신이 언덕의 맨 꼭대기(리프 노드)에 있다면, 경사는 매우 특정한 방식으로 행동합니다. 이러한 경사를 관찰함으로써, 과학자들은 누가 사슬의 끝(리프)에 있는지 알아내고, 전체 순서를 밝히기 위해 그들을 하나씩 목록에서 제거할 수 있었습니다.

문제점: 이 방법은 매끄럽고 연속적인 데이터에서만 작동했습니다. 만약 데이터가 "빨강", "파랑", "초록"처럼 이산적이라면, "경사"나 "미분"의 개념이 무너집니다. 색깔의 기울기를 측정할 수는 없습니다! 그것은 마치 경사로용 자를 가지고 계단의 가파름을 측정하려는 것과 같습니다. 기존의 도구들은 이러한 '단계'를 처리할 수 없었습니다.

이 논문의 거대한 돌파구

이 논문의 저자들은 간단한 질문을 던졌습니다. 이산적 데이터를 위한 '스코어'를 재발명할 수 있을까?

그들은 "그렇다, 하지만 게임의 규칙을 바꿔야 한다"라고 말했습니다. 그들은 경사를 보는 대신, **무작위성(randomness)**을 보았습니다.

여기 비유가 있습니다. 전화기 게임(말 전달 게임)을 상상해 보십시오.

부모(Parent): 누군가 매우 명확하고 구체적인 메시지로 시작합니다 (낮은 무작위성).
자녀(Child): 그 메시지를 다음 사람에게 속삭이지만, 약간 더듬거나 다음 사람이 단어를 잘못 듣습니다 (약간의 노이즈/무작위성 추가).
손자(Grandchild): 메시지가 다시 전달되면서 더 많은 오류가 누적됩니다.

인과 사슬에서 '부모' 변수는 보통 더 질서 있고 예측 가능합니다. 부모의 결과물인 '자녀' 변수는 부모에 무작위 노이즈가 더해진 것이므로, 더 혼란스럽고 불확실해집니다. 저자들은 데이터의 무작위성(또는 "퍼짐")을 측정하면, 사슬의 맨 끝에 있는 항목(리프)이 수학적인 의미에서 가장 무작위적이거나 "퍼져" 있을 것이라는 점을 깨달았습니다.

그들은 **역수 이산 스코어(reciprocal discrete score)**라는 것을 사용하여 이를 측정하는 새로운 방법을 도입했습니다. 경사 대신, 그들은 특정 카테고리가 다른 모든 것들에 의해 주어질 확률을 살펴보았습니다. 만약 어떤 변수가 '리프'(더 이상 아무것도 유발하지 않는 변수)라면, 그 무작위성은 사슬 중간에 있는 변수들과는 다른 특별한 패턴을 따릅니다.

그들이 수행한 방법 ("리프 헌터")

이 논문은 순서를 찾기 위한 단계별 과정을 제안합니다:

스코어 추정: 그들은 고급 AI 모델(연속 시간 확산 모델)을 사용하여 데이터로부터 이러한 '스코어'를 추정합니다. 이는 로봇에게 방 안의 모든 쪽지의 확률을 이해하도록 훈련시키는 것과 같습니다.
리프 찾기: 모든 변수에 대해 '무작위성 점수'를 계산합니다. 그들의 특정 수학 규칙에 따라 무작위성이 가장 높은 변수가 리프 노드—즉, 사슬의 끝에 있는 것—로 식별됩니다.
제거 및 반복: 일단 리프를 찾으면, 그것을 목록에서 제거합니다. 이제 사슬의 새로운 '끝'이 드러납니다. 이 과정을 최초의 원인부터 마지막 결과까지 모든 사람의 순서를 정할 때까지 반복합니다.

그들이 발견한 것 (그리고 발견하지 못한 것)

저자들은 이 새로운 방법을 일련의 엄격한 테스트를 통해 검증했습니다:

시뮬레이션 데이터: 그들은 수학적 모델이 제대로 작동하는지 확인하기 위해 무작위 규칙을 가진 수천 개의 가상 세계를 만들었습니다. 최대 60개의 노드(변수)와 다양한 유형의 연결을 가진 그래프를 테스트했습니다.
실제 데이터: 의료 기록(11개의 변수를 가진 "Sachs" 데이터셋과 37개의 변수를 가진 "Alarm" 데이터셋 포함) 및 생태학적 모델을 포함한 6개의 실제 데이터셋에 대해 테스트했습니다.

결과:
거의 모든 테스트에서, 이 새로운 순서 결정 방식을 사용하는 것은 기존의 인과 발견 도구들의 성능을 상당히 향고시켰습니다. 그들이 이 순서를 표준 알고리즘(PC 또는 GES 등)에 제공했을 때, 해당 알고리즘들은 실수를 훨씬 적게 했습니다.

그들은 F1 점수(정확도 측정)와 SID(개입 시 그래프가 결과를 얼마나 잘 예측하는지에 대한 척도)와 같은 지표를 사용하여 이를 측정했습니다. 그들의 방법은 이러한 점수들을 일관되게 개선했습니다.
그들은 순서가 완벽하지 않더라도, 다른 도구들이 정답을 찾는 데 도움이 될 만큼 "충분히 좋다"는 것을 발견했습니다.

제외된 사항:
이 논문은 자신들이 하지 않은 것에 대해서도 신중하게 명시하고 있습니다.

그들은 자신들의 방법이 특정 조건, 즉 무작위성(불확실성)이 인과 사슬을 따라 내려갈수록 증가한다는 조건에 의존한다는 점을 명시했습니다. 만약 현실 세계에 자녀가 부모보다 덜 무작위적인 기이한 상황이 있다면, 이 방법은 어려움을 겪을 수 있습니다.
그들은 어떤 가정 없이도 작동하는 마법의 탄환을 만들었다고 주장하지 않았습니다. 모든 인과 발견과 마찬가지로, 이 방법도 작동을 위한 어떤 구조가 필요합니다.
그들은 수학적 방법이 연속 데이터에도 작동하지만, 기존 도구들이 실패했던 지점인 이산 데이터에 집중했음을 언급했습니다. 이 특정 구현을 통해 연속적인 경우를 해결했다고 주장하지는 않았습니다.

결론

이 논문은 하나의 다리입니다. 오랫동안 "고급 인과 수학"과 "이산적/범주적 데이터" 사이의 다리는 끊어져 있었습니다. 저자들은 그 위를 지나는 새로운 길을 건설했습니다. 그들은 '경사' 대신 무작위성을 봄으로써, 카테고리 목록처럼 보이는 데이터에서 사건의 순서를 찾을 수 있음을 보여주었습니다.

그들은 단순히 "작동할 수도 있다"라고 말한 것이 아닙니다. 숫자를 직접 돌려보고, 실제 문제에 테스트를 적용했으며, 이 방법이 인과 발견을 강력하게 가능하게 함을 입증했습니다. 이것은 과학자와 데이터 탐정들이 예/아니오 답변, 빨강/파랑의 선택, 질병 있음/없음의 상태로 가득 찬 세상에서 "누가 무엇을 일으켰는가"를 정리할 수 있도록 돕는 도구입니다. 모든 미스터리를 해결하는 완벽한 해결책은 아닐지라도, 정교한 수학적 렌즈를 우리 일상을 둘러싼 복잡한 범주형 데이터에 드디어 적용할 수 있게 해주는 강력한 새로운 도구입니다.

기술 요약: 일반화된 스코어 매칭을 통한 순서 기반 인과 발견

문제 정의

순수 관측 데이터로부터의 인과 발견은 주로 두 가지 요인으로 인해 중요한 과제로 남아 있다: 즉, 인과 모델의 식별성 문제(여러 구조가 동일한 데이터 분포를 생성할 수 있는 문제)와 DAG(Directed Acyclic Graph)의 조합적 공간을 탐색하는 계산적 난해함(NP-hard)이다. 순서 기반 접근 방식은 먼저 위상적 순서(topological order)를 식별한 다음 에지를 제거함으로써 해결책을 제시하지만, **스코어 매칭(score matching)**을 활용하는 기존 방법론들은 현재 연속형 데이터에 국한되어 있다. 연속형 데이터를 넘어 이산형(범주형) 데이터로 이러한 강력한 프레임워크를 확장하는 데에는 결정적인 격차가 존재한다. 이산형 데이터에서는 스코어 함수(로그 가능도의 그래디언트)의 개념이 명확히 정의되지 않기 때문이다.

방법론

본 논문은 이산 변수를 위한 스코어 매칭을 확장하여 인과 순서를 식별하기 위한 프레임워크를 제안한다. 방법론은 다음과 같은 핵심적인 이론적 및 알고리즘적 단계를 거친다:

1. 이산 데이터를 위한 일반화된 스코어 매칭

저자들은 Lyu [32]가 제안한 일반화된 스코어 매칭 프레임워크를 활용한다. 연속형 데이터에서 사용하는 그래디언트 연산자 대신, 이들은 **한계화 연산자(marginalization operator, $\mathcal{M}$ )**를 사용한다.

이산 변수 $X_i$ 에 대해, 스코어는 단일 조건 밀도(singleton conditional density)의 역수인 $r_i(x_{-i}) = p(X_i | x_{-i})$ 로 정의된다.
이 이산 스코어 함수는 연속 시간 이산 확산 모델(continuous-time discrete diffusion models)(구체적으로 Sun 등 [58]이 제안한 아키텍처)을 사용하여 추정된다. 이는 데이터 스코어 함수를 직접 계산해야 하는 필요성을 우회하며 일관성을 보장한다.

2. 비감소 무작위성을 통한 식별성

이산적 구조적 인과 모델(SCM)에서 리프 노드(자식이 없는 노드)를 식별하기 위해, 본 논문은 분산(variance)이 아닌 **무작위성 척도(randomness measures)**를 도입한다.

무작위성 척도 ( $\phi$ ): 저자들은 슈르-오목 함수(Schur-concave functions)(예: 샤논 엔트로피, 음의 분산)를 사용하여 무작위성의 척도를 정의한다. 어떤 분포가 다른 분포에 의해 주요화(majorized)될 때, 그 분포는 더 "무작위하다"고 간주된다.
비감소 무작위성 조건 (Condition 3): 핵심적인 이론적 가정은 진정한 인과 순서를 따라갈 때, 부모를 조건으로 한 변수의 조건부 무작위성은 각 부모를 조건으로 한 자식들의 최소 조건부 무작위성보다 작거나 같다는 것이다:
$\phi(X_i | X_{pa_i}) \leq \min_{j \in ch_i} \phi(X_j | X_{pa_j})$
이는 외생적 노이즈가 인과 사슬을 따라 내려가면서 축적된다는 직관을 반영한다 (예: 얼음 조각이 물로 녹아내리며 무질서도가 증가하는 것과 같다).

3. 이론적 보장

**정리 1(Theorem 1)**은 무작위성 척도 $\phi$ 가 비감소 무작위성 조건을 만족한다면, 노드 $X_j$ 가 리프 노드일 필요충분조건은 $X_j$ 가 자신의 역수 스코어(reciprocal score)의 기대 무작위성을 최대화하는 것임을 입증한다:
$X_j \text{는 리프 노드이다} \iff j \in \arg\max_{i \in [d]} \mathbb{E}_{X_{-i}}[\phi(r_i(x_{-i}))]$
이를 통해 순차적 리프 탐지 알고리즘(Algorithm 1)을 통해 전체 위상적 순서를 복구할 수 있다. 또한 본 논문은 가법적 노이즈(additive noise) 가정을 요구하지 않고 대칭적 디리클레 사전 분포(symmetric Dirichlet priors) 하에서 이 조건이 충족되는지에 대한 구조적 점검을 제공하는 **명제 1(Proposition 1)**을 제시한다.

4. 실용적 진단 및 후처리

비감소 무작위성 조건이 실제 데이터에서 완벽하게 성립하지 않을 수 있음을 인지하여, 저자들은 다음을 제안한다:

알고리즘 2 (Algorithm 2): 후보 순서에 의해 유도된 인입 차수(in-degree) 분포를 추정하기 위해 조건부 독립 검정(Chi-square)을 사용하는 실용적인 진단 테스트이다. 추정된 인입 차수가 알려진 희소성 경계(최대 인입 차수)를 초과하면, 해당 순서는 잠재적으로 유효하지 않은 것으로 표시된다.
후처리 전략: 순서가 추정되면, DAG 복구를 개선하기 위해 두 가지 전략을 제안한다:
1. 에지 제거 (Edge Pruning): 추론된 순서를 위반하는 에지를 제거한다 (PC와 같이 재현율은 높고 정밀도는 낮은 방법에 효과적).
2. 에지 삽입 (Edge Insertion): 스코어링 함수를 개선하는 경우 현재 노드로부터 선행 노드로 에지를 반복적으로 추가한다 (GES와 같이 정밀도는 높고 재현율은 낮은 방법에 효과적).

주요 기여

최초의 이산 스코어 매칭 방법: 본 논문은 연속형 변수에 제한되었던 기존 문헌의 격차를 메우며, 이산 데이터로부터 완전한 인과 순서를 학습할 수 있는 최초의 스코어 매칭 방법을 제시한다.
새로운 식별성 이론: 가법적 노이즈 구조를 가정하지 않고 이산 SCM에서의 위상적 순서 식별성을 규명한다. 이는 "비감소 분산" 가정을 슈르-오목 척도에 적용 가능한 "비감소 무작위성" 조건으로 대체함으로써 기존 연구를 일반화한다.
강건한 프레임워크: 고전적인 독립성 검정이나 스코어-및-탐색(score-and-search) 접근 방식을 넘어 범주형 변수로부터 학습하는 새로운 관점을 제공한다.
실험적 검증: 합성 데이터(Erdos-Rényi 및 Scale-Free)와 실제 데이터(bnlearn 저장소 출처)를 통해 이론을 검증하였다.

실험 결과

저자들은 제안된 방법(SCORE+[X], 여기서 X는 베이스라인)을 PC, GES, ORDCD, GAM과 같은 표준 베이스라인과 비교 평가하였다.

성능: 합성 및 실제 데이터셋 전반에서 제안된 방법은 베이스라인들에 비해 F1 점수와 **구조적 개입 거리(SID)**를 일관되게 개선하였다.
강건성: 비감소 무작위성 조건이 엄격하게 충족되지 않는 경우(노이즈가 있는 시뮬레이션 환경)에도, 추론된 순서는 다운스트림 인과 발견 알고리즘의 성능을 높이는 데 충분한 정보를 제공하였다.
지표: 구조적 해밍 거리(SHD)는 때때로 약간 증가하였으나(방법론이 에지를 적게 예측하기보다 더 많이 예측하는 경향 때문), SID와 F1의 개선은 높은 신뢰성과 전반적인 정확도를 나타냈다.
진단: 제안된 인입 차수 진단 테스트는 "유효하지 않은" 노드(희소성 경계를 위반하는 노드)의 비율과 위상적 발산( $D_{top}$ ) 사이에 양의 상관관계가 있음을 보여주었으며, 이는 유효성 검사로서의 유용성을 확인시켜 주었다.

의의 및 주장

본 논문은 스코어 함수가 정의되지 않아 접근이 불가능하다고 여겨졌던 이산 인과 발견 영역에 스코어 매칭을 적용하기 위한 이론적 토대를 제공한다고 주장한다.

신중한 주장: 저자들은 자신들의 식별성 결과가 비감so 무작위성 조건에 의존하며, 이는 데이터 생성 과정에 대한 사전 지식이나 가정을 필요로 한다는 점을 인정한다. 이들은 이 방법이 모든 상황에서 가정 없이 작동한다고 주장하는 것이 아니라, 이산 데이터에 대한 중요한 진전이라고 주장한다.
한계점: 저자들은 현재의 접근 방식이 리프 탐지 프로세스의 매 반복마다 확산 모델을 재학습해야 하므로 높은 계산 비용( $O(d)$ 훈련 반복)이 발생한다는 점을 언급한다. 향-후 연구에서는 단일 모델로 스코어를 근사하기 위한 적응형 마스킹 전략에 집중할 수 있다고 제안한다.
범위: 본 연구는 명시적으로 이산 변수로의 스코어 매칭 확장으로 프레임링 되어 있다. 이론적으로는 연속형 데이터에도 적용 가능하지만, 저자들은 연속형 변수의 조건부 밀도를 추정하는 통계적 병목 현상 때문에 이산 도메인에 집중하였다.

요약하자면, 본 연구는 이산 데이터를 위한 스코어 함수를 재정의하고 무작위성 척도를 활용함으로써, 노이즈가 있고 완화된 조건에서도 기존 인과 발견 알고리즘의 정확도를 크게 향상시킬 수 있는 인과 순서를 복구할 수 있음을 보여준다.