Causal Structure Learning in Hawkes Processes with Complex Latent Confounder Networks

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"보이지 않는 손이 어떻게 세상을 움직이는지"**를 찾아내는 새로운 방법을 소개합니다.

자, 상상해 보세요. 복잡한 도시의 교통 상황을 보고 있다고 치죠.

A 교차로에 차가 많이 막히면,
B 교차로도 금방 막히고,
C 버스 정류장에도 사람이 몰립니다.

기존의 방법들은 "A 가 막히니까 B 가 막혔구나"라고 결론 내렸습니다. 하지만 진짜 원인은 어떨까요?
아마도 **A, B, C 모두를 동시에 막게 만드는 '보이지 않는 공사' (잠재적 요인)**가 있었을지도 모릅니다. 이 공사는 아무도 직접 보지 못했지만, 모든 곳에 영향을 미쳤죠.

이 논문은 바로 이런 **'보이지 않는 원인 (잠재적 요인)'**을 찾아내고, 실제 사건들 사이의 진짜 인과관계를 밝혀내는 혁신적인 방법을 제안합니다.

🕵️‍♂️ 핵심 비유: "소름 돋는 추리극"

이 연구는 **하크스 프로세스 (Hawkes Process)**라는 수학적 도구를 사용합니다. 쉽게 말해, "한 사건이 일어나면 그 여파로 다른 사건들이 연쇄적으로 일어나는 현상"을 분석하는 도구입니다. (예: SNS 에서 한 트윗이 퍼지면 다른 트윗들이 따라오는 현상, 혹은 지진 후 여진이 발생하는 현상 등)

1. 문제: "눈에 보이는 것만 믿으면 안 됩니다"

기존 연구들은 "우리가 관찰할 수 있는 데이터만 가지고 인과관계를 찾는다"고 가정했습니다. 하지만 현실은 그렇지 않습니다.

뇌과학 예시: 우리가 뇌의 일부 뉴런만 관찰할 수 있지만, 관찰하지 못한 다른 뉴런들이 우리가 본 뉴런들을 조종하고 있을 수 있습니다.
금융 예시: 주식 A 와 B 가 같이 떨어졌을 때, A 가 B 를 떨어뜨린 걸까요? 아니면 둘 다 우리가 모르는 제 3 의 경제 위기 (잠재적 요인) 때문에 떨어진 걸까요?

기존 방법들은 이 '제 3 의 요인'을 무시하면, A 가 B 를 조종하는 것처럼 거짓된 인과관계를 만들어냅니다.

2. 해결책: "시간을 조각내어 패턴을 읽다"

저자들은 이 문제를 해결하기 위해 두 가지 마법 같은 아이디어를 썼습니다.

아이디어 1: 시간을 잘게 쪼개기 (Discretization)
연속적으로 흐르는 시간을 아주 작은 조각 (예: 0.1 초) 으로 잘게 나눕니다. 마치 영화를 1 초 1 프레임으로 끊어서 보는 것처럼요. 이렇게 하면 복잡한 연속적인 사건들이 **"이전 프레임이 다음 프레임에 영향을 준다"**는 간단한 규칙 (선형 모델) 으로 바뀝니다.
아이디어 2: 행렬의 '랭크 (Rank)'를 이용한 탐정질
여기서 가장 중요한 비유가 나옵니다.
- 보이는 데이터들이 서로 영향을 주고받는 패턴을 수학적으로 분석했을 때, 그 패턴이 너무 단순하다면 (수학적으로 '랭크'가 낮다면), 그것은 보이지 않는 공통된 원인이 있기 때문일 가능성이 큽니다.
- 마치 세 친구 (A, B, C) 가 모두 같은 옷을 입고 있다고 가정해 보세요. 그들이 서로 옷을 입은 게 아니라, **보이지 않는 '패션 디자이너 (잠재적 요인)'**가 모두에게 같은 옷을 입혔기 때문일 수 있습니다.
- 이 논문은 이 '패션 디자이너'의 존재를 수학적으로 증명하고, 그가 누구에게 옷을 입혔는지까지 찾아냅니다.

3. 방법: "두 단계로 이루어진 탐정 게임"

이 연구는 두 단계가 반복되는 알고리즘을 개발했습니다.

1 단계 (관측된 관계 찾기): 눈에 보이는 사건들 사이의 인과관계를 먼저 파악합니다.
2 단계 (보이지 않는 요인 찾기): "어? 이 사건들이 설명이 안 되네? 아마도 우리가 못 본 '보이지 않는 요인'이 있을 거야!"라고 추측하고, 그 요인이 존재할 만한 패턴을 찾아냅니다.
- 이 과정을 반복하면, 처음엔 보이지 않던 '보이지 않는 요인'들이 서서히 모습을 드러내고, 그 요인이 다른 사건들에게 어떻게 영향을 미치는지도 밝혀집니다.

🌟 왜 이 연구가 중요한가요?

진짜 원인을 찾습니다: 단순히 "A 가 B 를 쫓는다"가 아니라, "A 와 B 를 모두 조종하는 C 가 있다"는 사실을 밝혀냅니다.
예측이 정확해집니다: 보이지 않는 요인까지 고려하면, 시스템이 어떻게 변할지 훨씬 정확하게 예측할 수 있습니다. (예: 뇌 질환 치료, 주식 시장 폭주 방지, 통신망 고장 예방 등)
실제 데이터로 검증했습니다: 이 방법은 가상의 데이터뿐만 아니라, 실제 모바일 통신망의 알람 데이터에서도 작동함을 증명했습니다. 실제로 통신사들이 모르는 '숨겨진 고장 원인'을 찾아내어, 기존 방법들보다 훨씬 정확한 인과관계를 복원했습니다.

📝 한 줄 요약

"우리가 눈으로 볼 수 없는 '보이지 않는 손'이 사건들을 어떻게 조종하는지, 시간의 조각들을 맞춰보고 패턴을 분석함으로써 찾아내는 새로운 탐정법입니다."

이 연구는 복잡한 세상에서 숨겨진 진실을 찾아내는 데 있어, 우리가 가진 데이터의 한계를 뛰어넘는 강력한 도구가 될 것입니다.

Each language version is independently generated for its own context, not a direct translation.

1. 연구 배경 및 문제 정의 (Problem)

배경: 다변량 홉스 프로세스 (Multivariate Hawkes Process, MHP) 는 사회 네트워크, 신경과학, 금융 등 다양한 분야에서 사건 간의 시간적 의존성과 상호작용을 모델링하는 강력한 도구입니다.
기존 방법의 한계: 기존 연구들은 주로 관측된 하위 프로세스 (observed subprocesses) 간의 인과 구조를 발견하는 데 집중했습니다. 이는 모든 관련 사건 시퀀스가 완전히 관측된다는 '인과적 충분성 (causal sufficiency)' 가정을 전제로 합니다.
실제 문제: 현실 세계의 시스템은 부분적으로만 관측됩니다. 예를 들어, 신경과학에서는 기록되지 않은 뉴런들이 관측된 뉴런들의 활동에 영향을 미칠 수 있습니다. 이러한 관측되지 않은 하위 프로세스 (latent subprocesses) 는 교란자 (confounder) 로 작용하여 관측된 변수들 사이에 허위 인과 관계 (spurious causal edges) 를 생성하거나 실제 구조를 왜곡시킵니다.
핵심 과제: 기존 방법들은 잠재 변수의 존재 여부나 개수를 사전에 알지 못하면 이를 식별하지 못합니다. 본 논문은 잠재 하위 프로세스의 존재, 개수, 연결 위치에 대한 사전 지식 없이 관측된 및 잠재된 하위 프로세스 간의 인과 구조를 복원하는 것을 목표로 합니다.

2. 방법론 (Methodology)

저자들은 연속 시간 홉스 프로세스를 이산 시간 선형 인과 모델로 변환하고, 이를 기반으로 한 랭크 제약 (rank constraints) 을 활용한 새로운 프레임워크를 제안합니다.

2.1. 연속 시간에서 이산 시간 모델로의 변환

이론적 기반: 시간 간격 ( $\Delta$ ) 이 0 에 수렴할 때, 다변량 홉스 프로세스는 이산 시간 선형 자기회귀 (Linear Autoregressive) 모델로 근사될 수 있음을 증명했습니다 (Theorem 4.1).
수식화: $N_i^{(n)}$ (n 번째 시간 창에서의 사건 수) 는 이전 시점의 하위 프로세스들의 가중 합과 잡음으로 표현됩니다. 이를 통해 연속 시간의 복잡한 홉스 역학을 이산 시간의 선형 구조 방정식으로 변환하여 통계적 검정을 적용할 수 있게 되었습니다.

2.2. 교차 공분산 행렬의 랭크 제약 (Rank Constraints)

핵심 아이디어: 관측된 이산 변수들의 교차 공분산 행렬 (cross-covariance matrices) 에서 나타나는 저랭크 (low-rank) 패턴을 분석합니다.
잠재 교란자 식별:
- 잠재 교란자 (Latent Confounder) 가 여러 관측된 하위 프로세스에 영향을 미칠 때, 그 영향은 시간 지연 (time lags) 을 통해 정렬되어 나타납니다.
- 이로 인해 특정 교차 공분산 행렬의 랭크가 관측된 부모 변수의 수보다 낮아지는 랭크 결핍 (rank deficiency) 현상이 발생합니다.
- 대칭 경로 조건 (Symmetric Path Situation): 잠재 교란자가 관측된 효과 변수들에 도달하는 경로가 모두 동일한 길이의 잠재 중간 변수들로만 구성되어 있고 순환이 없어야 정확한 식별이 가능합니다 (Definition 4.4).

2.3. 2 단계 반복 알고리즘 (Two-Phase Iterative Algorithm)

알고리즘은 관측된 하위 프로세스와 발견된 잠재 하위 프로세스를 반복적으로 업데이트하며 인과 그래프를 복원합니다.

Phase I: 인과 관계 식별 (Identifying Causal Relations)
- 현재 알려진 하위 프로세스 집합 내에서 각 하위 프로세스의 '부모 - 원인 집합 (parent-cause set)'을 식별합니다.
- 관측된 변수들 간의 조건부 독립성을 랭크 테스트를 통해 확인하여 (Theorem 4.3, 4.7), 인과 방향을 결정합니다.
Phase II: 새로운 잠재 하위 프로세스 발견 (Discovering New Latent Subprocesses)
- Phase I 로 해결되지 않은 하위 프로세스 쌍을 대상으로 잠재 교란자의 존재를 탐지합니다 (Theorem 4.5, 4.8).
- 관측된 효과 변수들의 랭크 패턴을 분석하여 잠재 교란자의 존재를 추론하고, 이를 새로운 '관측된 대리 변수 (observed surrogate)'로 간주하여 알고리즘에 추가합니다.
- 이 과정을 알고리즘이 수렴하거나 더 이상 업데이트가 없을 때까지 반복합니다.

3. 주요 기여 (Key Contributions)

최초의 원칙적 프레임워크: 잠재 하위 프로세스의 존재나 개수에 대한 사전 지식 없이 연속 시간 이벤트 시퀀스에서 잠재 하위 프로세스를 식별하고 인과 구조를 복원하는 최초의 체계적인 프레임워크를 제시했습니다.
식별 가능성 조건 도출: 다변량 홉스 프로세스가 이산화된 변수에 대한 선형 인과 모델로 표현될 수 있음을 보임으로써, 잠재 하위 프로세스와 인과적 영향을 식별하기 위한 필요충분조건을 유도했습니다.
새로운 알고리즘 개발: 교차 공분산 행렬의 랭크 테스트를 기반으로 한 2 단계 반복 알고리즘을 개발하여, 잠재 구성 요소에 대한 사전 정보 없이도 인과 구조를 복원할 수 있음을 증명했습니다.

4. 실험 결과 (Results)

합성 데이터 (Synthetic Data):
- 다양한 인과 그래프 구조 (완전 관측, 단순 잠재 교란, 복잡한 잠재 경로 등) 에 대해 실험을 수행했습니다.
- 기존 홉스 기반 방법 (SHP, THP, NPHC) 및 기존 잠재 변수 발견 방법 (Hier. Rank, RLCD, LPCMCI) 과 비교했습니다.
- 결과: 제안된 방법은 모든 베이스라인을 일관되게 능가하며 높은 F1 점수를 기록했습니다. 특히 잠재 변수가 존재하는 복잡한 시나리오에서 기존 방법들은 실패하거나 낮은 성능을 보인 반면, 제안된 방법은 정확한 구조를 복원했습니다.
실제 데이터 (Real-world Data):
- 공공 세포망 (cellular network) 데이터셋 (18 가지 알람 유형, 55 개 장치) 을 사용했습니다.
- 특정 장치의 알람 데이터에서 알람 ID 7 을 잠재 변수로 가정하고 제거한 후, 알고리즘이 이를 성공적으로 복원했는지 검증했습니다.
- 결과: 제안된 방법은 잠재된 알람 (ID 7) 과 그 영향력을 성공적으로 식별하여 F1 점수 0.76 을 달성했으며, 이는 기존 베이스라인 (최대 0.49) 보다 월등히 높은 성능이었습니다.

5. 의의 및 결론 (Significance)

이론적 의의: 홉스 프로세스의 연속 시간 특성을 이산 시간 선형 모델로 매핑하고, 이를 통해 잠재 교란자를 식별할 수 있는 수학적 기반을 마련했습니다. 이는 기존에 이산 시간 데이터나 i.i.d. 가정에만 국한되었던 랭크 기반 인과 발견 방법을 시간 의존적 (temporal) 인 점 과정 (point process) 으로 확장한 것입니다.
실용적 의의: 신경과학, 금융, 네트워크 모니터링 등 부분 관측이 불가피한 실제 시스템에서 더 신뢰할 수 있는 인과 구조를 발견할 수 있게 합니다. 잠재 변수를 무시할 때 발생할 수 있는 잘못된 결론을 방지하고 시스템의 역학을 정확히 이해하는 데 기여합니다.
향후 과제: 더 일반적인 형태의 흥분 함수 (excitation function) 로의 확장 및 알고리즘의 계산 복잡도 개선이 향후 연구 과제로 제시되었습니다.

요약하자면, 이 논문은 부분 관측된 다변량 홉스 프로세스에서 잠재 교란자를 자동으로 발견하고 인과 구조를 복원하는 강력한 이론적 프레임워크와 알고리즘을 제시하여, 기존 방법론의 한계를 극복하고 실용적인 성능을 입증했습니다.