🤖 machine learning

Invariant Graph Representations for Continuous-Time Dynamic Graphs Under Distribution Shifts

이 논문은 새로운 구조적 인과 모델(ICCM)과 정규화된 가중 기하 평균 근사를 활용하여 연속 시간 동적 그래프를 위한 불변 그래프 표현을 효율적으로 학습함으로써, 기존 방법들이 실패하는 분포 외 변화(out-of-distribution shifts) 상황에서도 견고한 성능을 달성하는 프레임워크인 CIR을 제안한다.

원저자: Lanting Fang, Yulian Yang, Yawei Zhang, Shanshan Feng, Kaiyu Feng, Hanning Yuan

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lanting Fang, Yulian Yang, Yawei Zhang, Shanshan Feng, Kaiyu Feng, Hanning Yuan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: 속지 않고 미래를 예측하기

당신이 앨리스와 밥이라는 두 사람이 친구가 될지 예측하려고 한다고 상상해 보세요. 당신은 그들의 이력을 살펴봅니다. 누구와 대화했는지, 언제 대화했는지, 그리고 그 자리에 또 누가 있었는지 말이죠.

이런 일을 수행하는 대부분의 컴퓨터 프로그램(AI)은 자신이 학습한 데이터의 패턴을 찾아내는 데 매우 능숙합니다. 하지만 이들은 변화를 다루는 데는 매우 서툽니다. 만약 게임의 규칙이 미세하게 바뀐다면(이를 "분포 변화(distribution shift)"라고 합니다), 이 프로그램들은 혼란에 빠져 잘못된 추측을 하기 쉽습니다.

이 논문은 CIR(Continuous-time Invariant Representation, 연속 시간 불변 표현)이라는 새로운 시스템을 소개합니다. 이 시스템의 목표는 AI가 사건이 발생하는 진짜 이유를 찾도록 가르쳐서, 세상이 변하더라도 올바른 예측을 할 수 있도록 만드는 것입니다.

문제점: "가짜 단서"의 함정

이것이 왜 어려운지 이해하기 위해, 논문에 나온 구체적인 예시(그림 1)를 살펴보겠습니다.

시나리오:
당신은 앨리스와 밥이 연결될지 예측하고 싶습니다.

진짜 이유 (불변의 진실): 앨리스와 밥은 공통의 친구인 찰리를 알고 있기 때문에 친구가 됩니다. 이것은 "삼항 폐쇄(triadic closure)"(A가 B를 알고, B가 C를 알면, A와 C가 만나게 됨)입니다. 이는 인간 행동의 견고하고 변하지 않는 규칙입니다.
가짜 단서 (가짜 상관관계): 당신의 학습 데이터에서는 앨리스와 밥이 친구가 될 때마다, 우연히 낯선 사람인 데이브가 앨리스에게 손을 흔들며 나타났습니다.

실수:
표준 AI는 데이터를 보고 이렇게 말합니다. "아하! 데이브가 손을 흔들 때마다 앨리스와 밥은 친구가 되는구나. 나는 데이브에게 걸겠어!"

학습 세계에서는: AI가 100% 확률로 맞습니다.
실제 세계 (OOD - 분포 외 데이터): 데이브가 전혀 손을 흔들지 않는 새로운 집단의 사람들을 대상으로 AI를 테스트하면, AI는 완전히 실패합니다. 왜냐하면 진짜 이유(찰리)를 무시하고 "데이브"라는 규칙만을 배웠기 때문입니다.

논문에서는 이를 **가짜 상관관계(spurious correlation)**라고 부릅니다. AI가 실제 원인을 배우는 대신 지름길을 암기해 버린 것입니다.

해결책: CIR와 "시간 여행 탐정"

저자들은 CIR이라는 시스템을 제안합니다. 이 시스템은 "시간 여행 탐정"이 되도록 설계되었습니다. 단순히 무엇이 일어났는지만 보는 것이 아니라, "이런 우연한 일들과 상관없이, 무엇이 이것을 일으켰는가?"라고 묻습니다.

CIR이 어떻게 작동하는지 세 단계로 나누어 설명하겠습니다.

1. 두 개의 탐정 팀 (구조적 팀 & 시간적 팀)

논문은 끊임없이 변화하는 세상(연속 시간 동적 그래프)에서는 두 가지를 분리해서 보아야 한다고 주장합니다.

구조 팀: 누가 누구와 연결되어 있는가? (예: 앨리스, 밥, 찰리의 삼각형 관계)
시간 팀: 사건이 언제 일어났는가? (예: 큰 이벤트 직후에 대화가 이루어졌는가?)

CIR은 이 두 가지 유형의 단서를 추출하기 위해 특별한 도구를 사용합니다. 이를 통해 "진짜 원인"과 "배경 소음"을 분리합니다.

2. "만약 ~라면?" 기계 (개입)

이 부분이 가장 똑똑한 부분입니다. 논문은 인과 과학의 개념인 **개입(Intervention)**을 사용합니다.

범죄 현장의 사진이 있다고 상상해 보세요. 일반적인 AI는 사진을 보고 추측합니다.
CIR은 묻습니다. "만약 우리가 마법처럼 사진에서 '데이브의 손짓'을 지운다면, 앨리스와 밥은 여전히 친구가 될까?"

만약 답이 "예"라면, 그 손짓은 원인이 아니었습니다. 만약 답이 "아니오"라면, 그 손짓이 원인이었습니다.

이 접근 방식의 문제점:
매초 수백만 개의 연결이 발생하는 실제 환경의 그래프에서는, 모든 "데이브"를 물리적으로 지워보고 결과를 확인할 수 없습니다. 그것은 시간이 너무 오래 걸립니다(계산적으로 불가능합니다).

비결 (NWGM):
저자들은 **정규화된 가중 기하 평균(NWGM)**이라는 수학적 지름길을 사용합니다.

비유: 도시의 모든 사람을 일일이 인터뷰하여 새로운 법에 어떻게 반응할지 확인하는 대신, 몇몇 대표 그룹을 인터뷰하고 스마트한 공식을 사용하여 도시 전체의 평균적인 반응을 추측하는 것과 같습니다.
이를 통해 CIR은 모든 가능성을 일일이 확인하는 불가능한 수학적 계산 없이도, "만약 ~라면?"이라는 시나리오를 즉각적으로 시뮬레이션할 수 있습니다.

3. "기억 저장소" (환경 메모리)

세상은 변합니다. 때로는 "가짜 단서"가 어떤 모습으로 나타나기도 하고, 때로는 다른 모습으로 나타나기도 합니다.

CIR은 **기억 저장소(Memory Bank)**를 유지합니다. 이것은 AI가 과거에 보았던 다양한 유형의 "가짜 단서"(예: "데이브의 손짓", "비 오는 날", "공휴일")를 기록해 두는 노트와 같습니다.
AI는 새로운 상황을 마주했을 때, 자신의 노트를 확인하여 자신이 익숙한 유형의 "가짜 단서"를 다루고 있는지 확인합니다. 그런 다음 그 특정 소음을 무시하도록 예측을 조정합니다.

왜 기존 방식보다 더 나은가요?

논문은 네 가지 실제 데이터셋(위키피디아 편집, 레딧 게시물, 대학 강의 상호작용 등)을 통해 CIR을 다른 최고 수준의 AI 모델들과 비교 테스트했습니다.

기존 모델들: 테스트 데이터에서 "가짜 단서(지름길)"가 제거되거나 변경되었을 때, 기존 모델들은 무너졌습니다. 정확도가 엄청나게 떨어졌습니다(때로는 성능의 30~50%를 잃기도 했습니다). 이들은 학습 데이터의 특정 패턴에 너무 의존하고 있었습니다.
CIR: 규칙이 바뀌어도 CIR은 여 성능을 잘 유지했습니다. CIR은 "데이브의 손짓"을 성공적으로 무시하고 "찰리의 연결"에 집중했습니다.

한 문장 요약

CIR은 컴퓨터가 우연한 패턴을 무시하고 사건의 진정한 불변 원인에만 집중하도록 가르치는 새로운 AI 프레임워크로, 세상이 예상치 못한 방식으로 변하더라도 정확한 예측을 할 수 있게 해줍니다.

이 논문이 주장하지 않는 것

이 기술이 의료 진단이나 임상 용도로 사용된다고 주장하지 않습니다.
이 기술이 정적 그래프(시간에 따라 변하지 않는 그래프)에서 기존 방법보다 더 뛰어나다고 주장하지 않습니다. 이 기술은 특히 시간에 따라 연속적으로 변하는 그래프를 위해 만들어졌습니다.
이 기술이 모든 AI 문제를 해결한다고 주장하지 않으며, 오직 동적 그래프에서 링크를 예측할 때 발생하는 분포 변화 문제를 해결하는 데 집중합니다.

기술 요약: 연속 시간 동적 그래프의 불변 표현을 위한 CIR

문제 정의
연속 시간 동적 그래프(Continuous-Time Dynamic Graphs, CTDGs)는 노드와 엣지가 임의의 시점에 추가되거나 제거되는 진화하는 관계 시스템을 모델링하며, 미세한 구조적 및 시간적 변화를 포착합니다. CTDG를 위한 기존의 표현 학습 방법들은 분포 내(in-distribution) 설정에서는 성공을 거두었으나, 분포 외(out-of-distribution, OOD) 변화 하에서는 제한적인 강건성을 보입니다. 구체적으로, 표준 모델들은 타겟 상호작용과 인과적으로 연결되어 있지 않지만 훈련 데이터에 빈번하게 등장하는 특정 시간적 패턴이나 구조적 모티프와 같은 가짜 상관관계(spurious correlations)를 이용하는 경향이 있습니다. 이러한 상관관계가 테스트 환경(예: 근본적인 데이터 생성 프로세스의 변화)에서 변할 때, 모델의 성능은 크게 저하됩니다.

본 연구에서 다루는 핵심 과제는 OOD 변화가 발생하는 CTDG를 위한 불변 표현(invariant representations) 학습 능력을 갖춘 방법론의 부족입니다. 구조적 인과 모델(SCM)과 개입(intervention)에 의존하는 기존의 인과적 접근 방식들은 주로 정적 또는 이산 시간 그래프를 위해 설계되었습니다. 이를 CTDG에 적용하는 것은 가능한 구조적 및 시간적 서브그래프의 조합 폭발로 인해 계산적으로 매우 불가능에 가깝습니다. 즉, 철저한 개입을 수행하는 것이 비현실적입니다.

방법론: CIR 프레임워크
이러한 과제를 해결하기 위해, 저자들은 ICCM(Independent and Confounded Causal Model)이라 명명된 새로운 구조적 인과 모델에 기반한 CIR(Continuous-time Invariant Representation) 프레임워크를 제안합니다.

ICCM 프레임워크:
ICCM은 다음과 같이 구분함으로써 CTDG의 인과 메커니즘을 명시적으로 모델링합니다.

불변 인과 서브그래프(Invariant Causal Subgraphs): 구조적( $C_s$ ) 및 시간적( $C_t$ ) 요소를 나타내며, 각각 잠재 표현 $H_S$ 와 $H_T$ 로 인코딩됩니다.
교란 요인(Confounders): 특히 OOD 환경에서 가짜 상관관계를 유발하는 구조적( $D_s$ ) 및 시간적( $D_t$ ) 교란 요인입니다.
예측 메커니즘: 모델은 오직 불변 특징에만 기반한 분포 내 예측 $Y^I$ 와, 교란 요인을 고려한 OOD 예측 $Y^C$ 를 정의합니다. 목표는 Pearl의 $do$-연산을 사용하여 교란 요인에 의해 유도된 백도어 경로(backdoor paths)를 차단함으로써, 불변 인과 효과를 격리하는 것입니다.

NWGM을 통한 효율적인 개입:
모든 가능한 구조적 및 시간적 서브그래프에 직접 개입하는 것은 계산적으로 불가능합니다. 이를 극복하기 위해, CIR은 NWGM(Normalized Weighted Geometric Mean) 근사를 활용합니다. 이 기술은 기대값 연산자를 비선형성(예: sigmoid) 내부로 이동시킴으로써, 서브그래프 구성의 전수 조사를 피하고 기대되는 개입 결과를 효율적으로 근사할 수 있게 합니다.
신경망 아키텍처:
ICCM은 다음과 같은 딥러닝 아키텍처 내에서 구현됩니다.

이중 서브그래프 추출기(Dual Subgraph Extractors): 인과적 구조 및 시간적 패턴을 추출하는 전용 모듈입니다.
- 시간적 추출(Temporal Extraction): 연속 시간 인코딩(코사인 기반)과 교차 노드 어텐션을 사용하여, 타겟 링크를 인과적으로 뒷받침하는 시간적으로 유의미한 엣지를 식별하고, 이를 비인과적 시간 노이즈로부터 분리합니다.
- 구조적 추출(Structural Extraction): 시간 윈도우 내의 $n$ -홉 이웃을 기반으로 노드 특징을 인코딩하며, 어텐션 메커니즘을 사용하여 가짜 상관관계를 유발하는 배경 노드들을 필터링합니다.
환경 메모리 뱅크(Environment Memory Bank): 잠재적 교란 요인( $D_s, D_t$ )을 직접 관찰하지 않고도 그 분포를 근사하기 위해, 모델은 프로토타입 벡터의 메모리 뱅크를 유지합니다. 이 프로토타입들은 비인과적 서브그래프와 관찰되지 않은 요인들의 클러스터를 나타냅니다. 뱅크는 프로토타입이 뚜렷한 교란 모드를 포착할 수 있도록 자기 지도 정렬(self-supervised alignment) 및 다양성 손실(diversity losses)을 통해 업데이트됩니다.
융합 및 예측: 멀티 헤드 어텐션 모듈은 메모리 뱅크 항목들을 집계하여 교란 요인의 기대 기여도를 추정합니다. 이 추정치는 불변 표현( $H_S, H_T$ )과 융합되어 최종 OOD 예측을 생성합니다. 모델은 분포 내 목적 함수와 개입(interventional) 목적 함수를 동시에 최적화하도록 학습됩니다.

주요 기여

CTDG에서의 OOD에 대한 첫 조사: 본 논문은 CTDG의 연속적이고 비정상적인(non-stationary) 특성 때문에 기존 인과 방법론들이 실패하는 지점을 다루며, CTDG를 위한 불변 표현 학습을 조사한 최초의 연구임을 주장합니다.
ICCM 및 NWGM 근사: 저자들은 CTDG의 불변 인과 서브그래프를 규명하기 위해 ICCM을 도입하고, NWGM을 사용하여 효율적인 개입 전략을 개발했습니다. 이는 동적 환경과 관련된 조합 폭발 문제를 회피합니다.
CIR 프레임워크: ICCM을 구현하기 위해 실질적인 딥러닝 아키텍처를 설계하였으며, 이를 통해 메모리 뱅크 메커니즘을 통한 불변 구조/시간 표현과 환경 특화 특징의 공동 학습을 가능하게 했습니다.

실험 결과
네 가지 벤치마크 데이터셋(MOOC, REDDIT, WIKI, UCI)에 대해 구조적 섭동(perturbations)을 통해 유도된 시뮬레이션된 분포 변화를 적용하여 광범적인 실험을 수행했습니다.

성능: CIR은 CTDG 전용 모델(TGN, TGAT, GraphMixer) 및 강건한 DTDG 모델(DIDA, EAGLE, Ada-DyGNN)을 포함한 최신 기술(SOTA) 베이스라인들을 일관되게 능가합니다.
강건성: 증가하는 분포 변화 수준(shortcut ratio 0.2에서 0.6까지) 하에서, 기존 모델들은 상당한 성능 저하를 보입니다(예: MOOC 데이터셋에서 GraphMixer의 AUC가 50% 이상 급락). 반면, CIR은 높은 AUC와 AP 점수를 유지하며 낮은 분산을 보여주어 우수한 일반화 능력을 입증했습니다.
효율성: CIR은 높은 추론 효율성(REDDIT 기준 엣지당 약 $5.4 \times 10^{-4}$ 초)을 달-성하며, 이는 복잡한 베이스라인인 TGAT 및 TGN과 대등하거나 더 우수하며, 매 스냅샷마다 개입 세트를 구축해야 하는 DIDA보다 훨씬 빠릅니다.
절제 연구(Ablation): 주요 구성 요소(구조적/시간적 인코더, OOD 예측 브랜치 $Y^C$ , 또는 메모리 뱅크)를 제거하면 성능이 크게 하락하여, 전체 아키텍처의 필요성을 입증했습니다.

의의
본 논문은 CIR을 연속 시간 동적 시스템을 위한 강건하고 자기 해석 가능한(self-interpretable) 그래프 신경망을 개발하기 위한 중요한 단계로 자리매김합니다. 단순히 시간적 역학을 모델링하는 것에서 나아가 분포 변화 하에서의 불변 인과 구조를 식별하는 데 초점을 맞춤으로써, 본 연구는 데이터 분포가 비정상적인 시나리오에 대한 이론적 및 실무적 솔루션을 제공합니다. 저자들은 CIR이 가짜 상관관계를 효과적으로 완화하여, 예측이 일시적인 환경적 산물이 아닌 안정적인 인과 메커니즘에 의존하도록 함으로써 실제 응용 분야에서 동적 그래프 모델의 신뢰성을 높인다고 주장합니다.