기술 요약: DynaSTy

문제 정의

본 논문은 동적 그래프에서의 다단계, 다차원 노드 속성 예측 문제를 다룹니다. 모든 시간 단계와 학습 샘플에 걸쳐 공유되는 정적 인접 행렬을 가정하는 기존 시공간 그래프 신경망 (STGNN) 과 달리, DynaSTy 는 그래프 구조 (간선) 가 시간에 따라 진화하고 개별 입력 샘플마다 달라지는 설정을 대상으로 합니다.

문제는 다음과 같이 정의됩니다: 동적 그래프 $G_t = (V, E_t)$를 나타내는 노드 특성 행렬 시퀀스 $\{X_1, \dots, X_L\}$와 이에 대응하는 인접 행렬 시퀀스 $\{A_1, \dots, A_L\}$가 주어졌을 때, 미래 노드 특성 $\{X_{L+1}, \dots, X_{L+H}\}$를 예측하는 것이 목표입니다. 이 프레임워크는 고정된 노드 집합 $V$(공유된 노드 온톨로지) 를 가정하지만, 간선 집합 $E_t$는 각 시간 단계에서 동적으로 변경되고 학습 샘플 간에 다를 수 있다고 가정합니다 (예: 뇌 네트워크 연구의 다른 피험자 또는 교통 네트워크의 다른 날짜).

방법론

DynaSTy 는 공간 인코더와 시간 디코더로 구성된 엔드 - 투 - 엔드 동적 간선 편향 시공간 모델입니다.

1. 아키텍처 개요

• 입력 표현: 각 학습 샘플은 노드 속성 히스토리 텐서 $X_{hist} \in \mathbb{R}^{N \times D \times L}$와 동적 그래프 시퀀스 $A_{hist} \in \mathbb{R}^{N \times N \times L}$로 구성됩니다.
• 공간 인코더 (간선 편향 어텐션):
  • 인코더는 트랜스포머 레이어의 스택을 사용합니다.
  • 핵심 메커니즘: 정적 그래프를 학습하거나 고정된 인접 행렬을 사용하는 대신, 모델은 각 시간 단계에서 관측된 인접 행렬 $A_t$를 학습 가능한 가산 편향으로 어텐션 점수에 주입합니다.
  • 시간 $t$에서 노드 $i$와 $j$ 간의 어텐션 점수는 다음과 같이 계산됩니다:
    $$\text{score}_{ijt} = \frac{Q_{it}^\top K_{jt}}{\sqrt{d}} + \text{Bias}_{ijt}(A_t)$$
  • 편향 항은 인접 행렬 항목 $A_t[i, j]$에 대한 작은 다층 퍼셉트론 (MLP) 을 통해 계산됩니다. 이를 통해 모델은 자기 어텐션의 유연성을 유지하면서 현재 토폴로지에 맞춰 공간적 어텐션을 적응시킬 수 있습니다. 콘텐츠 기반 항 ($Q^\top K$) 은 특성 유사성이 다른 관계를 시사할 경우 그래프 편향을 무시할 수 있습니다.
  • 인코더는 치환 불변성을 가지며, 해당 샘플의 특정 $A_t$ 시퀀스를 단순히 제공함으로써 샘플별 그래프를 지원합니다.
• 시간 디코더:
  • 인코딩된 특징은 예측 구간 $H$에 대해 자기회귀적으로 작동하는 GRU 기반 디코더로 전달됩니다.
  • 스케줄링 샘플링: 추론 시 정답이 존재하지 않아 발생하는 훈련 - 테스트 불일치를 완화하기 위해 디코더는 스케줄링 샘플링을 사용합니다. 훈련 중에는 다음 단계의 입력을 정답과 모델의 이전 예측 사이에서 확률적으로 선택하며, 모델 예측을 사용할 확률은 에포크가 지남에 따라 증가합니다.
  • 구간 가중 손실: 모델은 Mean Absolute Error(MAE) 와 지수적으로 감소하는 가중치를 결합한 손실 함수를 사용하여 단기 정확도를 강조합니다.
  • 변화 손실: 2 차 손실 항은 예측과 정답 간의 시간 미분 (프레임 간 변화) 차이를 패널티로 부과하여 과도하게 평활화된 예측을 방지합니다.

2. 훈련 개선

• 마스킹 노드/시간 사전 학습: 마스킹 언어 모델링에서 영감을 받아, 모델은 해당 인접 시퀀스 $A_{hist}$를 사용하여 입력 특성 텐서 $X_{hist}$의 무작위로 마스킹된 항목을 재구성하도록 사전 학습됩니다. 이 자기지도 학습 목적은 특히 노이즈가 있거나 불규칙한 구조에 대한 표현 학습을 향상시킵니다.
• 커리큘럼 학습: 지도 학습의 초기 단계에서 예측 구간이 점진적으로 증가합니다.

주요 기여

1. 샘플별 동적 그래프 예측: 본 논문은 각 학습 예제가 자체 진화하는 토폴로지를 제공하는 다단계 노드 속성 예측 작업을 정의하고 해결하여, 단일 정적 전역 그래프에 대한 가정을 넘어섭니다.
2. 이식 가능한 공간 인코더: 제공된 인접 행렬을 가산 편향으로 주입하는 간선 편향 어텐션 메커니즘을 도입했습니다. 이는 그래프 구조를 처음부터 학습할 필요 없이 간선 동역학을 통합하면서도 치환 불변성을 유지합니다.
3. 강건한 장기 예측: 스케줄링 샘플링, 구간 가중 손실, 변화 손실의 결합은 다단계 예측에서의 오류 누적 문제를 해결합니다.
4. 실증적 검증: 이 방법은 이질적인 데이터셋 (비트코인 신뢰 네트워크, LA 교통, fMRI 뇌 네트워크) 에서 검증되었으며, 강력한 베이스라인 대비 일관된 개선을 입증했습니다.

실험 결과

저자들은 DynaSTy 를 여러 데이터셋에서 평가했습니다:

• Bitcoin-OTC 및 Bitcoin-Alpha: 간선이 시간 진화 평가를 나타내는 동적 신뢰 네트워크.
• METR-LA 및 PEMS-BAY: 교통 센서 네트워크 (여기서는 강건성을 테스트하기 위해 준-합성 동적 그래프로 사용됨).
• 뇌 네트워크 (ABIDE): 피험자마다 연결 프로파일이 다른 fMRI 데이터.

성능:

• DynaSTy 는 모든 데이터셋에서 제곱근 평균 오차 (RMSE) 및 평균 절대 오차 (MAE) 측면에서 강력한 베이스라인 (STGCN, DCRNN, Graph WaveNet, MTGNN, DGCRN, PDFormer 포함) 을 일관되게 능가했습니다.
• Ablation 연구:
  • 간선 편향 메커니즘을 제거하면 실제 동적 그래프를 가진 데이터셋 (비트코인 및 뇌) 에서 성능이 크게 저하되어, 시간 단계별 인접 행렬에 조건부 학습의 필요성을 확인했습니다.
  • 마스킹 사전 학습 또는 변화 손실을 제거하면 중등도의 저하가 발생하여, 이들이 효과적인 정규화제 역할을 함을 나타냈습니다.
  • 셔플 실험: 입력 동적 그래프를 셔플하여 (노드 동역학과 특정 그래프 구조를 분리) 비트코인 및 뇌 데이터셋의 성능이 크게 저하된 반면, 공유 정적 그래프를 사용하는 교통 데이터셋에서는 그러한 저하가 발생하지 않았습니다. 이는 모델이 샘플별 그래프 구조에 의존함을 입증했습니다.
• 코호트 분석: 신경정형 및 신경다양성 코호트를 포함하는 뇌 네트워크 실험에서, DynaSTy(피험자별 그래프에 조건부) 는 공동 훈련 시 높은 정확도를 유지한 반면, 단일 공유 인접 행렬을 학습하는 베이스라인 (Graph WaveNet) 은 공동 훈련 시 성능이 크게 저하되어 코호트별 연결 패턴을 포착하지 못했습니다.

중요성 및 주장

본 논문은 그래프 구조가 시간뿐만 아니라 샘플별로도 특정되는 다중 시스템 설정에서의 노드 속성 예측을 가능하게 함으로써 문헌의 중요한 공백을 메운다고 주장합니다. 기존 연구는 동적 그래프에서의 링크 예측이나 노드 분류에 초점을 두거나, 속성 예측을 위해 정적 그래프를 가정하는 반면, DynaSTy 는 명시적으로 샘플별 동적 그래프 영역을 대상으로 합니다.

저자들은 그들의 접근 방식이 fMRI 기반 뇌 영역 신호 예측과 같은 더 넓은 영역으로 STGNN 을 일반화한다고 주장합니다. 여기서 개별 피험자는 동일한 해부학적 영역 (노드) 을 공유하지만 고유하고 진화하는 연결 프로파일 (간선) 을 보입니다. 결과는 이질적인 인구 집단에서 특히 정확도를 위해 각 샘플의 특정 동적 그래프 구조를 모델링하는 것이 중요하며, 제안된 간선 편향 어텐션 메커니즘이 자기 어텐션의 유연성을 희생하지 않으면서 이러한 구조적 정보를 효과적으로 통합함을 시사합니다.