\emph{DRIFT}: A Benchmark for Task-Free Continual Graph Learning with Continuous Distribution Shifts

기술 요약: DRIFT: 연속적 분포 변화를 가진 작업 없는 지속적 그래프 학습을 위한 벤치마크

문제 제기
지속적 그래프 학습 (CGL) 은 모델이 역동적으로 진화하는 그래프에서 학습하면서도 파국적 망각을 완화할 수 있도록 하는 것을 목표로 합니다. 그러나 기존 CGL 연구는 주로 작업 기반 형식에 의존하는데, 이는 데이터 스트림이 알려진 경계와 급격한 분포 변화를 가진 이산적 작업으로 인위적으로 분할된다는 전제를 담고 있습니다. 저자들은 이러한 가정들이 추천 시스템, 인용 네트워크, 지식 그래프와 같은 실제 환경에서는 거의 성립하지 않는다고 주장합니다. 실제 환경에서는 데이터 분포가 연속적으로 진화하며, 작업 정체성은 관찰 불가능하고, 전이는 순간적이기보다는 점진적으로 발생합니다. 따라서 현재 CGL 방법론들이 현실적인 비정상적 스트리밍 설정으로 일반화할 수 있는지 여부는 여전히 불분명합니다.

방법론
이 간극을 해결하기 위해 저자들은 지속적 그래프 학습을 위한 작업 없는 관점을 제안하며, 통합된 형식과 새로운 벤치마크인 DRIFT를 도입합니다.

1. 통합 형식: 데이터 스트림은 이산적 작업의 시퀀스가 아닌 잠재적 작업 분포의 시간 가변 혼합으로 모델링됩니다. 임의의 시간 단계 $t$에서 분포 $D_t$는 다음과 같이 정의됩니다:
   $$D_t = \sum_{k=1}^{K} \alpha_k(t) D_k$$
   여기서 $D_k$는 잠재적 작업 분포를 나타내고 $\alpha_k(t)$는 혼합 계수입니다. $\alpha_k(t) \in \{0, 1\}$인 작업 기반 설정과 달리, 작업 없는 설정에서는 $\alpha_k(t) \in [0, 1]$이 허용되어 연속적인 중첩이 가능해집니다.

2. 가우시안 매개변수화: 현실적인 전이 역학을 시뮬레이션하기 위해 저자들은 작업 $k$의 시간적 위치인 $\mu_k$를 중심으로 한 가우시안 커널을 사용하여 혼합 계수 $\alpha_k(t)$를 매개변수화합니다:
   $$\alpha_k(t) = \frac{\exp\left(-\frac{(t-\mu_k)^2}{2\sigma^2}\right)}{\sum_j \exp\left(-\frac{(t-\mu_j)^2}{2\sigma^2}\right)}$$
   매개변수 $\sigma$는 시간적 중첩의 정도를 조절합니다. 작은 $\sigma$는 경성 작업 전환을 복원하는 반면, 큰 $\sigma$는 부드럽고 전역적으로 혼합된 분포를 유도합니다. 이를 통해 벤치마크는 단일 프레임워크 내에서 경성 전이부터 완전히 연속적인 드리프트까지의 스펙트럼을 포괄할 수 있습니다.

3. 벤치마크 구축 (DRIFT):

   • 데이터셋: 클래스 증분 분할을 사용하여 네 가지 표준 그래프 데이터셋 (CoraFull-CL, Arxiv-CL, Reddit-CL, RomanEmpire-CL) 을 잠재적 작업으로 분해합니다.
   • 샘플링: 미니배치는 혼합 계수 $\alpha_k(t)$에 따라 모든 잠재적 작업에서 인스턴스를 샘플링하여 구성되며, 이때 복원 샘플링 또는 비복원 샘플링 전략 중 하나를 사용합니다.
   • 평가: 명시적 작업 경계가 존재하지 않으므로, 벤치마크는 스트림 전반의 성능을 측정하기 위해 **정확도 곡선 아래 면적 (AAUC)**을 사용하고, 명시적 작업 분할에 의존하지 않는 수정된 평균 망각 (AFs) 지표를 사용합니다.

주요 기여

• C1: 기존 작업 기반 CGL 형식의 한계를 식별하고, CGL 은 작업 없는 스트리밍 설정 하에서 연구되어야 한다는 논거 제시.
• C2: 작업 전이를 시간 가변 혼합 분포로 모델링하는 통합 형식 도입.
• C3: 가우시안 혼합 곡선을 통해 전이 역학의 연속적 스펙트럼을 포괄하는 DRIFT 벤치마크 제안.
• C4: 작업 정체성이 제공되지 않는 현실적인 비정상적 설정 하에서 기존 지속적 학습 방법론이 현저히 저하된다는 실증적 증명.

실험 결과
저자들은 네 가지 데이터셋에서 다양한 전이 부드러움 ($\sigma$) 하에서 대표적인 CGL 방법론 (재연습 기반, 정규화 기반, 그래프 특화) 을 평가했습니다.

• 성능 저하: 명시적 작업 구조가 제거되면 기존 방법론은 상당한 성능 감소를 겪습니다. 예를 들어, Arxiv-CL 데이터셋에서 가장 좋은 작업 없는 방법론은 71.6% 의 상한선 (연합 학습) 에 비해 34.9% 의 AAUC 만 달성하여 약 37 퍼센트 포인트의 격차를 남겼습니다.
• 우위 축소: 전이가 부드러워질수록 지속적 학습 방법론이 "Bare" 기준선 (CL 전략 없이 온라인 학습) 대비 갖는 상대적 우위는 축소됩니다. Arxiv-CL 에서 기준선 대비 개선 폭은 경성 전이 하에서 +43.3% 였으나, 고중첩 가우시안 혼합 하에서는 고작 +5.5% 로 떨어졌습니다.
• 작업 의존적 가정의 실패: 작업 경계에 암묵적으로 의존하는 방법론 (예: MAS*, SSM, SEM) 은 부드러운 전이 하에서 파국적으로 실패합니다. 손실 기반 전이 감지에 의존하는 MAS*는 경성 전이 하에서는 경쟁력 있는 성능을 보이지만, 전이 신호가 신뢰할 수 없게 되는 가우시안 혼합 하에서는 기준선 수준까지 성능이 저하됩니다.
• 적응 - 망각 트레이드오프: 중첩 증가 (높은 $\sigma$) 는 암묵적 재연습 (혼합 배치) 으로 인해 온라인 적응을 향상시켜 AAUC 를 높이지만, 동시에 단일 잠재 분포에 대한 유효한 학습 신호가 약화되어 망각을 증가시킵니다 (AFs 악화).
• 강건성: 재연습 기반 방법론 (예: ER, A-GEM) 과 다양성 주도 DMSG 방법론은 더 큰 안정성을 보였으며, 특히 DMSG 는 다양한 중첩 수준에서 가장 안정적인 망각 행동을 나타냈습니다.

의의 및 주장
본 논문은 관찰된 성능 저하가 많은 기존 CGL 접근법이 비현실적인 경계 가정에 암묵적으로 의존하고 있으며, 실제 스트리밍 환경으로 잘 일반화되지 않는다는 것을 시사한다고 주장합니다. 이 연구는 작업 정체성이 관찰 불가능한 현실적인 비정상적 조건 하에서 지속적 그래프 학습을 연구하는 것의 중요성을 부각시킵니다.

저자들은 DRIFT 를 "오픈 월드 그래프 설정"을 향한 한 걸음으로 겸손하게 위치시키며, 현재 방법론들이 근본적으로 작업 분할 구조에 묶여 있다고 지적합니다. 결론적으로 향후 연구는 경계 의존적 형식을 넘어, 연속적 분포 드리프트와 중첩된 작업 구조를 명시적으로 고려하는 기법을 개발해야 한다고 강조합니다. 논문은 노드 분류로 제한됨, 정적 데이터셋에 대한 합성 스트리밍 프로토콜 사용, 드리프트 모델링을 위한 특정 가우시안 역학 사용 등의 한계를 인정하며, 더 복잡한 실제 세계 드리프트 패턴에 대한 탐구가 남아있음을 시사합니다.