기술 요약: 그래프 도메인 적응을 위한 교차 해상도 시맨틱 학습 (CReSL)

문제 정의

본 논문은 레이블이 있는 소스 그래프 도메인에서 레이블이 없는 타겟 도메인으로 예측 지식을 전이하는 작업인 **그래프 도메인 적응(Graph Domain Adaptation, GDA)**을 다룹니다. 기존 방법들은 표현(representation)을 정렬하거나 그래프 구조를 정규화하는 데 집중하지만, 저자들은 결정적인 미해결 한계점인 **시맨틱 해상도 이동(Semantic Resolution Shift)**을 식별합니다.

GDA에서 "전파 해상도(propagation resolution)"란 그래프 표현에 인코딩된 이웃 범위(예: 0-hop 노드 특징, 1-hop 즉각적 이웃 등)를 의미합니다. 저자들은 클래스를 구분하는 증거가 가장 강력한 전파 해상도가 소스 도메인과 타겟 도메인 사이에서 서로 다를 수 있음을 관찰했습니다. 예를 들어, 소스 도메인의 1-hop 범위에서 학습된 특징이 타겟 도메인에서는 2-hop 범위에서 가장 유용할 수 있습니다. 기존 방법들은 일반적으로 **암묵적인 동일 해상도 전이(implicit same-resolution transfer)**를 강제하며, 이는 소스의 해상도 $r$에서 학습된 지식이 타겟의 해상도 $r$에서도 최적으로 적용될 것이라고 가정합니다. 이러한 가정은 최적의 해상도가 일치하지 않을 때 하위 최적의 성능과 부정적 전이(negative transfer)를 초래합니다.

핵-질문은 타겟 레이블 없이 **소프트한 소스-타겟 해상도 대응 관계(soft source-to-target resolution correspondence)**를 학습하는 것이며, 이를 위해 세 가지 구체적인 어려움을 해결해야 합니다:

1. 비교 가능한 해상도별 표현: 공유된 잠재 공간 내에서 해상도 정체성을 지우지 않으면서 서로 다른 해상도를 위한 별도의 증거를 보존하는 것.
2. 타겟 레이블 없는 대응 관계: 그라운드 트루스 없이 해상도 호환성을 추론하되, 조기 단계의 하드 할당(hard assignment)이 오류를 강화하는 "결합된 추정(coupled estimation)" 문제를 피하는 것.
3. 클래스 불확실성 하에서의 인스턴스 수준 전이: 글로벌 해상도 대응 관계를 개별 타겟 그래프에 적용할 때, 클래스 멤버십이 불확실한 경우 표현을 잘못된 시맨틱 영역으로 이동시키는 하드 할당을 피하는 것.

방법론: CReSL

저자들은 교차 해상도 대응 관계를 학습하고 활용하도록 설계된 프레임워크인 **교차 해상도 시맨틱 학습(Cross-Resolution Semantic Learning, CReSL)**을 제안합니다. 이 방법은 세 가지 주요 구성 요소로 이루어집니다.

1. 소스 전문가를 포함한 다중 해상도 표현 뱅크

다양한 이웃 범위를 포착하기 위해, CReSL은 공유 GNN(Graph Neural Network) 인코더와 학습 가능한 해상도 임베딩을 사용하여 표현 뱅크를 구축합니다.

• 해상도 인코딩: 그래프 $G$에 대해, 특징은 여러 개의 사전 정의된 차수 $R = \{r_0, \dots, r_J\}$ (예: 0, 1, 2, 4-hop)에서 전파됩니다.
• 공유 공간: 공유 인코더 $\Phi_\theta$는 이러한 다중 해상도 입력을 처리합니다. 해상도 정체성을 유지하기 위해, 학습 가능한 임베딩 $E_{res}$가 인코딩 전 노드 특징에 결합됩니다.
• 소스 전문가(Source Experts): 각 소스 해상도 $j$는 경량 선형 전문가 $h_j$와 연관됩니다. 글로벌 혼합 가중치 $\alpha_j$는 각 전문가의 기여도를 결정합니다. 이 설정은 모델이 소스 해상도 $j$에서 훈련된 전문가를 사용하여 타겟 해상도 $k$의 타겟 표현을 평가할 수 있게 하여, 교차 해상도 라우팅을 가능하게 합니다.

2. 교차 해상도 프로토타입 운송 (CRPT)

이 모듈은 클래스 조건부 구조를 분석하여 소스와 타겟 해상도 간의 소프트한 대응 관계를 학습합니다.

• 프로토타입 구축: 클래스-해상도 프로토타입은 소스(그라운드 트루스 레이블 사용)와 타겟(소프트 사후 확률 사용)에 대해 구축됩니다.
  • 소스 프로토타입 $\mu^s_{c,j}$: 해상도 $j$에서 클래스 $c$에 대한 소스 표현의 평균.
  • 타겟 프로토타입 $\mu^t_{c,k}$: 클래스 $c$에 대한 타겟 표현의 확률 가중 평균.
• 불일치 측정: 소스 해상도 $j$와 타겟 해상도 $k$ 사이의 호환성은 프로토타입 간의 클래스 평균 유클리드 거리($D_{j,k}$)로 측정됩니다.
• 라우팅 행렬: 소프트 라우팅 행렬 $\Gamma$는 음의 불일치 값에 대한 행 단위 소프트맥스 정규화를 통해 업데이트됩니다. 이 행렬은 소스 전문가 $h_j$가 타겟 해상도 $k$에 얼마나 많은 가중치를 두어야 하는지를 결정합니다.
• 목표: CRPT 손실은 라우팅 가중치가 적용된 프로토타입 불일치를 최소화하여, 모델이 호환 가능한 타겟 해상도로 전문가를 라우팅하도록 유도합니다.

3. 교차 해상도 타겟 그래프 이식 (CRTG)

클래스 불확실성 하에서 개별 타겟 그래프를 적응시키기 위해, CRTG는 글로벌 대응 관계를 인스스턴스별 조정으로 변환합니다.

• 프로토타입 변위(Displacement): 각 클래스 $c$와 해상도 쌍 $(j, k)$에 대해, 타겟 프로토타입에서 소스 프로토타입으로의 이동을 나타내는 변위 벡터 $\Delta^{j \leftarrow k}_c = \mu^s_{c,j} - \mu^t_{c,k}$가 계산됩니다.
• 사후 확률 가중 혼합: 타겟 그래프 $G^t_i$에 대해, 변위는 현재 예측된 사후 확률 $p^t_{i,c}$를 기반으로 클래스 조건부 변위의 가중 합으로 계산됩니다. 이는 하드 클래스 할당을 피합니다.
• 이식(Grafting): 타겟 표현은 가중된 변위를 더함으로써 소스 구조를 향해 "이식"됩니다: $\tilde{z}^{j \leftarrow k}_{G^t_i} = z^{(k)}_{G^t_i} + \beta \Delta^{j \leftarrow k}_i$.
• 일관성 목표: KL-다이버전스 손실은 이식된 표현으로부터의 예측이 라우팅 행렬 $\Gamma$에 의해 가중된 집계된 타겟 사후 확률과 일치하도록 강제합니다.

주요 기여

1. 문제 공식화: 본 논문은 GDA에서 클래스 구분 증거의 해상도 프로필 변화를 **시맨틱 해상도 이동(Semantic Resolution Shift)**으로 공식적으로 정의하고, 고정된 동일 해상도 전이의 한계를 식별했습니다.
2. CReSL 프레임워크: 저자들은 다음을 특징으로 하는 새로운 방법을 제안합니다:
   • 해상도별 전문가를 갖춘 다중 해상도 표현 뱅크.
   • CRPT: 타겟 레이블 없이 클래스-해상도 프로토타입을 사용하여 소프트한 교차 해상도 대응 관계를 학습하는 메커니즘.
   • CRTG: 클래스 불확실성 하에서 인스턴스 수준의 적응을 수행하는 사후 확률 조건부 이식 메커니즘.
3. 실증적 검증: 다양한 도메인 이동(구조 및 특징 기반) 하에서 다양한 그래프 분류 벤치마크에 대한 광범-한 실험을 통해 CReSL이 최신 성능(SOTA) 베이스라인을 능가함을 입증했습니다.

실험 결과

저자들은 노드/에지 밀도 변화 및 특징 분포 변화가 있는 Mutagenicity, PROTEINS, NCI1, ogbg-molhiv, DD, BZ2, COX2 등의 데이터셋에 대해 CReSL을 평가했습니다.

• 성능: CReSL은 대부분의 설정에서 최고의 성능을 달 기록했으며, GAA, TDSS, DEAL 및 표준 GNN(GCN, GIN)과 같은 강력한 베이스라인을 능가했습니다.
• 절제 연구(Ablation Studies): 다중 해상도 뱅크를 제거하거나(CReSL w/o MR) 학습된 라우팅을 제거하면(C-CReSL w/o CRR) 성능이 크게 저하되어, 해상도 이동을 처리하는 것의 필요성을 확인했습니다. CRPT 또는 CRTG를 제거하는 것 또한 성능 저하를 일으켜, 클래스 구조 정렬과 인스턴스 수준 표현 정교화에서의 상호 보완적 역할을 검증했습니다.
• 분석:
  • 대응 관계: 시각화 결과, 학습된 라우팅 행렬 $\Gamma$는 "오라클(oracle)" 행렬(타겟 레이블로 계산됨)과 밀접하게 일치하였으며, 예를 들어 0-hop 및 1-hop 소스 전문가가 2-hop 타겟 해상도로 라우팅되어야 함을 정확히 식별했습니다.
  • 이식: t-SNE 시각화는 CRTG가 분산된 타겟 표현을 균일한 이동 없이 컴팩트하고 소스에 정렬된 클래스 클러스터로 효과적으로 이동시켜 인스턴스별 뉘앙스를 보존함을 보여주었습니다.

의의 및 주장

본 논문은 명시적으로 전파 해상도의 불일치를 모델링함으로써 GDA 분야를 발전시킨다고 주장합니다. 단일 도메인 수준에서 표현을 정렬하거나 고정된 해상도 쌍을 가정하는 기존 방법과 달리, CReSL은 소스 지식을 가장 호환 가능한 타겟 해상도로 라우팅하는 소프트하고 데이터 기반의 대응 관계를 학습합니다.

저자들은 자신들의 접근 방식이 다음과 같음을 강조합니다:

• 하나의 해상도에서 학습된 지식을 타겟의 동일한 해상도에 적용하도록 강제함으로써 발생하는 부정적 전이를 방지합니다.
• 하드 의사 레이블(pseudo-labels)에 의존하는 대신, 대응 관계 학습과 인스턴스 수준 이식 모두에 소프트 사후 확률을 사용하여 타겟 도메인의 클래스 불확실성을 처리합니다.
• 교차 해상도 프로토타입 불일치와 이식 일관성을 최소화함으로써 타겟 리스크(target risk)에 대한 이론적 상한을 제공하며, 이것이 일반화 경계(generalization bound)를 좁힘을 보여줍니다.

결론적으로, 본 연구는 시맨틱 해상도 이동을 명시적으로 다루는 것이 효과적인 GDA를 위해 필수적임을 밝히며, 이러한 개념을 연속적인 해상도 공간으로 확장하는 미래 방향을 제시합니다.