Freeze, Prompt, and Adapt: A Framework for Source-free Unsupervised GNN Prompting

기술 요약: Freeze, Prompt, and Adapt (UGPrompt)

문제 정의: 비지도 그래프 프롬프팅 문제 (Unsupervised Graph Prompting Problem, UGPP)
본 논문은 현재의 그래프 신경망(GNN) 적응 방식에 존재하는 결정적인 격차를 식별합니다. 기존의 프롬프팅 방식은 레이블이 있는 데이터에 크게 의존하며, 종종 태스크 특화된 예측 헤드(경량 미세 조정)를 미세 조정해야 합니다. 이는 소스 데이터에 접근할 수 없는 경우(예: 개인정보 보호 문제)나 타겟 레이블을 사용할 수 없는 상황에서 매개변수 효율적인 적응이라는 목표를 저해합니다.

이를 해결하기 위해 저자들은 **비지도 그래프 프롬프팅 문제 (UGPP)**를 제안합니다. 이는 네 가지 엄격한 조건에 의해 정의되는 정교한 문제 설정입니다:

1. 동결된 소스 모델 (Frozen Source Model): 사전 학습된 GNN(인코더와 예측 헤드 모두 포함)은 완전히 동결되며, 소스 학습 모델의 매개변수는 전혀 업데이트되지 않습니다.
2. 타겟 레이블 부재 (No Target Labels): 적응은 타겟 도메인의 레이블이 있는 데이터 없이 수행됩니다.
3. 소스 접근 불가능 (Source Inaccessibility): 사전 학습에 사용된 원래의 소스 데이터셋은 사용할 수 없습니다.
4. 공변량 변화 (Covariate Shift): 타겟 데이터 분포는 소스 분포와 차이가 존재하지만($P_s^X \neq P_t^X$), 조건부 레이블 분포는 불변합니다($P_t^{Y|X} = P_s^{Y|X}$).

이 설정은 일반적으로 모델 매개변수의 미세 조정을 허용하는 '비지도 소스 프리 도메인 적응(Unsupervised Source-Free Domain Adaptation, SFDA)'과 UGPP를 구분 짓습니다. UGPP는 적응을 위한 유일한 메커니즘으로서 프롬프팅 함수의 효과 자체를 고립시켜 검증합니다.

방법론: UGPrompt
저자들은 UGPP를 해결하기 위해 설계된 최초의 완전 비지도 GNN 프롬프팅 프레임워크인 UGPrompt를 소개합니다. 이 프레임워크는 동결된 GNN을 타겟 분포에 적응시키기 위해 학습 가능한 프롬프팅 함수 $f(\cdot; \theta_f)$를 학습시킵니다. 방법론은 세 가지 핵심 구성 요소로 이루어집니다:

1. 일관성 기반 프롬프팅 (Consistency-Based Prompting):

   • 증강 (Augmentation): 각 입력 그래프 $G$에 대해, 방법론은 약한 증강 $G_w$(랜덤 피처 마스킹을 통해 생성)와 강한 증강 $G_s$를 생성합니다.
   • 프롬프팅 (Prompting): 강한 증강 $G_s$는 학습 가능한 프롬프팅 함수 $f$에 의해 처리되어 프롬프트가 적용된 그래프 $G_p$를 생성합니다. 이 함수는 프리픽스 모듈(prefix module) 접근 방식을 사용하여 노드 피처 벡터를 풍부하게 만듭니다.
   • 목적 함수 (Objective): 모델은 $G_w$와 $G_p$에 대한 GNN의 예측 점수 간의 불일치를 최소화합니다. 결정적으로, 의사 레이블(pseudo-labels)은 GNN의 신뢰도가 임계값 $\tau$를 초과하는 경우에만 $G_w$로부터 생성됩니다. 이는 최적화가 동결된 모델의 높은 신뢰도 예측에 의존하도록 보장하며, 결과적으로 소스 지식을 활용하여 타겟 도메인의 엔트로피를 줄입니다.

2. 다양성 정규화 (Diversity Regularization, $L_{div}$):

   • 모델이 사소한 해답(예: 클래스 불균형으로 인해 모든 샘플에 대해 단일 클래스를 예측하는 현상)으로 붕괴되는 것을 방지하기 위해, 프레임워크는 배치 내 기대 예측 점수의 엔트로피를 최대화합니다. 이는 타겟 데이터셋 전반에 걸쳐 다양한 예측을 장려합니다.

3. 도메인 정규화 (Domain Regularization, $L_{adv}$):

   • 프롬프팅 함수가 분포 외(OOD) 그래프를 생성하는 것을 방지하기 위해, 프롬프트가 적용되지 않은 약한 증강($G_w$)과 프롬프트가 적용된 그래프($G_p$)를 구별하도록 적대적 판별기(adversarial discriminator)를 학습시킵니다.
   • 프롬프팅 함수는 이 판별기를 속키도록 정규화되어, 프롬프트가 적용된 그래프의 잠재 표현이 비프롬프트 증강의 분포(그리고 확장하면 동결된 모델에 보존된 소스 분포)와 가깝게 유지되도록 합니다.

최종 목적 함수는 다음 항들을 결합합니다: $L = L_c + \lambda_1 L_{div} + \lambda_2 L_{adv}$.

주요 기여

• 문제 정의: 소스 학습된 GNN 매개변수의 업데이트를 금지하고 레이블 데이터가 전혀 필요하지 않도록 함으로써, 프롬프팅의 진정한 효과를 고립시키는 새로운 설정인 UGPP를 공식화했습니다.
• 새로운 방법론: 일관성 정규화, 확신 기반 의사 레이블링, 그리고 이중 정규화(다양성 및 도메인)를 활용하여 동결된 GNN을 비지도 방식으로 적응시키는 UGPrompt를 제안했습니다.
• 실증적 검증: UGPrompt가 공변량 변화 상황에서 그래프 분류 및 노드 분류 작업 모두에 대해 SOTA 지도 학습 프롬프팅 방법들보다 우수한 성능을 보임을 광범적인 실험을 통해 입증했습니다.

실험 결과
저자들은 6개의 표준 그래프 분류 데이터셋(ENZYMES, PROTEINS, DHFR, BBBP, BACE)과 노드 분류 데이터셋(Cora, CiteSeer, PubMed, Flickr, Cornell, Texas, Wisconsin)에서 UGPrompt를 평가했습니다.

• 지도 학습 베이스라인 대비 성능: 0%의 레이블 데이터를 사용했음에도 불구하고, UGPrompt는 25%의 레이블 데이터를 사용하여 학습된 SOTA 지도 학습 프롬프팅 방법들(예: GraphPrompt, GPF-Plus, All-In-One)보다 일관되게 높은 성능을 보였습니다.
• 변화에 대한 강건성: 이 방법은 많은 베이스라인들이 부정적 전이(negative transfer)를 겪는 동안에도 심각한 공변량 변화(예: 호모필리 비율 변화 및 PageRank 기반 인기도 변화) 하에서도 긍정적인 전이를 유지했습니다.
• 퓨샷(Few-Shot) 능력: 제한된 레이블 데이터(5-25%)가 도입되었을 때, UGPrompt는 성능이 더욱 향상되었으며, 이는 레이블을 사용할 수 있을 때 이를 효과적으로 활용하면서도 완전 비지도 설정에서 우위를 유지할 수 있음을 보여줍니다.
• 스트레스 테스트: 카테고리가 서로 다른 스트레스 테스트(타겟 클래스가 소스 클래스와 의미적으로 다르지만 헤드는 동결된 경우)에서, 베이스라인들은 흔히 붕괴된 반면 UGPrompt는 상당한 성능을 회복했습니다.

의의 및 주장
본 논문은 UGPrompt가 GNN을 위한 실질적인 적응 패러다임으로서 비지도 프롬프팅의 생존 가능성을 입증한다고 주장합니다. 동결된 GNN이 레이블 데이터나 소스 접근 없이도 새로운 변화된 분포에 효과적으로 적응할 수 있음을 증명함으로써, 본 연구는 모든 새로운 태스크마다 예측 헤드를 미세 조정해야 할 필요성에 도전합니다. 저자들은 이를 다양한 레이블 없는 데이터셋 전반에 걸쳐 일반화할 수 있는 "그래프 파운데이션 모델"을 향한 단계로 포지셔닝합니다.

저자들은 한계점을 겸허히 인정합니다: UGPP는 소스와 타겟 도메인이 동일한 레이블 공간을 공유한다고 가정합니다. 이 방법은 동결된 예측 헤드가 재학습 없이 새로운 레이블을 수용할 수 없기 때문에, 새로운 타겟 클래스가 존재하는 오픈 보캐블러리(open-vocabulary) 시나리오를 위해 설계되지 않았습니다. 향후 연구로는 범용 그래프 보캐블러리와 심각한 변화 상황에서의 고품질 의사 레이블 선택 문제를 다룰 것을 제안합니다.