기술 요약: 서브그래프 수준 범용 프롬프트 튜닝 (SUPT)

문제 제기

사전 훈련된 그래프 신경망 (GNN) 을 하위 작업에 적응시키는 과정은 상당한 도전에 직면해 있습니다. 전통적인 "사전 훈련-파인튜닝" 프레임워크는 종종 사전 훈련 목적 (예: 엣지 예측) 과 하위 작업 (예: 그래프 분류) 간의 불일치로 인해 재앙적 망각과 제한된 일반화를 초래합니다. 또한, 파인튜닝은 방대한 수의 매개변수를 업데이트해야 하므로 자원 집약적입니다.

프롬프트 튜닝은 자연어 처리 (NLP) 와 컴퓨터 비전 분야에서 매개변수 효율적인 대안으로 부상했으나, 그래프에 대한 적용은 아직 충분히 탐구되지 않았습니다. 기존 그래프 프롬프트 튜닝 방법인 그래프 프롬프트 특징 (GPF) 과 그 확장인 GPF-plus 는 다양한 사전 훈련 전략에 걸친 범용성을 제공하지만, 상대적으로 단순한 프롬프팅 메커니즘에 의존합니다. GPF 는 모든 노드에 균일한 프롬프트를 적용하는 반면, GPF-plus 는 노드 유형에 따라 노드별 프롬프트를 할당합니다. 저자들은 이러한 접근 방식이 그래프 구조에 내재된 복잡하고 정교한 맥락, 특히 국부적 서브그래프 내의 미묘한 관계를 완전히 파악할 역량이 부족하다고 주장합니다. 매개변수 효율성이나 범용성을 희생하지 않으면서 서브그래프 수준의 맥락을 포착할 수 있는 범용 프롬프트 튜닝 방법이 필요합니다.

방법론: 서브그래프 수준 범용 프롬프트 튜닝 (SUPT)

본 논문은 노드 수준이나 전역 수준이 아닌 서브그래프 수준에서 프롬프트 특징을 할당하는 방법인 SUPT를 소개합니다. SUPT 는 그래프의 입력 특징 공간 내에서 작동하여 고정된 사전 훈련된 GNN 에 의해 처리되기 전에 노드 특징을 수정합니다.

핵심 메커니즘

입력 노드 특징 ($x_i$) 만을 기반으로 프롬프트 가중치를 계산하는 GPF-plus 와 달리, SUPT 는 간단한 GNN(예: GCN 또는 SGC) 을 통해 도출된 노드의 맥락 정보에 기반하여 프롬프트 할당 점수를 계산합니다.

$i$번째 노드에 대한 프롬프트 특징 $p_i$는 학습 가능한 기저 벡터 ($b_j$) 의 가중 합으로 계산됩니다:
$$p_i = \sum_{j=1}^{k} \sigma(\alpha)_{i,j} b_j$$
여기서 $\alpha$는 $m$ hops 에 걸친 GNN 집계로부터 유도됩니다:
$$\alpha = (\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2})^m (X \oplus \sum_{j=1}^k b_j)W$$
여기서 $W$는 학습 가능한 가중치 행렬이고, $k$는 서브그래프 (기저 벡터) 의 수이며, $\sigma$는 비선형 연산입니다.

두 가지 변형

저자들은 $\sigma$의 정의에 따라 SUPT 의 두 가지 변형을 제안합니다:

1. SUPTsoft: 클러스터 기반 그래프 풀링 (예: DiffPool) 에서 영감을 받은 이 변형은 열 방향 소프트맥스 함수를 사용합니다. 이는 모든 노드를 $k$개의 기저에 다양한 영향력으로 할당합니다 (소프트 할당). 이는 모든 노드가 프롬프트를 받도록 보장하지만, 그 크기는 학습된 클러스터 할당에 따라 결정됩니다.
2. SUPThard: 노드 선택 기반 그래프 풀링에서 영감을 받은 이 변형은 상위 순위 선택 메커니즘을 사용합니다. 각 기저에 대해 상위 $\lceil rN \rceil$개의 노드 (여기서 $r$은 풀링 비율) 만 프롬프트를 받도록 선택됩니다. 선택되지 않은 노드는 프롬프트 추가 없이 원래 특징을 유지합니다. 이는 특정 서브그래프에 대한 프롬프트의 희소하고 하드한 할당을 생성합니다.

이론적 범용성

본 논문은 SUPT 가 범용성을 유지함을 보여주는 이론적 분석 (정리 1) 을 제공합니다. 프롬프트가 전체 그래프가 아닌 노드의 부분집합 (서브그래프 $S \subseteq V$) 에만 적용되더라도, 이 프레임워크는 이론적으로 임의의 프롬프팅 함수와 동일한 성능 상한을 달성할 수 있습니다. 이는 서브그래프 수준의 프롬프팅이 범용 적응에 필요한 표현력을 본질적으로 제한하지 않음을 확인시켜 줍니다.

주요 기여

1. 서브그래프 수준의 세분화: 주요 기여는 노드 수준 또는 전역 프롬프팅에서 서브그래프 수준 프롬프팅으로의 전환입니다. 이를 통해 모델은 균일하거나 유형별 프롬프트가 놓치는 정교한 맥락적 뉘앙스를 포착할 수 있습니다.
2. 매개변수 효율성: SUPT 는 전체 파인튜닝에 비해 학습 가능한 매개변수가 현저히 적습니다 (사전 훈련된 모델 매개변수의 0.2% 미만). GPF/GPF-plus 와 비슷하거나 약간 더 많지만, 우수한 성능을 제공합니다.
3. 범용성: 이 방법은 사전 훈련 전략 (예: Infomax, 속성 마스킹, 컨텍스트 예측, 그래프 대비 학습, 엣지 예측) 에 구애받지 않도록 설계되어 다양한 사전 훈련 목적에서 효과적으로 작동합니다.
4. 이론적 보장: 본 논문은 서브그래프 수준 프롬프팅이 이론적으로 임의의 프롬프팅 함수를 모방할 수 있음을 증명하여, 이 접근법의 다용도성을 검증합니다.

실험 결과

저자들은 9 개의 하위 데이터셋 (단백질 기능 예측 및 분자 특성 예측 포함) 과 5 가지 사전 훈련 전략을 통해 총 45 가지 실험 설정에서 SUPT 를 평가했습니다.

• 풀샷 (Full-Shot) 시나리오:
  • SUPT 는 45 개 실험 중 42 개에서 전체 파인튜닝 (FT) 을 능가했습니다.
  • FT 대비 평균 성능 향상은 2.5% 이상이었습니다.
  • 반면, GPF 와 GPF-plus 는 45 개 사례 중 27 개에서만 FT 를 능가했습니다.
• 퓨샷 (Few-Shot) 시나리오 (50-shot):
  • SUPT 는 45 개 실험 중 41 개에서 탁월한 성과를 거두었습니다.
  • FT 대비 평균 성능 증가는 6.6% 이상이었습니다.
  • 성능 향상은 퓨샷 설정에서 풀샷 설정에 비해 현저히 높았으며, 이는 레이블이 지정된 데이터가 부족한 상황에서 이 방법의 효율성을 강조합니다.
• 효율성: SUPThard 는 상위 순위 선택 연산으로 인해 계산 비용이 약간 증가하지만, 추가된 추론 시간은 무시할 수 있을 정도로 적습니다 (예: BBBP 의 경우 그래프당 약 $1.86 \times 10^{-4}$초), 따라서 실용적으로 실행 가능합니다.

중요성 및 주장

본 논문은 SUPT 가 복잡한 그래프 맥락을 포착하는 기존 방법의 한계를 해결함으로써 그래프 프롬프트 튜닝 분야에서 중요한 진전을 이루었다고 주장합니다. 서브그래프 수준의 정보를 활용함으로써 SUPT 는 효율성(최소한의 매개변수) 과 효과성(다양한 작업에서 최첨단 성능) 간의 균형을 달성합니다.

저자들은 단순한 프롬프트 (예: GPF) 는 이론적 범용성을 가지지만 복잡한 맥락을 파악하는 실제 능력은 제한적이라고 강조합니다. SUPT 는 다양한 사전 훈련 전략에 필요한 범용 적용 가능성을 희생하지 않으면서 맥락 인식형 서브그래프 할당을 도입하여 이러한 격차를 해소합니다. 이 연구는 데이터가 제한적이거나 전체 파인튜닝을 위한 계산 자원이 제약된 시나리오에서 특히, 사전 훈련된 GNN 을 적응시키기 위한 SUPT 가 실현 가능하고 효율적인 대안임을 시사합니다. 이 작업은 프롬프트 튜닝이 그래프 데이터의 구조적 복잡성에 어떻게 효과적으로 적응될 수 있는지에 대한 보다 넓은 이해에 기여합니다.