COPYCOP: Ownership Verification for Graph Neural Networks

기술 요약: COPYCOP – 그래프 신경망의 소유권 검증

1. 문제 제기

본 논문은 "임베딩 서비스 (Embeddings-as-a-Service)"로 배포된 그래프 신경망 (GNN) 의 소유권 검증이라는 중대한 문제를 다룹니다. 이러한 설정에서 피해자 모델 $M$은 하위 작업용 노드 임베딩을 제공합니다. 적대자는 수많은 그래프에 대해 $M$을 쿼리하여 입력 - 출력 쌍을 수집하고, 이러한 임베딩을 모방하도록 대리 모델 $Z$를 훈련시킴으로써 모델 추출 공격을 수행할 수 있습니다.

핵심적인 과제는 후보 GNN $Z$가 독립적으로 훈련된 것인지, 아니면 $M$에서 파생된 대리 모델인지 구분하는 것입니다. 이는 적대자가 대리 모델의 출력 임베딩에 다양한 변환 (예: 회전, 스케일링, 순열, 또는 임베딩 차원 변경) 을 적용하고 다른 아키텍처나 가중치를 사용할 수 있기 때문에 복잡해집니다. 기존 방법들은 이러한 조건 하에서 실패합니다:

• 워터마킹: 백도어와 같은 특수 신호를 피해자 모델에 삽입하는 방법들은 취약합니다. 왜냐하면 일반 쿼리 데이터로 훈련하는 적대자는 이러한 특정 워터마크된 행동을 반드시 재현할 필요가 없기 때문입니다.
• 지문 (Fingerprinting): 기존 임베딩 기반 지문들은 종종 직접적인 유사성 비교에 의존하는데, 이는 임베딩 공간을 변경하면서도 하위 작업의 유용성을 유지하는 선형 또는 비선형 변환에 의해 쉽게 무효화됩니다.

2. 방법론: COPYCOP

COPYCOP은 피해자 모델을 수정하지 않는 지문 생성 방법을 제안합니다. 대신, 내재적이고 변환 불변적인 지문으로서 임베딩 함수의 **정상점 (stationary points)**에 의존합니다.

핵심 개념:
노드의 임베딩 $h_i(X)$는 그래프 구조와 노드 특성의 함수입니다. 정상점은 노드 특성 $x_i$를 방향 $w$로 교란시켰을 때 임베딩에 1 차 변화가 발생하지 않는 튜플 $(G, X, i, w)$로 정의됩니다 (즉, 방향 미분 $\nabla_w h_i(X) = 0$).

이론적 기반:

• 불변성: 대리 모델 $Z$가 $h'_i = \phi(h_i)$ 형태의 임베딩을 출력한다고 가정할 때, 여기서 $\phi$는 국소적으로 가역적인 변환이라면 (가정 3.4), $h_i$의 정상점은 $h'_i$의 정상점이 됩니다. 이는 $h_i$의 기울기가 0 이라면 $\phi(h_i)$의 기울기도 0 이어야 하기 때문입니다 (보조정리 3.6).
• 고유성: 저자들은 독립적으로 훈련된 모델들이 서로 다른 국소 최적점에 수렴한다고 가정하며, 이는 그들의 정상점 집합 $S(M)$과 $S(I)$가 대부분 겹치지 않음을 의미합니다 (가정 3.7).

알고리즘 (일반 사례):
정확한 정상점이 존재하지 않거나 일반 사례에서 계산 불가능할 수 있으므로 (재구성 오차 또는 미분 불가능성 때문), COPYCOP은 근사 척도 $\beta_F$를 사용합니다:

1. 샘플링: 알고리즘은 피해자 모델의 정상점 $S(M)$과 쿼리 공간에 대한 무작위 분포에서 튜플을 샘플링합니다.
2. 척도 계산: 후보 모델 $Z$에 대해, 특성 교란 시 임베딩 변화의 정규화된 크기를 나타내는 $q_Z(t)$를 계산합니다. 그런 다음 정상점 근처의 기대 $q_Z$와 무작위 점의 비율인 $\beta_Z$를 계산합니다.
3. 판단:
   • $Z$가 피해자 모델이거나 대리 모델인 경우, $M$의 정상점이 $Z$에 대해서도 "정상"으로 유지되므로 $\beta_Z$는 작습니다 (0 에 가까움).
   • $Z$가 독립 모델인 경우, $Z$가 $M$의 정상점을 공유하지 않으므로 $\beta_Z$는 훨씬 더 큽니다.
   • 알고리즘은 $\hat{\beta}_Z \leq \theta$일 때 $Z$를 대리 모델로 분류합니다 (알고리즘 2).

구현 세부 사항:

• 정상점 샘플링: 이 방법은 모델에 대한 기울기 접근이 필요 없는 최적화 솔버를 사용하여 정규화된 방향 미분을 최소화하는 특성 벡터 $X$를 찾으며, 현실적인 데이터 분포에 가깝게 유지하도록 정규화합니다.
• 강건성: 이 방법은 아키텍처에 구애받지 않으며 임베딩 차원 변경을 처리합니다. 새로운 쿼리 그래프를 동적으로 생성하여 유출된 정보가 향후 검증을 훼손하는 것을 방지합니다.

3. 주요 기여

• 새로운 지문 생성 메커니즘: COPYCOP은 광범위한 적대적 변환 (회전, 스케일링, 차원 변경) 에 강건하고 다양한 GNN 아키텍처 간에 작동하는 최초의 GNN 임베딩 지문 생성 방법입니다.
• 이론적 보장: 본 논문은 변환 함수와 정상점 분포에 대한 합리적인 가정 하에 높은 확률로 대리 모델을 독립 모델과 구별할 수 있음을 보여주는 공식적 증명 (정리 3.8 및 3.15) 을 제공합니다.
• 워터마킹 불필요: 기존 연구와 달리 COPYCOP은 피해자 모델의 훈련 과정을 수정할 필요가 없으므로 성능 저하를 피하고 특수 입력을 무시하는 추출 공격에 대한 취약성을 방지합니다.
• 무작위화된 지문: 지문은 무작위화되어 재생성 가능하므로, 유출된 쿼리가 검증 시스템을 영구적으로 훼손하지 않도록 보장합니다.

4. 실험 결과

저자들은 COPYCOP 을 14 개의 데이터셋 (분자, 인용, 소셜 네트워크 등 포함) 과 5 가지 GNN 아키텍처 (GCN, GIN, GraphSage, ARMA, MixHop) 에서 평가했습니다.

• 모델 추출 정확도: COPYCOP 은 모델 추출을 통해 훈련된 대리 모델을 탐지하는 데 완벽한 또는 거의 완벽한 곡선 아래 면적 (AUC) 점수를 달성했습니다 (예: GCN 의 경우 AUC=1.00, MixHop 의 경우 0.99). 이는 워터마킹 방법인 PreGIP(아키텍처 전반에 걸쳐 17~48% 더 우수) 과 지문 생성 방법인 GrOVe보다 훨씬 뛰어났습니다. PreGIP 의 성능은 대리 모델이 일반 데이터만으로 훈련되었을 때 때때로 무작위 추첨 수준 이하로 떨어지기도 했습니다.
• 변환에 대한 강건성: COPYCOP 은 회전, 스케일링, 고차원 투영에 대해 강건하게 유지되었습니다 (오류율 0%). 극단적인 비선형 변환 (예: 지수화) 하에서는 성능이 약간 감소했지만 PreGIP 과 GrOVe 보다 여전히 훨씬 우수했습니다. 특히 GrOVe 는 임베딩 차원이 변경될 때 완전히 실패했습니다.
• 적대적 공격:
  • 가지치기 (Pruning): COPYCOP 은 40% 가중치 가지치기까지 강건하게 유지되었습니다 (GIN 의 경우 70% 까지 안정적).
  • 파인튜닝: 소규모 레이블 데이터셋으로 대리 모델을 파인튜닝한 후에도 탐지 정확도는 안정적으로 유지되었습니다.
• 효율성: 이 방법은 거의 최대 AUC 에 도달하는 데仅需 20~40 개의 정상점만 필요합니다.

5. 의의 및 주장

본 논문은 COPYCOP 이 GNN-as-a-Service 보안의 근본적인 공백을 해결한다고 주장합니다. 정상점의 수학적 불변성을 활용함으로써, 적대자가 모델 도용을 은폐하기 위해 사용하는 "화장"적인 변경을 견디는 신뢰할 수 있는 소유권 검증 메커니즘을 제공합니다.

저자들은 그들의 접근 방식이 가정 (예: 변환의 국소 가역성만 요구) 에 있어 겸손하지만 경험적 성능은 강력하다고 강조합니다. 그들은 변환 분포에 대한 가정의 추가 검증 필요성과 매우 큰 그래프나 고차원 임베딩에 대한 정상점 찾기의 계산 비용과 같은 한계를 인정합니다. 그러나 그들은 COPYCOP 이 기존 워터마킹 및 지문 생성 기술이 실패하는 곳에서 실용적이고 강건하며 이론적으로 근거 있는 해결책을 제공한다고 주장합니다.