Attack by Unlearning: Unlearning-Induced Adversarial Attacks on Graph Neural Networks
이 논문은 GDPR 등 개인정보 보호 규정에 따른 그래프 신경망 (GNN) 의 데이터 삭제 요청을 악용하여, 모델이 정상적으로 작동하다가 삭제 후 성능이 급격히 저하되도록 유도하는 '학습 제거 부패 공격 (unlearning corruption attacks)'을 제안하고 그 위험성을 실증합니다.
가상 치킨집이 있다고 상상해 보세요. 이 집은 수많은 고객들의 주문 기록 (데이터) 을 바탕으로 **최고의 치킨 레시피 (AI 모델)**를 개발했습니다.
1. 배경: "잊혀질 권리" (GDPR 등) 요즘 법은 고객에게 "내 주문 기록을 지워달라"고 요청할 권리를 줍니다. 치킨집 주인은 이 요청을 거절할 수 없으므로, 해당 고객의 기록을 레시피에서 삭제해야 합니다. 보통은 처음부터 다시 레시피를 다 짜는 건 너무 귀찮으니, 기존 레시피에서 그 부분만 살짝 수정해서 (약식 삭제) 새로운 레시피를 만듭니다.
2. 공격자의 전략: "가짜 고객 사주하기" 이제 나쁜 해커가 등장합니다. 해커는 치킨집에 **가짜 고객들 (악성 노드)**을 대거 주입합니다.
1 단계 (주입): 해커는 가짜 고객들을 만들어 치킨집에 주문을 시킵니다. 이때 가짜 고객들은 정말 평범하고 좋은 고객인 척 행동합니다. 그래서 치킨집 주인은 "아, 이 고객들 덕분에 레시피가 더 좋아졌네?"라고 생각하며 정말 맛있는 치킨을 만들어냅니다. (이 단계에서는 AI 가 정상적으로 작동합니다.)
2 단계 (삭제 요청): 시간이 지나자 해커는 법을 이용해 **"우리 가짜 고객들의 기록을 모두 지워달라"**고 요청합니다. 주인은 어쩔 수 없이 그 가짜 고객들을 레시피에서 삭제합니다.
3. 결과: "레시피 붕괴" 여기서 기적이 (혹은 재앙이) 일어납니다. 해커가 만든 가짜 고객들은 레시피의 핵심 구조를 교묘하게 왜곡해 두었습니다. 그래서 그들을 지우는 순간, 치킨집의 레시피는 완전히 망가져 맛없는 치킨만 나오게 됩니다.
중요한 점: 해커는 레시피를 직접 훔치지 않았습니다. 그냥 "지워달라"고 요청했을 뿐입니다. 주인은 법을 지키기 위해 지웠을 뿐인데, 결과는 치킨집이 망하는 꼴이 된 것입니다.
🧠 이 논문이 말하는 핵심 내용
이 연구는 **그래프 신경망 (GNN)**이라는 AI 기술에서 위와 같은 공격이 가능하다는 것을 증명했습니다.
새로운 공격 표면 (Attack Surface):
기존 해킹은 AI 가 학습하는 동안 데이터를 조작하거나, 입력값을 변조하는 방식이었습니다.
하지만 이 공격은 AI 가 이미 학습을 끝낸 후, "데이터 삭제"라는 정당한 요청을 이용해 AI 를 무너뜨립니다. 방어하기가 매우 어렵습니다.
세 가지 목표 (해커의 전략):
목표 1 (지우기 전엔 조용히): 가짜 데이터를 넣었을 때는 AI 성능이 떨어지지 않아야 합니다. (주인이 이상을 느끼지 못하게)
목표 2 (지우기 후엔 폭파): 정작 그 데이터를 지우는 순간, AI 성능이 뚝 떨어지게 만들어야 합니다.
목표 3 (다른 건 건드리지 않기): 가짜 데이터가 아닌, 다른 정당한 고객의 삭제 요청이 들어오면 AI 는 정상 작동해야 합니다. (오해를 피하기 위해)
기술적 해결책:
해커는 AI 의 내부 구조를 모를 수도 있습니다 (블랙박스). 하지만 **가상 모델 (대리 모델)**을 만들어서 "어떻게 지우면 AI 가 망할까?"를 수학적으로 계산해 냅니다.
마치 미끼를 던져놓고, 그 미끼를 치우는 순간 함정이 터지도록 설계하는 것과 같습니다.
💡 왜 이것이 위험할까요?
피할 수 없는 공격: "내 정보를 지워달라"는 요청은 법적으로 거부할 수 없습니다. 치킨집 주인은 방어할 선택권이 거의 없습니다.
은밀함: AI 가 작동하는 동안에는 아무런 문제가 없습니다. 문제가 발생하는 건 삭제가 완료된 직후입니다. 이미 AI 가 서비스로 배포된 후에야 문제가 발견됩니다.
실제 적용: 소셜 네트워크, 추천 시스템, 금융 사기 탐지 시스템 등 우리 일상에 쓰이는 모든 AI 가 이 공격에 취약할 수 있음을 보여줍니다.
📝 결론
이 논문은 **"데이터 삭제 (Unlearning) 라는 좋은 의도의 기능이, 악의적으로 이용될 때 AI 를 무너뜨리는 무기가 될 수 있다"**는 경고를 보냅니다.
우리는 이제 AI 를 만들 때, 단순히 "정확한지"만 보는 게 아니라 **"누군가 내 데이터를 지워달라고 할 때 AI 가 무너지지 않도록 튼튼하게 만드는 것"**도 중요하다는 것을 깨달아야 합니다.
1. 문제 정의 (Problem Definition)
배경: 그래프 신경망 (GNN) 은 소셜 네트워크, 추천 시스템, 금융 플랫폼 등에서 널리 사용되고 있습니다. GDPR, CCPA 등 개인정보 보호 규정에 따라 특정 데이터 포인트 (예: 사용자 계정) 를 학습된 모델에서 제거하는 '그래프 언러닝 (Graph Unlearning)' 기술이 필수적이 되었습니다.
현황: 완전한 재학습 (Full Retraining) 을 피하기 위해 근사적 언러닝 (Approximate Unlearning) 기법들이 개발되었으나, 이는 필연적으로 모델 성능의 미세한 저하를 동반합니다.
핵심 문제: 본 논문은 이러한 필연적인 성능 저하가 악의적으로 증폭되어 GNN 모델을 붕괴시키는 공격으로 활용될 수 있는지를 제기합니다.
공격 시나리오 (Unlearning Corruption Attack):
공격자가 훈련 그래프에 세심하게 설계된 악성 노드들을 주입합니다.
모델 소유자가 훈련된 GNN 을 배포합니다. (이때 모델은 정상적으로 작동하여 공격이 숨겨집니다.)
공격자가 개인정보 보호법 (Right to be Forgotten) 에 따라 해당 악성 노드들의 삭제를 요청합니다.
모델이 근사적 언러닝을 수행하는 과정에서, 악성 노드의 제거가 전체 모델의 예측 성능을 급격히 저하시키도록 유도합니다.
위협 모델: 공격자는 목표 모델의 아키텍처나 파라미터를 알지 못하는 블랙박스 (Black-box) 환경이며, 언러닝 알고리즘도 알지 못합니다. 하지만 훈련 그래프에 접근하여 노드를 주입할 수 있고, 언러닝 요청을 강제할 수 있는 상황을 가정합니다.
2. 제안 방법론 (Methodology)
저자는 이 공격을 이중 최적화 (Bi-level Optimization) 문제로 공식화하고, 두 가지 주요 기술적 난제를 해결하기 위한 프레임워크를 제안합니다.
A. 공격 목표 (Adversarial Goals)
공격은 다음 세 가지 목표를 동시에 달성해야 합니다:
G1 (사후 언러닝 피해): 언러닝 수행 후, 라벨이 없는 노드들에 대한 모델 정확도가 극도로 떨어지도록 함.
G2 (사전 언러닝 유용성): 언러닝 전 (훈련 및 주입 단계) 에 모델 성능이 정상적으로 유지되도록 하여 공격을 숨김 (Stealthiness).
G3 (선한 언러닝에 대한 은폐): 악성 노드가 아닌 정상적인 노드 삭제 요청 시에는 성능 저하가 발생하지 않도록 함.
B. 기술적 해결책
블랙박스 언러닝 근사 (Approximating Black-box Unlearning):
실제 언러닝 연산자는 블랙박스이므로 미분이 불가능합니다. 이를 해결하기 위해 기울기 기반 업데이트 (Gradient-based updates) 를 사용하여 언러닝 과정을 근사화합니다.
구체적으로, 언러닝된 파라미터 θun을 초기 파라미터 θinj에서 한 단계의 경사 하강 (Gradient Descent) 또는 상승 (Ascent) 으로 추정하여, 미분 가능한 경로를 만듭니다.
대리 모델 및 가짜 라벨 (Surrogate Model & Pseudo-labels):
공격자는 테스트 노드 (라벨이 없는 노드) 의 정답 라벨을 알 수 없습니다.
이를 해결하기 위해 공격자가 훈련한 대리 모델 (Surrogate Model) 을 사용하여 테스트 노드에 대한 가짜 라벨 (Pseudo-labels) 을 생성합니다.
이 가짜 라벨을 사용하여 공격 목적 함수 (Loss Function) 를 최적화합니다.
최적화 알고리즘:
이진수 (0 또는 1) 인 엣지 변수를 직접 최적화하기 어렵기 때문에, 시그모이드 (Sigmoid) 함수를 통해 연속적인 공간으로 재파라미터화 (Re-parameterization) 합니다.
연속 공간에서 경사 하강을 수행한 후, 최종 단계에서 엣지 예산 (Budget) 제약 조건을 만족하도록 이진수로 투영 (Projection) 합니다.
3. 주요 기여 (Key Contributions)
새로운 공격 패러다임 제안: 기존 중독 (Poisoning) 이나 백도어 (Backdoor) 공격과 구별되는 '언러닝 부패 공격 (Unlearning Corruption Attack)' 개념을 정립했습니다. 이는 법적 의무인 데이터 삭제 요청을 악용한다는 점에서 독특합니다.
강력한 최적화 프레임워크: 블랙박스 언러닝과 라벨 부족 문제를 해결하는 이중 최적화 기반 공격 프레임워크를 개발했습니다.
실증적 검증: 다양한 GNN 모델 (GCN, SGC, GAT) 과 데이터셋 (Cora, Citeseer, Pubmed, Flickr), 그리고 다양한 언러닝 알고리즘 (GIF, CEU, Gradient Ascent) 에 대해 공격의 유효성을 입증했습니다.
4. 실험 결과 (Results)
엄청난 성능 저하 (G1 달성): 제안된 공격 (OptimAttack) 은 모든 데이터셋과 언러닝 알고리즘에서 기존 베이스라인 (랜덤 주입, 단순 복사 등) 보다 훨씬 큰 정확도 하락을 유발했습니다.
예: Pubmed 데이터셋에서 GIF 언러닝 시 정확도가 약 59% 감소했고, CEU 기준으로는 59.5% 감소했습니다.
반면, 기존 중독 공격이나 랜덤 주입은 언러닝 후에도 큰 영향을 미치지 못했습니다.
높은 은폐성 (G2, G3 달성):
언러닝 전 모델의 정확도는 정상적인 모델과 거의 동일하게 유지되어 공격이 탐지되지 않았습니다.
정규화된 공격 (Stealthiness Regularization) 을 적용했을 때, 악성 노드가 아닌 정상 노드를 삭제하는 경우에는 성능 저하가 발생하지 않았습니다.
전이성 (Transferability): 공격자가 GCN 기반의 대리 모델로 생성한 공격 벡터는 SGC, GAT 등 다른 아키텍처의 GNN 모델에서도 효과적으로 작동했습니다.
확장성: 대규모 그래프 (Flickr) 에서는 이웃 노드만 대상으로 하는 최적화 전략을 통해 계산 비용을 줄이면서도 유의미한 공격 효과를 입증했습니다.
5. 의의 및 시사점 (Significance)
규제와 보안의 긴장 관계: "잊혀질 권리 (Right to be Forgotten)"와 같은 법적 규제를 준수하기 위해 필수적인 언러닝 과정이 오히려 시스템의 취약점이 될 수 있음을 보여줍니다.
방어 전략의 필요성: 기존의 GNN 보안 연구는 주로 입력 데이터나 훈련 데이터의 변조에 초점을 맞췄으나, 본 논문은 데이터 삭제 요청 자체가 공격 벡터가 될 수 있음을 지적하여, 향후 언러닝 알고리즘의 견고성 (Robustness) 검증이 필수적임을 강조합니다.
실제 적용 가능성: 소셜 네트워크나 금융 시스템에서 사용자 계정 삭제 요청은 일상적인 업무이므로, 이러한 공격은 매우 현실적이고 탐지가 어렵습니다.
결론적으로, 이 논문은 그래프 기반 머신러닝 시스템이 개인정보 보호 규정을 준수하는 과정에서 겪을 수 있는 새로운 형태의 보안 위협을 최초로 체계적으로 분석하고, 이에 대한 대응 방안의 필요성을 제기했습니다.