Defending against Model Extraction for GNNs with Model Reprogramming

인터넷이 거대한 도서관이라고 상상해 보세요. 이곳에서 가장 가치 있는 책은 단순한 이야기가 아니라 문제를 해결하는 비밀 레시피입니다. 이 레시피들은 "모델"이라 불립니다. 인공지능의 세계에서 이 모델들은 종로히 '그래프 신경망(Graph Neural Networks, GNN)'이라는 특별한 수학 기계에 의해 만들어집니다. GNN을 사회적 네트워크의 친구 관계나 분자의 원자 구조처럼 연결된 웹(web)을 관찰하여 무언가가 무엇인지 알아내는 아주 똑똑한 탐정이라고 생각하면 됩니다. 이 탐정들은 매우 유능하기 때문에, 기업들은 누구나 질문을 던지고 답을 얻을 수 있도록 이들을 클라우드 서비스처럼 대여해 줍니다. 이때 사용자는 탐정이 실제로 어떻게 생각하는지는 볼 수 없습니다.

하지만 함정이 있습니다. 마술사의 비밀 기술처럼, 만약 당신이 탐정에게 질문을 너무 많이 던진다면 영리한 도둑이 그 기술 전체를 파악하여 자신만의 복제품을 만들어낼 수 있습니다. 이것을 "모델 추출(Model Extraction)" 공격이라고 부릅습니다. 이는 마치 도둑이 빵집 밖에 서서 빵 한 조각을 달라고 요청한 뒤, 그 빵의 맛을 이용해 집에서 완벽한 복제본 빵을 구워내는 것과 같습니다. 문제는 기존의 방어 방식들이 이 웹 형태의 탐정들에게는 잘 통하지 않는다는 점입니다. 만약 무작위 노이즈(마치 공중에 밀가루를 뿌리는 것과 같은)를 던져 혼란을 주려 한다면, 재료들 사이의 연결 관계는 매우 섬세하기 때문에 정직한 고객들을 위한 빵까지 망쳐버리게 됩니다.

이 논문은 GraphRP(Graph Reprogramming Protection)라는 영리한 새로운 기술을 소개합니다. 저자들은 단순히 무작위 노이즈를 던지는 대신, AI 탐정을 위한 "똑똑한 문지기"를 만들었습니다. 이 문지기는 친절한 고객과 레시피를 훔치려는 도둑을 구분할 수 있습니다. 만약 고객이 정상적인 모습(질문이 일반적인 패턴에 부합함)이라면, 탐정은 완벽하게 대답합니다. 하지만 문지기가 수상한 패턴(이상하거나 어울리지 않는 질문)을 포착하면, 탐정의 뇌를 즉시 "혼란 모드"로 전환합니다. 이 모드에서 탐정은 기술적으로는 맞지만 비밀스럽게 뒤섞인 답변을 내놓으며, 이를 통해 도둑이 실제 레시 recipe를 배우는 것을 불가능하게 만듭니다. 저자들은 다양한 유형의 데이터로 테스트를 진행했으며, 이 방식이 정직한 고객들에게 훌륭한 답변을 제공하면서도 속도를 늦추지 않고 모델 복제를 성공적으로 막아낸다는 것을 발견했습니다.

똑똑한 문지기의 이야기

그렇다면 이 마법 같은 문지기는 어떻게 작동할까요? 저자들은 이전의 방어 시도들이 마치 모든 사람의 눈에 모래를 뿌려 성을 보호하려는 것과 같다는 점을 깨달았습니다. 그것은 나쁜 놈들을 막을 수는 있겠지만, 선량한 사람들까지 눈멀게 할 수 있습니다. 왜냐하면 그래프 데이터(연결의 웹)는 일반적인 사진과는 매우 다르기 때문입니다. 사진 속의 픽셀은 단순히 옆에 붙어 있을 뿐이지만, 그래프에서는 모든 노드가 다른 노드들과 연결되어 있어 한 부분을 건드리면 전체 사슬이 망가집니다.

해결책인 GraphRP는 "모델 리프로그래밍(Model Reprogramming)"이라는 개념을 사용합니다. 여러분이 이미 체스 전문가인 로봇을 가지고 있다고 상상해 보세요. 로봇에게 새로운 게임을 처음부터 가르치는 대신, 보드를 보는 방식을 바꿔주는 특별한 안경을 씌워주는 것입니다. 만약 플레이어가 친구라면 안경은 투명하여 로봇이 완벽하게 플레이합니다. 하지만 플레이어가 스파이라면, 안경은 보드를 만화경처럼 바꾸어 로бо트가 무작위해 보이지만 사실은 스파이를 혼란시키기 위해 설계된 이상한 움직임을 보이도록 만듭니다.

논문에서 이 "안경" 시스템은 **구조 인식 게이팅 메커니즘(Structure-Aware Gating Mechanism)**이라고 불립니다. 단계별 마법은 다음과 같습니다:

1. 신원 확인: 질문이 들어오면, 시스템은 먼저 질문의 "형태"를 확인합니다. 사람이 얼마나 많은 친구를 가졌는지, 혹은 집단이 얼마나 긴밀하게 엮여 있는지와 같이 그래프의 연결 관계를 살핍니다. 이 형태를 "양질의 프로토타입(Benign Prototypes)", 즉 정상적이고 정직한 질문이 어떤 모습인지에 대한 정신적 목록과 비교합니다.
2. 전환: 질문이 정상적인 목록과 일치하면, 시스템은 "안경"을 벗거나 투명하게 유지합니다. AI는 정상적으로 답변하며 모두가 만족합니다.
3. 함정: 만약 질문이 이상하거나 정상적인 패턴과 일치하지 않는다면(도둑들이 비밀을 추측할 때 주로 하는 행동), 시스템은 스위치를 올립니다. 그러면 "리프로그래밍 레이어"가 작동하여 답변에 미세하고 계산된 혼란을 주입합니다.

저자들은 이 혼란이 수학적으로 강력하다는 것을 증와했습니다. 그들은 AI의 답변을 특정 방향으로 약간 "어긋나게" 만듦으로써, 도둑의 복제 모델이 잘못된 것을 학습하도록 강제한다는 것을 보여주었습니다. 이는 마치 빵집에서 도둑에게 달콤한 빵 대신 약간 짠맛이 나는 빵을 준 것과 같습니다. 도 thief는 짠 케이크를 만들려고 노력할 것이고, 이는 재앙이 될 것입니다.

테스트 결과

연구진은 단순히 상상만 한 것이 아니라 실제 데이터를 사용하여 테스트했습니다. 그들은 MUTAG(분자), ENZYMES(생물학적 구조), 그리고 OGB-MolHIV(41,000개 이상의 분자 그래프)와 같은 거대한 데이터셋을 사용했습니다. 또한 "도둑"이 두 가지 주요 방법(전체 확률을 요구하는 soft-label 방식 또는 최상위 추측값만 요구하는 hard-label 방식)을 사용하여 모델을 훔치려는 시나리오를 설정했습니다.

결과는 매우 인상적이었습니다. 테스트에서 방어 장치가 없을 때 도둑의 복제 모델은 MUTAG 데이터셋에서 보통 약 **76.5%**의 정확도를 보였습니다. 하지만 새로운 GraphRP 시스템을 적용하자 그 정확도는 **60.3%**로 떨어졌습니다. 이는 엄청난 격차입니다! 즉, 도둑의 복제본은 본래의 역할을 수행하기에 현저히 떨어졌음을 의미합니다. 심지어 도둑이 정상적인 패턴을 흉내 내려고 시도하는 "적응형 공격(adaptive attack)"을 하더라도, 시스템은 여전히 강력하게 버티며 도둑의 정확도를 약 61.5% 정도로 낮게 유지했습니다.

결정적으로, 저자들은 이 과정이 정직한 고객들에게 피해를 주지 않는다는 것을 입증했습니다. "유용성(utility, 일반 사용자를 위한 AI의 성능)"은 대부분의 경우 2% 미만으로 아주 미세하게만 감소했습니다. 이는 기존 방식들이 도둑을 막기 위해 모두의 경험을 망쳐버렸던 것과 대조되는 큰 성과입니다. 또한 시스템은 속도를 유지하여, 실시간 추천 시스템 등에 적용할 수 있을 만큼 빠릅니다(약 **7%**의 시간만 추가됨).

이것이 중요한 이유

이 논문은 이 접근 방식이 중요한 진전임을 시사하는데, 그 이유는 다른 방식들이 해결하지 못한 문제, 즉 '연결된 AI를 망가뜨리지 않고 보호하는 법'을 해결했기 때문입니다. 저자들은 단순히 무작위 노이즈를 더하는 것(그들이 "유클리드 편향(Euclidean bias)"이라 부르는 것)은 데이터의 복잡한 연결 구조를 무시하기 때문에 나쁜 아이디어라고 주장합니다. 그들의 "구조적 방화벽(structural firewall)"은 데이터의 형상을 이해하기 때문에 똑똑합니다.

또한 저자들은 도둑이 수백만 개의 질문을 던질 수 있는 많은 시간과 돈을 가지고 있더라도 시스템이 여전히 작동한다는 것을 증명했습니다. 시뮬레이션 결과, 공격자가 "질문 예산(query budget, 질문 횟수)"을 5배로 늘려도 도둑의 정확도는 약 **55%**에 머물러 있었던 반면, 보호되지 않은 모델은 계속해서 성능이 좋아졌습니다. 이는 GraphRP가 주입하는 혼란이 근본적이라는 것을 시사합니다. 즉, 단순히 몇 개의 답변을 방해하는 것이 아니라 학습 과정 자체를 오염시키는 것입니다.

하지만 저자들은 이것이 특정 유형의 절도에 대한 방어임을 주의 깊게 명시합니다. 그들은 도둑이 원래의 훈련 데이터에 접근할 수 없다는 "블랙박스(black-box)" 설정을 가정합니다. 만약 도둑이 이미 일부 비밀 레시피(유출된 데이터)를 가지고 있다면, 시스템은 여전히 강력하지만 도둑의 복제본 성능이 약간 올라갑니다(데이터 10% 유출 시, 보호되지 않은 모델의 상승 폭에 비해 **60.3%**에서 **63.5%**로 상승). 이는 시스템이 견고하지만, 모든 가능한 시나리오에 대해 마법처럼 완벽한 것은 아님을 보여줍니다.

결론적으로, GraphRP는 서비스의 유용성을 유지하면서 AI의 비밀을 안전하게 지키는 방법을 제시합니다. 이는 AI의 유연성을 보안 기능으로 전환하여, 위협을 감지할 때만 즉각 작동하는 동적인 방패를 만드는 것입니다. 이는 마치 손님들에게는 보이지 않다가, 도둑이 커튼 뒤를 엿보려는 순간 즉시 멱살을 잡는 보안 요원을 두는 것과 같습니다.