PrivDNN: A Secure Multi-Party Computation Framework for Deep Learning using Partial DNN Encryption

세상에서 가장 똑똑한 컴퓨터들이 거대하고 마법 같은 도서관과 같은 세상을 상상해 보세요. 이 도서관들은 얼굴을 인식하거나, 질병을 진단하거나, 자율주행 자동차를 위한 정지 표지판을 포착하는 등의 비밀들을 간직하고 있습니다. 하지만 여기에는 함정이 있습니다. 도서관의 사서들(이 도서관을 만든 기업들)은 누군가 자신들의 책을 훔쳐갈까 봐 두려워하고, 방문객들(사용자들)은 사서들이 자신의 개인적인 일기를 읽게 될까 봐 두려워합니다. 이것이 안전한 다자간 계산(Secure Multi-Party Computation) 분야의 핵심 문제입니다. 이 분야는 암호학의 한 갈래로, 다음과 같은 질문을 던집니다. "어떻게 하면 두 낯선 사람이 서로의 개인 정보를 드러내지 않고도 비밀스러운 작업을 함께 수행할 수 있을까?"

이를 해결하기 위해 과학자들은 **동형 암호(Homomorphic Encryption)**라는 특별한 도구를 사용합니다. 이것은 마치 마법의 장갑 상자(glove box)와 같습니다. 당신은 종이 한 장을 상자 안에 넣을 수 있는데, 상자가 잠겨 있는 동안에도 그 종이를 접거나, 찢거나, 글씨를 쓸 수 있습니다. 종이는 변하지만 상자를 절대 떠나지 않기 때문에 아무도 원래의 글자를 볼 수 없습니다. 과거에 연구자들은 이 마법의 장갑 상자 안에 전체 도서관을 통째로 집어넣어 사용자가 작업을 수행할 수 있도록 하려 했습니다. 하지만 그 상자는 너무 무겁고 느려서 간단한 작업 하나를 끝내는 데도 영겁의 시간이 걸렸습니다. 그것은 마치 납 벽돌로 만든 슈트를 입고 마라톤을 하는 것과 같았습니다.

여기서 PrivDNN이라는 새로운 논문이 등장합니다. 연구자들은 이 도서관을 안전하게 지키기 위해 전체를 모두 잠글 필요는 없다는 사실을 깨달았습니다. 그들은 딥러닝 모델(AI의 '두뇌' 역할을 하는 것들)이 몇몇만이 '보스' 역할을 하는 팀 단위의 노동자들과 같다는 것을 발견했습니다. 만약 보스들만 잠가 버린다면, 전체 팀이 제대로 작동하지 않을 것입니다. 이 논문은 영리한 트릭을 제안합니다. 모델 전체를 암호화하는 대신, 오직 아주 작고 결정적인 부분인 '보스' 뉴런들만을 암호화하는 것입니다. 그들은 이를 **부분 DNN 암호화(Partial DNN Encryption)**라고 부릅니다. 그 결과, 이 시스템은 대부분의 무거운 작업은 공개된 상태에서(빠르고 쉽게) 수행하되, 가장 가치 있는 비밀들만 마법의 장갑 상자에 담아둡니다. 저자들은 이 접근 방식이 모델의 비밀을 안전하게 지키고 사용자의 데이터를 프라이버시를 유지하면서도, 이전 방식보다 거의 30배 더 빠르게 만들 수 있음을 보여줍니다.

문제점: "너무 커서 공유할 수 없는" 딜레마

딥러닝 모델은 믿을 수 없을 정도로 강력하지만, 동시에 매우 비싸고 가치 있는 자산입니다. 대기업들은 이 모델들을 훈련시키기 위해 방대한 양의 데이터와 수백만 달러, 그리고 수년의 시간을 투자합니다. 그들은 자신들의 '비법 소스'를 빼앗기고 싶지 않기 때문에 모델을 그냥 내어주고 싶어 하지 않습니다. 반면에 작은 병원이나 지역 학교들은 환자 기록이나 학생 성적 같은 민의 데이터를 분석하기 위해 이러한 모델을 사용하고 싶어 하지만, 스스로 모델을 구축할 여력이 없습니다. 또한 개인정보 보호법과 신뢰 문제 때문에 자신의 데이터를 대기업에 보낼 수도 없습니다.

전통적으로는 두 가지 나쁜 선택지가 있었습니다:

1. 데이터를 보내기: 사용자가 자신의 개인 데이터를 기업에 보냅니다. 기업은 모델을 실행하고 답을 보내줍니다. 이는 빠르지만, 사용자는 프라이버시를 잃게 됩니다.
2. 모델을 보내기: 기업이 모델을 사용자에게 보냅니다. 사용자는 자신의 데이터에 모델을 실행합니다. 이는 사용자의 데이터를 보호하지만, 기업은 모델의 프라이버시를 잃게 됩니다.

**완전 동형 암호(Fully Homomorphic Encryption, FHE)**를 사용하는 세 번째 옵션도 존재했습니다. 이것은 앞서 말한 "마법의 장갑 상자" 방식입니다. 사용자가 데이터를 암호화하여 기업에 보내면, 기업은 실제 숫자를 전혀 보지 못한 채 암호화된 데이터에 대해 수학 연산을 수행합니다. 문제는 무엇일까요? 그것은 너무나도 느렸습니다. 예를 들어, CryptoNets라는 이전 시스템은 단순한 이미지 한 배치를 처리하는 데 250초가 걸렸습니다. 이는 사진 속의 고양이 한 마리를 식별하는 데 단 4분을 기다리는 것과 같습니다.

PrivDNN의 솔루션: "부분 잠금"

PrivDNN의 저자들은 간단한 질문을 던졌습니다: "우리가 정말 모델의 모든 부분을 다 잠가야 할까?"

그들은 딥 뉴럴 네트워크가 '뉴런'(작은 결정권자들)의 층으로 구성되어 있다는 것을 발견했습니다. 모든 뉴런이 똑같이 중요한 것은 아닙니다. 어떤 뉴런은 자동차의 메인 엔진과 같고, 어떤 뉴런은 그저 컵 홀더와 같습니다. 컵 홀더를 제거해도 자동차는 여전히 달릴 수 있습니다. 하지만 엔진을 제거하면 자동차는 움직이지 못합니다.

PrivDNN은 이 '엔진' 뉴런들을 식별하고 보호하는 전략을 도입합니다. 작동 방식은 다음과 같습니다:

1. 설정: 모델 소유자(기업)는 모델을 훈련시킨 후, 특별한 알고 알고리즘을 사용하여 모델이 잘 작동하는 데 절대적으로 필수적인 소수의 '핵심 뉴런' 그룹을 뽑아냅니다.
2. 잠금: 그들은 오직 이 핵심 뉴런들만을 무겁고 느린 동형 암호를 사용하여 암호화합니다. 나머지 모델(컵 홀더와 대부분의 다른 뉴런들)은 평문(plain text) 상태로 남겨둡니다.
3. 전달: 기업은 이 '부분적으로 암호화된' 모델을 사용자에게 보냅니다. 사용자의 컴퓨터는 평문 부분을 쉽게 실행할 수 있습니다. 데이터가 암호화된 '핵심' 뉴런에 도달하면, 사용자의 컴퓨터는 느리고 마법 같은 수학 연산을 수행해야 합니다.
4. 악수(Handshake): 핵심 뉴럴로부터 나온 암호화된 결과는 잠금을 해제하기 위해 기업으로 전송되며, 최종 답변은 사용자에게 다시 전달됩니다.

이것이 왜 모든 것을 바꾸는가

이 논문은 이 접근 방식이 게임 체인저가 될 수 있는 세 가지 주요 발견을 제시합니다:

1. 속도와 효율성
모델의 아주 적은 부분만을 암호화함으로써, 시스템은 믿을 수 없을 정도로 빨라집 변합니다. 실험에서 저자들은 다섯 가지 인기 있는 데이터셋(필기체인 MNIST와 이미지인 CIFAR-10 등)을 통해 이를 테스트했습니다. 그들은 PrivDNN이 모델 전체를 암호화했을 때보다 추론(예측을 수행하는 행위)에 필요한 시간을 최대 **97%**까지 단축했다는 것을 발견했습니다. 한 특정 테스트에서 LeNet-5 모델을 사용했을 때, 전체 암호화 방식은 이미지 배치를 처리하는 데 5,647초가 걸린 반면, PrivDNN은 단 190초 만에 끝냈습니다. 이는 29.7배 빠른 속도입니다.

2. 희생 없는 보안
저자들은 모델의 대부분을 평문으로 남겨두는 것이 해커가 모델을 훔치기 쉽게 만들지 않을까 걱정했습니다. 그들은 모델을 '복구'하려고 시도함으로써 이를 테스트했습니다. 그 결과, 사용자가 암호화된 핵심 뉴런 없이 모델을 사용하려고 하면 정확도가 급격히 떨어진다는 것을 발견했습니다. 예를 들어, 교통 표지판을 인식하도록 훈련된 모델의 경우, 권한이 없는 사용자의 정확도는 90% 이상에서 40% 미만으로 떨어졌습니다(암호화된 뉴런이 많아질수록 더 낮아졌습니다). 모델은 핵심 키를 가진 사람 없이는 사실상 쓸모없는 것이 되었습니다.

3. 메모리 절약
동형 암호는 메모리도 매우 많이 잡아먹습니다. 거대한 모델 전체를 암호화하면 수백 기가바이트의 RAM이 필요하여 일반적인 컴퓨터를 다운시킬 수 있습니다. PrivDNN은 이 메모리 사용량을 크게 줄였습니다. 표준 모델의 경우, 필요한 메모리가 151 GB(대부분의 PC에서는 불가능한 용량)에서 단 2.5 GB 또는 5 GB로 줄어들어, 일반 데스크톱 컴퓨터에서도 보안 AI를 실행할 수 있게 되었습니다.

어떻게 '보스' 뉴런을 골랐는가

논문은 또한 어떤 뉴런을 잠글지 결정하는 방법에 대해서도 상세히 설명합니다. 그들은 네 가지 방법을 테스트했습니다:

• 무작위 선택 (Random Selection): 뉴런을 무작위로 뽑는 방식입니다. (효과가 좋지 않았습니다).
• 탐욕적 선택 (Greedy Selection): 가장 좋은 뉴런을 하나씩 단계적으로 뽑는 방식입니다. 매우 잘 작동했지만 계산하는 데 시간이 오래 걸렸습니다.
• 가지치기 기반 선택 (Pruning-based Selection): 보통 쓸모없는 뉴런을 제거하는 기존 기술을 역으로 사용하여 중요한 뉴런을 찾는 방식입니다. 매우 빨랐습니다.
• 가지치기 + 탐욕적 선택 (Pruning + Greedy): 가지치기로 목록을 좁힌 뒤 탐욕적 선택을 사용하는 하이브리드 방식입니다.

그들은 가지치기 + 탐욕적 선택 방식이 가장 좋은 균형을 제공한다는 것을 발견했습니다. 이 방식은 실용적일 만큼 충분히 빨랐고, 동시에 모델의 보안과 정확성을 유지할 수 있는 올바른 뉴런을 뽑아낼 만큼 똑똑했습니다.

결론

PrivDNN 프레임워크는 우리가 프라이버시와 속도 사이에서 하나를 선택할 필요가 없다는 것을 시사합니다. 무엇을 암호화할지에 대해 영리하게 행동함으로써, 우리는 둘 다 가질 수 있습니다. 저자들은 이 방법이 특정 유형의 암호화나 모델 구조에 의존하지 않으며, 다양한 딥러닝 시스템에 적용될 수 있는 일반적인 아이디어임을 강조합니다.

비록 논문에서 진정한 악의적 공격자가 암호화를 깨뜨리거나 다른 방식으로 모델을 훔치려 할 수 있음을 인정하고 있지만, 현재의 결과는 "정직하지만 호기심 많은(honest-but-curious)" 사용자(규칙을 따르지만 엿보고 싶어 하는 사람)들에게 이 부분 암호화가 강력한 방패가 된다는 것을 보여줍니다. 이 방식은 한때 실용적으로 쓰기에 너무 느리고 무거웠던 과정을 빠르고 효율적이며 실세계에서 사용할 수 있을 만큼 안전한 것으로 바꾸어 놓았습니다. 이 새로운 시스템을 누구나 써볼 수 있도록 코드가 공개되어 있다는 점은 저자들이 자신들의 결과에 얼마나 자신감이 있는지를 보여줍니다.