On the (In-)Security of the Shuffling Defense in the Transformer Secure Inference

기술 요약: 트랜스포머 보안 추론에서 셔플링 방어법의 (불)보안에 관하여

문제 제기
다자간 계산 (MPC) 또는 동형 암호화 (HE) 를 이용한 트랜스포머 모델의 보안 추론은 비선형 레이어 (예: Softmax, GELU, LayerNorm) 의 계산에서 치명적인 효율성 병목 현상에 직면해 있습니다. 전체 모델 암호화 (FME) 는 이러한 레이어를 위해 수많은 통신 라운드와 무거운 데이터 전송을 요구하며, 이는 전체 지연 시간의 75%~90% 를 차지합니다. 이를 완화하기 위해 중간 활성화 값을 클라이언트에게 평문으로 공개하여 비선형 레이어를 로컬에서 계산하는 선형 전용 암호화 (LOE) 추론이 제안되었습니다. 그러나 활성화 값을 공개하면 공격자가 선형 시스템을 풀어 모델 가중치를 추출할 수 있게 됩니다.

이를 대응하기 위해 최근 연구들은 중간 활성화 값을 클라이언트에게 공개하기 전에 무작위로 순열 (permutation) 하는 셔플링 방어법을 도입했습니다. 기존 보안 주장은 특정 순열을 복구하는 것이 계산적으로 불가능하며 ($d$ 차원에 대해 확률 $1/d!$), 셔플링된 활성화 값은 가중치 추출 공격에 필요한 상관관계를 파괴한다는 것이었습니다. 본 논문은 이러한 주장을 반박하며, 셔플링 방어법이 가중치 추출에 대해 견고하지 않음을 입증합니다.

방법론
저자들은 특정 순열을 알지 못한 채 서로 다른 방식으로 셔플링된 활성화 벡터를 공통의 순열에 정렬하는 공격을 제안합니다. 방법론은 세 단계로 진행됩니다:

1. 근접성을 통한 벡터 정렬: 공격자는 서로 $\epsilon$-근접한 여러 입력으로 트랜스포머에 쿼리를 보냅니다. 신경망의 리프시츠 연속성 (Lipschitz continuity) 으로 인해 생성된 중간 활성화 벡터들도 값이 서로 가깝습니다 ($\|x_a - x_b\| < L\epsilon$). 각 벡터는 서로 다른 미지의 순열로 셔플링되지만, 벡터 내의 값들은 동일하게 유지됩니다. 공격자는 할당 문제 (Hungarian 알고리즘 사용) 를 풀어 셔플링된 벡터 요소 간의 거리를 최소화함으로써 서로 다른 쿼리 간 요소 대응 관계를 복구합니다.
2. GPT 에서의 근접 입력 생성: 트랜스포머 입력이 이산적인 토큰 인덱스라는 특성상 $\epsilon$-근접한 입력을 직접 생성하기 어렵다는 문제가 발생합니다. 저자들은 보안 추론 프로토콜의 특성인 반올림이 포함된 고정소수점 연산을 활용합니다. 보안 반올림은 확률적 1 비트 오류 (예: 크기 $2^{-18}$) 를 유발합니다. 동일한 프롬프트를 반복적으로 입력함으로써 공격자는 이러한 고유한 확률적 오류를 활용하여 중간 활성화에 필요한 미세한 교란을 생성하고, 결과적으로 필요한 $\epsilon$-근접 벡터를 만듭니다.
3. 가중치 추출: 활성화 벡터가 공통의 (그러나 미지의) 순열 $\pi$에 정렬되면, 공격자는 행렬 $X^{(l)}\pi^{(l)}$과 $X^{(l+1)}\pi^{(l+1)}$를 구성합니다. 그리고 선형 관계 $W^{(l)'} = \pi^{(l)-1} X^{(l)-1} X^{(l+1)} \pi^{(l+1)}$를 사용하여 가중치를 풉니다. 결과적으로 얻어진 가중치 $W^{(l)'}$는 원래 가중치 $W^{(l)}$와 행 및 열 순열만 다를 뿐입니다. 핵심적으로, 논문은 신경망의 기능이 이러한 셔플링에 불변임을 지적합니다. 따라서 추출된 가중치는 원래 모델과 동일한 순전파를 수행합니다.

주요 기여

• 셔플링 방어법 무력화: 저자들은 서로 다른 방식으로 셔플링되었으나 근접한 값을 포함하는 활성화 벡터를 공격자가 성공적으로 정렬할 수 있음을 입증하여, 순열이 추출을 불가능하게 만든다는 가정을 우회했습니다.
• 프로토콜 노이즈 악용: 이 연구는 보안 반올림 프로토콜에 내재된 확률적 오류를 식별하고 활용하여 근접한 중간 활성화 값을 생성함으로써, 트랜스포머의 이산적 토큰 입력이라는 한계를 극복했습니다.
• 이론적 및 실용적 추출: 논문은 정렬된 활성화 값을 통해 행/열 순열이 미지수임에도 불구하고 원래 모델과 기능적으로 동등한 모델 가중치를 추출할 수 있음을 증명합니다.
• 실증적 검증: 이 공격은 Pythia-70m 및 GPT-2 에서 평가되었으며, 높은 정렬 정확도와 성공적인 가중치 복구를 보여주었습니다.

실험 결과
저자들은 다양한 고정소수점 정밀도 (14, 16, 18 비트) 를 사용하여 Pythia-70m 및 GPT-2 모델에서 공격을 평가했습니다.

• 정렬 정확도: 제안된 방법은 셔플링된 활성화 값을 평균 제곱 오차 (MSE) 가 $10^{-9}$에서 $10^{-6}$ 사이인 수준으로 정렬합니다. 요소의 2% 미만이 불일치하며, 더 높은 정밀도가 더 나은 정렬을 제공합니다.
• 가중치 복구: 추출된 가중치는 오라클 가중치와 L1-노름 차이가 $10^{-4}$에서 $10^{-2}$ 사이입니다. 작은 모델 (Pythia-70m) 은 큰 모델 (GPT-2) 보다 낮은 오차율을 보였습니다.
• 비용 효율성: 이 공격은 모델 차원에 비례하는 쿼리 횟수를 요구합니다 (예: Pythia-70m 의 경우 약 32,768 회). 상업용 API 가격 기준 총 비용은 약 1 달러입니다.
• 기능적 동등성: 도난당한 가중치를 대리 모델로 사용할 때, 원래 모델과 근접한 퍼플렉시티 점수를 달성합니다 (예: Pythia-70m 의 경우 31.81 대 44.46). 짧은 파인튜닝 단계 (최대 6 분) 후, 복구된 모델은 피해자의 퍼플렉시티와 일치합니다 (32.43 대 31.81), 이로써 후속 공격을 블랙박스에서 화이트박스 시나리오로 효과적으로 전환합니다.

의의 및 주장
본 논문은 이전에 가중치 추출에 대해 안전하다고 가정되었던 셔플링 방어법에서 중요한 정보 누출을 드러냈다고 주장합니다. 저자들은 이 방어법이 실패하는 이유는 위치 지식이 아닌 수치적 근접성을 기반으로 벡터를 정렬할 수 있는 능력을 고려하지 않았기 때문이라고 논합니다.

이 연구의 의의는 공격자가 낮은 비용으로 높은 충실도로 모델 가중치를 복구할 수 있게 하는 취약점을 폭로한다는 점에 있습니다. 추출된 가중치는 개인 모델을 분석하거나 대리 모델의 효과적인 초기화로 사용될 수 있어 기존 블랙박스 공격을 강화합니다. 저자들은 보안 추론 및 관련 개인정보 보호 환경에서의 셔플링 방어법의 보안을 재평가해야 한다고 결론지었습니다.

한계점
저자들은 이 공격이 이론적으로 보장되며 소규모 모델에서 검증되었지만, 모델 규모가 커질수록 추출된 가중치의 충실도가 저하될 수 있음을 겸손하게 지적합니다. 그러나 소규모 모델에서의 성공적인 검증은 방어 메커니즘의 근본적인 취약성을 입증하기에 충분하다고 주장합니다.