기술적 요약: 서버는 무엇을 보는가? 분할 추론에서 대규모 언어 모델의 프라이버시 유출 이해

1. 문제 제기

자원 제약이 있는 장치에 대규모 언어 모델 (LLM) 을 배포하는 것은 계산 및 메모리 요구 사항으로 인해 방해받고 있습니다. **분할 추론 (Split inference)**은 클라이언트 (초기 레이어 보유) 와 서버 (나머지 부분 보유) 간에 모델을 분할하여 해결책으로 등장했습니다. 클라이언트는 원시 입력 대신 중간 활성화 (intermediate activations) 만 전송하므로 이론적으로는 프라이버시가 보호됩니다. 그러나 저자들은 중간 활성화가 본질적으로 프라이버시를 보호한다는 가정이 입증되지 않았다고 주장합니다. 본 논문은 모델 아키텍처에 대한 완전한 화이트박스 접근 권한을 가진 "정직하지만 호기심이 많은 (honest-but-curious)"서버가 이러한 중간 활성화로부터 클라이언트의 민감한 입력 프롬프트를 재구성할 수 있는지 조사합니다.

2. 방법론

2.1 공격 설계: ActInv

프라이버시 유출을 정량화하기 위해 저자들은 클라이언트의 원시 입력 시퀀스를 가로챈 중간 활성화 ($h_{Q1}$) 에서 재구성하는 역공격 (inversion attack) 인 ActInv를 제안합니다.

• 메커니즘: 순차적 토큰 복구 방법과 달리 ActInv 는 입력 임베딩 공간에 대한 연속 최적화 문제로 재구성을 공식화합니다. 무작위 연속 임베딩 벡터 $\hat{h}_0$를 초기화하고, 클라이언트 측 서브모델의 순전파 ($F_C(\hat{h}_0)$) 와 관찰된 활성화 ($h_{Q1}$) 간의 거리를 최소화하기 위해 경사 기반 최적화 (예: Adam) 를 사용합니다.
• 이산화 (Discretization): 연속 임베딩이 최적화된 후, 모델의 어휘 임베딩 행렬 내에서 최근접 이웃 탐색을 통해 이산 토큰으로 다시 투영됩니다.
• 효율성: 토큰 단위가 아닌 전체 시퀀스를 동시에 최적화함으로써 ActInv 는 $O(Tn^2)$의 시간 복잡도를 달성하여 SipIt($O(Tn^3)$) 과 같은 자기회귀 (autoregressive) 방법보다 상당한 계산적 이점을 제공합니다.

2.2 취약성 분석: 교란 증폭 계수 (Perturbation Amplification Factor, PAF)

왜 특정 레이어가 취약한지 이해하기 위해 저자들은 재구성에 대한 레이어의 고유한 저항력을 정량화하는 지표인 PAF를 도입합니다.

• 정의: PAF 는 레이어 출력의 작은 교란 ($\delta$) 이 추론된 입력의 불확실성 ($\Delta$) 으로 얼마나 변환되는지를 측정합니다. 이는 레이어의 야코비안 행렬 (Jacobian matrix) 에서 유도됩니다.
• 통찰: 높은 PAF 는 작은 출력 교란이 큰 입력 편차를 유발하여 (재구성을 어렵게 함) 낮은 PAF 는 레이어가 "안정적"이며 쉽게 역전될 수 있음을 나타냅니다.
• 결과: 분석은 레이어 간 비균일한 취약성을 드러냅니다. 구체적으로 비선형 활성화 레이어 (예: Sigmoid/SwiGLU) 와 특정 프로젝션 레이어는 종종 낮은 PAF 를 보여, 단순한 노이즈 방어법이 상당한 재구성 오차를 유발하지 못하는 "약한 고리"가 됩니다.

2.3 방어 설계: PriPert

PAF 분석에 기반하여 저자들은 중간 활성화에 적대적으로 보정된 교란을 주입하는 방어 메커니즘인 PriPert를 제안합니다.

• 전략: 등방성 (무작위) 노이즈를 추가하는 대신, PriPert 는 재구성 오차를 최대화하는 방향 (레이어의 가장 민감한 방향과 정렬됨) 으로 교란을 주입하면서 서버 측 출력의 저하 (유틸리티) 를 최소화하는 제약 최적화 문제를 풉니다.
• 구현: 이 방어는 교란으로 인한 입력 편차를 추정하기 위해 경로 적분 근사 (path integral approximation) 를 활용합니다. 저자들은 $L_2$ 제약 해법보다 $L_0$ 제약 해법 (희소 교란) 이 종종 더 나은 성능을 보인다고 발견했는데, 이는 적대자가 이용할 수 있는 부호 정보를 보존하지 않기 때문입니다.

3. 주요 결과

3.1 공격 효과 (ActInv)

• 고충실도 재구성: ActInv 는 어떤 방어도 없는 상태에서 다양한 모델 (Qwen3, Falcon3) 과 데이터셋 (AlpacaEval, iCliniq) 에서 정밀도 (Precision) 와 재현율 (Recall) 이 **98%**를 초과합니다.
• 단순 방어에 대한 복원력: 가우시안 노이즈 주입 및 활성화 희소화와 같은 일반적인 방어법은 대부분 효과가 없습니다. 높은 희소성 비율 (예: 0.7) 이나 중간 정도의 노이즈가 있더라도 ActInv 는 높은 재구성 정확도를 유지합니다. 모델 유틸리티를 파괴하는 극단적인 노이즈 수준에서만 공격이 크게 저해됩니다.
• 효율성: ActInv 는 계산적으로 효율적이며, 단일 GPU 에서 약 20 초 만에 100 토큰 쿼리를 재구성하여 최첨단 순차 공격보다 훨씬 빠릅니다.

3.2 취약성 통찰 (PAF)

• 레이어 변동성: PAF 값은 레이어와 모델 간에 크게 다릅니다. 예를 들어, 활성화 레이어는 일관되게 낮은 PAF 를 보여 유출의 주요 원인임을 확인시켜 줍니다.
• 방향성 민감도: "최대 PAF(Max-PAF, 정렬된 교란에 대한 민감도)"는 종종 "기대 PAF(Expected PAF, 무작위 노이즈에 대한 민감도)"보다 훨씬 높습니다. 이는 무작위 노이즈가 하위 최적의 방어 전략임을 검증합니다.

3.3 방어 성능 (PriPert)

• 프라이버시 개선: PriPert 는 재구성 품질을 크게 감소시킵니다. 희소성 비율이 0.7 일 때 ActInv 의 정밀도는 30% 미만으로 떨어집니다 (표준 희소화 대비 >60%). ROUGE-L 점수도 급격히 하락하여 의미론적 내용이 효과적으로 가려짐을 나타냅니다.
• 유틸리티 보존: 고도의 교란 수준에서 모델 유틸리티가 붕괴되는 단순 방어와 달리, PriPert 는 중간 정도의 희소성 수준 (예: 0.5) 에서도 허용 가능한 유틸리티를 유지합니다. 저자들은 "명확성 및 스타일"보다 "정확성 및 정확도"가 교란에 더 민감하지만, 전체 점수는 여전히 사용 가능하다고 지적합니다.
• 강건성: PriPert 는 다른 최첨단 역공격 (A1, TBS, PIA) 에 대해서도 효과적이며, 이들의 재구성 점수를 큰 폭으로 감소시킵니다.

4. 의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 취약성 노출: LLM 을 위한 분할 추론이 본질적으로 프라이버시를 보장하지 않는다는 것을 보여주는 첫 번째 포괄적인 조사를 제공합니다. 저자들은 정직하지만 호기심이 많은 서버가 상대적으로 간단하고 효율적인 최적화 기반 공격 (ActInv) 을 사용하여 사용자 입력을 고충실도로 재구성할 수 있음을 보여줍니다.
2. 이론적 지표 (PAF): 서로 다른 모델 레이어의 역전에 대한 다양한 취약성을 체계적으로 정량화하고 설명하기 위해 PAF 를 도입하여 비선형 활성화 레이어가 놀라울 정도로 취약함을 드러냈습니다.
3. 효과적인 방어 (PriPert): 레이어의 방향성 민감도를 활용하여 프라이버시 유출 방지를 최대화하면서 유틸리티 손실을 최소화하는 방어인 PriPert 를 제안하고 검증했습니다. 결과는 적대적으로 보정된 교란이 단순한 무작위 노이즈나 희소화보다 우수함을 시사합니다.
4. 실용적 함의: 이 연구는 분할 추론의 중요한 긴장 관계를 강조합니다. 표준 방어법은 불충분하며, 효과적인 프라이버시 보호는 LLM 의 유틸리티를 파괴하지 않도록 교란을 신중하게 보정해야 합니다.

저자들은 분할 추론이 계산적 이점을 제공하지만, 의료와 같은 민감한 분야에서 실행 가능하려면 견고하고 단순하지 않은 프라이버시 메커니즘이 필요하다고 결론지었습니다. 향후 연구로는 프라이버시를 고려한 압축 및 프라이버시 민감 활성화 함수 설계가 제안됩니다.