기술 요약: 대칭성을 이용한 프라이버시 보호 (CONJFORMER)

문제 정의

대규모 언어 모델(LLM)을 클라우드 기반 서비스로 배포함에 따라 사용자 데이터를 제3자 제공업체로 전송해야 하며, 이는 심각한 프라이버시 위험을 초래합니다. **분할 추론(Split Inference, SI)**은 임베딩 레이어를 로컬에 유지하고 중간 은닉 표현(hidden representations)만을 전송함으로써 이를 완화하지만, 여전히 최근접 이웃(nearest-neighbor, NN) 임베딩 역전에 취약합니다. 표준 SI 설정에서는 임베딩 테이블이 공개되어 있어, 공격자가 코사인 유사도를 사용하여 서버에서 관찰된 은닉 상태를 공개 테이블과 매칭함으로써 입력 토큰을 복구할 수 있습니다. 이러한 공격은 모델 미세 조정(fine-tuning) 후에도 매우 효과적으로 유지됩니다. 차분 프라이버시(differential privacy, DP) 노이즈 주입이나 암호 기술(동형 암호, 보안 다자간 계산)과 같은 기존의 프라이버시 보호 방법들은 모델 품질의 심각한 저하나 과도한 계산 오버헤드를 초래하여, 자기회귀적(autoregressive) LLM 추론에 적용하기에는 비실용적입니다.

방법론: CONJFORMER

본 논문은 아키텍처 수준에서 $O(d)$-등변성(차원 $d$의 직교 군에 대한 등변성)을 강제하는 프레임워크인 CONJFORMER를 제안합니다. 이를 통해 클리언트는 비밀 직교 행렬을 사용하여 임베딩을 난독화할 수 있으며, 동시에 서버가 회전되지 않은 은닉 상태를 전혀 관찰하지 않고도 정확한 추론을 수행할 수 있도록 보장합니다.

핵심 메커니즘

1. 직교 난독화(Orthogonal Obfuscation): 클라이언트는 전송 전 입력 임베딩에 비밀 직교 행렬 $U \in O(d)$를 곱합니다.
2. 가중치 공액(Weight Conjugation): 이 회전에 따른 모델 기능을 유지하기 위해, 클라이언트는 트랜스포머의 모든 선형 가중치에 **양방향 선형 공액(two-sided linear conjugation)**을 적용합니다. 만약 선형 레이어가 $W$라면, 서버는 $\hat{W} = O W U^\top$를 받게 되며, 여기서 $O$는 블록별 직교 행렬입니다.
3. 아키텍처 수정: 정확한 $O(d)$-등변성을 달성하기 위해, 저자들은 트랜스포머 아키텍처에 최소한의 변경을 도입합니다.
   • 스칼라 RMSNorm: 표준 정규화 레이어(학습 가능한 벡터를 가진 LayerNorm 또는 RMSNorm)는 좌표 의존적이며 등변성을 깨뜨립니다. CONJFORMER는 이를 스칼라 게인을 사용하는 RMSNorm으로 대체합니다. 이는 정규화 연산이 직교 변환과 교환 법칙이 성립하도록 보장합니다.
   • 블록별 공액(Blockwise Conjugation): 모든 선형 투영(Query, Key, Value, Output 및 FFN 가중치)이 공액 처리됩니다. 서버는 회전된 기저(basis) 상에서 전체 순전파(forward pass)를 수행합니다.

이론적 보장

이 프레임워크는 **블록별 기능적 동등성(blockwise functional equivalence)**을 보장합니다:
$$\hat{F}_b(X U^\top) = F_b(X) U^\top$$
여기서 $F_b$는 원래의 트랜스포머 블록이고 $\hat{F}_b$는 공액된 블록입니다. 결과적으로 서버는 원래 모델과 정확히 동일한 로직을 계산하지만, 완전히 회전된 표현 위에서 동작합니다. 서버는 회전되지 않은 은닉 상태를 절대 관찰할 수 없으므로, 공개 임베딩 테이블에 대한 직접적인 NN 역전이 불가능해집니다.

주요 기여

1. 아키텍처: 임의의 임베딩 공간 직교 변환과 호환되는 경량화된 수정(스칼라 RMSNorm) 및 가중치 공액을 통해 정확한 $O(d)$-등변성을 구현하는 트랜스포머 변형 모델을 개발했습니다.
2. 프레임워크: 비밀 난독화 하에서도 기능을 보존하기 위해 블록별 직교 공액을 적용하는 CONJFORMER 프레임워크를 제안하여, 직접적인 최근접 이웃 임베딩 역전을 효과적으로 제거했습니다.
3. 공격 분석: 난독화로 인해 발생하는 새로운 공격 벡터를 식별하고 분석했습니다. 직접적인 매칭이 제거되었으므로, 공격자는 숨겨진 직교 변환을 복구하기 위해 가중치 정렬(weight alignment) 방식에 의존해야 합니다. 본 논문은 다음을 도입하고 평가합니다:
   • 양방향 ALS–Procrustes 정렬: 공액된 미세 조정 가중치를 공개된 사전 학습 가중치와 정렬함으로써 $U$와 $O$를 추정하는 반복적 방법입니다.
   • Gram 기반 가중치 정렬: 블록별 회전에 따른 그람 행렬(Gram matrix)의 불변성을 활용하여 블록 간 정보를 집계하는 방법으로, Procrustes보다 더 강력한 공격을 제공합니다.
4. 실증적 검증: PubMed 데이터셋으로 미세 조정한 GPT-2(Small, Medium, Large) 및 Llama 3.2 1B 모델에 대한 광범위한 실험을 수행했습니다.

실험 결과

저자들은 PubMed 초록 데이터로 미세 조정한 GPT-2 변형 모델과 Llama 3.2 1B에 대해 CONJFORMER를 평가했습니다.

• 프라이버시 효능:
  • 원본 모델: 최근접 이웃 임베딩 역전은 미세 조정 후에도 높은 정확도(top-10 토큰 복구율 35% 이상)를 달성합니다.
  • CONJFORMER: 직교 난독화는 직접적인 코사인 NN 역전을 제거합니다. 가장 강력한 잔여 공격인 (Gram 기반 가중치 정렬)은 미세 조정 후 무작위 성능에 가까운 수준(top-10 토큰 복구율 최대 1.3%)으로 떨어집니다.
• 모델 성능:
  • Perplexity (혼란도): 이 프레임워크는 최소한의 성능 비용을 발생시킵니다. 미세 조정된 CONJFORMER 모델은 베이스라인 모델과 비교했을 때 perplexity 증가가 Llama 3.2 1B의 경우 0.4%, GPT-2 Small의 경우 약 2%에 불과합니다.
  • 레트로피팅(Retrofitting): 사전 학습된 모델을 정규화 레이어를 교체하고 짧은 미세 조정을 수행함으로써 등변 아키텍처로 "레트로핏"할 수 있으며, 2,000회 반복 내에 원래의 perplexity를 회복할 수 있습니다.

의의 및 주장

본 논문은 CONJFORMER가 (품질을 저하시키는) 노이즈 주입이나 (너무 느린) 무거운 암호 기술에 의존하지 않고도 프라이버시를 보호하는 LLM 추론을 위한 실용적인 방어책을 제공한다고 주장합니다.

• 적대적 문제의 전환: 주요 의의는 이 방법이 공격의 본질을 근본적으로 바꾼다는 점입니다. 공격자를 단순한 "조회(lookup)" 문제(공개 테이블과 벡터를 매칭하는 것)에서 복잡한 "기저 복구(basis recovery)" 문제(가중치 정렬을 통해 숨겨진 직교 변환을 해결하는 것)로 이동시킵니다.
• 아키텍처적 대칭성: 본 연구는 아키텍처 수준에서 대칭성을 강제하는 것이 임베딩 역전에 대해 강력한 프라이버시 보장을 제공할 수 있음을 보여줍니다.
• 한계점: 저자들은 CONJFORM 커가 암호학적 또는 차분 프라이버시 메커니즘이 아님을 명시적으로 밝힙니다. 이는 클라이언트의 직교 키와 미세 조정된 임베딩 테이블의 비밀성에 의존합니다. 또한, 직교 불변량(예: 노름, 쌍별 거리)을 악용하거나, 회전되지 않은 입력을 관찰할 수 있는 알려진 평문(known-plaintext) 시나리오에 대한 공격은 보호하지 못합니다. 보안은 정보 이론적 비밀성이 아니라 가중치 정렬 문제의 계산적 어려움에 기반합니다.