Defense Against Prompt Inversion Attacks: An Information-Theoretic Approach for LLM Collaborative Inference

기술 요약: 정보 이론적 협업 추론을 통한 프롬프트 역전 공격 방어

문제 정의
협업 에지-클라우드 추론(Collaborative edge-cloud inference)은 자원이 제한된 장치가 로컬에서 초기 레이어를 실행하고 중간 활성화 값을 클라우드 서버로 오프로딩함으로써 대규모 언어 모델(LLM)을 활용할 수 있게 합니다. 그러나 이러한 아키텍처는 공유된 표현(representations)으로부터 원래의 입력을 재구성하는 적대적 공격인 **프롬프트 역전 공격(prompt inversion attacks)**에 사용자 프롬프트를 노출시킵니다. 노이즈 주입이나 차원 축소와 같은 기존의 방어 기법들은 프라이버시 누출에 대한 원칙적인 이론적 보장을 결여하고 있으며, 종종 태스크 유용성(utility)을 보존하는 것과 토큰 정체성(token identity)을 보호하는 것 사이의 근본적인 긴장 관계를 해결하지 못합니다. 또한, 선행 연구들은 토큰 정체성이 모든 트랜스포머 레이어를 통해 지속된다는 점을 보여주었으며, 이는 단순한 깊이 기반의 난독화가 효과적이지 않음을 의미합니다.

방법론
저자들은 프라이버시 누출을 입력 프롬프트 $x$와 전송된 보호된 활성화 $A$ 사이의 상호 정보량(mutual information, MI)으로 모델링하는 정보 이론적 방어 프레임워크를 제안합니다. 이 방어는 다음과 같은 미니맥스 최적화 문제로 정형화됩니다:

1. 목표: 지연 시간 제약 조건 하에서 $I(A; x)$ (프라이버시 누출)를 최소화하는 동시에 $I(A; y)$ (다음 토큰 예측을 위한 유용성)를 최대화합니다.
2. 아키텍처 (프라이버시 어댑터): 핵심 메커니즘은 클라이언트 측의 고정된 트랜스포머 레이어 사이에 경량화되고 학습 가능한 **프라이버시 어댑터(privacy adapters)**를 삽립하는 것입니다. LoRA 스타일의 어댑터가 잔차 연결(residual connections)을 추가하는 것과 달리, 이 어댑터들은 엄격한 **정보 병목(information bottleneck)**을 구현합니다:
   • 이들은 차원 $d$의 활성화를 저차원 부분 공간 $r$ ($r \ll d$)로 다운 프로젝션, 비선형성, 업 프로젝션을 통해 압축합니다.
   • 결정적으로, 이들은 활성화를 가산적으로 섭동(perturb)하는 대신 활성 자체를 교체합니다. 저자들은 인젝티브 잔차 연결(injective residual connections, 다른 방어 기법에서 흔히 사용됨)은 상호 정보량을 줄일 수 없는 반면, 비인젝티브 병목(non-injective bottlenecks)은 손실 압축(lossy compression)을 강제하여 진정으로 MI를 감소시킨다는 것을 이론적으로 증명합니다.
3. 최적화: 시스템은 교대 학습 스케줄(alternating training schedule)을 채택합니다. 적대적 네트워크(토큰 분류기)는 재구성 정확도를 최대화(크로스 엔트로피 최소화)하도록 학습되는 반면, 어댑터는 적대적 네트워크의 크로스 엔트로피와 다운스트림 태스크의 퍼플렉시티(perplexity)를 결합한 손실을 최소화하도록 업데이트됩니다. 이는 MI의 변분 상한(variational upper bound)을 직접적으로 추정하고 최소화하는 과정입니다.

주요 기여

1. 정보 이론적 미니맥스 프레임워크: 본 논문은 학습된 적대적 모델을 통해 상호 정보량을 명시적으로 최소화함으로써 프롬프트 역전에 대한 공식적인 방어 체계를 구축하여, 이론적 프라이버시 경계와 실제 구현 사이의 간극을 메웁니다.
2. 이론적 보장을 갖춘 프라이버시 어댑터: 저자들은 손실 압축을 강제하는 어댑터 모듈을 도입합니다. 저자들은 잔차 스타일의 방어(인젝티브 매핑)는 상호 정보량을 줄일 수 없음을 증명(정리 4.2)하여, 비인젝티브 병목 설계의 필요성을 정당화합니다. 또한, 병목 차원에 따른 재구성 오차에 대한 경계값을 도출합니다.
3. 민감한 토큰 분석: 본 프레임워크는 민감한 토큰(의료 조건이나 법적 엔티티와 같은 도메인 특화 용어)과 일반적인 구조적 토큰(불용어, 문장 부호)의 회복을 구분하는 방법론을 도입합니다. 이론은 병목 현상이 고엔트로피(민감한) 토큰을 불균형적으로 억제하는 반면, 구문론적 일관성에 필요한 저엔트로피(일반적인) 토큰은 보존할 것이라고 예측하며, 실험을 통해 이를 확인합니다.
4. 포괄적인 평가: 제안된 방법은 세 가지 LLM(LLaMA-2-7B/13B, Mistral-7B)과 세 가지 도메인(의료, 법률, 항공 리뷰)에 대해 분류 기반 및 최적화 기반 프롬프트 역전 공격을 대상으로 검증되었습니다.

실험 결과

• 프라이버시-유용성 트레이드오프: 이 방법은 공격 성공률을 크게 낮춥니다. 다양한 설정에서 민감한 토큰 회복을 15~35% 감소시켰으며, 최적의 구성(예: $\lambda=0.5$)에서는 일반 토큰 대비 민감한 토크의 정확도가 최대 35 퍼센트 포인트까지 감소했습니다.
• 베이스라인과의 비교: 제안된 어댑터는 가우시안/라플라스 노이즈, PCA, 정보 누출 감소 방법(NoPeek, Fisher 기반 마스킹)을 포함한 기존 방어 기법보다 우수한 성능을 보였습니다. 특히, 노이즈 기반 방법은 강력한 프라이버시가 유용성(퍼플렉시티)을 파괴하는 "프라이버시-유용성 절벽(privacy-utility cliff)"에 직면하는 경우가 많으나, 어댑터는 유효한 퍼플렉시티(예: PPL < 100)를 유지하면서도 공격 정확도를 현저히 낮춥니다.
• 효율성: 이 접근 방식은 에지 장치(Jetson Orin Nano에서 테스트)에서 최소한의 지연 시간 오버헤드(<9%)를 도입하며, 매우 적은 파라미터 수(<전체 모델의 0.3%)를 추가합니다.
• 강건성: 방어 기법은 공격 유형 전반에 걸쳐 일반화됩니다. 보호된 활성화 값으로부터 처음부터 학습된 "신선한(fresh)" 공격자들도 훈련된 적대적 모델과 유사한 성공률을 달eric하며, 이는 방어가 단순히 특정 공동 적응 모델(co-adapted model)로부터 정보를 숨기는 것이 아님을 확인시켜 줍니다.

의의 및 주장
본 논문은 협업 LLM 추론 하에서의 프롬프트 역전 공격에 대해 최초의 정보 이론적 프라이버시 방어를 제공한다고 주장합니다. 주요 의의는 휴리스틱한 섭동에서 벗어나 재구성 오차에 대한 증명 가능한 경계를 제공하는 원칙적인 손실 압축으로 패러다임을 전환했다는 점에 있습니다. 저자들은 자신들의 접근 방식이 **학습된 태스크 인지 변환(learned, task-aware transformations)**이 실제적인 프라이버시를 위해 필수적임을 입증하며, 이를 통해 민감한 애플리케이션(의료, 법률 등)이 원본 사용자 프롬프트를 노출하지 않고도 LLM을 활용할 수 있게 한다고 주장합니다. 본 연구는 프라이버시 보호가 반드시 균일할 필요는 없음을 보여줍니다. 즉, 고엔트로피 토큰을 선택적으로 억제함으로써 시스템은 다운스트림 추론에 필요한 구조적 무결성을 유지하면서도 민감한 콘텐츠를 보호할 수 있습니다.