기술 요약: 프라이버시 인식 디코딩 (Privacy-Aware Decoding, PAD)

문제 정의

검색 증강 생성(Retrieval-Augmented Generation, RAG)은 외부 지식 소스에 출력값을 조건화함으로써 대규모 언어 모델(LLM)의 성능을 향상시킨다. 그러나 검색 코퍼스(corpus)에 개인정보나 민감한 데이터가 포함되어 있을 경우, RAG 시스템은 추출 공격(extraction attacks)에 취착할 수 있다. 공격자는 프롬프트를 정교하게 설계하여 모델이 검색된 문서로부터 텍스트를 그대로 출력하거나 개인 식별 정보(PII)를 직접 유출하도록 유도할 수 있다.

기존의 완화 전략들은 두 가지 주요 한계점을 가진다:

1. 디코딩 취약성: 프라이빗한 검색 메커니즘을 사용하더라도, 디코딩 단계(생성 단계)가 정보 유출 채널로 작용할 수 있다. 저온도(low-temperature) 또는 그리디(greedy) 디코딩 전략은 LLM이 민감한 콘텐츠를 그대로 출력하게 만들어 상위 단계의 보호 조치를 우회하는 경우가 많다.
2. 확장성 및 실용성: 차분 프라이버시(Differential Privacy, DP)를 적용하는 DP-SGD와 같은 강력한 방법들은 상당한 재학습을 요구하므로, 이미 사전 학습된 대규모 LLM에 적용하기에는 비실용적이다. 다른 접근 방식들은 검색 인프라나 코퍼스 필터링을 수정해야 하는 경우가 많다.

따라서 재학습이나 검색 파이프라인의 변경 없이 프라이버시 유출을 완화할 수 있는 모델 불가지론적(model-agnostic)인 추론 시점의 방어 기제에 대한 필요성이 존재한다.

방법론: 프라이버시 인식 디코딩 (PAD)

저자들은 생성 과정 중 토큰 로짓(logits)에 보정된 가우시안 노이즈를 적응적으로 주입하는 가볍고 추론 시점에 작동하는 메커니즘인 **프라이버시 인식 디코딩(PAD)**을 제안한다. PAD는 디코딩 단계에서 완전히 작동하며 모델 불가지론적이다.

이 프레임워크는 네 가지 핵심 구성 요소로 이루어져 있다:

1. 로짓 클리핑(Logit Clipping) 및 민감도 경계 설정

차분 프라이버시에 필요한 결정론적 민감도 경계를 설정하기 위해, PAD는 먼저 $L_2$ 로짓 클리핑을 적용한다. 고정된 반지름 $C$에 대해, 로짓 $\mathbf{s}_t$는 다음과 같이 클리핑된 $\bar{\mathbf{s}}_t$가 된다:
$$\bar{\mathbf{s}}_t = \mathbf{s}_t \cdot \min\left(1, \frac{C}{\|\mathbf{s}_t\|_2}\right)$$
이는 임의의 인접한 검색 컨텍스트에 대해 클리핑된 로짓의 차이가 $\Delta = 2C$로 제한되도록 하여, 가우시안 메커니즘을 위한 고정된 민감도를 제공한다.

2. 신뢰도 기반 스크리닝(Confidence-Based Screening)

PAD는 노이즈를 균일하게 적용하지 않는다. 대신, 고위험 토큰을 식별하기 위한 스크리닝 메커니즘을 사용한다. 다음 조건 중 하나를 만족하는 경우 해당 토큰은 고위험 토큰으로 간주된다:

• 모델의 신뢰도(최대 소프트맥스 확률)가 임계값 $\tau_{conf}$ 미만인 경우.
• 로짓 마진(상위 두 로짓 간의 차이)이 임계값 $\tau_{margin}$ 미만인 경우.

이러한 기준을 충족하는 토큰은 강화된 보호 대상으로 분류되며, 신뢰도가 높은 예측에는 유용성을 보존하기 위해 최소한의 노이즈만 적용된다.

3. 적응형 노이즈 보정(Adaptive Noise Calibration)

고위험 토큰에 대해 PAD는 세 가지 요인에 따라 동적으로 보정된 스케일 $\sigma_t$를 갖는 가우시안 노이즈 $\mathcal{N}(0, \sigma_t^2 \mathbf{I})$를 주입한다:

• 위험 적응형 스케일 ($r_t$): 로짓 마진에 의해 조절된다. 마진이 작을수록(불확실성이 높을수록) 노이즈 스케일이 커진다.
• 컨텍스트 인식 보정: 노이즈 스케일은 다음 요소들에 의해 추가로 조정된다:
  • 토큰 엔트로피: 엔트로피(불확실성)가 높을수록 노이즈가 증가한다.
  • 위치 요인: 시퀀스의 초반 토큰은 에러 전파를 방지하기 위해 더 높은 노이즈를 받는다.
  • 신뢰도 요인: 낮은 신뢰도는 노이즈를 증가시킨다.
• 증폭 계수 ($\lambda_{amp}$): 프라이버시-유용성 트레이드오프를 조절하기 위한 글로벌 파라미터이다.

최종 노이즈 스케일은 다음과 같이 계산된다:
$$\sigma_t = \sigma_{base} \cdot \text{calibrate}(\mathbf{p}_t, t) \cdot r_t \cdot \lambda_{amp}$$

4. 레니 차분 프라이버시 (Rényi Differential Privacy, RDP) 계정 산출

PAD는 누적된 프라이버시 손실을 추적하기 위해 Rényi 차분 프라이버시 계정(accountant)을 활용한다. 노이즈 스케일 $\sigma_t$가 데이터 의존적(adaptive)이기 때문에, 보고되는 $(\varepsilon, \delta)$ 보장은 실현된 노이즈 스케줄에 특화된다. 이 프레임워크는 **$\gamma$-완화($\gamma$-relaxation)**를 사용하여, 고위험 토큰으로 식별된 토큰의 비율 $\gamma$에 대해서만 공식적인 DP 보장을 제공하고, 저위험 토큰은 보호하지 않음으로써 생성 품질을 유지한다.

주요 기여

1. PAD 프레임워크: 재학습이나 검색 인프라의 변경 없이 RAG를 위해 특별히 설계된 최초의 디코딩 단계 프라이버시 보호 메커니즘이다.
2. 적응형 노이즈 메커니즘: 신뢰도 기반 스크리닝과 컨텍스트 인식 보정을 사용하여 고위험 토큰을 타겟팅함으로써, 프라이버시 보호와 생성 유용성 사이의 균형을 맞추는 새로운 접근 방식을 제시한다.
3. 명시적 프라이버시 계정 산출: 데이터 의존적 노이즈 스케줄 하에서 보호된 토큰에 대한 응답 수준의 $(\varepsilon, \delta)$ 프라이버시 보장을 보고하는 RDP 기반 계정 산출법을 제공한다.
4. 실증적 검증: 다양한 데이터셋과 모델에 대해 PAD가 프라이버시 유출을 줄이면서도 응답 유용성을 보존함을 입증하는 포괄적인 평가 결과.

실험 결과

저자들은 세 가지 실제 데이터셋인 HealthCareMagic, ChatDoctor-iCliniq(의료 대화), Enron Mail에서 PAD를 평가하였다. 실험은 Pythia-6.9B 및 Llama2-7B 모델을 사용하여 블랙박스 추출 공격을 대상으로 수행되었다.

주요 결과:

• 프라이버시 완화: PAD는 프라이버시 정보 유출을 실질적으로 감소시켰다. Pythia-6.9B를 사용한 HealthCareMagic 데이터셋의 경우, PAD는 "Repeat Prompt" 유출(검색된 텍스트의 그대로 복제)을 264에서 127로(51.9% 감소) 줄였으며, ROUGE 기반 유출을 49.6% 감소시켰다.
• 유용성 보존: 기존의 베이스라인들이 생성 품질을 저하시키는 것과 달리, PAD는 퍼플렉시티(PPL)를 유지하거나 개선하였다. 예를 들어, HealthCareMagic에서 PAD는 유출 베이스라인의 10.94와 비교하여 9.88의 PPL을 달 기록했다.
• 베이스라인과의 비교: PAD는 프라이버시-유용성 트레이드오프 측면에서 기존의 검색 기반 방어(Summarization, Set Distance Threshold) 및 후처리 방법(Static Noise Injection)보다 우수한 성능을 보였다.
• 어블레이션 연구(Ablation Studies): 위험 적응형 또는 컨텍스트 인식 보정 구성 요소를 제거했을 때 프라이버시 유출이 측정 가능한 수준으로 증가하였으며, 이는 적응형 구성 요소의 필요성을 확인시켜 준다.
• 파라미터 민감도: 연구를 통해 프라이버시와 유용성의 균형을 맞추기 위한 최적의 증폭 계수 범위(3.0–5.0)를 식별하였다. 매우 낮은 $\varepsilon$ 값(예: 0.01)은 유출을 제거하지만 높은 퍼플렉시티로 인해 출력을 사용할 수 없게 만든다.

의의 및 주장

본 논문은 PAD를 RAG의 프라이버시 위험을 완화하기 위한 디코딩 전략으로서 중요한 단계로 규정한다. 저자들은 PAD가 다음과 같은 이유로 민감한 도메인(의료 등)을 위한 보편적이고 확장 가능한 솔루션이라고 주장한다:

• 재학습 없이 추론 시점에 완전히 작동한다.
• 모델 불가지론적이며 기존 검색 파이프라인과 호환된다.
• 명시적인 응답별 프라이버시 계정 산출을 제공한다.

본 연구는 현재의 $\gamma$-완화된 보장이 일부 토큰만을 보호한다는 점과, 보고된 프라이버시 계정이 입력 독립적인 최악의 경우(worst-case)가 아닌 실현된 노이즈 스케줄에 기반한다는 점을 언급하며 한계를 인정한다. 저자들은 향후 연구에서 검색과 학습 방어의 공동 최적화를 탐구하고, 프레임워크를 멀티모달 RAG 환경으로 확장해야 한다고 제언한다.