기술 요약: GRASP – 그룹 상대 정책 최적화(GRPO)를 통한 언어 모델 익명화 강화

문제 정의

대규모 언어 모델(LLM)은 일반적인 텍스트로부터 민감한 개인 속성(예: 연령, 위치, 직업, 소득)을 높은 정확도로 추론함으로써 심각한 프라이버시 위험을 초래합니다. 고전적인 익명화 방법(예: 개체명 인식)은 명시적인 식별자를 제거하지만, 현대적인 추론 공격이 악용하는 맥락적 의미 단서(contextual semantic cues)를 해결하지는 못합니다.

최첨단 방어 기법인 **적대적 익명화(adversarial anonymization)**는 강력한 LLM을 사용하여 잔여 개인 정보를 식별하고 제거하는 공격자 역할을 동시에 수행하며 텍스트를 반복적으로 재작성합니다. 그러나 이 방식은 추론 시점에 프런티어 모델(예: GPT-4o, Gemini)을 실행해야 하므로, 프라이버시가 있는 사용자 데이터를 제3자 API로 전송해야 하는 문제를 야기합니다. 이는 익명화가 방지하고자 하는 바로 그 노출을 달성하기 위해 노출이 필수적으로 요구되는 근본적인 역설을 만듭니다.

SEAL과 같은 이전의 로컬화 시도는 지도 미세 조정(SFT) 및 직접 선호도 최적화(DPO)를 사용하여 프런티어 모델의 행동을 소형 언어 모델(SLM)로 증류(distill)했습니다. 하지만 DPO는 오프라인 상태의 교사 모델의 선호도를 단순히 모방하는 데 그치기 때문에 한계가 있습니다. DPO는 특정 프라이버시-유틸리티 목적 함수를 직접 최적화할 수 없으며, 교사 모델이 생성하지 않은 재작성 결과물을 탐색할 수 없어 증류된 시연의 품질에 갇히게 됩니다.

방법론: GRASP

저자들은 오프라인 모방을 대신하여 온라인 강화 학습(RL)을 사용하여 프라이버시-유틸리티 목표를 직접 최적화하는 GRASP(Group-Relative Anonymization via Self-refinement Policy-optimization) 프레임워크를 소개합니다.

1. 아키텍처 및 역할

GRASP는 세 가지 뚜렷한 역할을 수행하는 단일 소형 언어 모델(Llama-3.1-8B 기반)을 활용합니다:

• 익명화 도구(Anonymizer): 속성을 숨기기 위해 텍스트를 재작성합니다.
• 적대자(Adversary): 재작성된 텍스트에서 개인 속성을 추론합니다.
• 유틸리티 판사(Utility Judge): 가독성 및 의미 보존을 평가합니다.

2. 훈련 파이프라인

프로세스는 두 단계로 구성됩니다:

• 1단계: 지도 미세 조정(SFT): 적대적 익명화 도구로서 작동하는 프런티어 모델(GPT-4o)이 생성한 궤적(trajectories)을 사용하여 기본 모델을 적응시킵니다. 모델은 익명화 쌍, 적대적 추론 레이블, 유틸리티 평가 레이블의 세 가지 데이터셋으로 학습됩니다. 이를 통해 세 가지 작업을 모두 수행할 수 있는 고정된 참조 모델 $\pi_{ref}$가 생성됩니다.
• 2단계: GRPO 최적화: 익명화 정책($\pi_\theta$)은 **그룹 상대 정책 최적화(GRPO)**를 사용하여 미세 조정됩니다. PPO와 달리 GRPO는 별도의 가치 네트워크(value network)를 필요로 하지 않습니다. 대신, 각 입력에 대해 정책은 $G$개의 후보 재작성 문구 그룹을 샘사합니다. 고정된 $\pi_{ref}$는 각 후보를 적대자이자 판사로서 점수를 매겨 보상 신호를 생성합니다.

3. 보상 설계 및 안티 해킹 메커니즘

보상 함수 $R(x')$는 "보상 해킹(reward hacking)"을 방지하기 위한 엄격한 제약 조건 하에 프라이버시($r_p$)와 유틸리티($r_u$) 점수를 결합합니다:

• 프라이버시 보상: 적대자가 여전히 추론할 수 있는 속성의 수와 그 확신 수준을 기반으로 합니다. 결정적으로, 이 보상은 적대자의 추측이 사실적으로 옳은지 여부와 관계없이, 적대자의 '확신 있는 추측' 자체를 처벌합니다. 이는 모델이 특정 공격자를 속이기 위해 단순히 위장하는 것이 아니라, 근본적인 단서 자체를 제거하도록 강제합니다.
• 유틸리티 보상: 가독성, 의미 보존 및 환각(hallucination)의 부재를 측정합니다.
• 제약 조건:
  • 길이 밴드(Length Band): 출력은 단순한 삭제(예: 전체 텍스트 삭제)와 같은 사소한 해결책을 방지하기 위해 $[0.5|x|, 2|x|]$ 단어 범위를 유지해야 합니다.
  • 유틸리티 하한선(Utility Floor): 모델이 의미를 완전히 희생하면서 프라이버시를 확보하는 것을 방지하기 위해 최소 유틸리티 임계값($\tau$)이 강제됩니다.
• 추론 시 자기 개선(Self-Refinement at Inference): 테스트 시, 훈련된 정책은 완전히 온디바이스(on-device)에서 실행됩니다. 모델은 스스로 생성한 피드백을 바탕으로 잔여 속성과 유틸리티를 추론하고 텍스트를 재작성함으로써 자신의 출력을 반복적으로 개선하며, 이 과정에서 외부 모델을 필요로 하지 않습니다.

주요 기여

1. 직접 RL 공식화: 본 논문은 로컬 텍스트 익명화를 오프라인 모방의 한계를 넘어, 스스로 생성된 적대적 보상에 맞서는 직접적인 강화 학습으로 규정합니다.
2. 통합 GRASP 프레임워크: 단일 소형 모델이 익명화 도구, 공격자, 유틸리티 판사 역할을 수행하는 GRPO 레시피를 구현하여, 훈련 또는 추론 시 외부 모델의 필요성을 제거했습니다.
3. 실증적 검증: GRASP가 증류 기반 베이스라인 및 프런티어 모델 기반 적대적 익명화보다 프라이버시-유틸리티 트레이드오프를 개선함을 광범위한 실험을 통해 입증했습니다.

실험 결과

방법론은 합성 개인 프로필 코퍼스인 SynthPAI를 대상으로 두 가지 분할(메인 데이터셋 및 맥락적으로 속성이 내재된 "하드" 데이터셋)에 대해 평가되었습니다.

• 베이스라인 대비 성능: GRASP는 DPO로 증류된 SEAL 베이스라인 및 규칙 기반 방법(Azure, Dipper)보다 일관되게 우수한 성능을 보였습니다.
• 프런티어 모델과의 비교: 프런티어 모델(Gemini 2.5 Flash, Claude Haiku 4.5, Qwen3)에 의해 구동되는 적대적 익명화와 비교했을 때, GRASP는 대등하거나 더 나은 전반적인 트레이드오프를 달s성했습니다.
  • 메인 데이터셋에서 GRASP는 속성 추론 정확도를 0.195(최적의 프라이버시 라운드)로 낮추었으며, 이는 가장 우수한 프런티어 모델(Claude, 0.365) 및 SEAL(0.244)보다 현저히 낮은 수치인 동시에, 단 7%의 상대적 유틸리티 비용만을 발생시켰습니다.
  • 하드 데이터셋에서 GRASP는 모든 방법 중 가장 낮은 추론 정확도(0.332)를 달성했습니다. 반면 프런티어 모델들은 유틸리티를 보존하기 위해 프라이버시 측면에서 한계를 보였습니다.
• 강건성(Robustness): GRASP의 우수성은 세 가지 독립적인 LLM 판사(GLM-5, Qwen3, GPT-OSS)를 통해 확인되었으며, 이는 결과가 특정 평가자의 산물이 아님을 나타냅니다.
• 효율성: 8B 파라미터 모델로 작동하는 GRASP는 GPT-4o 교사 모델 비용의 약 1% 수준으로 운영되며, 사용자의 기기에서 데이터를 외부로 보낼 필요가 없습니다.

의의 및 주장

본 논문은 GRASP가 프라이버시 보호와 계산 비용/프라이버시 노출 사이의 트레이드오프를 성공적으로 깨뜨렸다고 주장합니다. 소형 로컬 모델이 자기 비판을 통해 익명화를 반복적으로 개선할 수 있게 함으로써, GRASP는 값비싼 외부 프런티어 모델에 의존하는 방법들보다 더 강력한 프라이버시-유틸리티 경계선을 달성합니다. 저자들은 이 접근 방식이 사용자가 데이터를 완전히 통제하면서도, 기존에는 프라이사한 텍스트를 제3자 API로 전송해야만 가능했던 수준의 익명화 품질을 얻을 수 있게 한다고 강조합니다. 이 설계는 정교한 보상 엔지니어링을 통해 일반적인 RL 실패 모드(보상 해킹)를 방지하며, 모델이 단순히 정보를 은폐하는 것이 아니라 실제적인 프라이버시 단서를 진정으로 제거하도록 학습시킵니다.