기술 요약: SELFCI – LLM 의 맥락적 무결성을 위한 보완적 자기 증류

문제 정의

대규모 언어 모델 (LLM) 이 민감한 워크플로우를 관리하는 개인 에이전트로 점점 더 배포됨에 따라, 프라이버시 문제는 단순한 데이터 은닉에서 **맥락적 무결성 (Contextual Integrity, CI)**으로의 전환을 겪고 있습니다. CI 는 정보를 절대적인 비밀로 간주하는 것이 아니라, 맥락별 규범에 따라 정보 흐름을 관리하는 것으로 프라이버시를 정의합니다. 이 영역에는 중요한 비대칭성이 존재합니다: 어시스턴트는 작업 완수에 필요한 정보 (유틸리티) 를 유지해야 하는 동시에, 작업과 무관하거나 맥락상 부적절한 정보 (프라이버시) 는 억제해야 합니다.

기존 정렬 방법들은 이러한 공동 요구 사항을 충족하는 데 어려움을 겪고 있습니다:

• CI 준수 궤적에 대한 **지도 미세 조정 (SFT)**은 확장 비용이 많이 들며, 생성물이 학습 분포에서 벗어날 때 노출 편향 (exposure bias) 을 겪습니다.
• 온라인 강화 학습 (RL)(예: GRPO) 은 작업 성공과 공개 준수를 혼동하는 희소하고 스칼라 형태의 보상에 의존합니다. 이러한 거친 피드백은 특정 전송 규범에 따라 적절성이 결정되는 속성별 결정을 판단하지 못하며, 종종 프라이버시 개선이 작업 유틸리티 저하로 이어지는 트레이드오프를 초래합니다.

핵심 문제는 단일하고 모호한 목적 함수로 압축하거나 값비싼 외부 감독에 의존하지 않고도 '유지'와 '억제' 압력을 분리할 수 있는 메커니즘의 부재입니다.

방법론: SELFCI

저자들은 LLM 이 고유한 작업 해결 능력을 희생하지 않고 CI 원칙과 정렬되도록 설계된 보완적 자기 증류 프레임워크인 SELFCI를 제안합니다. 이 접근법은 맥락 의존적 불변성 개념에 기반합니다: 모델의 예측 분포는 허용되지 않는 정보 ($D_T$) 의 주입에는 불변해야 하지만, 허용된 정보 ($A_T$) 에 대해서는 민감하게 반응해야 합니다.

1. 피드백 생성

Ground-truth 논리나 외부 최첨단 모델에 의존하는 대신, SELFCI 는 모델 자체를 활용하여 온-정책 (on-policy) 피드백을 생성합니다.

• 모델은 CI 전송 원칙 (기밀성, 비례성, 동의) 에 기반하여 특정 속성을 공개하거나 공개하지 말아야 하는 이유를 설명하는 논리를 생성하도록 $I_{allow}$ 및 $I_{disallow}$라는 특정 지시 템플릿으로 프롬프트됩니다.
• 이러한 자기 생성 논리는 모델의 매개변수에 기반한 밀도 있고 토큰 수준의 지침을 제공하는 특권적 컨텍스트 (privileged context) 역할을 합니다.

2. 보완적 교사 구성

SELFCI 는 집계된 피드백에 조건부로 동일한 모델 매개변수에서 두 가지 다른 교사 정책을 인스턴스화합니다:

• $\pi_{allow}$ (유틸리티 지향): 작업 완결성을 지향하는 교사로서, 정책을 필요한 정보를 복구하도록 안내합니다.
• $\pi_{disallow}$ (프라이버시 지향): 최소 공개를 지향하는 교사로서, 제한된 정보에 대한 의존성을 패널티로 부과합니다.

3. 전문가의 곱 (Product-of-Experts, PoE) 을 통한 공동 최적화

학생 정책은 이러한 교사들에 대한 두 가지 독립적인 역 KL 발산을 동시에 최소화하도록 훈련됩니다:
$$\mathcal{L} = \lambda D_{KL}(\pi_\theta \parallel \pi_{allow}) + (1-\lambda) D_{KL}(\pi_\theta \parallel \pi_{disallow})$$
수학적으로 고정된 교사 분포 하에서, 이 목적 함수는 전문가의 곱 (Product-of-Experts, PoE) 목표 분포와 일치하는 것과 동등합니다:
$$\pi^* \propto \pi_{allow}^\lambda \cdot \pi_{disallow}^{1-\lambda}$$
이 곱셈 형식은 두 교사의 지지 영역 교차부에 확률 질량을 집중시킵니다. 결과적으로 정책은 경쟁하는 목적 함수로 취급하는 대신 작업 완결성과 최소 공개를 동시에 만족하도록 학습합니다. 이 프레임워크는 명시적으로 비대칭적인 유지/억제 구조를 모델링함으로써 단일화 솔루션의 함정을 피합니다.

주요 기여

1. 프라이버시와 유틸리티의 분리: SELFCI 는 작업 유틸리티와 프라이버시 제약의 최적화를 보완적 교사 분포로 분리하는 프레임워크를 도입하여, 스칼라 보상 RL 또는 단일화 SFT 의 구조적 제약을 회피합니다.
2. 외부 감독 없는 자기 증류: 이 방법은 대상 모델에서 자체적으로 특권적 컨텍스트 (논리) 와 교사를 생성하여 값비싼 외부 교사나 수동으로 제작된 논리에 대한 필요성을 제거합니다.
3. 이론적 공식화: 저자들은 보완적 자기 증류 목적 함수가 이상적인 CI 상태 (허용되지 않는 정보에 대한 불변성) 에 대한 상한 대리 변수로 작용함을 증명하여, 수학적으로 근거를 둔 정렬 경로를 제공합니다.
4. 전문가의 곱 (PoE) 정렬: 두 가지 전문화된 교사의 교차점을 향해 최적화함으로써, 이 방법은 기존 베이스라인에서 종종 손실되는 작업 완결성과 프라이버시 보존을 모두 갖춘 정책을 달성합니다.

실험 결과

저자들은 도메인 내 및 도메인 외 벤치마크에서 다양한 지시 미세 조정 모델 (예: Qwen2.5, Llama-3.1) 과 추론 백본 (예: DeepSeek-R1, Olmo-3) 에 대해 SELFCI 를 평가했습니다.

• 도메인 내 (CI-RL 벤치마크): SELFCI 는 온라인 RL(CI-RL/GRPO) 과 외부 교사 증류 (ContextDistill) 를 포함한 베이스라인보다 일관되게 우수한 성과를 거두었습니다. Qwen2.5-7B-Instruct 에서 SELFCI 는 유틸리티와 무결성을 모두 만족하는 Complete 점수를 23.29% 에서 **53.42%**로 향상시켰으며, Utility를 희생하지 않으면서 Integrity(83.56%) 를 크게 향상시켰습니다.
• 도메인 외 (PrivacyLens): 도구 사용을 포함하는 에이전트 워크플로우에서 SELFCI 는 뛰어난 일반화 능력을 보여주어 높은 유용성 점수를 유지하면서 가장 낮은 누출률 (LR 및 ALR) 을 달성했습니다.
• 강건성 (CIMemories): 속성이 한 작업에서는 적절할 수 있지만 다른 작업에서는 그렇지 않을 수 있는 누적된 개인 컨텍스트 하에서, SELFCI 는 위반률을 5% 미만으로 유지한 반면 베이스라인은 누적된 프라이버시 실패를 보였습니다.
• 효율성: SELFCI 는 온라인 RL 보다 샘플 효율성이 높아 더 적은 에포크에서 높은 성능에 도달했으며, GRPO 의 16 회 롤아웃 대비 1 회 롤아웃으로 단계당 GPU 시간을 훨씬 적게 요구했습니다.

중요성과 주장

본 논문은 SELFCI 가 개인 에이전트를 위한 맥락적 무결성 정렬을 위한 실용적인 경로를 제공한다고 주장합니다. 그 중요성은 다음을 보여줌에 있습니다:

• 맥락적 프라이버시는 고유한 유틸리티의 대가를 치르지 않아도 되며, 보완적 자기 증류를 통해 공동으로 최적화될 수 있습니다.
• CI 의 '유지/억제' 비대칭성은 거친 스칼라 보상에 의존하기보다 목적 함수를 전문화된 교사 분포로 분해함으로써 효과적으로 모델링될 수 있습니다.
• 자기 생성 피드백은 밀도 있는 감독을 위한 견고한 온-정책 신호로 작용할 수 있어, 독점적 최첨단 모델에 대한 의존 없이 프라이버시 정렬을 확장 가능하게 만듭니다.

저자들은 피드백 생성을 위한 구조화된 합성 데이터에 대한 의존성, 약한 컨텍스트 학습 능력을 가진 더 작은 모델의 잠재적 어려움, 그리고 교사 균형을 위한 정적 계수 $\lambda$의 사용 등 한계를 지적합니다. 그러나 결과는 SELFCI 가 복잡하고 맥락 의존적인 프라이버시 규범과 LLM 을 정렬하기 위한 확장 가능하고 효과적인 접근법을 제공함을 시사합니다.