Do LLMs Know What Is Private Internally? Probing and Steering Contextual Privacy Norms in Large Language Model Representations

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 이 의료, 개인 비서 등 고위험 분야에서 널리 사용되고 있지만, 인간이 상황적 맥락을 고려하여 신중하게 판단할 때에도 사생활 정보를 부적절하게 유출하는 경우가 빈번합니다.
• 기존 접근법의 한계: 기존 연구는 주로 훈련 데이터의 암기 (memorization) 를 완화하거나 생성 단계에서 개인 정보를 필터링하는 방식에 집중했습니다. 이는 사생활을 정적 (static) 인 속성으로 간주하여, 상호작용적 맥락 (social context) 에 따라 정보 공유의 적절성이 결정된다는 '맥락적 무결성 (Contextual Integrity, CI)' 이론을 간과했습니다.
• 핵심 질문: LLM 은 내부적으로 맥락적 사생활 규범 (Contextual Privacy Norms) 을 인코딩하고 있는가? 만약 그렇다면, 왜 이러한 규범 위반이 지속적으로 발생하는가?

2. 방법론 (Methodology)

저자들은 LLM 의 내부 표현 (internal representations) 을 분석하고 조작하기 위해 맥락적 무결성 (CI) 이론을 기반으로 한 체계적인 프로빙 (Probing) 과 스티어링 (Steering) 프레임워크를 제안했습니다.

가. CI 기반 프로빙 (Probing)

저자들은 4 개의 모델 (Llama-3.1, Qwen-2.5, Mistral, Llama-2) 을 대상으로 세 가지 수준에서 분석을 수행했습니다.

1. 개념 수준 (Concept Level): 적절한 정보 흐름과 부적절한 정보 흐름을 구분하는 선형 분리 가능성 (linear separability) 을 테스트.
2. 행동 수준 (Behavioral Level): 내부 신호가 실제 정보 유출 결정으로 이어지는지 평가 (역설적 발견).
3. CI 매개변수 수준 (CI-Parametric Level): CI 의 3 가지 핵심 매개변수 (정보 유형, 수신자, 전송 원칙) 가 각각 독립적인 하위 공간 (subspace) 에 인코딩되는지 분석.

나. CI-매개변수 스티어링 (CI-Parametric Steering)

분석 결과를 바탕으로, 추론 시 (inference-time) 모델의 활성화 상태를 조작하여 사생활 보호 행동을 유도하는 새로운 기법을 제안했습니다.

• 핵심 아이디어: 사생활 규범이 단일 벡터가 아니라 CI 매개변수별로 분리된 다차원 구조이므로, 각 매개변수 방향 ($v^{(p)}_l$) 에 독립적으로 개입합니다.
• 수식: $h'_l = h_l + \alpha \sum_{p \in P} v^{(p)}_l$
  • 여기서 $P$는 {정보 유형, 수신자, 전송 원칙}이며, $\alpha$는 스티어링 강도입니다.
• 단일 벡터 스티어링 (Monolithic Steering) 과의 차이: 기존 연구는 하나의 벡터로 전체 개념을 제어했으나, 본 방법은 CI 의 구성적 구조 (compositional structure) 를 활용하여 각 차원을 독립적으로 제어합니다.

3. 주요 발견 및 결과 (Key Findings & Results)

가. 주요 발견 (Findings)

1. 선형 인코딩이지만 단일 방향이 아님: 사생활 규범은 LLM 의 잔류 스트림 (residual stream) 상층부에서 선형적으로 분리 가능하지만, 단일 PCA 방향으로는 포착되지 않습니다. 최소 3 개의 주성분이 필요하며, 이는 CI 의 다차원적 특성을 반영합니다.
2. 사생활 인식 격차 (Privacy Awareness Gap): 모델은 내부적으로 사생활 규범을 거의 완벽하게 (AUROC > 0.9) 분류할 수 있음에도 불구하고, 행동 단계에서는 **최대 42.5%**의 시나리오에서 사생활 정보를 유출했습니다. 이는 '인식 (Representation)'과 '행동 (Behavior)' 사이의 심각한 불일치를 보여줍니다.
3. CI 정렬된 하위 공간: 정보 유형, 수신자, 전송 원칙은 각각 기능적으로 독립적인 하위 공간에 인코딩됩니다. 한 매개변수의 방향을 다른 매개변수의 하위 공간에 투영하면 분류 성능이 급격히 떨어집니다.

나. 실험 결과

• 합성 데이터 (Synthetic Data): CI-매개변수 스티어링은 정보 유출률을 42.5% 에서 5.0% 로 감소시켰으며 (PPI 98.8%), 단일 벡터 스티어링 (Additive, LoRRA 등) 보다 월등히 우수했습니다.
• 벤치마크 일반화 (CONFAIDE & PrivaCI-Bench):
  • 단일 벡터 스티어링은 훈련 데이터와 다른 도메인으로 전이될 때 오히려 유출률을 증가시키거나 불안정하게 동작했습니다.
  • 반면, CI-매개변수 스티어링은 CONFAIDE 에서 유출률을 0.0~2.6% 까지, PrivaCI-Bench 에서 0.0~12.0% 까지 감소시켜 강력한 일반화 성능을 입증했습니다.
• 매개변수 제거 실험 (Ablation): 세 가지 CI 매개변수를 모두 결합했을 때만 최적의 성능을 보였으며, 개별 매개변수만 조작하면 오히려 유출이 증가하거나 기존 규범 준수 행위가 교란되었습니다.

4. 기여도 (Contributions)

1. 최초 체계적 연구: LLM 의 내부 표현을 통해 맥락적 사생활을 최초로 체계적으로 연구하여, 모델이 규범을 인코딩하고 있음에도 행동으로 이어지지 않는 **'사생활 인식 격차 (Privacy Awareness Gap)'**를 발견했습니다.
2. 다차원 표현 구조 규명: 사생활 표현이 CI 매개변수 (정보 유형, 수신자, 전송 원칙) 를 따라 분해되며, 각 매개변수가 기능적으로 독립적인 하위 공간을 차지함을 증명했습니다.
3. CI-매개변수 스티어링 제안: 사생활 규범의 구성적 구조를 활용하여 단일 벡터 기반 방법론이 실패하는 환경에서도 강건한 (robust) 사생활 보호를 가능하게 하는 새로운 추론 시간 개입 기법을 제시했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 사생활 위반이 '규범에 대한 인식 부재' 때문이 아니라, 표현 (Representation) 과 행동 (Behavior) 사이의 불일치에서 비롯됨을 밝혔습니다. 또한, 사생활 보호를 위한 단일 벡터 접근법의 한계를 지적하고, 맥락적 무결성 이론에 기반한 다차원 구조적 제어가 더 신뢰할 수 있는 해결책임을 입증했습니다. 이는 LLM 의 맥락적 사생활 이해를 향상시키고, 실제 고위험 환경에서의 안전한 배포를 위한 중요한 기술적 통찰을 제공합니다.