기술적 요약: PRIVACYSIM: 사용자 개인정보 보호 행동에 대한 LLM 시뮬레이션 평가

문제 제기

대규모 언어 모델 (LLM) 은 데이터 공유 시스템을 평가하기 위해 인간 행동을 시뮬레이션하는 데 점점 더 많이 활용되고 있으며, 이는 비용이 많이 들고 시간이 오래 걸리는 통제된 사용자 연구를 대체할 가능성이 있습니다. 그러나 LLM 이 개인 수준의 개인정보 보호 결정을 충실하게 시뮬레이션할 수 있는지는 여전히 불분명합니다. 기존 연구는 종종 일반화된 페르소나나 인구 수준의 정합성에 의존하여, 특히 사용자의 명시적 태도와 실제 행동이 괴리되는 '개인정보 보호 역설 (privacy paradox)'과 같은 개인 행동의 미묘한 차이를 포착하지 못합니다. AI 매개 환경에서 특정 사용자 페르소나 속성이 LLM 을 유도하여 개별적인 개인정보 보호 의사결정을 정확하게 모방할 수 있는지 평가하기 위한 표준화된 평가 스위트가 부족합니다.

방법론

저자들은 실제 인간 응답을 기준으로 사용자 개인정보 보호 행동에 대한 LLM 시뮬레이션을 벤치마크하도록 설계된 평가 스위트인 PRIVACYSIM을 소개합니다.

데이터셋 구축

이 평가는 합성 생성이 아닌 실제 세계 데이터에 기반합니다. 저자들은 다양한 분야를 아우르는 5 개의 공개된 사용자 연구에서 데이터셋을 선별했습니다:

1. LLM 의료 상담
2. AI 에이전트 권한
3. LLM 챗봇
4. 챗봇 그룹 채팅
5. LLM 대화형 에이전트

이러한 연구들로부터 1,000 명의 사용자(연구당 200 명) 를 표본 추출하고 9,400 개의 사용자 - 질문 쌍을 추출했습니다. 각 사용자는 다음 세 가지 가설적 측면으로 구성된 '개인정보 보호 페르소나'($P_u$) 와 연관되어 있습니다:

• 인구통계학적 특성 ($D_u$): 나이, 성별, 교육 수준 (일부 연구에서 생략되었으므로 선택 사항).
• 이전 경험 ($E_u$): AI/챗봇에 대한 친숙도와 사용 빈도.
• 개인정보 보호 태도 ($A_u$): 데이터 사용에 대한 명시된 우려와 선호도.

시뮬레이션 작업

작업은 사용자의 페르소나 $P_u$와 데이터 공유 질문 $q_i$를 받아 시뮬레이션된 응답 $\hat{r}_{u,i}$를 생성하는 LLM 시뮬레이터 $f$로 정의됩니다. 목표는 $\hat{r}_{u,i}$를 사용자의 실제 응답 $r_{u,i}$와 정합시키는 것입니다.

평가 지표

연구 간 응답 척도가 다양함 (예: 5 점 리커트 척도 대 0~100 숫자 척도) 으로 인해, 저자들은 허용 오차 정확도 (tolerance accuracy) 지표를 사용합니다. 시뮬레이션된 응답이 실제 응답의 허용 오차 범위 ($\tau \cdot W_{Q_u}$) 내에 있으면 일치한 것으로 간주합니다. 여기서 $W_{Q_u}$는 척도의 상한선입니다. 저자들은 $\tau = 0.15$로 설정했는데, 이는 5 점 척도의 경우 사실상 정확한 일치를 의미하지만 100 점 척도의 경우 $\pm 15$점의 여유를 허용합니다.

실험 설정

이 연구는 GPT-5.4, Claude Sonnet 4.6, Gemini 3.1 Pro, 다양한 Qwen 및 Gemma 변형을 포함한 9 개의 최첨단 LLM(오픈 가중치 및 폐쇄형 소스 모두) 을 평가했습니다. 모델은 8 가지 프롬프트 조건 하에서 테스트되었습니다:

1. 페르소나 없음 (베이스라인).
2. 세 가지 페르소나 측면 ($D_u$, $E_u$, $A_u$) 의 부분 집합을 모든 비공집합 조합으로 포함.
3. 개인정보 보호 이론 (개인정보 보호 계산, 제한된 합리성, 보호 동기 이론) 을 추론 렌즈로 통합한 변형.

주요 기여

1. PRIVACYSIM 벤치마크: 5 개의 서로 다른 연구에서 얻은 실제 사용자 데이터를 활용하여 LLM 을 개인 수준의 개인정보 보호 시뮬레이터로 평가하는 최초의 표준화된 평가 스위트.
2. 페르소나 측면 분석: 인구통계학적 특성, 이전 경험, 명시된 태도가 시뮬레이션 정확도에 어떻게 기여하는지에 대한 체계적 조사.
3. 개인정보 보호 역설 정량화: 명시된 개인정보 보호 태도만으로는 시뮬레이션에서 실제 행동을 예측하는 경우가 종종 좋지 않음을 보여주는 경험적 증거로, 역설 모델링의 어려움을 강조.
4. 클러스터링된 난이도 분석: LLM 이 시뮬레이션하기 특히 어려운 특정 사용자 그룹 (입장과 노출에 기반) 을 식별.

결과

RQ1: 시뮬레이션 정확도의 범위

• 제한된 충실도: 가장 강력한 모델인 Gemini 3.1 Pro조차도 5 개 연구 전반에 걸쳐 이용 가능한 가장 풍부한 페르소나 조합 (이전 경험 + 개인정보 보호 태도) 을 조건으로 할 때 40.4% 정확도만 달성했습니다. 이는 현재 LLM 이 개인 수준의 개인정보 보호 결정을 충실하게 시뮬레이션하는 데는 아직 멀었음을 나타냅니다.
• 페르소나의 가치: 페르소나 측면을 조건으로 하는 것은 페르소나가 없는 베이스라인 (약 36~37% 달성) 보다 정확도를 일관되게 향상시켰습니다. 이전 경험 ($E_u$) 과 개인정보 보호 태도 ($A_u$) 의 조합이 가장 좋은 결과를 낳았으며, 인구통계학적 특성 ($D_u$) 만으로는 미미한 향상만 제공했습니다.
• 도메인 편차: 시뮬레이션 품질은 도메인에 따라 크게 달라졌습니다. 'LLM 의료 상담'은 시뮬레이션하기 가장 어려웠고 (가장 낮은 정확도), 'LLM 대화형 에이전트'와 '챗봇 그룹 채팅'은 상대적으로 쉬웠습니다.

RQ2: 시뮬레이션하기 가장 어려운 그룹

(입장, 노출) 분류 체계를 사용하여 저자들은 다음과 같은 뚜렷한 사용자 군집을 식별했습니다:

• 가장 어려운 그룹: 명시된 개인정보 보호 우려는 낮지만 AI/챗봇 노출은 높은 사용자 ('낮은 입장 / 높은 노출') 가 시뮬레이션하기 가장 어려웠으며, 가장 낮은 정확도 (36.51%) 와 페르소나 조건화에서 얻은 가장 작은 향상 (+1.07 백분율 포인트) 을 보였습니다. 저자들은 LLM 이 이러한 사용자를 실제보다 덜 우려하는 것으로 잘못 추론하여, 명시된 낮은 우려와 광범위한 사용으로 형성된 실제 행동 사이의 괴리를 포착하지 못한다고 가정합니다.
• 가장 쉬운 그룹: 명시된 우려는 높고 노출은 중간인 사용자가 시뮬레이션하기 가장 쉬웠으며, 페르소나 조건화에서 가장 큰 개선 (+8.53 백분율 포인트) 을 보였습니다.

RQ3: 모델 특성과 프롬프팅

• 추론 노력: 추론 노력을 증가시키는 것 (예: 낮음에서 중간으로) 은 정확도에 미미한 영향 (<1 백분율 포인트) 만 미쳤습니다.
• 모델 크기: 동일한 계열 내에서 모델 크기를 확장하는 것 (예: Mini 대 Full, 27B 대 122B) 은 소폭의 향상 (0.12~1.31 백분율 포인트) 만 가져왔습니다.
• 이론 기반 프롬프팅: 확립된 개인정보 보호 이론 (개인정보 보호 계산, 제한된 합리성, 보호 동기 이론) 을 통해 추론하도록 모델에 프롬프팅하는 것은 페르소나 측면만 제공된 신호 이상으로 시뮬레이션 품질을 향상시키지 못했습니다.

중요성과 주장

이 논문은 LLM 이 일반적인 개인정보 보호 규범에 대한 비과소평가적인 베이스라인 이해를 가지고 있지만, 현재로서는 개인 수준의 개인정보 보호 의사결정을 위한 신뢰할 수 있는 대리인으로 기능할 만큼의 충실도가 부족하다고 결론 내립니다. 사용자가 말하는 것 (태도) 과 행동하는 것 (행동) 사이의 격차가 여전히 주요 장애물입니다.

저자들은 PRIVACYSIM 을 이러한 한계를 이해하기 위한 첫걸음으로 위치시킵니다. 그들은 LLM 시뮬레이션이 현재는 위험이 낮고 초기 단계의 작업(예: 설계 대안 비교, 명백한 위반 사항 표출, 가설 생성) 에만 적합하며, 배포 결정 전에 인간 사용자 연구와 병행되어야 한다고 주장합니다. 이 연구는 충실한 시뮬레이션으로의 격차를 해소하는 것은 단순히 모델을 확장하거나 프롬프팅을 정교화하는 것이 아니라, 현재 페르소나 측면 세트를 넘어선 더 풍부한 행동 신호가 필요할 것이라고 시사합니다.