Human-Centred LLM Privacy Audits: Findings and Frictions

이 논문은 대규모 언어 모델 (LLM) 이 개인의 이름과 어떤 정보를 연관 짓는지 사용자가 직접 확인할 수 있도록 돕는 'LMP2'라는 브라우저 기반 자기 감사 도구를 소개하고, 사용자 연구와 다양한 모델 평가를 통해 LLM 프라이버시 감사의 실효성을 입증함과 동시에 확률적이고 맥락 의존적인 생성형 AI 평가의 근본적인 난제와 개선 방향을 제시합니다.

핵심

1. 핵심 비유: "AI 는 거대한 기억력 좋은 친구인가, 아니면 추측쟁이인가?"

이 연구는 AI 를 **"우리의 이름만 들어도 우리에 대한 이야기를 지어내거나 기억해내는 거대한 도서관"**으로 비유합니다.

• 기존의 문제: 우리는 AI 가 내 이름과 함께 어떤 정보 (직업, 거주지, 취향 등) 를 연결하고 있는지 알 수 없었습니다. 마치 AI 가 내 뒤에서 속삭이는 소리를 들을 수 없는 것과 같습니다.
• 새로운 도구 (LMP2): 연구팀은 "AI 의 기억을 훔쳐보는 안경" 같은 도구를 만들었습니다. 사용자가 자신의 이름을 입력하면, 이 도구가 AI 에게 "이 사람의 이름은 OO 인데, 그의 눈 색깔은 무엇일까?"라고 여러 가지 방식으로 물어봅니다. 그리고 AI 가 어떤 답을 내놓는지, 얼마나 확신에 차 있는지 (점수) 를 보여줍니다.

2. 실험 결과: AI 는 무엇을 알고 있을까?

연구팀은 유명인 (Wikipedia 에 정보가 많은 사람) 과 가상의 이름 (실제 존재하지 않는 이름) 두 가지 그룹으로 나누어 실험했습니다.

• 유명인 (실제 존재하는 사람): AI 는 유명인의 정보를 놀라울 정도로 잘 기억하고 있었습니다.

  • 예를 들어, GPT-4o는 50 가지 질문 중 11 가지를 60% 이상 정확하게 맞혔습니다. 성별, 모국어, 눈동자 색깔, 머릿결 색깔 등을 거의 틀리지 않았습니다.
  • 비유: 유명인은 AI 의 도서관에 책이 꽉 차 있는 상태라, AI 는 그 책을 펼쳐서 정확한 내용을 읽을 수 있습니다.

• 일반인 (실제 존재하는 사람): 일반인의 경우에도 AI 는 꽤 많은 정보를 추측해 냈습니다.

  • 하지만 중요한 점은, 정답을 맞혔다고 해서 그것이 '사생활 침해'라고 느끼는 사람은 많지 않았다는 것입니다.
  • 비유: AI 가 "당신은 파란 눈을 가졌네요"라고 맞히면, 사람들은 "오, 맞네"라고 생각하지만, "내 사생활을 훔쳐봤네!"라고 크게 걱정하지는 않았습니다. 하지만 **72% 의 사람들은 "AI 가 나에 대해 만든 정보를 지우거나 수정할 수 있는 권한을 원했다"**고 답했습니다.

• 가상의 이름 (실제 존재하지 않는 사람): AI 는 이름이 없는 사람에 대해서는 어떻게 할까요?

  • AI 는 **실제 정보가 없어도 "가장 그럴듯한 추측"**을 합니다. 예를 들어, 존재하지 않는 이름에 대해 "핸드폰 번호는 +1 로 시작할 거야"라고 90% 확신에 차서 대답하기도 합니다.
  • 비유: AI 는 빈 책장에 아무 책도 없으면, "아마도 이런 책이 있겠지?"라고 가상의 이야기를 지어내는 작가가 됩니다. 그리고 그 이야기를 매우 확신 있게 말합니다.

3. 발견된 9 가지 '마찰점' (어려운 점들)

이 연구는 단순히 "AI 가 기억한다"는 것을 보여주는 것을 넘어, 우리가 이 문제를 해결하려 할 때 부딪히는 9 가지 큰 장벽을 발견했습니다.

1. 기술과 현실의 괴리: 기술자들은 "데이터가 유출되었나?"를 따지지만, 일반인은 "AI 가 내게 대해 어떤 이야기를 하고 있나?"가 더 중요합니다.
2. 무엇을 검증할 것인가?: AI 의 답변이 맞았는지, 아니면 AI 가 그냥 운 좋게 맞힌 건지, 혹은 AI 가 내 정보를 기억한 건지 구분하기 어렵습니다. (기억 vs 추측 vs 통계적 확률)
3. 이름의 모호함: 같은 이름이라도 사람마다 다릅니다. "김철수"라는 이름만으로는 누구인지 알 수 없는데, AI 는 특정 김철수에 대한 고정관념을 적용할 수 있습니다.
4. 시간의 흐름: 내 주소는 과거에는 A 였지만 지금은 B 입니다. AI 는 최신 정보를 알고 있을까, 아니면 오래된 정보를 기억하고 있을까요?
5. 언어와 문화의 장벽: 이 도구는 영어와 라틴 문자에 최적화되어 있어, 다른 언어를 쓰는 사람들은 정확한 결과를 얻기 어렵습니다.
6. 증거의 불안정성: AI 는 같은 질문을 해도 매번 다른 답을 할 수 있습니다. "오늘은 A 라고 말했지만, 내일은 B 라고 말할 수도 있다"는 것이죠. 그래서 법적 증거로 쓰기 어렵습니다.
7. 사용자의 심리: 사람들은 민감한 정보 (병력, 전화번호 등) 를 직접 물어보는 것을 꺼려합니다. 그래서 AI 가 실제로 위험한 정보를 알고 있는지 확인하기 어렵습니다.
8. 법적 정의의 모호성: "개인정보"가 정확히 무엇인지, AI 가 추론한 정보가 개인정보에 해당하는지 법적으로 명확하지 않습니다.
9. 시스템의 복잡성: AI 가 웹 검색이나 다른 도구와 연결되면, 그 정보가 AI 가 기억한 것인지, 실시간으로 찾아온 것인지 구분하기 매우 어렵습니다.

4. 결론: 우리는 무엇을 해야 할까?

이 연구는 **"AI 가 우리에 대해 무엇을 알고 있는지 확인하는 것은 단순히 기술적인 문제가 아니라, 사회적인 설계 문제"**라고 말합니다.

• 핵심 메시지: AI 가 내 이름을 불러서 내 정보를 말하는 것은, 그것이 '기억'이든 '추측'이든 상관없이 우리가 통제할 수 있어야 합니다.
• 제안: 앞으로는 AI 개발자와 정책 입안자들이 다음과 같은 것을 고려해야 합니다.
  • AI 가 내게 대해 어떤 이야기를 하고 있는지 사용자가 쉽게 볼 수 있게 만들어야 합니다.
  • AI 가 틀린 정보를 말했을 때, 사용자가 바로 수정하거나 지울 수 있는 버튼이 있어야 합니다.
  • AI 의 답변이 "기억"인지 "추측"인지 분명히 표시해 주어야 합니다.

한 줄 요약:

"AI 는 우리 이름만 불러도 우리에 대한 이야기를 지어내거나 기억할 수 있습니다. 이제 우리는 그 이야기를 볼 수 있고, 원치 않는 이야기는 지울 수 있는 '스위치'를 켜야 할 때입니다."

이 연구는 AI 시대에 우리가 자신의 '디지털 그림자'를 어떻게 관리하고, AI 와 더 투명하게 소통할 수 있을지에 대한 중요한 첫걸음을 제시합니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 방대한 학습 코퍼스 및 사용자 상호작용 데이터에서 통계적 연관성을 학습하며, 배포된 시스템은 개인의 정보를 유추하거나 노출할 수 있습니다. 그러나 현재 개인은 자신의 이름이나 신원 신호 (언어 사용, 추론된 인구통계학적 속성 등) 와 모델이 연관 짓는 내용을 실질적으로 검사할 수 있는 방법이 부재합니다.

• 핵심 문제: 조직 차원의 프라이버시 감사는 데이터 관행을 검토하지만, 개별 사용자가 "LLM 이 내 이름과 무엇을 연관 짓는지"를 파악하거나 통제할 수 있게 해주지 못합니다.
• 기술적 난제:
  1. LLM 출력은 확률적 (stochastic) 이고 유도 방식 (elicitation) 에 민감함.
  2. 블랙박스 API 는 내부 구조를 숨김.
  3. 프롬프트 응답만으로는 시스템의 행동을 증명하기 어려움 (약한 증거).
• 법적/사회적 함의: 이러한 연관성은 종교, 성적 지향, 건강 상태 등 민감한 특성을 포함할 수 있으며, 이는 맥락에 따라 위험하거나 원치 않는 정보가 될 수 있습니다.

2. 방법론 (Methodology)

저자들은 LMP2 (Language Model Privacy Probe) 라는 브라우저 기반의 자기 감사 (self-audit) 도구를 개발하고, 이를 통해 8 개의 LLM 에 대해 실증적 감사를 수행했습니다.

A. LMP2 도구 및 프로토콜

• 기반 기술: WikiMem 의 '캐나리 (canary)' 기법을 블랙박스 API 에 적용하여 개조했습니다.
• 프로세스:
  1. 입력: 사용자가 전체 이름과 감사하려는 50 가지 인간 속성 (WikiMem 의 243 개 속성 중 선정, 예: 생년월일, 직업, 전화번호 등) 을 선택합니다.
  2. 프롬프트 변형: 각 속성별로 5 가지의 모호성이 낮은 재구문 (paraphrase) 된 캐나리 문장 (주제 - 속성 - 값 삼중체) 을 생성합니다.
  3. 분할 복구 작업 (Fragmented Sentence Recovery): 블랙박스 API 의 확률만 접근 가능하므로, 실제 값 (Ground Truth) 을 2 자 접두사로 잘라내고, 20 개의 무작위 반사실적 (counterfactual) 접두사를 생성하여 모델에게 올바른 마지막 단어를 완성하도록 지시합니다.
  4. 결과 집계: 다양한 재구문과 반사실적 입력에 대한 모델의 출력을 집계하여 두 가지 지표를 생성합니다.
     • 연관 강도 (Association Strength): 특정 값이 생성된 빈도와 평균 확률 (또는 투표 가중치) 을 결합하여 정규화.
     • 신뢰도 (Confidence): 증거가 단일 값으로 집중되어 있는지 (수렴) 아니면 분산되어 있는지 측정.
  5. 피드백: 사용자는 모델 예측의 정확성, 프라이버시 침해 여부, 감정적 반응을 피드백합니다.

B. 실험 설계

• 모델: 3 개의 오픈 소스 모델 (Qwen3 4B, Llama 3.1 8B, Ministral 8B) 과 5 개의 API 기반 모델 (GPT-4o, GPT-5, Gemini Flash 2.0, Grok-3, Cohere Command A) 총 8 개.
• 대상:
  1. Famous Set: 100 명의 유명인 (Wikipedia 기반, 다수의 Ground Truth 보유).
  2. Synthetic Set: 100 개의 재조합된 존재하지 않는 이름.
  3. User Study: EU 거주자 458 명 (설문 155 명 + 도구 사용 303 명) 을 대상으로 한 사용자 연구.

3. 주요 발견 및 결과 (Key Findings & Results)

A. 모델 성능 및 연관성 (Model Performance)

• 명확한 분리: 모든 모델에서 유명인 (Famous) 과 가상의 인물 (Synthetic) 간의 신뢰도 (Confidence) 가 명확하게 분리되었습니다. 이는 웹상 존재감이 높은 유명인의 경우 이름 기반의 안정적인 연관성이 존재함을 의미합니다.
• 속성별 정확도:
  • 높은 정확도: 성별, 모국어, 출생일 등 저-카드널리티 (low-cardinality) 또는 이름과 상관관계가 높은 속성은 높은 정밀도를 보였습니다. (예: GPT-4o 는 성별 94.4%, 모국어 77.8% 정확도).
  • 낮은 정확도: 순자산, 계부모 등 개방형 또는 관계형 속성은 성능이 낮았습니다.
  • 민감 정보 유출: API 기반 모델들은 종교, 정당 소속, 성적 지향 등 민감한 사실을 0.8 이상의 정밀도로 재현했습니다.
• 고신뢰 오류 (High-confidence Errors): 존재하지 않는 이름에 대해 모델은 "오른손/왼손", "전화번호 +1" 등 편향된 기본값 (defaults) 을 높은 신뢰도로 출력했습니다. 이는 이름 기반 연관성이 없을 때 모델이 확률적 우선순위에 의존함을 보여줍니다.

B. 사용자 연구 결과 (User Study Findings)

• 관심과 우려: 60% 의 사용자가 자기 감사 도구에 관심을 보였으며, 전화번호, 질병, 거주지 유출을 가장 우려했습니다.
• 선택 편향: 실제 도구 사용 시, 사용자는 민감도가 높은 항목 (전화번호, 질병 등) 을 거의 선택하지 않았고 (<3%), 대신 머리카락 색깔 등 민감도가 낮은 항목을 주로 선택했습니다.
• 인식과 통제권:
  • 모델이 정확한 예측을 하더라도 87% 의 사용자는 이를 '프라이버시 침해'로 간주하지 않았습니다.
  • 그러나 72% 의 사용자는 모델이 생성한 자신에 대한 정보를 삭제하거나 수정할 수 있는 옵션을 원했습니다.
  • GPT-4o 는 50 가지 속성 중 11 가지를 60% 이상의 정확도로 예측했습니다.

4. 주요 기여 및 발견된 마찰 (Contributions & Frictions)

저자는 인간 중심 LLM 프라이버시 감사가 직면한 9 가지 구조적 마찰 (Frictions) 을 식별하고 이를 해결하기 위한 제안을 내놓았습니다.

1. 기술적 평가와 실행 가능한 자기 감사 간의 간극: 기존 연구는 특정 테스트 하에서의 유출/추론 가능성에 집중하지만, 실제 배포된 시스템이 특정 개인과 어떻게 연관되는지, 그리고 이를 어떻게 시정할지에 대한 연결고리가 부족합니다.
2. 감사 범위의 모호성: 모델 수준의 연관성과 애플리케이션 수준의 메모리 제어, 확률적 추론과 결정적 유출 등을 혼동하는 경향이 있습니다.
3. 연구 맥락이 관찰을 제한함: 자발적 공개에 의존하므로 사용자는 민감한 항목을 테스트하기를 꺼려 고위험 카테고리가 관찰되지 않을 수 있습니다.
4. 기억, 추론, 베이스라인 추측의 혼재: 올바른 출력이 학습 데이터의 암기인지, 문맥적 단서 추론인지, 아니면 인구통계학적 편향에 의한 추측인지 출력만으로는 구분 불가능합니다.
5. 간접 식별 및 이름 모호성: 이름만으로는 식별이 어렵지만, 작성 스타일이나 직업 단서 등을 통해 모델이 속성을 연결할 수 있어 감사 범위가 확장됩니다.
6. 다중 Ground Truth 와 시간적 드리프트: 개인의 속성은 여러 개일 수 있고 시간에 따라 변하므로, 어떤 값이 현재 유효한지 판단하기 어렵습니다.
7. 규범적 사실 속성 너머의 영역: 사실적 속성뿐만 아니라 추론된 프로필, 관계적 데이터, 주관적 평가 등도 프라이버시 이슈가 되지만, 이를 감사하는 기준이 모호합니다.
8. 언어 및 스크립트 커버리지: 현재 도구는 영어와 라틴 문자에 국한되어 있어 다국어 사용자에게는 유효성이 떨어집니다.
9. 배포된 시스템의 증거 불투명성: 검색 도구 연동 등 외부 소스와 결합된 시스템은 동일한 프롬프트라도 시간에 따라 다른 출력을 내어 감사 증거를 불안정하게 만듭니다.

5. 의의 및 결론 (Significance & Conclusion)

• 평가 위기 (Evaluation Crisis) 제기: LLM 의 출력이 확률적이고 맥락 의존적일 때, "모델 - 개인 연관성"이 무엇을 포함하는지 정의하기 어렵고, 이를 검증 가능한 지표로 만드는 것이 기술적 난제임을 지적했습니다.
• 연관성 (Association) vs. 기원 (Provenance): 감사의 핵심은 모델이 특정 사실을 '기억'했는지 여부가 아니라, 특정 이름과 연결된 주장 (정확하든 부정확하든) 이 존재하는지 확인하는 것임을 강조했습니다. 이는 GDPR 과 같은 법적 프레임워크에서 '삭제권 (Right to be Forgotten)'이나 '정정권'을 주장하는 데 중요한 차이를 만듭니다.
• 미래 방향: 신뢰할 수 있고 실행 가능한 인간 중심 감사를 위해서는 감사의 범위를 명확히 정의하고, 프롬프트 변형에 따른 안정성을 보고하며, 타임스탬프가 포함된 증거 패키지를 제공하는 등 사회기술적 (socio-technical) 설계가 필요합니다.

이 논문은 기술적 측정 문제를 넘어, 사용자가 LLM 의 프라이버시 영향을 이해하고 통제할 수 있도록 하는 인간 중심의 감사 프레임워크와 그 한계를 체계적으로 규명한 중요한 연구입니다.