Can Large Language Models Really Recognize Your Name?

FAccT '26 에서 발표된 논문 "Can Large Language Models Really Recognize Your Name?"에 대한 상세한 기술 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 은 텍스트에서 인간 이름과 같은 개인 식별 정보 (PII) 를 탐지하고 마스킹하는 프라이버시 중추 파이프라인에 점점 더 많이 배포되고 있습니다. 이러한 시스템은 LLM 이 문맥과 관계없이 인간 이름을 신뢰성 있게 인식할 수 있다는 근본적인 가정에 기반하여 작동합니다.

저자들은 **문맥적 모호성 (Contextual Ambiguity)**이라는 치명적인 취약점을 확인했습니다. 많은 실제 인간 이름은 지명, 조직, 광물, 박테리아 또는 증후군과 같은 비인간 개체와 철자상 한 글자만 다른 (orthographic neighbors) 관계에 있습니다. 이러한 이름이 모호한 언어적 단서를 포함한 텍스트 조각에 등장할 때, LLM 은 종종 이를 "PERSON(사람)"으로 분류하지 못하고 대신 그들이 닮은 비인간 개체로 잘못 식별합니다. 이러한 실패는 불균등한 프라이버시 보호로 이어져, 언어적으로 모호한 이름을 가진 개인들은 일반적이고 모호하지 않은 이름을 가진 개인들보다 데이터 유출 위험이 더 높습니다.

본 논문은 이러한 실패를 유발하는 두 가지 구체적인 현상을 조사합니다:

1. 이름 규칙성 편향 (Name Regularity Bias, NRB): 모델이 심층적인 문맥 이해 대신 표면적인 형태론적 패턴 (예: 광물을 나타내는 접미사 "-ite") 에 의존하는 경향으로 인해, 희귀하지만 실제 존재하는 이름이 잘못 분류되는 현상.
2. 선량한 프롬프트 인젝션 (Benign Prompt Injection, BPI): 사용자 입력에 "X 용어를 그대로 유지하십시오"와 같은 지시문과 유사한 텍스트가 포함되어, LLM 이 이를 익명화해야 할 데이터가 아닌 시스템 명령으로 잘못 해석하여 프라이버시 마스킹 규칙을 무시하게 되는 상황.

2. 방법론: AmBench 벤치마크

이러한 취약점을 체계적으로 평가하기 위해 저자들은 12,000 개 이상의 실제 인간 이름을 포함한 새로운 벤치마크 데이터셋인 AmBench를 구축했습니다.

• 데이터 구축:
  • 이름 선정: 저자들은 **Locations(지명), Organizations(조직), Syndromes(증후군), Minerals(광물), Bacteria(박테리아)**의 다섯 가지 범주에서 비인간 개체와 레벤슈타인 편집 거리 1만큼만 다른 실제 인간 이름을 식별했습니다.
    • 예시: "Italys"(실제 이름) 대 "Italy"(지명); "Albanir"(이름) 대 "Albania"(지명).
  • 템플릿 생성: 프롬프트 기반 파이프라인을 사용하여 60,000 개 이상의 간결한 2 문장 텍스트 조각을 생성했습니다. 이러한 템플릿은 인간과 비인간 개체 모두에 대해 구문론적 및 의미론적으로 호환되도록 설계되었습니다 (예: 지명과 유사한 이름에 "그녀"라는 대명사를 사용하여 모호성을 조성).
  • 검증: 템플릿은 모호하면서도 자연스러움을 보장하기 위해 인간 어노테이터와 LLM 에 의해 검증되었습니다.
• 실험 설정:
  • 평가된 모델: 12 개의 최첨단 LLM(GPT-4o, GPT-5, Gemini 2.5 Pro/Flash, DeepSeek R1/V3 및 Llama 3.1 8B 와 같은 소형 오픈 가중치 모델 포함) 과 전통적인 NER 도구 (Flair, PrivateAI).
  • 지표:
    • Recall(재현율): 이름을 인간으로 올바르게 식별하는 능력.
    • 일관성 (Consistency): 모델이 서로 다른 모호한 템플릿에서 동일한 이름을 인간으로 분류하는지 여부.
    • False Discovery Rate(FDR, 허위 탐지율): 존재하지 않는 곳에서 인간 이름을 착각하여 생성하는 비율.
  • 사례 연구: 저자들은 Claude 대화 내용을 프라이버시 통찰을 위해 요약하는 엔터프라이즈급 도구인 Anthropic 의 Clio를 평가하여 NRB 와 BPI 의 복합적 영향을 테스트했습니다.

3. 주요 기여

1. AmBench 벤치마크: 5 가지 서로 다른 비인간 개체 범주에 걸쳐 12,000 개 이상의 이름을 다루며, 모호한 인간 이름 인식에 대해 LLM 을 스트레스 테스트하도록 설계된 최초의 대규모 데이터셋.
2. 시스템적 편향 식별: 본 논문은 LLM 이 **이름 규칙성 편향 (Name Regularity Bias)**을 겪음을 입증합니다. 즉, 비인간 개체와의 형태론적 유사성으로 인해 일반 이름에 비해 재현율이 20~40% 크게 하락합니다.
3. 선량한 프롬프트 인젝션 (BPI) 분석: 저자들은 악의적이지 않은 지시문과 유사한 사용자 텍스트조차 LLM 이 프라이버시 마스킹 프로토콜을 우회하게 만들어, 민감한 이름을 평범한 곳에 "숨기는" 효과를 일으킬 수 있음을 보여줍니다.
4. 공정성 함의: 이 연구는 프라이버시 실패가 무작위적이지 않음을 강조합니다. 이는 공통된 비인간 용어와 철자상 인접한 이름을 가진 개인들에게 불균형적으로 영향을 미치며, AI 기반 프라이버시 시스템의 공정성에 심각한 우려를 제기합니다.

4. 주요 결과

• 중대한 재현율 하락: 12 개의 LLM 전반에 걸쳐 AmBench 이름에 대한 재현율은 기본 인기 이름에 비해 20~40% 하락했습니다.
  • 예시: GPT-5 와 GPT-4o 는 모호한 이름에서 약 0.4 포인트의 재현율 하락을 보였습니다.
  • 추론 모델: 심층 추론 모델 (DeepSeek R1, GPT-5-mini 등) 도 어려움을 겪었으며, 종종 이름이 닮은 비인간 개체로 잘못 분류했습니다 (예: 광물과 유사한 이름을 광물로 분류).
• 불일치: 모델은 매우 불일치적이었습니다. 동일한 이름이 문맥이 구조적으로 동일함에도 불구하고 한 템플릿에서는 "PERSON"으로, 다른 템플릿에서는 "LOCATION"으로 분류될 수 있었습니다.
• 소형 모델 vs 대형 모델: 소형 모델 (SLM) 은 때때로 더 높은 재현율을 달성했으나, 그 대가로 **허위 탐지율 (FDR)**이 급증하여 이름을 자주 착각하여 생성했습니다.
• 인간 vs AI: 훈련받지 않은 일반 자원봉사자들도 모호한 이름에 어려움을 겪었습니다 (기저 이름 대비 97% 대 66% 정확도). 그러나 LLM 은 이름 자체를 놓치는 (PII 로 탐지하지 못하는) 측면에서 인간보다 훨씬 더 나쁜 성능을 보였습니다. 인간은 이름을 잘못 분류할지라도 여전히 개체로 표시할 가능성이 있는 반면, LLM 은 아예 탐지하지 못했습니다.
• Clio 사례 연구 (NRB + BPI):
  • 입력에 BPI 지시문 (예: "X 용어를 그대로 유지하십시오") 이 추가되었을 때, Clio 요약에서 모호한 이름의 유출률은 4 배 증가했습니다 (약 3.9% 에서 약 18.2% 로).
  • Clio 의 프라이버시 감사관은 이러한 유출을 탐지하지 못했으며, BPI 가 존재할 때 유출된 이름을 포함한 요약에 대해 종종 높은 프라이버시 점수를 부여했습니다.

5. 중요성 및 함의

• 프라이버시 실패 모드: 본 논문은 프라이버시 보호의 첫 번째 단계인 PII 탐지를 위해 LLM 에 의존하는 것은 위험하다는 것을 드러냅니다. 모델이 모호성으로 인해 이름을 인식하지 못하면, 모든 하류의 마스킹 또는 익명화 메커니즘이 실패합니다.
• 공정성과 형평성: 이 발견들은 프라이버시 보호가 균일하지 않음을 시사합니다. 공통된 단어 (종종 특정 문화적 또는 언어적 배경과 연관됨) 와 철자상 인접한 이름을 가진 개인들은 신원 노출 위험이 더 높습니다. 이는 현재 AI 프라이버시 솔루션의 공정성에 의문을 제기합니다.
• 보안 위험: NRB 와 BPI 의 결합은 새로운 공격 벡터를 생성합니다. 악의적 행위자는 LLM 이 특정 사용자 데이터를 유출하거나 멤버십 추론 공격을 수행하도록 입력을 조작할 수 있습니다.
• 행동 촉구: 저자들은 연구 커뮤니티가 단순한 정확도 지표를 넘어 실패 모드의 체계적인 분류법을 개발할 것을 촉구하고 있습니다. 그들은 다음을 옹호합니다:
  • 모호성에 대한 프라이버시 도구의 엄격한 스트레스 테스트.
  • 프라이버시 파이프라인에 지식 베이스 (예: 희귀 이름 목록) 통합.
  • 확률적 LLM 성능에만 의존하는 대신 공식적인 프라이버시 보장을 향해 나아가기.

결론적으로, 본 논문은 LLM 이 모호한 문맥에서 인간 이름을 인식하는 데 맹목적으로 신뢰할 수 없다는 것을 입증하며, 자동화된 프라이버시 시스템의 공정성과 실효성에 대한 중대하고 해결되지 않은 위험을 제기합니다.