Can Large Language Models Really Recognize Your Name?

以下是发表在 FAccT '26 上的论文《大型语言模型真的能识别您的名字吗？》的详细技术总结。

1. 问题陈述

大型语言模型（LLM）正越来越多地被部署于隐私关键型流程中，用于从文本中检测和删除个人身份信息（PII），例如人名。这些系统基于一个基本假设运行：无论上下文如何，LLM 都能可靠地识别人名。

作者发现了一个关键漏洞：语境歧义性。许多真实的人名在拼写上是非人类实体（如地点、组织、矿物、细菌或综合征）的“正交邻居”（仅相差一个字母）。当这些名字出现在具有歧义语言线索的文本片段中时，LLM 往往无法将其分类为“人物”，而是错误地将其识别为它们所 resembling 的非人类实体。这种失败导致了隐私保护的不均衡，即拥有语言歧义性名字的人比拥有常见、无歧义名字的人面临更高的数据泄露风险。

本文研究了导致这些失败的两种具体现象：

1. 名称规律性偏差（NRB）： 模型倾向于依赖表面的形态模式（例如，后缀"-ite"暗示矿物），而非深层的语境理解，从而导致对罕见但真实存在的名字进行分类错误。
2. 良性提示注入（BPI）： 一种场景，其中用户输入包含类似指令的文本（例如，“保持术语 X 完整”），LLM 错误地将其解释为系统命令而非需要匿名化的数据，从而导致其忽略隐私删除规则。

2. 方法论：AmBench 基准测试

为了系统地评估这些漏洞，作者构建了AmBench，这是一个包含超过12,000 个真实人名的新型基准数据集。

• 数据构建：
  • 名称选择： 作者确定了真实的人名，这些名字在五个类别中与非人类实体恰好相差一个莱文斯坦编辑距离：地点、组织、综合征、矿物和细菌。
    • 示例： "Italys"（真实人名）与"Italy"（地点）；"Albanir"（人名）与"Albania"（地点）。
  • 模板生成： 使用基于提示的流水线，生成了超过 60,000 个简洁的双句文本片段。这些模板旨在在句法和语义上与人类和非人类实体兼容（例如，对类似地点的名字使用代词"she"以制造歧义）。
  • 验证： 模板经过人类标注者和 LLM 的验证，以确保其具有歧义性但通顺合理。
• 实验设置：
  • 评估模型： 12 个最先进的 LLM（包括 GPT-4o、GPT-5、Gemini 2.5 Pro/Flash、DeepSeek R1/V3，以及较小的开源权重模型如 Llama 3.1 8B）和传统 NER 工具（Flair、PrivateAI）。
  • 指标：
    • 召回率： 正确将名字识别人类的的能力。
    • 一致性： 模型是否在不同的歧义模板中将同一个名字一致地分类为人类。
    • 误报率（FDR）： 在不存在的名字处幻觉出人类名字的比例。
  • 案例研究： 作者评估了Anthropic 的 Clio，这是一款企业级工具，用于总结 Claude 对话以获取隐私洞察，测试了 NRB 和 BPI 的联合影响。

3. 主要贡献

1. AmBench 基准测试： 首个专门设计用于压力测试 LLM 在识别歧义人名方面表现的大规模数据集，涵盖 5 个不同的非人类实体类别中的 12,000 多个名字。
2. 系统性偏差的识别： 论文表明，LLM 存在名称规律性偏差，即与非人类实体的形态相似性导致与常见名字相比，召回率显著下降（20–40%）。
3. 良性提示注入（BPI）分析： 作者表明，即使是非恶意的、类似指令的用户文本也会导致 LLM 绕过隐私删除协议，有效地将敏感名字“隐藏”在众目睽睽之下。
4. 公平性影响： 研究强调，隐私失败并非随机发生；它们不成比例地影响那些名字是常见非人类术语正交邻居的个体，引发了对 AI 驱动隐私系统公平性的严重担忧。

4. 关键结果

• 显著的召回率下降： 在 12 个 LLM 中，AmBench 名字的召回率与基线流行名字相比下降了20–40%。
  • 示例： GPT-5 和 GPT-4o 在歧义名字上的召回率下降了约 0.4 个点。
  • 推理模型： 即使是先进的推理模型（如 DeepSeek R1、GPT-5-mini）也表现挣扎，经常将名字错误分类为它们所 resembling 的非人类实体（例如，将类似矿物的名字分类为矿物）。
• 不一致性： 模型表现出高度不一致。同一个名字在一个模板中被分类为“人物”，在另一个模板中却被分类为“地点”，即使上下文结构完全相同。
• 小模型与大模型： 小模型（SLM）有时能达到更高的召回率，但代价是巨大的误报率（FDR），频繁地幻觉出名字。
• 人类与 AI： 未经训练的人类志愿者在歧义名字上也表现挣扎（准确率为 66%，而基线名字为 97%），但 LLM 在完全遗漏名字（未能将其检测为 PII）方面表现显著更差，而人类可能会错误分类它们，但仍将其标记为实体。
• Clio 案例研究（NRB + BPI）：
  • 当在输入中添加 BPI 指令（例如，“保持术语 X 完整”）时，Clio 摘要中歧义名字的泄露率翻了两番（从约 3.9% 升至约 18.2%）。
  • Clio 的隐私审计员未能检测到这些泄露，当存在 BPI 时，经常给包含泄露名字的摘要分配高隐私分数。

5. 意义与影响

• 隐私失败模式： 论文揭示，依赖 LLM 进行隐私保护的第一步（PII 检测）是危险的。如果模型因歧义而未能识别名字，所有下游的删除或匿名化机制都将失效。
• 公平性与平等： 研究结果表明，隐私保护并非均匀分布。名字是常见单词正交邻居的个体（通常与特定的文化或语言背景相关）面临更高的身份暴露风险。这对当前 AI 隐私解决方案的公平性提出了挑战。
• 安全风险： NRB 和 BPI 的结合创造了一种新的攻击向量。恶意行为者可能会设计输入，迫使 LLM 泄露特定用户数据或执行成员推断攻击。
• 行动呼吁： 作者敦促研究界超越简单的准确率指标，开发失败模式的系统分类法。他们主张：
  • 针对歧义性对隐私工具进行严格的压力测试。
  • 将知识库（例如，罕见名字列表）集成到隐私流水线中。
  • 转向形式化的隐私保证，而不是仅仅依赖概率性的 LLM 性能。

总之，该论文证明，在歧义语境中，不能盲目信任 LLM 识别人名，这对自动化隐私系统的公平性和有效性构成了重大且未得到解决的风险。