Can Large Language Models Really Recognize Your Name?

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) estão cada vez mais implantados em pipelines críticos para a privacidade, a fim de detectar e redigir Informações Pessoalmente Identificáveis (PII), como nomes humanos, de textos. Esses sistemas operam sob a premissa fundamental de que os LLMs podem reconhecer nomes humanos de forma confiável, independentemente do contexto.

Os autores identificam uma vulnerabilidade crítica: Ambiguidade Contextual. Muitos nomes humanos reais são vizinhos ortográficos (diferindo por apenas uma letra) de entidades não humanas (por exemplo, locais, organizações, minerais, bactérias ou síndromes). Quando esses nomes aparecem em trechos de texto com pistas linguísticas ambíguas, os LLMs frequentemente falham em classificá-los como "PESSOA", identificando-os incorretamente como a entidade não humana à qual se assemelham. Essa falha leva a uma proteção de privacidade desigual, onde indivíduos com nomes linguisticamente ambíguos correm maior risco de vazamento de dados do que aqueles com nomes comuns e não ambíguos.

O artigo investiga dois fenômenos específicos que causam essas falhas:

1. Viés de Regularidade de Nomes (NRB): A tendência dos modelos de dependerem de padrões morfológicos superficiais (por exemplo, sufixos como "-ite" sugerindo minerais) em vez de uma compreensão contextual profunda, levando à má classificação de nomes reais, mas raros.
2. Injeção de Prompt Benigna (BPI): Um cenário onde a entrada do usuário contém texto semelhante a instruções (por exemplo, "mantenha o termo X intacto") que o LLM interpreta erroneamente como um comando do sistema, em vez de dados a serem anonimizados, fazendo com que ignore as regras de redação de privacidade.

2. Metodologia: A Métrica AmBench

Para avaliar sistematicamente essas vulnerabilidades, os autores construíram a AmBench, um conjunto de dados de referência (benchmark) inovador contendo mais de 12.000 nomes humanos reais.

• Construção de Dados:
  • Seleção de Nomes: Os autores identificaram nomes humanos reais que estão exatamente a uma distância de edição de Levenshtein de entidades não humanas em cinco categorias: Locais, Organizações, Síndromes, Minerais e Bactérias.
    • Exemplo: "Italys" (um nome real) vs. "Italy" (Local); "Albanir" (Nome) vs. "Albania" (Local).
  • Geração de Modelos: Utilizando um pipeline baseado em prompts, geraram mais de 60.000 trechos de texto concisos de duas frases. Esses modelos foram projetados para serem sintática e semanticamente compatíveis com entidades humanas e não humanas (por exemplo, usando pronomes como "ela" para um nome semelhante a um local, a fim de criar ambiguidade).
  • Validação: Os modelos foram validados por anotadores humanos e LLMs para garantir que fossem ambíguos, mas plausíveis.
• Configuração Experimental:
  • Modelos Avaliados: 12 LLMs de última geração (incluindo GPT-4o, GPT-5, Gemini 2.5 Pro/Flash, DeepSeek R1/V3, e modelos menores de peso aberto como Llama 3.1 8B) e ferramentas tradicionais de NER (Flair, PrivateAI).
  • Métricas:
    • Recall: A capacidade de identificar corretamente o nome como humano.
    • Consistência: Se o modelo classifica o mesmo nome como humano em diferentes modelos ambíguos.
    • Taxa de Descoberta Falsa (FDR): A taxa de alucinar nomes humanos onde não existem.
  • Estudo de Caso: Os autores avaliaram o Clio da Anthropic, uma ferramenta de nível empresarial usada para resumir conversas do Claude para insights de privacidade, testando o impacto combinado de NRB e BPI.

3. Principais Contribuições

1. Métrica AmBench: O primeiro conjunto de dados em grande escala especificamente projetado para testar a resistência de LLMs no reconhecimento de nomes humanos ambíguos, cobrindo mais de 12.000 nomes em 5 categorias distintas de entidades não humanas.
2. Identificação de Viés Sistêmico: O artigo demonstra que os LLMs sofrem de Viés de Regularidade de Nomes, onde a similaridade morfológica com entidades não humanas causa quedas significativas no recall (20–40%) em comparação com nomes comuns.
3. Análise de Injeção de Prompt Benigna (BPI): Os autores mostram que até mesmo texto de usuário não malicioso, semelhante a instruções, pode fazer com que LLMs contornem protocolos de redação de privacidade, efetivamente "escondendo" nomes sensíveis à vista de todos.
4. Implicações de Equidade: O estudo destaca que as falhas de privacidade não são aleatórias; elas afetam desproporcionalmente indivíduos com nomes que são vizinhos ortográficos de termos não humanos comuns, levantando sérias preocupações sobre a equidade em sistemas de privacidade impulsionados por IA.

4. Principais Resultados

• Queda Significativa no Recall: Em 12 LLMs, o recall para nomes da AmBench caiu 20–40% em comparação com nomes populares de base.
  • Exemplo: GPT-5 e GPT-4o apresentaram quedas de recall de aproximadamente 0,4 pontos em nomes ambíguos.
  • Modelos de Raciocínio: Até mesmo modelos avançados de raciocínio (por exemplo, DeepSeek R1, GPT-5-mini) lutaram, frequentemente classificando nomes como a entidade não humana à qual se assemelhavam (por exemplo, classificando um nome semelhante a um mineral como um mineral).
• Inconsistência: Os modelos foram altamente inconsistentes. O mesmo nome poderia ser classificado como "PESSOA" em um modelo e "LOCAL" em outro, mesmo quando o contexto era estruturalmente idêntico.
• Modelos Pequenos vs. Modelos Grandes: Modelos menores (SLMs) às vezes alcançaram recall mais alto, mas à custa de uma Taxa de Descoberta Falsa (FDR) massiva, alucinando nomes com frequência.
• Humano vs. IA: Voluntários humanos não treinados também lutaram com nomes ambíguos (66% de precisão vs. 97% para nomes de base), mas os LLMs performaram significativamente pior em termos de perder nomes completamente (falhando em detectá-los como PII), enquanto humanos poderiam classificá-los erroneamente, mas ainda assim sinalizá-los como entidades.
• Estudo de Caso Clio (NRB + BPI):
  • Quando instruções de BPI foram adicionadas à entrada (por exemplo, "mantenha o termo X intacto"), a taxa de vazamento de nomes ambíguos nos resumos do Clio quadruplicou (de ~3,9% para ~18,2%).
  • O auditor de privacidade do Clio falhou em detectar esses vazamentos, frequentemente atribuindo altas pontuações de privacidade a resumos contendo nomes vazados quando o BPI estava presente.

5. Significado e Implicações

• Modos de Falha de Privacidade: O artigo revela que confiar em LLMs para o primeiro passo da proteção de privacidade (detecção de PII) é arriscado. Se o modelo falhar em reconhecer um nome devido à ambiguidade, todos os mecanismos downstream de redação ou anonimização falham.
• Equidade e Justiça: As descobertas sugerem que a proteção de privacidade não é uniforme. Indivíduos com nomes que são vizinhos ortográficos de palavras comuns (frequentemente associados a contextos culturais ou linguísticos específicos) enfrentam maiores riscos de exposição de identidade. Isso desafia a equidade das soluções atuais de privacidade com IA.
• Riscos de Segurança: A combinação de NRB e BPI cria um novo vetor de ataque. Agentes maliciosos poderiam potencialmente engenharia de entradas para forçar LLMs a vazar dados específicos de usuários ou realizar ataques de inferência de associação.
• Chamada à Ação: Os autores instam a comunidade de pesquisa a ir além de métricas simples de precisão e desenvolver taxonomias sistemáticas de modos de falha. Eles defendem:
  • Testes de estresse rigorosos de ferramentas de privacidade contra ambiguidade.
  • Integração de bases de conhecimento (por exemplo, listas de nomes raros) em pipelines de privacidade.
  • Avanço em direção a garantias formais de privacidade, em vez de depender exclusivamente do desempenho probabilístico de LLMs.

Em conclusão, o artigo demonstra que os LLMs não podem ser confiados cegamente para reconhecer nomes humanos em contextos ambíguos, representando um risco significativo e não abordado para a equidade e eficácia dos sistemas automatizados de privacidade.