Can Large Language Models Really Recognize Your Name?

A continuación se presenta un resumen técnico detallado del artículo "¿Pueden los Modelos de Lenguaje Grande Reconocer Realmente tu Nombre?", presentado en FAccT '26.

1. Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) se despliegan cada vez más en pipelines críticos para la privacidad con el fin de detectar y enmascarar Información de Identificación Personal (PII), como nombres humanos, en textos. Estos sistemas operan bajo la premisa fundamental de que los LLM pueden reconocer nombres humanos de manera fiable independientemente del contexto.

Los autores identifican una vulnerabilidad crítica: la Ambigüedad Contextual. Muchos nombres humanos reales son vecinos ortográficos (difieren en una sola letra) de entidades no humanas (por ejemplo, lugares, organizaciones, minerales, bacterias o síndromes). Cuando estos nombres aparecen en fragmentos de texto con indicios lingüísticos ambiguos, los LLM a menudo fallan al clasificarlos como "PERSONA", identificándolos erróneamente como la entidad no humana a la que se asemejan. Este fallo conduce a una protección de la privacidad desigual, donde los individuos con nombres lingüísticamente ambiguos corren un mayor riesgo de fuga de datos que aquellos con nombres comunes y no ambiguos.

El artículo investiga dos fenómenos específicos que causan estos fallos:

1. Sesgo de Regularidad del Nombre (NRB): La tendencia de los modelos a depender de patrones morfológicos superficiales (por ejemplo, sufijos como "-ita" que sugieren minerales) en lugar de una comprensión contextual profunda, lo que lleva a la clasificación errónea de nombres reales pero raros.
2. Inyección de Prompts Benigna (BPI): Un escenario en el que la entrada del usuario contiene texto similar a instrucciones (por ejemplo, "mantén intacto el término X") que el LLM interpreta erróneamente como un comando del sistema en lugar de datos a anonimizar, provocando que ignore las reglas de enmascaramiento de privacidad.

2. Metodología: La Métrica de Referencia AmBench

Para evaluar sistemáticamente estas vulnerabilidades, los autores construyeron AmBench, un nuevo conjunto de datos de referencia que contiene más de 12,000 nombres humanos reales.

• Construcción de Datos:
  • Selección de Nombres: Los autores identificaron nombres humanos reales que están exactamente a una distancia de edición de Levenshtein de entidades no humanas en cinco categorías: Lugares, Organizaciones, Síndromes, Minerales y Bacterias.
    • Ejemplo: "Italys" (un nombre real) frente a "Italy" (Lugar); "Albanir" (Nombre) frente a "Albania" (Lugar).
  • Generación de Plantillas: Utilizando una pipeline basada en prompts, generaron más de 60,000 fragmentos de texto concisos de dos oraciones. Estas plantillas fueron diseñadas para ser sintáctica y semánticamente compatibles tanto con entidades humanas como no humanas (por ejemplo, usando pronombres como "ella" para un nombre similar a un lugar para crear ambigüedad).
  • Validación: Las plantillas fueron validadas por anotadores humanos y LLM para asegurar que fueran ambiguas pero coherentes.
• Configuración Experimental:
  • Modelos Evaluados: 12 LLM de última generación (incluyendo GPT-4o, GPT-5, Gemini 2.5 Pro/Flash, DeepSeek R1/V3, y modelos de peso abierto más pequeños como Llama 3.1 8B) y herramientas tradicionales de NER (Flair, PrivateAI).
  • Métricas:
    • Recuperación (Recall): La capacidad de identificar correctamente el nombre como humano.
    • Consistencia: Si el modelo clasifica el mismo nombre como humano a través de diferentes plantillas ambiguas.
    • Tasa de Falsos Descubrimientos (FDR): La tasa de alucinar nombres humanos donde no existen.
  • Estudio de Caso: Los autores evaluaron Clio de Anthropic, una herramienta de nivel empresarial utilizada para resumir conversaciones de Claude para obtener información sobre privacidad, probando el impacto combinado de NRB y BPI.

3. Contribuciones Clave

1. Métrica de Referencia AmBench: El primer conjunto de datos a gran escala diseñado específicamente para poner a prueba la capacidad de los LLM para reconocer nombres humanos ambiguos, cubriendo más de 12,000 nombres en 5 categorías distintas de entidades no humanas.
2. Identificación de Sesgo Sistémico: El artículo demuestra que los LLM sufren de Sesgo de Regularidad del Nombre, donde la similitud morfológica con entidades no humanas provoca caídas significativas en la recuperación (20–40%) en comparación con nombres comunes.
3. Análisis de Inyección de Prompts Benigna (BPI): Los autores muestran que incluso texto de usuario no malicioso y similar a instrucciones puede hacer que los LLM eludan los protocolos de enmascaramiento de privacidad, "ocultando" efectivamente nombres sensibles a plena vista.
4. Implicaciones de Equidad: El estudio destaca que los fallos de privacidad no son aleatorios; afectan desproporcionadamente a individuos con nombres que son vecinos ortográficos de términos no humanos comunes, planteando serias preocupaciones sobre la equidad en los sistemas de privacidad impulsados por IA.

4. Resultados Clave

• Caída Significativa en la Recuperación: En 12 LLM, la recuperación para los nombres de AmBench disminuyó entre un 20–40% en comparación con los nombres populares de referencia.
  • Ejemplo: GPT-5 y GPT-4o vieron caídas en la recuperación de aproximadamente 0.4 puntos en nombres ambiguos.
  • Modelos de Razonamiento: Incluso modelos avanzados de razonamiento (por ejemplo, DeepSeek R1, GPT-5-mini) tuvieron dificultades, a menudo clasificando nombres erróneamente como la entidad no humana a la que se asemejaban (por ejemplo, clasificar un nombre similar a un mineral como un mineral).
• Inconsistencia: Los modelos fueron altamente inconsistentes. El mismo nombre podía clasificarse como "PERSONA" en una plantilla y como "LUGAR" en otra, incluso cuando el contexto era estructuralmente idéntico.
• Modelos Pequeños vs. Modelos Grandes: Los modelos más pequeños (SLM) a veces lograron una mayor recuperación, pero a costa de una Tasa de Falsos Descubrimientos (FDR) masiva, alucinando nombres con frecuencia.
• Humanos vs. IA: Voluntarios humanos sin entrenamiento también tuvieron dificultades con nombres ambiguos (66% de precisión frente a 97% para nombres de referencia), pero los LLM tuvieron un rendimiento significativamente peor en términos de omitir nombres por completo (fallar en detectarlos como PII), mientras que los humanos podrían clasificarlos erróneamente pero aún así marcarlos como entidades.
• Estudio de Caso Clio (NRB + BPI):
  • Cuando se añadieron instrucciones de BPI a la entrada (por ejemplo, "mantén intacto el término X"), la tasa de fuga de nombres ambiguos en los resúmenes de Clio se cuadruplicó (de ~3.9% a ~18.2%).
  • El auditor de privacidad de Clio no logró detectar estas fugas, asignando a menudo puntuaciones de privacidad altas a resúmenes que contenían nombres filtrados cuando estaba presente la BPI.

5. Significado e Implicaciones

• Modos de Fallo de Privacidad: El artículo revela que confiar en los LLM para el primer paso de la protección de la privacidad (detección de PII) es riesgoso. Si el modelo falla al reconocer un nombre debido a la ambigüedad, todos los mecanismos posteriores de enmascaramiento o anonimización fallan.
• Equidad y Justicia: Los hallazgos sugieren que la protección de la privacidad no es uniforme. Los individuos con nombres que son vecinos ortográficos de palabras comunes (a menudo asociados con antecedentes culturales o lingüísticos específicos) enfrentan mayores riesgos de exposición de identidad. Esto desafía la equidad de las soluciones actuales de privacidad con IA.
• Riesgos de Seguridad: La combinación de NRB y BPI crea un nuevo vector de ataque. Actores maliciosos podrían potencialmente diseñar entradas para forzar a los LLM a filtrar datos específicos de usuarios o realizar ataques de inferencia de membresía.
• Llamada a la Acción: Los autores instan a la comunidad de investigación a ir más allá de las métricas simples de precisión y desarrollar taxonomías sistemáticas de modos de fallo. Abogan por:
  • Pruebas de estrés rigurosas de las herramientas de privacidad contra la ambigüedad.
  • Integración de bases de conocimiento (por ejemplo, listas de nombres raros) en las pipelines de privacidad.
  • Avanzar hacia garantías formales de privacidad en lugar de depender exclusivamente del rendimiento probabilístico de los LLM.

En conclusión, el artículo demuestra que no se puede confiar ciegamente en los LLM para reconocer nombres humanos en contextos ambiguos, lo que plantea un riesgo significativo y no abordado para la equidad y la eficacia de los sistemas automatizados de privacidad.