Human-Centred LLM Privacy Audits: Findings and Frictions

Este artículo presenta LMP2, una herramienta de autoauditoría basada en el navegador, y comparte hallazgos de estudios con usuarios que revelan cómo los modelos de lenguaje pueden inferir datos personales, al tiempo que identifica nueve fricciones y desafíos metodológicos para desarrollar auditorías de privacidad centradas en el ser humano.

Lo esencial

Imagina que tienes un espejo mágico (un modelo de Inteligencia Artificial como ChatGPT) que ha leído casi todo lo que hay en internet. Este espejo no solo te refleja tu cara, sino que también intenta adivinar cosas sobre ti: tu nombre, dónde vives, qué te gusta, e incluso cosas que ni tú habías contado a nadie.

El problema es que este espejo es un caja negra. Tú no sabes qué ha aprendido sobre ti, ni si está inventando cosas, ni si tiene información privada que debería haber olvidado.

Este artículo de investigación es como un manual de instrucciones para romper ese espejo y ver qué hay dentro. Los autores crearon una herramienta llamada LMP2 (una especie de "auditoría de privacidad" que tú mismo puedes hacer) para preguntarle al espejo: "¿Qué sabes sobre mí?".

Aquí te explico los hallazgos principales usando analogías sencillas:

1. El "Espejo" sabe más de lo que crees

Los investigadores probaron este espejo con 8 modelos de IA diferentes.

• Para las celebridades: Si le preguntas al espejo sobre una famosa (como una actriz o un político), el espejo responde con mucha seguridad. Sabe su nombre, su cumpleaños, su nacionalidad y hasta su orientación sexual. Es como si el espejo tuviera una carpeta llena de recortes de periódico sobre ellos.
• Para la gente normal: Aquí es donde se pone interesante. Aunque no eres famoso, el espejo sigue adivinando cosas sobre ti con bastante acierto. Por ejemplo, en una prueba con usuarios reales, el modelo GPT-4o acertó en 11 de cada 50 características (como tu género, idioma nativo o color de ojos) con más del 60% de precisión.
• El truco: A veces, el espejo no "sabe" la verdad, sino que adivina basándose en estereotipos. Si tu nombre suena a un país específico, el espejo asume que vives allí. Si tu nombre es común, el espejo puede inventar una vida para ti basándose en lo que es "más probable" estadísticamente.

2. La herramienta LMP2: Tu "Detector de Mentiras"

Los autores crearon una página web (LMP2) para que cualquiera pueda usarla.

• Cómo funciona: Tú escribes tu nombre y eliges qué quieres que el espejo adivine (ej. "¿Cuál es mi color de ojos?"). La herramienta hace miles de preguntas rápidas y sutiles al modelo para ver qué responde.
• El resultado: Te muestra tarjetas con lo que la IA cree que es verdad y te dice qué tan segura está. Es como tener un termómetro de privacidad: te dice si la IA está "fiebre" (muy segura de algo que quizás no es cierto) o si está "fría" (no sabe nada).

3. El Gran Conflicto: ¿Es una violación de privacidad?

Aquí está la parte más curiosa de la investigación.

• Lo que la gente siente: Cuando los usuarios vieron lo que la IA sabía sobre ellos, no siempre se sintieron violados. Si la IA adivinaba correctamente que tenías ojos azules, la gente decía: "Bueno, es obvio".
• Lo que la gente quiere: Sin embargo, el 72% de las personas dijeron que querían tener el control. Querían poder decirle al espejo: "Oye, borra esa información" o "Corrige eso, no es verdad".
• El problema: Actualmente, no tienes ese botón de "borrar" para lo que la IA infiere (adivina) sobre ti. Solo puedes borrar lo que tú mismo guardaste explícitamente.

4. Los "Fricciones" (Los Obstáculos)

Los autores explican por qué es tan difícil arreglar esto, usando una analogía de construir una casa sobre arena movediza:

• La verdad cambia: La información de una persona cambia (te mudas, cambias de trabajo). La IA a veces se queda con datos viejos y te sigue asociando a tu antigua dirección.
• La ambigüedad: Si hay dos personas con el mismo nombre, la IA puede mezclar sus vidas. ¿Es el "Juan Pérez" que vive en Madrid o el que vive en Buenos Aires? La IA a veces se equivoca y le da a uno los datos del otro.
• La prueba imposible: En un juicio, necesitas pruebas deterministas (100% seguras). Pero la IA es probabilística (dice cosas con un 80% de probabilidad). ¿Cómo demandas a una máquina que dice "creo que es así" en lugar de "es así"? Es como intentar demandar a un oráculo que a veces acierta y a veces inventa.

5. La Conclusión: Necesitamos un "Manual de Usuario" para la Privacidad

El mensaje final es que la privacidad en la era de la IA no es solo un problema técnico, es un problema de diseño humano.

Actualmente, estamos en una crisis de evaluación: no sabemos cómo medir con precisión qué sabe una IA sobre nosotros porque sus respuestas cambian según cómo se le pregunte.

¿Qué proponen?

• Crear herramientas claras que nos digan: "Esta es la información que tengo sobre ti, y esta es mi nivel de confianza".
• Darle a las personas el derecho de cuestionar y corregir lo que la IA ha "aprendido" sobre ellas, incluso si esa información no fue compartida directamente, sino inferida.
• Entender que la IA no es un libro de historia exacto, sino un espejo borroso que necesita ser pulido y controlado por nosotros, no por las empresas que lo crearon.

En resumen: Este paper nos dice que las IAs están aprendiendo a conocernos mejor que nosotros mismos, a veces inventando detalles. Necesitamos herramientas para ver ese "perfil oculto" y, lo más importante, necesitamos leyes y botones que nos permitan decir: "Eso no es verdad, y quiero que lo borres".

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Human-Centred LLM Privacy Audits: Findings and Frictions" (Auditorías de Privacidad Centradas en el Humano para LLM: Hallazgos y Fricciones), presentado por Staufer et al. en el taller HEAL de CHI 2026.

1. El Problema

Los Grandes Modelos de Lenguaje (LLM) aprenden asociaciones estadísticas de corpus masivos y interacciones de usuarios, lo que les permite inferir o revelar información sobre individuos. Sin embargo, existe una brecha crítica: las personas carecen de mecanismos prácticos para inspeccionar qué información asocia un modelo con su nombre o identidad.

• Limitaciones actuales: Las auditorías de privacidad organizacionales no revelan las asociaciones a nivel de modelo. Las herramientas de control de "memoria" en aplicaciones comerciales solo gestionan recuerdos explícitos, no las asociaciones inferidas o condicionadas por el nombre (como rasgos demográficos, orientación política o de salud).
• Desafío Técnico: Los LLM son estocásticos, sus respuestas dependen del contexto y las APIs de caja negra ocultan los mecanismos internos. Esto dificulta distinguir entre la memorización de datos, la inferencia basada en pistas contextuales y las conjeturas basadas en priors poblacionales.

2. Metodología y Herramienta (LMP2)

Los autores introducen LMP2 (Language Model Privacy Probe), una herramienta de auditoría basada en navegador diseñada para usuarios finales.

• Enfoque de Auditoría: Se basa en la técnica de "canarios" (canary probing), adaptada para APIs de caja negra. En lugar de pedir al modelo que genere texto libre, el sistema reformula la consulta como una tarea de recuperación de fragmentos de oraciones.
• Proceso Técnico:
  1. Selección de Atributos: Se utilizan 50 propiedades humanas (extraídas de WikiMem/Wikidata) que cubren identidad, vida profesional y personal.
  2. Generación de Consultas: Para cada propiedad, se generan hasta 5 parafraseos de una oración que afirma una tripleta (Nombre, Propiedad, Valor).
  3. Fragmentación: Se truncan los valores reales (ground truth) a prefijos de dos caracteres y se generan 20 prefijos contrafactuales aleatorios.
  4. Ejecución: Se instruye al modelo para que complete solo la última palabra(s) de la frase fragmentada.
  5. Métricas de Salida:
     • Fuerza de Asociación: Combina la frecuencia con la que se genera un valor y su probabilidad promedio (o peso de voto).
     • Confianza: Mide la concentración de la evidencia (si las salidas convergen en un valor único o están dispersas).
• Estudios de Usuario: Se realizaron dos estudios con usuarios de la UE ($N_{total} = 458$) para evaluar la herramienta y las percepciones de privacidad. Además, se evaluaron 8 modelos (3 de código abierto y 5 basados en API) con conjuntos de datos de figuras públicas y nombres sintéticos.

3. Resultados Clave

Evaluación Empírica (8 Modelos)

• Separación por Sujeto: Los modelos muestran una clara distinción entre individuos famosos (alta presencia web) y nombres sintéticos. Para figuras públicas, la confianza es alta, indicando asociaciones estables condicionadas por el nombre.
• Rendimiento por Tipo de Atributo:
  • Los atributos de baja cardinalidad o correlacionados con el nombre (sexo, idioma nativo) tienen alta precisión.
  • Los atributos abiertos o relacionales (patrimonio neto, padrastros) tienen un rendimiento débil.
  • Errores de Alta Confianza: Los modelos tienden a conjeturar con alta confianza valores predeterminados sesgados (ej. "+1" para números de teléfono o "ambidiestro" para la mano dominante) cuando no hay asociación real, especialmente en nombres sintéticos.
• Diferencias entre Modelos: Los modelos API más grandes (GPT-4o, GPT-5, Grok-3) son significativamente más precisos que los modelos de código abierto más pequeños en datos de figuras públicas.

Estudios con Usuarios (Residentes de la UE)

• Capacidad de Predicción: GPT-4o logró predecir 11 de 50 características con una precisión $\ge$ 60% para personas comunes, incluyendo género (94.4%), orientación sexual (82.9%) e idioma nativo (77.8%).
• Percepción vs. Realidad:
  • Aunque el 87% de las salidas no fueron consideradas violaciones de privacidad por los usuarios (incluso cuando eran correctas), el 72% expresó el deseo de tener control para borrar o corregir estas asociaciones generadas por el modelo.
  • Los usuarios mostraron reticencia a probar atributos de alta sensibilidad (número de teléfono, condiciones médicas) en la herramienta, seleccionándolos en menos del 3% de los casos, a pesar de expresar preocupación por ellos en encuestas previas.

4. Contribuciones y Fricciones Identificadas

El artículo no solo presenta hallazgos técnicos, sino que expone una crisis de evaluación en la IA generativa y define nueve fricciones socio-técnicas:

1. Brecha de Traducción: Existe una desconexión entre las evaluaciones técnicas (que prueban riesgos específicos como la extracción de datos) y las auditorías auto-dirigidas accionables por el usuario.
2. Ambigüedad del Alcance: No está claro qué constituye una "asociación" (hecho, inferencia, juicio evaluativo) ni qué nivel de evidencia es suficiente para la rendición de cuentas legal.
3. Entrelazamiento de Mecanismos: Es imposible distinguir desde la salida del modelo si un dato correcto proviene de memorización, inferencia contextual o conjetura estadística. Esto complica la atribución de responsabilidad.
4. Identificación Indirecta: Los nombres no siempre identifican de forma única; el estilo de escritura o pistas contextuales pueden llevar a asociaciones sesgadas.
5. Múltiples Verdades y Deriva Temporal: Los atributos personales cambian o tienen múltiples valores válidos simultáneamente, lo que dificulta establecer una "verdad" única para la auditoría.
6. Más allá de los Hechos Normativos: Las leyes de privacidad cubren perfiles inferidos y datos subjetivos, no solo hechos discretos, lo que complica la definición de "verdad fundamental" (ground truth).
7. Cobertura Lingüística: La herramienta actual está limitada al inglés y al alfabeto latino, lo que reduce su validez global y no captura sesgos específicos de otros scripts.
8. Complejidad de Sistemas Desplegados: Los sistemas que usan herramientas externas (búsqueda web, RAG) hacen que la evidencia sea inestable y dependiente del tiempo, dificultando la prueba determinista requerida por marcos legales como el GDPR.
9. Fricción de la Evidencia: La naturaleza probabilística de los LLM choca con la necesidad de pruebas deterministas para la rectificación o el "derecho al olvido".

5. Significado y Conclusión

El estudio demuestra que los LLMs pueden reconstruir perfiles detallados de individuos (incluso no famosos) basándose únicamente en sus nombres, a menudo con alta confianza.

• Implicación Legal y Social: La distinción crucial es entre asociación (lo que el modelo vincula al nombre) y procedencia (de dónde viene ese dato). Para el GDPR y el derecho al olvido, el daño reside en la asociación de una afirmación (correcta o no) a una persona, independientemente de si el modelo la memorizó o la inferió.
• Recomendaciones: Para avanzar hacia auditorías fiables, se requiere:
  • Definir explícitamente el alcance de la auditoría (qué se mide y qué se certifica).
  • Diseñar interfaces que comuniquen la estabilidad de las predicciones a través de diferentes parámetros.
  • Exportar metadatos completos (prompts, versiones, marcas de tiempo) para apoyar la contestación legal.
  • Reconocer que la auditoría de privacidad en LLMs es un desafío de diseño socio-técnico, no solo un problema de medición técnica.

En resumen, el paper argumenta que sin una comprensión clara de estas fricciones y sin herramientas que traduzcan la incertidumbre probabilística en evidencia accionable, los esfuerzos de auditoría de privacidad centrados en el humano seguirán siendo insuficientes para proteger la autonomía y la privacidad de los individuos en la era de la IA generativa.