Resumen Técnico: PRIVACYSIM: Evaluación de la Simulación de Comportamiento de Privacidad de Usuarios por Modelos de Lenguaje Grande

Enunciado del Problema

Los Modelos de Lenguaje Grande (LLM) se emplean cada vez más para simular el comportamiento humano con el fin de evaluar sistemas de intercambio de datos, potencialmente reemplazando estudios controlados con usuarios que son costosos y lentos. Sin embargo, sigue sin estar claro si los LLM pueden simular fielmente las decisiones de privacidad a nivel individual. El trabajo existente a menudo se basa en personas generalizadas o en la alineación a nivel de población, sin lograr capturar los matices del comportamiento individual, particularmente la "paradoja de la privacidad", donde las actitudes declaradas de los usuarios divergen de sus acciones reales. Existe una falta de suites de evaluación estandarizadas para determinar si atributos específicos de una persona de usuario pueden impulsar a los LLM a imitar con precisión la toma de decisiones de privacidad individual en contextos mediados por IA.

Metodología

Los autores introducen PRIVACYSIM, una suite de evaluación diseñada para establecer un punto de referencia en la simulación de comportamiento de privacidad de usuarios por LLM frente a respuestas humanas de verdad fundamental.

Construcción del Conjunto de Datos

La evaluación se basa en datos del mundo real en lugar de una generación sintética. Los autores curaron un conjunto de datos a partir de cinco estudios de usuarios publicados que abarcan diversos dominios:

1. Consulta de Salud con LLM
2. Permisos para Agentes de IA
3. Chatbot con LLM
4. Chat de Grupo con Chatbot
5. Agentes Conversacionales con LLM

De estos estudios, seleccionaron una muestra de 1.000 usuarios (200 por estudio) y extrajeron 9.400 pares de usuario-pregunta. Cada usuario está asociado con una "persona de privacidad" ($P_u$) compuesta por tres facetas hipotéticas:

• Demografía ($D_u$): Edad, género, educación (opcional, ya que algunos estudios omitieron estos datos).
• Experiencias Previas ($E_u$): Familiaridad y frecuencia de uso de IA/chatbots.
• Actitudes hacia la Privacidad ($A_u$): Preocupaciones y preferencias declaradas sobre el uso de datos.

Tarea de Simulación

La tarea se define como un simulador LLM $f$ que toma la persona de un usuario $P_u$ y una pregunta de intercambio de datos $q_i$ para producir una respuesta simulada $\hat{r}_{u,i}$. El objetivo es alinear $\hat{r}_{u,i}$ con la respuesta real del usuario $r_{u,i}$.

Métrica de Evaluación

Debido a las escalas de respuesta variables entre estudios (por ejemplo, escala Likert de 5 puntos frente a numérica de 0–100), los autores emplean una métrica de precisión con tolerancia. Una respuesta simulada se considera una coincidencia si cae dentro de un límite de tolerancia ($\tau \cdot W_{Q_u}$) de la respuesta real, donde $W_{Q_u}$ es el límite superior de la escala. Los autores establecieron $\tau = 0.15$, lo que actúa efectivamente como una coincidencia exacta para escalas de 5 puntos, pero permite un margen de $\pm 15$ puntos para escalas de 100 puntos.

Configuración Experimental

El estudio evaluó nueve LLM de vanguardia (tanto de pesos abiertos como de código cerrado), incluidos GPT-5.4, Claude Sonnet 4.6, Gemini 3.1 Pro y varias variantes de Qwen y Gemma. Los modelos se probaron bajo ocho condiciones de prompt:

1. Sin persona (línea base).
2. Subconjuntos de las tres facetas de la persona ($D_u$, $E_u$, $A_u$) en todas las combinaciones no vacías.
3. Variantes que incorporan teorías de privacidad (Cálculo de Privacidad, Racionalidad Acotada, Teoría de la Motivación de Protección) como lentes de razonamiento.

Contribuciones Clave

1. Benchmark PRIVACYSIM: La primera suite de evaluación estandarizada para evaluar LLM como simuladores de privacidad a nivel individual, utilizando datos reales de usuarios de cinco estudios distintos.
2. Análisis de Facetas de la Persona: Una investigación sistemática sobre cómo la demografía, las experiencias previas y las actitudes declaradas contribuyen a la precisión de la simulación.
3. Cuantificación de la Paradoja de la Privacidad: Evidencia empírica que demuestra que las actitudes declaradas de privacidad por sí solas a menudo son malos predictores del comportamiento real en la simulación, destacando la dificultad de modelar la paradoja de la privacidad.
4. Análisis de Dificultad Agrupada: Identificación de grupos específicos de usuarios (basados en postura y exposición) que son desproporcionadamente difíciles de simular para los LLM.

Resultados

RQ1: Grado de Precisión de la Simulación

• Fidelidad Limitada: Incluso el modelo más fuerte, Gemini 3.1 Pro, logró solo un 40,4 % de precisión cuando se condicionó con la combinación de persona más rica disponible (Experiencias Previas + Actitudes hacia la Privacidad) en los cinco estudios. Esto indica que los LLM actuales están lejos de simular fielmente las decisiones de privacidad individuales.
• Valor de la Persona: Condicionar sobre las facetas de la persona mejoró consistentemente la precisión en comparación con la línea base sin persona (que logró ~36–37 %). La combinación de Experiencias Previas ($E_u$) y Actitudes hacia la Privacidad ($A_u$) produjo los mejores resultados, mientras que la Demografía ($D_u$) por sí sola proporcionó ganancias insignificantes.
• Variación por Dominio: La calidad de la simulación varió significativamente según el dominio. "Consulta de Salud con LLM" fue la más difícil de simular (precisión más baja), mientras que "Agentes Conversacionales con LLM" y "Chat de Grupo con Chatbot" fueron más fáciles.

RQ2: Grupos Más Difíciles de Simular

Utilizando una taxonomía de (postura, exposición), los autores identificaron clusters distintos de usuarios:

• Grupo Más Difícil: Usuarios con baja preocupación declarada por la privacidad pero alta exposición a IA/chatbots ("Postura baja / Exposición alta") fueron los más difíciles de simular, logrando la precisión más baja (36,51 %) y la ganancia más pequeña al condicionar con la persona (+1,07 puntos porcentuales). Los autores hipotetizan que los LLM inferen incorrectamente que estos usuarios están menos preocupados de lo que realmente están, fallando en capturar la divergencia entre su baja preocupación declarada y su comportamiento real moldeado por un uso extensivo.
• Grupo Más Fácil: Usuarios con alta preocupación declarada y exposición moderada fueron los más fáciles de simular, mostrando la mayor mejora al condicionar con la persona (+8,53 puntos porcentuales).

RQ3: Características del Modelo y Prompts

• Esfuerzo de Razonamiento: Aumentar el esfuerzo de razonamiento (por ejemplo, de bajo a medio) tuvo un impacto insignificante en la precisión (<1 punto porcentual).
• Tamaño del Modelo: Escalar el tamaño del modelo dentro de una familia (por ejemplo, Mini vs. Completo, 27B vs. 122B) produjo solo ganancias modestas (0,12 a 1,31 puntos porcentuales).
• Prompts Informados por Teoría: Pedir a los modelos que razonen a través de teorías de privacidad establecidas (Cálculo de Privacidad, Racionalidad Acotada, Teoría de la Motivación de Protección) no mejoró la calidad de la simulación más allá de la señal proporcionada por las facetas de la persona por sí solas.

Significado y Afirmaciones

El artículo concluye que, aunque los LLM poseen una comprensión base no trivial de las normas generales de privacidad, actualmente carecen de la fidelidad para servir como proxies confiables para la toma de decisiones de privacidad a nivel individual. La brecha entre lo que los usuarios dicen (actitudes) y lo que hacen (comportamiento) sigue siendo el obstáculo central.

Los autores posicionan a PRIVACYSIM como un primer paso hacia la comprensión de estas limitaciones. Afirman que la simulación con LLM es actualmente apropiada solo para tareas de bajo riesgo y etapas tempranas (por ejemplo, comparar alternativas de diseño, poner de manifiesto violaciones obvias, generar hipótesis), pero debe ir acompañada de estudios con usuarios humanos antes de cualquier decisión de despliegue. El trabajo sugiere que cerrar la brecha hacia una simulación fiel probablemente requerirá señales conductuales más ricas más allá del conjunto actual de facetas de la persona, en lugar de simplemente escalar modelos o refinar prompts.