🤖 AI

CIDER: A Dataset of Contextual Disclosure Boundaries for Privacy Preference Alignment

Este artículo presenta CIDER, un conjunto de datos a gran escala de límites de divulgación contextual derivados de anotaciones humanas, para evaluar y mejorar la alineación de los modelos de lenguaje extensos con las preferencias de privacidad matizadas e individuales mediante la personalización en el tiempo de inferencia.

Autores originales: Bingcan Guo, Eryue Xu, Jijie Zhou, Zhiping Zhang, Tianshi Li

Publicado 2026-08-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Bingcan Guo, Eryue Xu, Jijie Zhou, Zhiping Zhang, Tianshi Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot cómo ser un buen amigo. No le darías simplemente un libro de reglas gigante que diga "No cuentes secretos". Eso es demasiado vago. Si le dices al robot: "No hables de mi cumpleaños", podría confundirse si estás en una fiesta sorpresa donde todos lo están gritando. Pero si estás en una cena tranquila con un extraño, ese mismo secreto debería permanecer bajo llave. Este es el complicado mundo de la privacidad. No es solo un muro que dice "Prohibido el paso"; es más bien como un conjunto de puertas invisibles y cambiantes que se abren y cierran dependiendo de quién esté allí parado, cómo sea el clima y cuánta confianza te tengan.

Los científicos saben desde hace tiempo que las computadoras son cada vez mejores siguiendo reglas generales, como "no compartir registros médicos con extraños". Pero hay una brecha entre conocer la regla general y comprender los sentimientos personales y específicos de tu persona al respecto. Puede que seas el tipo de persona a la que le encanta compartir fotos de su almuerzo, pero que se pone nerviosa si alguien menciona su salario. Otra persona puede sentir exactamente lo contrario. La gran pregunta que los investigadores intentan resolver es: ¿Podemos enseñar a la IA a entender estos límites de privacidad únicos y personales para que no derrame accidentalmente tu té cuando preferirías mantenerlo caliente?

Aquí entra CIDER, un nuevo estudio que actúa como un campamento de entrenamiento masivo para que la IA aprenda estos secretos personales. Los investigadores reunieron a 169 personas reales y les hicieron una pregunta simple pero difícil: "¿Estarías de acuerdo si contara esta historia sobre ti de estas nueve formas diferentes?". Cambiaron la historia ligeramente cada vez: a veces usando tu nombre completo, otras veces diciendo "un amigo", a veces dando cada pequeño detalle y otras veces manteniéndola vaga. Descubrieron que las respuestas de las personas no eran aleatorias; tenían patrones específicos. Algunas personas estaban de acuerdo con detalles vagos pero odiaban que se usara su nombre. Otras no les importaba el nombre, pero se asustaban con los detalles minúsculos.

El equipo luego tomó estos datos y probó 12 modelos de IA diferentes, preguntándoles qué diría una persona específica a continuación, basándose en lo que esa persona había dicho antes. Es como jugar a un juego de "Adivina la Regla" donde la IA tiene que observar tus elecciones pasadas y descubrir tu estilo de privacidad personal. Los resultados fueron una mezcla de buenas noticias y algunos golpes de realidad. Los modelos de IA más grandes y brillantes (como los de Anthropic y OpenAI) se volvieron muy buenos en esto. Cuando se les dieron solo seis ejemplos de las elecciones pasadas de una persona, podían predecir las futuras elecciones de esa persona con una precisión mucho mayor, hasta 11.41 puntos porcentuales mejor que si no tuvieran ningún historial. Estos modelos inteligentes parecían entender la vibra de la situación, no solo las palabras.

Sin embargo, el estudio también encontró que no todas las IA son iguales. Los modelos más pequeños y simples tendían a depender de atajos rígidos. Aprendieron cosas como: "Si el nombre está ahí, di NO", o "Si hay demasiados detalles, di NO", sin entender realmente el matiz. Eran como estudiantes que memorizaron la clave de respuestas pero no entendieron la lección. Además, aunque los modelos inteligentes mejoraron en sus predicciones, a veces se volvieron demasiado confiados en la dirección equivocada. Podían dejar de decir "No" cuando deberían haberlo hecho, o decir "Sí" cuando no deberían, creando un nuevo tipo de desequilibrio. Solo un modelo, Claude Sonnet 4.6, logró mejorar su precisión sin arruinar su equilibrio de errores.

Al final, CIDER sugiere que nos estamos acercando a una IA que realmente puede respetar nuestra privacidad personal, pero no es un problema resuelto todavía. La mejor IA necesita no solo muchos datos, sino la capacidad de entender el sutil contexto humano detrás de nuestras elecciones. Es un recordatorio de que la privacidad no es solo ocultar información; es saber exactamente con quién estás compartiéndola, y la IA necesita aprender ese baile tan bien como nosotros.

Resumen Técnico: CIDER - Un Conjunto de Datos de Límites de Divulgación Contextual para la Alineación de Preferencias de Privacidad

Planteamiento del Problema

Aunque los Modelos de Lenguaje de Gran Escala (LLM) se están integrando cada vez más en la comunicación diaria, su capacidad para alinearse con las preferencias de privacidad humanas sigue siendo inconsistente. La investigación existente se basa principalmente en el marco de Integridad Contextual (CI) para evaluar los modelos frente a normas de privacidad generales y grupales derivadas de regulaciones y literatura. Sin embargo, estas normas son inherentemente de grano grueso y no logran capturar los comportamientos de privacidad dinámicos, matizados e individualizados que las personas exhiben en escenarios de la vida real.

El desafío central radica en la elicitación y el modelado de los límites de privacidad individuales. A diferencia de las normas públicas, los límites personales se forman implícitamente a través de la experiencia vivida y las percepciones de riesgo situacional, lo que los hace difíciles de articular explícitamente por parte de los usuarios. Los métodos de evaluación actuales carecen de una operacionalización sistemática para evaluar la capacidad de un LLM para adaptarse a estas preferencias de divulgación específicas y dependientes del contexto, particularmente en escenarios de comunicación mediada por IA.

Metodología

El Conjunto de Datos CIDER

Para abordar esta brecha, los autores presentan CIDER (Contextual Information Disclosure Boundaries Elicited from Real Users), un conjunto de datos que comprende 14,850 anotaciones humanas de 169 participantes a través de 60 escenarios de comunicación interpersonal.

Construcción de Escenarios: Los escenarios se derivaron del conjunto de datos PrivacyLens, cubriendo diversas prácticas de intercambio de datos que violan las normas de privacidad. Cada escenario fue instanciado en múltiples contextos variando el rol de comunicación (emisor, sujeto, receptor) y la condición mediada por IA (humano vs. asistente de IA).
Variantes de Divulgación: Para cada contexto, los autores generaron 9 variantes de divulgación que varían sistemáticamente a lo largo de dos dimensiones:
1. Granularidad: General (G1), Moderadamente Detallada (G2) y Muy Detallada (G3).
2. Identificabilidad: No Identificable (I1), Parcialmente Identificable (I2) y Totalmente Identificable (I3).
Recolección de Datos: Los participantes calificaron la aceptabilidad (Sí/No) de cada variante dentro de su contexto asignado. El conjunto de datos forma 1,650 límites de divulgación contextual, que representan patrones de decisión individualizados.

Formulación de la Tarea

El artículo formula una tarea de predicción de preferencias de privacidad. Dado el historial de límites de divulgación ( $B$ ) de un usuario a través de $N$ contextos, un modelo debe inferir la preferencia de privacidad latente del usuario ( $p$ ) y predecir sus decisiones de divulgación ( $\hat{y}$ ) para un nuevo contexto no visto ( $c_{new}$ ).

La evaluación se centra en la personalización en tiempo de inferencia (aprendizaje en contexto o in-context learning) sin actualizaciones de parámetros. Los autores comparan cuatro condiciones:

HC (Alto Contexto / High Context): Límites históricos proporcionados con el contexto semántico completo para los escenarios y las variantes.
HL (Bajo Contexto / Low Context): Límites históricos proporcionados con etiquetas estructurales (granularidad/identificabilidad) pero con el contenido semántico redactado.
H (Solo Historial / History Only): Límites históricos proporcionados como decisiones binarias sin contexto ni etiquetas.
Línea Base Sin Historial (No-History Baseline): Predicción basada únicamente en el escenario objetivo sin el historial del usuario.

Los experimentos se realizaron en 12 LLM abiertos y propietarios (incluyendo familias de GPT-5.4, Claude Sonnet 4.6, Llama 4 y Qwen3) con longitudes de historial variables ( $k \in \{1, 4, 5, 6\}$ ).

Contribuciones Clave

Conjunto de Datos CIDER: El primer conjunto de datos personalizado que captura el comportamiento de divulgación contextual individualizado, yendo más allá de las normas grupales para modelar límites de usuario específicos.
Operacionalización de Límites Personales: Un marco estructurado para representar las preferencias de privacidad como vectores binarios sobre variantes de divulgación definidas por granularidad e identificabilidad.
Protocolo de Evaluación (Benchmark): Un protocolo riguro el para evaluar LLM en la alineación de privacidad personalizada mediante el aprendizaje en contexto, destacando las compensaciones entre la escala del modelo, las capacidades de razonamiento y la fidelidad de la personalización.
Herramienta de Estudio: Un flujo de trabajo reutilizable para generar variantes de divulgación y obtener decisiones de usuarios reales, apoyando futuros estudios longitudinales.

Resultados

Precisión de Predicción y Personalización

Mejora General: La personalización en contexto generalmente mejora la precisión de la predicción. Usando solo 6 ejemplos históricos ( $k=6$ ), la precisión mejoró hasta en 11.41 puntos porcentuales en comparación con la línea base sin historial.
Escala del Modelo y Razonamiento: Los modelos más grandes y con capacidad de razonamiento (ej. GPT-5.4 con esfuerzo de razonamiento medio, Claude Sonnet 4.6) superan significativamente a los modelos más pequeños. Estos modelos aprovechan eficazmente el contexto semántico (condición HC) para comprender las preferencias específicas del usuario.
- GPT-5.4 alcanzó un 72.45% de precisión y Claude Sonnet 4.6 alcanzó un 71.98% bajo la condición HC con $k=6$ .
- Los modelos más pequeños (ej. Llama 3.1 8B, Qwen3-8B) a menudo se estancan en precisiones más bajas (ej. ~59.70%) y tienden a depender de heurísticas estructurales (etiquetas de granularidad e identificabilidad) en lugar del entendimiento semántico. En algunos casos, proporcionar el contexto semántico completo (HC) no ayudó, o incluso perjudicó, a los modelos más pequeños en comparación con la condición HL.

Análisis de Errores y Compensaciones

Desplazamientos de Error Desequilibrados: Aunque la personalización mejora la precisión general, a menudo provoca desplazamientos desequilibrados en los Falsos Positivos (FP) y los Falsos Negativos (FN).
- La mayoría de los modelos reducen los FN para las variantes "fáciles" (baja granularidad/identificabilidad) pero aumentan los FP.
- Por el contrario, para las variantes "difíciles" (alta granularidad/identificabilidad), los modelos suelen reducir los FP pero aumentan los FN.
Rendimiento Equilibrado: Claude Sonnet 4.6 fue el único modelo en lograr mejoras equilibradas, reduciendo tanto las tasas de FP como de FN en todas las variantes.
Modos de Fallo: El análisis de las predicciones incorrectas reveló cuatro tipos de error:
1. Sesgo de Autodivulgación: Los modelos asumen que la autodivulgación siempre es aceptable.
2. Extrapolación de Patrones: Los modelos extrapolan ciegamente los patrones históricos de "Sí" sin razonamiento semántico.
3. Anulación Basada en Normas: Los modelos priorizan las normas éticas generales sobre las preferencias específicas del usuario.
4. Generalización Basada en Reglas: Los modelos derivan reglas simplificadas (ej. "emisor de confianza = Sí") que fallan en nuevos contextos matizados.

Personalización vs. Alineación con Grupos/Normas

El análisis comparativo mostró que las predicciones a nivel individual igualaron o superaron a los límites basados en grupos en el 67.92% de los casos y a los límites basados en normas en el 60.69% de los casos, validando la necesidad de un modelado personalizado.

Significado y Reivindicaciones

El artículo posiciona a CIDER como un recurso crítico para avanzar en la alineación de la privacidad personalizada. Los hallazgos revelan una doble realidad en las capacidades actuales de los LLM:

Promesa: Los modelos de frontera con fuertes capacidades de razonamiento pueden aprender y adaptarse eficazmente a los límites de privacidad individuales utilizando el historial en contexto, superando significativamente los enfoques estáticos basados en normas.
Limitaciones: Los modelos actuales, particularmente los modelos más pequeños para dispositivos (on-device), luchan por aprovechar el contexto semántico para la personalización y a menudo exhiben tasas de error desequilibradas (intercambiando falsos positivos por falsos negativos). Además, la dependencia de la infraestructura centralizada para los modelos grandes presenta una paradoja de privacidad, ya que la transmisión de datos del usuario para la personalización crea sus propios riesgos de privacidad.

Los autores concluyen que alinear los LLM con las preferencias de privacidad personales requiere no solo un historial de comportamiento más rico, sino también mejores capacidades de los modelos para interpretar y utilizar dicha información, especialmente para el despliegue a pequeña escala en dispositivos. Hacen un llamado a trabajos futuros centrados en estrategias dirigidas (ej. ajuste fino, mejor prompting) para mejorar la fidelidad de la personalización en modelos más pequeños.