Inferential Privacy Leakage in Anonymized Conversational AI Logs

Resumen Técnico: Fuga de Privacidad Inferencial en Registros de IA Conversacional Anonimizados

Enunciado del Problema
El artículo aborda una brecha crítica en la privacidad de la IA conversacional: la suposición de que eliminar la Información de Identificación Personal (PII) explícita de los registros de los usuarios es suficiente para proteger su identidad. Si bien la sanitización tradicional elimina nombres, ubicaciones y declaraciones demográficas directas, los autores investigan si la identidad demográfica de un usuario (edad, género, país) sigue siendo recuperable a partir del estilo, la mezcla de temas y los marcadores culturales inherentes a su historial de conversaciones. El estudio postula que los Modelos de Lenguaje Grande (LLM) pueden inferir estos atributos a través de patrones de razonamiento estereotipados, incluso cuando los datos de entrada han sido filtrados rigurosamente para excluir la auto-divulgación explícita.

Metodología
La investigación utiliza dos conjuntos de datos recopilados mediante un pipeline de donación de datos de participantes que dieron su consentimiento, reclutados a través de Clickworker, bajo aprobación del Comité de Ética en Investigación (IRB).

1. Conjuntos de Datos:

   • Conjunto de Datos 1 (Multi-país): 1.057 usuarios de Brasil, India, Nigeria y Pakistán. Incluye historiales completos de conversaciones con ChatGPT y datos demográficos básicos (edad, género, país).
   • Conjunto de Datos 2 (Subcohorta India): Un subconjunto de 212 usuarios indios del Conjunto de Datos 1 que también proporcionaron historiales de búsqueda en Google, búsqueda en YouTube y visualización en YouTube, junto con datos demográficos ampliados (religión, casta, ingresos, educación, preferencia de voto).

2. Filtrado y Selección de Cohorte:

   • Para probar la inferencia más allá de la divulgación explícita, los autores construyeron una "cohortes analítica conservadora".
   • Filtrado: Aplicaron un filtro de dos etapas a los mensajes de los usuarios:
     • Un pase determinista de Reconocimiento de Entidades Nombradas (NER) (SpaCy) para marcar la PII estándar.
     • Un filtro basado en LLM (Llama-3.3-70B-Instruct) para detectar auto-divulgaciones demográficas implícitas (por ejemplo, "Como madre soltera...").
   • Cohorte: Solo se retuvieron los usuarios cuyo historial completo de conversaciones superó ambos filtros (sin mensajes marcados). Esto asegura que cualquier inferencia exitosa dependa únicamente de señales estilísticas y temáticas, no de declaraciones explícitas.

3. Protocolo de Inferencia:

   • Adversario: Se utilizó el mismo modelo Llama-3.3-70B-Instruct como adversario para predecir los datos demográficos.
   • Tarea: El modelo predijo el rango de edad, el género y el país (y atributos adicionales para el Conjunto de Datos 2) utilizando prefijos progresivamente más grandes del historial de conversación sanitizado (incrementos del 5%).
   • Métricas: El rendimiento se midió utilizando F1 ponderado, precisión y recuperación contra datos de encuestas de verdad fundamental. La métrica "contexto-necesario" rastreó el tamaño mínimo de prefijo requerido para una predicción correcta.
   • Análisis Cualitativo: Se analizaron las justificaciones de la cadena de pensamiento del modelo para identificar los patrones de razonamiento que impulsan las predicciones.

4. Comparación Transplataforma:

   • Para el Conjunto de Datos 2, se aplicó el mismo protocolo de inferencia a los historiales de búsqueda en Google, búsqueda en YouTube y visualización en YouTube para comparar los registros de ChatGPT con los sustratos establecidos de perfilado conductual.

Contribuciones Clave

1. Montaje del Conjunto de Datos: Creación de un corpus donado de 1.057 historiales de ChatGPT de cuatro países del Sur Global, emparejados con datos demográficos auto-reportados, y una subcohortes con historiales paralelos de búsqueda/visualización.
2. Auditoría de Divulgación: Un análisis granular de 1,24 millones de mensajes que revela que el 34,5% contiene información personal, con el usuario mediano revelando contenido identificativo dentro del primer 14% de su historial.
3. Inferencia sobre Datos Sanitizados: Demostración de que los datos demográficos siguen siendo altamente recuperables a partir de conversaciones que han pasado filtros estrictos para la auto-divulgación explícita.
4. Identificación del Mecanismo de Sesgo: Análisis cualitativo que revela que la inferencia depende de cuatro patrones estereotipados recurrentes, lo que conduce a distribuciones de error asimétricas.
5. Evaluación Comparativa Transplataforma: Una comparación directa que muestra que los registros de ChatGPT son una superficie de inferencia comparable, aunque distinta, a los registros tradicionales de búsqueda y navegación.

Resultados

• Divulgación Explícita: El 34,5% de los mensajes de los usuarios contenía información personal en una taxonomía de 20 categorías. El usuario mediano reveló contenido identificativo dentro del primer 14% de su historial, con un pico en las divulgaciones del primer mensaje. Las tasas de divulgación no disminuyeron a medida que las conversaciones se alargaban.
• Rendimiento de Inferencia (Cohorte Sanitizada): Incluso sin marcadores demográficos explícitos, el LLM logró una alta precisión:
  • Género: F1 ponderado de 0,90 (Línea base: 0,52).
  • País: F1 ponderado de 0,88 (Línea base: 0,26).
  • Edad: F1 ponderado de 0,84 (Línea base: 0,23).
  • Velocidad: Para más de la mitad de los usuarios, el modelo predijo correctamente los datos demográficos utilizando solo el primer 5% del historial de conversación.
• Patrones de Razonamiento (Sesgo): El análisis de las justificaciones del modelo reveló cuatro señales estereotipadas que impulsan la inferencia:
  1. Tecnología ≡ Masculino: El contenido técnico (programación, Linux, finanzas) fue leído casi exclusivamente como masculino. El 26% de las mujeres en campos técnicos fueron mal clasificadas como hombres, en comparación con el 1% de los hombres mal clasificados como mujeres.
  2. Tecnología ≡ Occidental: La competencia técnica en usuarios del Sur Global (Nigeria, Pakistán) a menudo se interpretó como "educación de estilo occidental", lo que llevó a una mala clasificación como estadounidenses o británicos.
  3. Fluidez en Inglés ≡ EE. UU.: El inglés fluido que carecía de marcadores locales (moneda, jerga) se asignó por defecto a la residencia en EE. UU.
  4. Contenido Contemporáneo ≡ Joven: Los usuarios mayores que discutían software moderno o transiciones profesionales fueron frecuentemente mal clasificados en rangos de edad más jóvenes (25–34).
• Comparación Transplataforma:
  • Los registros de ChatGPT fueron la señal más fuerte para edad, educación y preferencia de voto.
  • Los registros de búsqueda y YouTube fueron más fuertes para género, religión e ingresos.
  • El historial de visualización en YouTube fue consistentemente la señal más débil.
  • ChatGPT no subsume los sustratos anteriores, pero ofrece una superficie de perfilado cualitativamente diferente, rica en narrativa.

Significado y Afirmaciones
El artículo afirma que la eliminación de PII a nivel de mensaje es insuficiente como intervención de privacidad para la IA conversacional. El estudio demuestra que:

1. La inferencia es distinta de la memorización: El ataque no depende de que el modelo haya visto los datos específicos del usuario durante el entrenamiento. En cambio, depende de los priores generales derivados del preentrenamiento y los estereotipos del modelo aplicados a nuevos textos.
2. El daño a la privacidad está distribuido de manera desigual: La distribución del error no es aleatoria; clasifica erróneamente sistemáticamente a grupos específicos (mujeres en tecnología, usuarios mayores con habilidades contemporáneas, profesionales del Sur Global). Esto crea un doble daño: los usuarios que se ajustan al estereotipo son perfilados con precisión, mientras que los usuarios que violan el estereotipo son mal asignados, lo que conduce a un daño representacional y a una segmentación incorrecta aguas abajo.
3. ChatGPT es un nuevo sustrato de perfilado comparable: Si bien no es uniformemente más invasivo que los registros de búsqueda, los registros de ChatGPT capturan una clase diferente de datos (narrativa, emocional, reflexiva) que complementa los sustratos existentes de publicidad conductual.
4. Implicaciones Políticas: Las prácticas actuales de anonimización (enmascarar PII) no abordan los riesgos inferenciales planteados por las características estilísticas y temáticas. Los autores abogan por intervenciones de privacidad a nivel de conversación (por ejemplo, ofuscación estilística, privacidad diferencial) en lugar de la enmascaramiento aislado de mensajes.

Los autores declaran explícitamente que no afirman que ChatGPT sea uniformemente más invasivo que la búsqueda, ni miden resultados comerciales aguas abajo. Su contribución es la observación estructural de que la identidad es recuperable de registros sanitizados a través de razonamiento mediado por estereotipos, y que este riesgo se distribuye de manera desigual entre las poblaciones.