Curation Leaks: Membership Inference Attacks against Data Curation for Machine Learning

Este trabajo demuestra que los procesos de curación de datos para el aprendizaje automático, aunque utilizan solo datos públicos para entrenar modelos guiados por datos privados, son vulnerables a ataques de inferencia de pertenencia en todas sus etapas, revelando así riesgos de privacidad inherentes que requieren la implementación de garantías formales como la privacidad diferencial.

Lo esencial

Imagina que quieres entrenar a un chef de renombre (un modelo de Inteligencia Artificial) para que cocine el mejor plato del mundo, pero tienes un secreto: tienes una receta familiar muy especial y privada (tus datos sensibles) que no quieres que nadie vea ni robe.

La idea de la "curación de datos" (que es de lo que habla este paper) es muy inteligente: en lugar de enseñarle al chef tu receta secreta directamente, le dices: "Oye, mira esta receta secreta. Ahora, ve a la gran biblioteca de recetas públicas (internet) y elige solo las 100 recetas que más se parezcan a la mía. Úsalas para entrenarte".

La lógica era: "Como el chef nunca vio mi receta secreta, solo vio las públicas, mi secreto está a salvo".

Pero, ¡cuidado! Este paper descubre que esa lógica tiene un agujero gigante.

Los autores dicen: "¡No es tan seguro como pensábamos! La forma en que seleccionas esas recetas públicas delata tu receta secreta."

Aquí te explico cómo funciona el "ataque" con una analogía sencilla:

1. El Problema: La "Huella Digital" de la Selección

Imagina que el chef, al elegir las recetas, deja una huella digital.

• Si tu receta secreta es muy rara (como un plato con insectos comestibles), el chef buscará en la biblioteca pública recetas que se parezcan a eso.
• El atacante (un espía) no necesita ver tu receta. Solo necesita ver qué recetas públicas eligió el chef.
• Si el espía ve que el chef eligió una receta pública muy extraña que solo se parece a tu plato secreto, el espía puede deducir: "¡Ajá! Alguien usó un plato con insectos como guía. ¡Ese es el secreto!".

El paper demuestra que esto pasa en tres momentos del proceso:

A. El Momento de la "Puntuación" (Los Scores)

Antes de elegir, el chef le da una nota a cada receta pública: "Esta se parece un 90% a mi secreto".

• La analogía: Es como si el chef dejara una lista de notas en la mesa. Si el espía ve la lista, puede decir: "El chef dio una nota alta a esta receta porque tiene algo en común con el secreto. ¡Ya sé qué es el secreto!".
• El hallazgo: En los métodos que usan "vecinos más cercanos" (como buscar la foto más parecida), es muy fácil leer estas notas y descubrir el secreto. Es como si el chef gritara el secreto a través de las notas.

B. El Momento de la "Selección" (El Subconjunto)

El chef elige las 100 mejores recetas y las pone en una bandeja.

• La analogía: El espía solo ve la bandeja final. No ve las notas. Pero si el espía sabe cómo piensa el chef, puede jugar a un juego de adivinanzas: "Si el secreto fuera 'pizza', el chef habría elegido estas 100 recetas. Si fuera 'sushi', habría elegido otras. Como veo que eligió 'pizza', ¡el secreto es pizza!".
• El hallazgo: Incluso sin ver las notas, solo viendo qué recetas se llevaron, el espía puede reconstruir gran parte de tu secreto, especialmente si tu secreto es pequeño (pocas recetas).

C. El Momento del "Chef Entrenado" (El Modelo Final)

El chef ya cocinó con las recetas elegidas. Ahora es un experto.

• La analogía: Imagina que el espía es un poco tramposo. Antes de que el chef empiece a entrenar, el espía esconde 5 recetas trampa en la biblioteca pública. Estas recetas tienen un truco: "Si el chef me elige, significa que su secreto es 'pizza' y no 'sushi'".
• El hallazgo: Si el chef entrena y luego el espía le pregunta al chef: "¿Qué opinas de la receta 'ratatouille'?" y el chef responde "¡Me encanta!" (aunque nunca comió ratatouille), el espía sabe que el chef fue "envenenado" por la receta trampa, lo que confirma que el secreto era "pizza".

¿Por qué es importante esto?

Hasta ahora, pensábamos que si no entrenabas con los datos privados, no había riesgo. Este paper nos dice: El proceso de elegir los datos es tan peligroso como el proceso de entrenar con ellos.

Es como si entraras a una tienda de ropa, miraras un vestido en el escaparate (tus datos privados) y le dijeras al vendedor: "Elige las 5 prendas de aquí dentro que más se parezcan a ese vestido". Si el vendedor te trae un vestido azul, y tú sabes que solo tú tenías un vestido azul, cualquiera que vea lo que te trajo el vendedor sabrá que tenías un vestido azul.

¿Hay solución?

Sí. Los autores proponen usar "Privacidad Diferencial".

• La analogía: Es como si el chef, antes de elegir las recetas, se pusiera unas gafas de sol muy gruesas o un poco de ruido estático en los oídos.
• Cuando le preguntas: "¿Qué tan parecida es esta receta?", el chef responde: "Bueno, es muy parecida... o quizás no tanto, no estoy seguro, hay un poco de ruido".
• Al añadir este "ruido" matemático, el espía ya no puede distinguir si la receta pública se eligió por tu secreto o por casualidad. El paper muestra que esto funciona muy bien, aunque hace que el chef sea un poco menos preciso (un pequeño sacrificio por la seguridad).

En resumen

Este paper nos advierte que el proceso de filtrar y seleccionar datos para la IA no es invisible. Deja huellas que pueden delatar la información privada que usamos para guiar esa selección. Si quieres proteger tus secretos, no basta con no entrenar con ellos; también tienes que proteger el proceso de cómo los usas para elegir los datos públicos.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "CURATION LEAKS: MEMBERSHIP INFERENCE ATTACKS AGAINST DATA CURATION FOR MACHINE LEARNING", presentado en ICLR 2026.

1. El Problema

En el aprendizaje automático moderno, la curación de datos se utiliza para seleccionar subconjuntos de datos públicos de alto valor, optimizando la precisión del modelo y la eficiencia computacional. Un enfoque emergente para la privacidad es utilizar datos sensibles (privados) únicamente para guiar la selección de datos públicos, evitando así entrenar el modelo directamente sobre la información confidencial. La premisa es que, si el modelo final nunca "ve" los datos privados, debería ser seguro.

Sin embargo, este artículo demuestra que esta suposición es falsa. Los autores identifican que los tuberías de curación (curation pipelines) son inherentemente vulnerables y pueden filtrar información de pertenencia (membership information) sobre el conjunto de datos privado objetivo en cada etapa del proceso, incluso si el modelo final se entrena exclusivamente con datos públicos curados.

2. Metodología y Ataque

Los autores diseñan y evalúan ataques de inferencia de pertenencia (Membership Inference Attacks - MIAs) contra tres etapas críticas de la tubería de curación:

A. Modelo de Amenaza

• Objetivo: Inferir si una muestra específica $t$ pertenece al conjunto de datos privado objetivo $T$ utilizado para curar un conjunto de datos público $D$.
• Capacidades del Adversario: Conoce el conjunto de datos público $D$, el algoritmo de curación y puede observar los resultados de la curación (puntuaciones, subconjuntos seleccionados o el modelo final). En algunos casos, puede inyectar muestras "huella digital" (fingerprinted samples) en el conjunto público.
• Métodos Analizados: Se centran en dos enfoques representativos:
  1. Curación basada en embeddings de imágenes: Selecciona muestras públicas basándose en la similitud coseno con los embeddings de los datos objetivos (mecanismo de vecino más cercano).
  2. TRAK (Tracing with the Randomly-projected After Kernel): Calcula puntuaciones de atribución promediando gradientes proyectados para identificar muestras influyentes.

B. Estrategias de Ataque por Etapa

1. Ataque a las Puntuaciones de Curación (Scores):

   • Adaptación de LiRA: Utilizan el ataque de Razón de Verosimilitud (LiRA) adaptado, reemplazando los "modelos sombra" tradicionales con "conjuntos de curación sombra" (subconjuntos aleatorios de $T$).
   • Ataque por Votación (Imágenes): Explota la naturaleza determinista del vecino más cercano. Si una muestra pública tiene una puntuación máxima, el adversario puede determinar exactamente qué objetivo privado causó esa puntuación.
   • Mínimos Cuadrados (TRAK): Formulan la recuperación de la máscara de pertenencia como un problema de recuperación de señales dispersas (compressed sensing) sobre las puntuaciones lineales.

2. Ataque a la Selección del Subconjunto (Binary Selection):

   • LiRA Binario: Adaptan LiRA para operar sobre máscaras binarias (si una muestra fue seleccionada o no), modelando la selección como una distribución Bernoulli.
   • Reconstrucción Iterativa (Imágenes): Un algoritmo que refina iterativamente una hipótesis del conjunto objetivo comparando el subconjunto seleccionado observado con el generado por la hipótesis, utilizando la estructura de vecino más cercano para eliminar candidatos incorrectos.

3. Ataque al Modelo Final (End-to-End):

   • Inyección de Huellas Digitales: El adversario inyecta un pequeño número de muestras manipuladas en el conjunto público. Estas muestras están diseñadas para ser seleccionadas por la curación solo si un objetivo privado específico está presente.
   • Detección: Si el modelo final muestra un comportamiento anómalo (por ejemplo, alta probabilidad en conceptos semánticamente irrelevantes asociados a la huella), el adversario infiere la presencia del objetivo privado.
   • Especificidad: Para imágenes, usan subtítulos erróneos; para TRAK, usan información ortogonal benigna añadida a subtítulos correctos para evitar que el algoritmo rechace las muestras mal etiquetadas.

3. Contribuciones Clave

1. Primera Análisis Integral de Privacidad en Curación: Demuestran que la curación de datos no es intrínsecamente privada y que la información se filtra en las puntuaciones, los conjuntos seleccionados y los modelos finales.
2. Nuevos Ataques Específicos: Diseñan ataques personalizados para cada etapa, incluyendo la adaptación de LiRA para curación y ataques deterministas basados en la estructura de vecino más cercano.
3. Ataques End-to-End Efectivos: Muestran que es posible inferir pertenencia en el modelo final inyectando muy pocas muestras (hasta 5) en el conjunto público, una situación realista en datos raspados de internet.
4. Evaluación Empírica: Validan los ataques en seis conjuntos de datos (CIFAR-10/100, Food101, PCAM, RESISC45, STL-10) y dos métodos de curación.

4. Resultados Principales

• Vulnerabilidad de la Curación Basada en Imágenes: Es extremadamente vulnerable. El mecanismo de vecino más cercano permite ataques con tasas de éxito muy altas (TPR > 90% en muchos casos) tanto en las puntuaciones como en los subconjuntos. La mayoría de los objetivos tienen influencia nula, pero aquellos que la tienen están completamente expuestos.
• Vulnerabilidad de TRAK:
  • Ofrece una protección natural debido al promediado de gradientes, mostrando un rendimiento cercano al azar (AUC ≈ 0.5) en conjuntos de datos grandes.
  • Sin embargo, es altamente vulnerable cuando el conjunto de datos objetivo es pequeño (típico en dominios sensibles como salud o finanzas), ya que el promediado no diluye suficiente la señal individual.
• Ataques End-to-End: Los modelos entrenados con datos curados filtran información de pertenencia. La vulnerabilidad de TRAK en conjuntos pequeños persiste incluso en el modelo final, mientras que la curación basada en imágenes muestra una fuga constante.
• Efecto de la Eliminación de Muestras: Intentar eliminar las muestras más vulnerables del conjunto objetivo no es una defensa efectiva; de hecho, puede aumentar la exposición de otras muestras (efecto "cebolla" de privacidad).

5. Mitigación y Significado

• Privacidad Diferencial (DP): Los autores proponen adaptar los métodos de curación con Privacidad Diferencial.
  • Para curación basada en imágenes: Usar el mecanismo "Report Noisy Max" (añadir ruido gaussiano a las similitudes antes de tomar el máximo).
  • Para TRAK: Privatizar el cálculo del gradiente medio.
  • Resultado: La DP reduce drásticamente el éxito del ataque (ej. de ~98% a ~1% en curación de imágenes con $\epsilon=10$), demostrando que las garantías formales son necesarias.
• Significado: Este trabajo cambia el paradigma de seguridad en ML. Muestra que la privacidad no debe evaluarse solo en la fase de entrenamiento del modelo, sino que debe extenderse a todo el proceso de selección de datos. A medida que la curación se vuelve central en el desarrollo de modelos (especialmente en dominios sensibles), es imperativo diseñar tuberías de curación con salvaguardas de privacidad integradas, como la Privacidad Diferencial, para evitar fugas de información sobre los datos que guían la selección.

En resumen, el artículo advierte que la curación de datos no es un escudo de privacidad por defecto y expone riesgos sistémicos que requieren nuevas metodologías de diseño y evaluación de privacidad.