DIME: Query-Efficient Framework for Membership Inference on Diffusion Models

En el panorama moderno de la inteligencia artificial, una clase específica de sistemas conocidos como modelos de difusión se ha convertido en el motor detrás de muchas de las imágenes más impactantes que vemos en línea. Estos sistemas aprenden a crear nuevas imágenes comenzando con estática aleatoria y eliminando gradualmente el ruido hasta que emerge una imagen clara. Para hacer esto, son entrenados en colecciones masivas de fotografías existentes, aprendiendo los patrones estadísticos que conectan una imagen con otra. Si bien estos modelos son celebrados por su capacidad para generar arte, una preocupación silenciosa por la privacidad ha surgido junto a su éxito. Debido a que la lista específica de fotos utilizadas para entrenar un modelo rara vez se hace pública, es difícil saber si la foto privada de un individuo en particular fue incluida en ese conjunto de entrenamiento. Esto importa por varias razones: confirmar que los datos médicos o biométricos de una persona fueron utilizados podría ser una violación de la privacidad en sí misma, y bajo las leyes actuales de protección de datos, los individuos tienen el derecho de solicitar que sus datos sean eliminados, aunque a menudo no hay forma de verificar si un modelo realmente los ha olvidado. Además, si un modelo ha memorizado una imagen con derechos de autor específica en lugar de solo aprender un estilo general, esto plantea cuestiones legales sobre quién posee las nuevas imágenes que crea.

Durante años, los investigadores han intentado construir herramientas para responder a la pregunta de si una imagen específica formó parte de los datos de entrenamiento de un modelo. Estos intentos, conocidos como ataques de inferencia de membresía, se han basado principalmente en la intuición. Los investigadores suponen que si un modelo ha visto una imagen antes, podría reaccionar ante ella de una manera ligeramente diferente a como lo haría con una imagen que nunca ha visto. Probaron diversas señales, como qué tanto error comete el modelo al intentar limpiar una versión ruidosa de la imagen. Sin embargo, estos métodos solían ser de acierto o error, requerían que se le hicieran al modelo una gran cantidad de preguntas y carecían de una base teórica sólida que explicara por qué funcionaban. Eran como intentar encontrar una aguja en un pajar adivinando qué parte del heno podría estar afilada, en lugar de entender la forma de la propia aguja.

Un equipo de investigadores de la Universidad de Illinois en Urbana-Champaign ha abordado este problema desde un ángulo completamente diferente. En lugar de adivinar qué señales podrían ser útiles, comenzaron derivando matemáticamente exactamente cómo se vería la mejor señal posible. Plantearon una pregunta fundamental: si un modelo de difusión ha sido entrenado en un conjunto finito de imágenes, ¿cuál es la función teórica perfecta que debería usar para eliminar el ruido de cualquier imagen dada? Al resolver esto matemáticamente, descubrieron que el comportamiento del modelo está gobernado por un tipo específico de promedio. Cuando el modelo observa una imagen ruidosa, esencialmente pregunta: "¿Qué imágenes de mi entrenamiento podrían haber producido esto?", y luego combina las respuestas, ponderándolas según qué tan cerca coincida cada imagen de entrenamiento con el ruido actual.

Este conocimiento teórico reveló que el comportamiento del modelo contiene dos pistas distintas sobre si una imagen formó parte del conjunto de entrenamiento. La primera pista es lo que los investigadores llaman un término de sesgo. Este mide qué tan lejos está la mejor suposición del modelo para la imagen original de la imagen que se está probando. Si la imagen estaba en el conjunto de entrenamiento, la suposición del modelo será muy cercana a la imagen misma. Si la imagen nunca fue vista, la suposición probablemente estará más lejos. Esta parte de la señal ya era conocida por investigadores previos, quienes la utilizaron para construir sus ataques. Sin embargo, la derivación matemática de los investigadores descubrió una segunda pista, previamente ignorada: un término de agrupación. Este mide qué tan densamente empaquetadas están las imágenes de entrenamiento similares alrededor del punto donde el modelo está realizando su suposición. Imaginen una multitud de personas de pie en un campo. Si ustedes están parados solos, las personas a su alrededor están lejos. Si están en un grupo denso, las personas a su alrededor están muy cerca unas de otras. Los investigadores descubrieron que incluso si la suposición del modelo es precisa, la forma en que las imágenes de entrenamiento se agrupan alrededor de esa suposición proporciona una señal poderosa e independiente. Una imagen que no es miembro podría caer accidentalmente en un lugar donde la suposición del modelo es cercana, pero si las imágenes de entrenamiento responsables de esa suposición están dispersas, la lógica interna del modelo delata que la imagen es nueva.

Utilizando este entendimiento dual de sesgo y agrupación, el equipo desarrolló un nuevo método de ataque que llaman DIME. Este método está diseñado para ser increíblemente eficiente. Los ataques previos a menudo requerían hacer decenas de preguntas al modelo para obtener una respuesta confiable, lo cual es lento y costoso en escenarios del mundo real donde las empresas cobran por consulta o limitan el número de preguntas que se pueden realizar. DIME, por el contrario, puede lograr resultados con tan solo dos preguntas. Funciona pidiéndole al modelo que observe la imagen en cuestión y luego versiones ligeramente alteradas de esa misma imagen. Al comparar cómo cambian las predicciones del modelo entre estas vistas, el método puede calcular tanto la señal de sesgo como la de agrupación sin necesidad de ver el código interno del modelo ni reentrenar ningún otro modelo.

Los investigadores probaron este nuevo enfoque en una gran variedad de conjuntos de datos de imágenes, que van desde imágenes pequeñas y simples hasta fotografías grandes y complejas de rostos y escenas diversas. En cada caso, DIME superó a los mejores métodos existentes. En algunos conjuntos de datos, fue capaz de identificar imágenes de entrenamiento tres veces más a menudo que el mejor método anterior, mientras utilizaba una fracción de las preguntas. Sorprendentemente, la versión del ataque que utilizó solo dos preguntas fue a menudo capaz de igualar o superar el rendimiento de otros ataques que utilizaron treinta preguntas. Esta eficiencia es crucial porque significa que el ataque es práctico contra sistemas del mundo real que podrían intentar protegerse limitando el acceso. Los investigadores también probaron su método contra una defensa de privacidad estándar llamada privacidad diferencial, la cual está diseñada para garantizar matemáticamente que ninguna imagen de entrenamiento individual pueda influir demasiado en el modelo. Encontraron que cuando esta defensa estaba activa, el ataque fallaba por completo, reduciendo su tasa de éxito al nivel de una suposición aleatoria. Esto confirma que, si bien el nuevo método es poderoso contra modelos no protegidos, las defensas matemáticas existentes siguen siendo efectivas.

La importancia de este trabajo radica no solo en el hecho de que sea un mejor ataque, sino en cómo cambia nuestra comprensión de estos sistemas. Al comenzar con una descripción teórica del modelo ideal, los investigadores demostraron que los riesgos de privacidad no son caprichos aleatorios, sino que están integrados en la estructura misma de cómo aprenden estos modelos. Demostraron que el comportamiento del modelo deja un rastro detectable que puede medirse de dos maneras complementarias. Esto proporciona una explicación clara y matemáticamente fundamentada de por qué la inferencia de membresía funciona y ofrece un plano para construir mejores defensas en el futuro. El estudio demuestra que incluso los modelos generativos más sofisticados no son inmunes a ser auditados, y que comprender la mecánica precisa de su proceso de aprendizaje es la clave tanto para exponer sus vulnerabilidades como para asegurarlos.