DIME: Query-Efficient Framework for Membership Inference on Diffusion Models

Dans le paysage moderne de l'intelligence artificielle, une classe spécifique de systèmes connus sous le nom de modèles de diffusion est devenue le moteur de nombreuses des images les plus frappantes que nous voyons en ligne. Ces systèmes apprennent à créer de nouvelles images en partant d'un bruit statique aléatoire et en éliminant progressivement le bruit jusqu'à ce qu'une image claire émerge. Pour ce faire, ils sont entraînés sur de vastes collections de photographies existantes, apprenant les motifs statistiques qui relient une image à une autre. Bien que ces modèles soient célébrés pour leur capacité à générer de l'art, une inquiétude silencieuse concernant la vie privée est apparue parallèlement à leur succès. Comme la liste spécifique des photos utilisées pour entraîner un modèle est rarement rendue publique, il est difficile de savoir si la photo privée d'un individu particulier a été incluse dans cet ensemble d'entraînement. Cela importe pour plusieurs raisons : confirmer qu'une donnée médicale ou biométrique d'une personne a été utilisée peut être en soi une violation de la vie privée, et selon les lois actuelles sur la protection des données, les individus ont le droit de demander que leurs données soient supprimées, pourtant il n'y a souvent aucun moyen de vérifier si un modèle les a réellement oubliées. De plus, si un modèle a mémorisé une image protégée par le droit d'auteur plutôt que d'avoir simplement appris un style général, cela soulève des questions juridiques sur la propriété des nouvelles images qu'il crée.

Pendant des années, des chercheurs ont tenté de construire des outils pour répondre à la question de savoir si une image spécifique faisait partie des données d'entraînement d'un modèle. Ces tentatives, connues sous le nom d'attaques par inférence d'appartenance, reposaient largement sur l'intuition. Les chercheurs devinaient que si un modèle avait déjà vu une image, il pourrait réagir à celle-ci d'une manière légèrement différente de celle d'une image qu'il n'avait jamais vue. Ils testaient divers signaux, tels que le degré d'erreur commis par le modèle lorsqu'il tentait de nettoyer une version bruitée de l'image. Cependant, ces méthodes étaient souvent aléatoires, nécessitaient qu'un grand nombre de questions soient posées au modèle, et manquaient d'un fondement théorique solide expliquant pourquoi elles fonctionnaient. C'était comme essayer de trouver une aiguille dans une botte de foin en devinant quelle partie du foin pourrait être pointue, plutôt que de comprendre la forme de l'aiguille elle-même.

Une équipe de chercheurs de l'Université de l'Illinois à Urbana-Champaign a abordé ce problème sous un angle totalement différent. Au lieu de deviner quels signaux pourraient être utiles, ils ont commencé par dériver mathématiquement ce à quoi ressemblerait le meilleur signal possible. Ils ont posé une question fondamentale : si un modèle de diffusion a été entraîné sur un ensemble fini d'images, quelle est la fonction théorique parfaite qu'il devrait utiliser pour éliminer le bruit de n'importe quelle image donnée ? En résolvant cela mathématiquement, ils ont découvert que le comportement du modèle est régi par un type spécifique de moyenne. Lorsqu'un modèle examine une image bruitée, il demande essentiellement : « Laquelle de mes images d'entraînement aurait pu produire ceci ? » puis mélange les réponses, en les pondérant par la proximité avec laquelle chaque image d'entraînement correspond au bruit actuel.

Cette intuition théorique a révélé que le comportement du modèle contient deux indices distincts sur la question de savoir si une image faisait partie de l'ensemble d'entraînement. Le premier indice est ce que les chercheurs appellent un terme de biais. Cela mesure la distance entre la meilleure supposition du modèle pour l'image originale et l'image testée. Si l'image était dans l'ensemble d'entraînement, la supposition du modèle sera très proche de l'image elle-même. Si l'image n'a jamais été vue, la supposition sera probablement plus éloignée. Cette partie du signal était déjà connue des chercheurs précédents, qui l'utilisaient pour construire leurs attaques. Cependant, la dérivation mathématique des chercheurs a mis au jour un second indice, auparavant ignoré : un terme de regroupement (crowding term). Cela mesure la densité des images d'entraînement similaires autour du point où le modèle effectue sa supposition. Imaginez une foule de personnes debout dans un champ. Si vous vous tenez seul, les gens autour de vous sont loin. Si vous vous trouvez dans un groupe dense, les gens autour de vous sont très proches les uns des autres. Les chercheurs ont découvert que même si la supposition du modèle est précise, la façon dont les images d'entraînement sont regroupées autour de cette supposition fournit un signal puissant et indépendant. Une image non membre peut accidentellement atterrir dans un endroit où la supposition du modèle est proche, mais si les images d'entraînement responsables de cette supposition sont dispersées, la logique interne du modèle trahit le fait que l'image est nouvelle.

En utilisant cette compréhension double du biais et du regroupement, l'équipe a développé une nouvelle méthode d'attaque qu'elle appelle DIME. Cette méthode est conçue pour être incroyablement efficace. Les attaques précédentes nécessitaient souvent de poser des dizaines de questions au modèle pour obtenir une réponse fiable, ce qui est lent et coûteux dans des scénarios réels où les entreprises facturent par requête ou limitent le nombre de questions autorisées. DIME, en revanche, peut obtenir des résultats avec seulement deux questions. Elle fonctionne en demandant au modèle d'examiner l'image en question, puis des versions légèrement altérées de cette même image. En comparant la façon dont les prédictions du modèle varient entre ces vues, la méthode peut calculer à la fois les signaux de biais et de regroupement sans avoir besoin de voir le code interne du modèle ou de réentraîner d'autres modèles.

Les chercheurs ont testé cette nouvelle approche sur une grande variété de jeux de données d'images, allant de petites images simples à de vastes photographies complexes de visages et de scènes diverses. Dans chaque cas, DIME a surpassé les meilleures méthodes existantes. Sur certains jeux de données, elle a été capable d'identifier correctement les images d'entraînement trois fois plus souvent que la meilleure méthode précédente, tout en utilisant une fraction des questions. Remarquablement, la version de l'attaque qui n'utilisait que deux questions était souvent capable d'égaler ou de battre les performances d'autres attaques qui en utilisaient trente. Cette efficacité est cruciale car elle signifie que l'attaque est pratique contre des systèmes réels qui pourraient tenter de se protéger en limitant l'accès. Les chercheurs ont également testé leur méthode contre une défense de confidentialité standard appelée confidentialité différentielle (differential privacy), qui est conçue pour garantir mathématiquement qu'aucune image d'entraînement unique ne peut trop influencer le modèle. Ils ont constaté que lorsque cette défense était active, l'attaque échouait complètement, réduisant son taux de réussite au niveau d'un choix aléatoire. Cela confirme que, bien que la nouvelle méthode soit puissante contre les modèles non protégés, les défenses mathématiques existantes restent efficaces.

La portée de ce travail ne réside pas seulement dans le fait qu'il s'agisse d'une meilleure attaque, mais dans la façon dont il change notre compréhension de ces systèmes. En partant d'une description théorique du modèle idéal, les chercheurs ont montré que les risques pour la vie privée ne sont pas des anomalies aléatoires, mais sont intégrés dans la structure même de la manière dont ces modèles apprennent. Ils ont prouvé que le comportement du modèle laisse une trace détectable qui peut être mesurée de deux manières complémentaires. Cela fournit une explication claire et mathématiquement fondée sur la raison pour laquelle l'inférence d'appartenance fonctionne et offre un plan pour construire de meilleures défenses à l'avenir. L'étude démontre que même les modèles génératifs les plus sophistiqués ne sont pas à l'abri d'un audit, et que la compréhension des mécanismes précis de leur processus d'apprentissage est la clé tant pour exposer leurs vulnérabilités que pour les sécuriser.