AccretionLink: On-Device Auditing of Exposure-Control Attacks on Attribute Inference

Dans le monde numérique, nous supposons souvent que la vie privée est rompue uniquement lorsqu'on nous vole nos mots de passe, qu'on pirate nos comptes ou que l'on nous piège pour nous faire révéler des secrets. Mais il existe une façon plus calme et plus subtile dont nos vies privées peuvent être exposées, une façon qui ne nécessite ni vol ni mensonge. Cela se produit lorsqu'un observateur est autorisé à choisir quels de nos messages publics il va consulter et dans quel ordre. Imaginez une personne qui souhaite deviner vos opinions politiques ou vos revenus. Au lieu de lire absolument tout ce que vous avez jamais écrit, on lui donne une liste de vos publications publiques et un outil spécial qui lui permet de choisir les dix plus révélatrices pour les lire en premier. Même si chaque message choisi est réel, authentique et correspond exactement à ce que vous avez écrit, le simple fait de sélectionner les plus intéressants modifie l'histoire qu'ils peuvent raconter sur vous. C'est le cœur d'une nouvelle préoccupation de sécurité : le pouvoir du contrôle de l'exposition. Il s'agit de la capacité de façonner les preuves disponibles pour un observateur sans altérer les preuves elles-mêmes.

Des chercheurs ont désormais construit un système pour mesurer précisément l'ampleur des dégâts que ce genre de sélection peut causer. Ils ont créé un environnement contrôlé où ils pouvaient tester la capacité d'une intelligence artificielle à deviner des détails privés sur une personne, tels que son âge, ses revenus ou son statut matrimonial, en se basant uniquement sur ses écrits publics. L'équipe a mis en place un jeu où un attaquant était autorisé à choisir des messages parmi un ensemble de contenus authentiques. Dans un scénario, l'attaquant devait lire les messages dans un ordre aléatoire, comme si l'on feuilletait un livre page par page. Dans un autre, l'attaquant pouvait choisir les messages qui semblaient les plus susceptibles de révéler la réponse. Les chercheurs ont découvert que ce simple acte de choix faisait une différence significative. Lorsque l'attaquant était autorisé à choisir les meilleurs messages, sa capacité à deviner correctement s'améliorait de manière notable. Le système qu'ils ont construit, appelé AccretionLink, a réalisé ces tests sur une réalisation expérimentale spécifique d'un appareil Pixel 10, garantissant que l'ensemble du processus se déroulait localement sur l'appareil sans envoyer de texte privé sur Internet.

L'étude a utilisé deux types de sujets de test. Le premier consistait en un ensemble de 52 profils totalement fictifs créés par un ordinateur. Ces profils avaient des réponses connues et scellées pour leurs revenus, leur statut matrimonial, leur niveau d'éducation et leur âge. Les chercheurs ont mené le jeu de sélection sur ces profils et ont constaté que lorsque l'attaquant était autorisé à choisir les messages, il réduisait son taux d'erreur. Au point où huit messages avaient été lus, la confiance de l'attaquant s'est améliorée de manière mesurable par rapport à une lecture aléatoire. Plus important encore, le processus de sélection a fait en sorte que le système prenne des décisions avec assurance mais erronées dans certains cas précis. Sur 109 occasions de deviner un trait privé sur ces profils synthétiques, la méthode de sélection a conduit à six cas où le système était très confiant mais totalement erroné concernant le revenu ou l'éducation de la personne. Cela a prouvé que le contrôle de l'exposition pouvait non seulement améliorer les conjectures, mais aussi fabriquer une fausse certitude, transformant un profil correct en un profil incorrectement certain.

Pour s'assurer que ces résultats n'étaient pas simplement un tour de passe-passe du code informatique, les chercheurs ont également testé le système sur des données réelles provenant d'un ensemble de données publiques de tweets de 2015. Ils ont appliqué la même logique de sélection à ces profils réels. Même sans pouvoir voir le système de classement réellement utilisé par Twitter, la méthode de sélection a tout de même amélioré la capacité de l'attaquant à deviner la tranche d'âge de l'utilisateur. L'amélioration était plus faible que pour les profils fictifs, mais elle était constante et statistiquement claire. Crucialement, les chercheurs ont montré que cet effet ne dépendait pas du fait que l'attaquant utilise le même modèle pour choisir les messages et pour deviner la réponse. Ils ont utilisé une méthode différente et plus simple pour choisir les messages, et le modèle original a tout de même mieux deviné. Cela a confirmé que l'avantage provenait de l'acte de sélection lui-même, et non d'une faille spécifique dans un logiciel donné. Il est important de noter que, bien que la méthode de sélection ait amélioré la précision de l'attaquant sur les données réelles, elle n'a provoqué aucun renversement de certitude erroné parmi les 71 profils réels éligibles testés.

Les chercheurs ont également construit un moyen de prouver que le test avait été effectué de manière équitable et qu'aucune donnée n'avait été falsifiée. Ils ont mené l'expérience entière sur une réalisation expérimentale spécifique d'un appareil Pixel 10, utilisant une puce spécialisée conçue pour l'intelligence artificielle. L'appareil a traité chaque message exactement une fois, créant une empreinte numérique du travail accompli. Il a ensuite signé cet enregistrement avec une clé sécurisée stockée dans le matériel de l'appareil, créant un journal permanent et inaltérable du test. Ce journal a prouvé que les résultats provenaient bien du modèle spécifique et des données spécifiques utilisés, sans étapes cachées ou interférence extérieure. L'étude a révélé que le temps nécessaire pour traiter le texte était dominé par le temps nécessaire pour analyser le sens des mots, et non par le temps nécessaire pour mettre à jour les scores ou vérifier les résultats. Cela signifie que le goulot d'étranglement du système était l'intelligence du modèle lui-même, et non la vitesse du processeur de l'appareil.

Les conclusions suggèrent que l'ordre dans lequel nous voyons l'information importe autant que l'information elle-même. Même si chaque message que nous publions est honnête et inaltéré, la capacité de choisir sélectivement lesquels sont vus en premier peut considérablement changer ce qu'un observateur peut apprendre sur nous. Les chercheurs ont démontré que ce n'est pas seulement un risque théorique, mais une réalité mesurable qui peut être testée et enregistrée sur une réalisation expérimentale spécifique d'un smartphone. Ils ont démontré qu'une simple stratégie de sélection pouvait conduire à des conclusions erronées mais affirmées sur la vie privée d'une personne. Bien que l'étude ne prétende pas résoudre ce problème ou prédire comment les entreprises de réseaux sociaux classent actuellement les publications, elle a fourni une méthode claire et reproductible pour auditer l'ampleur du préjudice causé par le contrôle de l'exposition. Ce travail souligne que, à l'ère de l'intelligence artificielle, la sécurité de notre vie privée dépend non seulement de ce que nous disons, mais aussi de qui obtient le privilège de choisir quels de nos mots sont entendus en premier.