Noise Is Not a Sanitizer: Shared Initialization Turns Data-Free Distillation into a Covert Channel for Memorized Training Data and Backdoors
Cet article démontre que la distillation de connaissances sans données utilisant une initialisation partagée échoue à assainir les modèles privés, car les requêtes par bruit gaussien peuvent transmettre par inadvertance des données d'entraînement mémorisées et des portes dérobées du réseau enseignant vers le réseau étudiant.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'intelligence artificielle, les modèles sont souvent entraînés sur de vastes collections d'informations privées, allant des dossiers médicaux aux messages personnels. Pour protéger ces données, les chercheurs ont développé une technique appelée la distillation de connaissances. Imaginez un chef cuisinier qui a appris à cuisiner grâce à un livre de recettes familiales secrètes. Pour partager les compétences du chef sans révéler le livre, celui-ci forme un nouvel apprenti plus petit pour imiter le style de cuisine du maître en utilisant uniquement des ingrédients aléatoires et dénués de sens, comme de l'eau pure ou de la farine non assaisonnée. L'espoir est que, puisque l'apprenti n'est jamais confronté aux ingrédients originaux, il n'apprenne que la technique générale et oublie les secrets spécifiques. Cette méthode a longtemps été considérée comme un moyen sûr de partager des modèles d'IA tout en préservant la confidentialité des données d'entraînement originales. Elle est également utilisée pour tenter de supprimer les « portes dérobées » (backdoors) cachées — des déclencheurs secrets plantés par des attaquants pour forcer un modèle à se comporter mal — en réentraînant le modèle sur des données propres et aléatoires.
Une nouvelle étude remet en question cette croyance de longue date. Les chercheurs ont découvert que si le maître et l'apprenti partent du même schéma directeur de base, l'apprenti peut tout de même apprendre les secrets, même s'il est nourri de bruit aléatoire. L'étude démontre que ce processus ne désinfecte pas le modèle comme on le pensait auparavant. Au contraire, il agit comme un pipeline caché qui transfère non seulement les compétences générales, mais aussi les détails spécifiques mémorisés des données privées, y compris les portes dérobées et les dossiers privés. Cette découverte suggère que le simple réentraînement d'un modèle sur des entrées aléatoires ne suffit pas à protéger la confidentialité si le point de départ de l'entraînement est connu d'un tiers.
Les chercheurs ont testé cette idée en utilisant des modèles de reconnaissance d'images entraînés sur des ensembles de données standards comme des chiffres manuscrits et des articles d'habillement. Ils ont créé un scénario où un modèle « enseignant » a été entraîné sur des données privées comprenant des images spéciales mal étiquetées et des déclencheurs cachés conçus pour agir comme des portes dérobées. Ils ont ensuite tenté de créer un modèle « étudiant » en faisant en sorte qu'il imite les réponses de l'enseignant à du bruit aléatoire, un processus connu sous le nom de distillation sans données (data-free distillation). De manière cruciale, ils ont comparé deux scénarios : un cas où l'étudiant partait avec les mêmes paramètres initiaux que l'enseignant, et un autre où l'étudiant partait d'une configuration totalement différente et aléatoire.
Les résultats ont été frappants. Lorsque l'étudiant et l'enseignant partageaient le même schéma directeur, l'étudiant héritait avec succès des secrets de l'enseignant. Même si l'étudiant n'était entraîné que sur du bruit statique aléatoire, il apprenait à identifier les images privées spécifiques que l'enseignant avait mémorisées. Dans une expérience impliquant des chiffres manuscrits, le modèle étudiant pouvait deviner correctement si une image spécifique faisait partie de l'ensemble de données privées de l'enseignant avec un AUC de 0,86, un niveau bien supérieur au hasard. De plus, l'étudiant héritait également des déclencheurs de la porte dérobée. Lorsqu'on présentait à l'étudiant des images contenant un motif caché spécifique, le modèle activait le même comportement malveillant que l'enseignant, avec un taux de réussite accru de 93 %. Cela se produisait même lorsque l'étudiant n'était exposé qu'aux sorties internes inutilisées de l'enseignant — des signaux qui ne faisaient pas partie de l'entraînement d'origine et qui n'avaient aucun sens évident.
En revanche, lorsque l'étudiant partait d'un schéma directeur différent et indépendant, il n'apprenait rien des secrets. Le même entraînement sur du bruit aléatoire produisait un modèle incapable d'identifier les images privées ou de déclencher les portes dérobées. Cela prouve que la fuite n'était pas causée par le bruit aléatoire lui-même, mais par le point de départ commun. Les chercheurs ont constaté que cet effet était particulièrement fort lorsque le modèle enseignant n'avait pas été entraîné pendant trop longtemps, restant proche de son état initial. À mesure que l'enseignant s'éloignait de son point de départ grâce à un entraînement intensif, la fuite devenait plus difficile à exploiter, mais elle ne disparaissait pas entièrement. L'étude a également montré que cette vulnérabilité s'étend au-delà des simples modèles d'images aux modèles de langage, où des chaînes de caractères aléatoires suffisaient à extraire des codes secrets qui avaient été insérés dans le texte d'entraînement privé.
Les chercheurs ont expliqué ce phénomène en observant comment les modèles changent pendant l'entraînement. Ils ont découvert que lorsque deux modèles partagent un point de départ, l'acte d'imiter les réponses de l'enseignant à un bruit aléatoire pousse efficacement les paramètres internes de l'étudiant dans la même direction que ceux de l'enseignant. Comme les paramètres de l'enseignant ont été façonnés par les données privées, les paramètres de l'étudiant sont poussés dans cette même direction, emportant avec eux l'information privée. Le bruit aléatoire agit comme un véhicule qui excite les parties appropriées du modèle pour révéler ces directions cachées. L'étude a montré que ce transfert se produit indépendamment du fait que l'information déplacée soit une connaissance générale utile ou un secret mémorisé spécifique. Le processus ne peut pas faire la distinction.
Pour tester si cette vulnérabilité pouvait être corrigée, les chercheurs ont essayé plusieurs défenses. Ils ont constaté que l'ajout de bruit aléatoire aux réponses données par l'enseignant n'arrêtait pas l'attaque ; un attaquant pouvait simplement poser plus de questions pour moyenner le bruit et toujours récupérer les secrets. Ils ont également constaté que la restriction de la sortie à des données dénuées de sens n'aidait pas, car l'information cachée était toujours transférée. Les seules défenses efficaces qu'ils ont identifiées consistaient soit à utiliser la confidentialité différentielle (differential privacy) — une garantie mathématique qui limite ce que n'importe quelle donnée individuelle peut enseigner au modèle — soit à s'assurer que le modèle privé démarre à partir d'une initialisation complètement différente et secrète qui n'est pas partagée avec le public. Cependant, cette dernière option est difficile pour les modèles qui sont affinés (fine-tuned) à partir de bases publiques populaires, car elle nécessite d'abandonner les avantages de ce point de départ public.
Ce travail change fondamentalement notre perception de la sécurité du partage des modèles d'IA. Il montre que l'hypothèse selon laquelle les entrées aléatoires agissent comme un filtre est incorrecte lorsque les modèles partagent une origine commune. L'étude conclut qu'à une époque où la plupart des modèles d'IA sont construits en affinant quelques modèles de base publics, le point de départ partagé est une information critique que les attaquants peuvent exploiter. Les évaluations de la confidentialité et de la sécurité pour ces modèles doivent désormais prendre en compte un adversaire qui connaît la base publique et qui peut utiliser des requêtes aléatoires pour extraire des détails privés, prouvant que la distillation sans données n'est pas un refuge sûr pour les informations sensibles.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.