Leak It: A Probabilistic Approach to Training-Data Extraction from Black-Box Language Models
Cet article soutient que les métriques d'inférence d'appartenance agrégées comme l'AUC-ROC occultent le risque sévère, dépendant de la capacité, d'extraction verbatim de données d'entraînement à partir de modèles de langage boîtes noires, démontrant que des documents spécifiques contenant des identifiants ou du code sont fréquemment divulgués indépendamment des références aveugles ou de la déduplication, et proposant un cadre d'audit probabiliste par document via l'outil « leakit » pour mesurer avec précision ce préjudice de confidentialité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de déterminer si une recette spécifique et secrète a été utilisée pour cuisiner un gâteau géant et mystérieux. Vous ne pouvez pas voir la cuisine et vous ne pouvez pas demander la liste des ingrédients au pâtissier. Tout ce que vous pouvez faire, c'est demander au pâtissier de préparer quelques tranches supplémentaires de gâteau en vous basant sur une minuscule miette que vous avez trouvée plus tôt. Si le pâtissier continue de recracher exactement la même liste d'ingrédients secrets à chaque fois que vous le lui demandez, vous pourriez deviner que la recette secrète était bien dans sa mémoire. C'est le monde des « Modèles de Langage » — des programmes informatiques super intelligents qui apprennent en lisant d'immenses quantités de textes provenant d'Internet. Ils sont comme ces pâtissiers, mais au lieu de gâteaux, ils prédisent le mot suivant dans une phrase.
La grande question que se posent les scientifiques est la suivante : ces pâtissiers numériques se souviennent-ils des livres spécifiques qu'ils ont « mangés » ? C'est ce qu'on appelle l'« Inférence d'Appartenance » (Membership Inference). Si un modèle se souvient d'un document spécifique, il pourrait accidentellement recracher des détails privés, comme l'adresse e-mail ou le numéro de téléphone d'une personne qui étaient cachés dans ce document. Pendant longtemps, les chercheurs ont essayé de mesurer cela en regardant la performance « moyenne » de leurs tests. Ils disaient : « Hé, notre test est précis à 90 % ! » Mais tout comme une prévision météorologique qui dit qu'il fera « globalement ensoleillé » mais rate une tempête soudaine et dangereuse, ces scores moyens pourraient masquer le fait que le modèle divulgue des secrets dangereux pour quelques personnes malchanceuses.
Cet article, intitulé « LEAK IT », porte un regard neuf sur la façon dont nous détectons ces fuites numériques. L'auteur, dirigé par Victor Maricato, soutient que l'ancienne façon de mesurer la confidentialité est trompeuse. Ils ont découvert que beaucoup de tests « intelligents » prétendant détecter si un document figurait dans les données d'entraînement ne faisaient en réalité que deviner en se basant sur le style du texte lui-même, et non sur la mémoire du modèle. C'est comme essayer de deviner si un gâteau a été fait avec une recette secrète simplement en regardant la couleur du glaçage, alors que la couleur du glaçage n'est en fait qu'une coïncidence.
Cependant, l'article révèle une vérité plus dangereuse : alors que le test « moyen » peut paraître inoffensif, le modèle est en train de fuiter, mais seulement pour un groupe très spécifique et restreint de documents. Le chercheur a découvert que si vous demandez au modèle de continuer une phrase à partir d'un morceau de code ou d'un document contenant une véritable adresse e-mail, il va parfois recracher cette information exacte et privée mot pour mot. C'est comme si le pâtissier, lorsqu'on lui demande de terminer une phrase sur une épice rare et spécifique, se mettait soudainement à crier la marque et le numéro de lot exacts de cette épice, même s'il ne ferait pas cela pour un ingrédient commun comme la farine.
L'étude montre que cette « extraction verbatim » s'aggrave à mesure que les modèles deviennent plus grands. Pour un modèle de 6,9 milliards de paramètres, environ 16,6 % des documents contenant de vrais identifiants (comme des e-mails ou des numéros de téléphone) ont été divulgués de cette manière. Étonnamment, l'auteur a découvert que le simple fait de supprimer les doublons de texte dans les données d'entraînement (une étape de sécurité courante) n'a pas vraiment empêché cela de se produire. Ils ont également montré que ce risque n'est pas réparti uniformément ; il est beaucoup plus élevé pour le code informatique que pour les récits ou les articles classiques.
Le principal enseignement est que nous devons cesser de regarder le score de confidentialité « moyen » et commencer à vérifier ces fuites spécifiques à haut risque. L'auteur a publié un nouvel outil appelé « leakit » pour aider les auditeurs à trouver ces moments précis où un modèle pourrait accidentellement révéler un secret privé. Ils suggèrent qu'au lieu de simplement dire « le modèle est globalement sûr », nous devrions admettre que pour certains documents, le modèle est une fuite de mémoire très efficace, et que nous avons besoin de protections plus fortes, comme un bouclier de confidentialité spécial appelé « confidentialité différentielle » (differential privacy), pour corriger cela.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.