Inferential Privacy Leakage in Anonymized Conversational AI Logs

Résumé technique : Fuite de confidentialité inférentielle dans les journaux de conversations d'IA anonymisés

Énoncé du problème
L'article comble une lacune critique dans la confidentialité des IA conversationnelles : l'hypothèse selon laquelle la suppression des informations personnellement identifiables (IPI) explicites des journaux utilisateurs suffit à protéger l'identité de l'utilisateur. Alors que le nettoyage traditionnel retire les noms, les lieux et les déclarations démographiques directes, les auteurs examinent si l'identité démographique d'un utilisateur (âge, genre, pays) reste récupérable à partir du style, du mélange de sujets et des marqueurs culturels inhérents à son historique de conversation. L'étude postule que les grands modèles de langage (LLM) peuvent inférer ces attributs via des schémas de raisonnement stéréotypés, même lorsque les données d'entrée ont été rigoureusement filtrées pour exclure les auto-divulgations explicites.

Méthodologie
La recherche utilise deux jeux de données collectés via un pipeline de don de données auprès de participants consentants recrutés par l'intermédiaire de Clickworker, sous approbation du comité d'éthique (IRB).

1. Jeux de données :

   • Jeu de données 1 (Multi-pays) : 1 057 utilisateurs du Brésil, de l'Inde, du Nigéria et du Pakistan. Il comprend les historiques complets de conversations ChatGPT et des données démographiques de base (âge, genre, pays).
   • Jeu de données 2 (Sous-cohorte indienne) : Un sous-ensemble de 212 utilisateurs indiens du Jeu de données 1, qui ont également fourni des historiques de recherche Google, de recherche YouTube et de visionnage YouTube, ainsi que des données démographiques élargies (religion, caste, revenu, éducation, préférence de vote).

2. Filtrage et sélection de la cohorte :

   • Pour tester l'inférence au-delà de la divulgation explicite, les auteurs ont construit une « cohorte analytique conservatrice ».
   • Filtrage : Ils ont appliqué un filtre en deux étapes aux messages utilisateurs :
     • Un passage déterministe de reconnaissance d'entités nommées (NER) via SpaCy pour signaler les IPI standards.
     • Un filtre basé sur un LLM (Llama-3.3-70B-Instruct) pour détecter les auto-divulgations démographiques implicites (par exemple : « En tant que mère célibataire... »).
   • Cohorte : Seuls les utilisateurs dont l'intégralité de l'historique de conversation a passé les deux filtres (aucun message signalé) ont été conservés. Cela garantit que toute inférence réussie repose uniquement sur des signaux stylistiques et thématiques, et non sur des déclarations explicites.

3. Protocole d'inférence :

   • Adversaire : Le même modèle Llama-3.3-70B-Instruct a été utilisé comme adversaire pour prédire les données démographiques.
   • Tâche : Le modèle a prédit la tranche d'âge, le genre et le pays (et des attributs supplémentaires pour le Jeu de données 2) en utilisant des préfixes progressivement plus grands de l'historique de conversation nettoyé (par incréments de 5 %).
   • Métriques : La performance a été mesurée à l'aide du F1 pondéré, de la précision et du rappel par rapport aux données d'enquête de vérité terrain. La métrique « contexte nécessaire » a suivi la taille minimale du préfixe requise pour une prédiction correcte.
   • Analyse qualitative : Les justifications de type « chaîne de pensée » du modèle ont été analysées pour identifier les schémas de raisonnement à l'origine des prédictions.

4. Comparaison interplateforme :

   • Pour le Jeu de données 2, le même protocole d'inférence a été appliqué aux historiques de recherche Google, de recherche YouTube et de visionnage YouTube afin de comparer les journaux ChatGPT aux substrats établis de profilage comportemental.

Contributions clés

1. Assemblage du jeu de données : Création d'un corpus donné de 1 057 historiques ChatGPT provenant de quatre pays du Sud global, couplé à des données démographiques auto-déclarées, et d'une sous-cohorte avec des historiques de recherche/visionnage parallèles.
2. Audit de divulgation : Une analyse granulaire de 1,24 million de messages révélant que 34,5 % contiennent des informations personnelles, l'utilisateur médian révélant un contenu identifiant au cours des 14 % premiers de son historique, avec un pic de divulgation dans le premier message. Les taux de divulgation n'ont pas diminué à mesure que les conversations s'allongeaient.
3. Inférence sur données nettoyées : Démonstration que les données démographiques restent hautement récupérables à partir de conversations ayant passé des filtres stricts contre les auto-divulgations explicites.
4. Identification des mécanismes de biais : Analyse qualitative révélant que l'inférence repose sur quatre schémas stéréotypés récurrents, conduisant à des distributions d'erreurs asymétriques.
5. Étalonnage interplateforme : Une comparaison directe montrant que les journaux ChatGPT constituent une surface d'inférence comparable, bien que distincte, aux journaux de recherche et de navigation traditionnels.

Résultats

• Divulgation explicite : 34,5 % des messages utilisateurs contenaient des informations personnelles selon une taxonomie de 20 catégories. L'utilisateur médian a révélé un contenu identifiant au cours des 14 % premiers de son historique, avec un pic de divulgation dans le premier message. Les taux de divulgation n'ont pas diminué à mesure que les conversations s'allongeaient.
• Performance d'inférence (Cohorte nettoyée) : Même sans drapeaux démographiques explicites, le LLM a atteint une haute précision :
  • Genre : F1 pondéré de 0,90 (Base : 0,52).
  • Pays : F1 pondéré de 0,88 (Base : 0,26).
  • Âge : F1 pondéré de 0,84 (Base : 0,23).
  • Vitesse : Pour plus de la moitié des utilisateurs, le modèle a correctement prédit les données démographiques en utilisant uniquement les 5 % premiers de l'historique de conversation.
• Schémas de raisonnement (Biais) : L'analyse des justifications du modèle a révélé quatre indices stéréotypés pilotant l'inférence :
  1. Tech ≡ Homme : Le contenu technique (programmation, Linux, finance) était presque exclusivement interprété comme masculin. 26 % des femmes dans des domaines techniques ont été mal classées comme hommes, contre 1 % des hommes mal classés comme femmes.
  2. Tech ≡ Occidental : La compétence technique des utilisateurs du Sud global (Nigéria, Pakistan) était souvent interprétée comme une « éducation de style occidental », conduisant à une mauvaise classification comme Américain ou Britannique.
  3. Maîtrise de l'anglais ≡ États-Unis : Un anglais courant dépourvu de marqueurs locaux (monnaie, argot) était par défaut attribué à une résidence aux États-Unis.
  4. Contenu contemporain ≡ Jeune : Les utilisateurs plus âgés discutant de logiciels modernes ou de transitions de carrière ont fréquemment été mal classés dans des tranches d'âge plus jeunes (25–34 ans).
• Comparaison interplateforme :
  • Les journaux ChatGPT étaient le signal le plus fort pour l'âge, l'éducation et la préférence de vote.
  • Les journaux de recherche et YouTube étaient plus forts pour le genre, la religion et le revenu.
  • L'historique de visionnage YouTube était systématiquement le signal le plus faible.
  • ChatGPT ne remplace pas les substrats plus anciens, mais offre une surface de profilage qualitativement différente, riche en récits.

Signification et revendications
L'article affirme que la suppression des IPI au niveau des messages est insuffisante en tant qu'intervention de confidentialité pour les IA conversationnelles. L'étude démontre que :

1. L'inférence se distingue de la mémorisation : L'attaque ne repose pas sur le fait que le modèle ait vu les données spécifiques de l'utilisateur pendant l'entraînement. Elle repose plutôt sur les priors généraux dérivés du pré-entraînement et les stéréotypes appliqués par le modèle à de nouveaux textes.
2. Le préjudice pour la confidentialité est inégalement réparti : La distribution des erreurs n'est pas aléatoire ; elle classe systématiquement de manière erronée des groupes spécifiques (femmes dans la tech, utilisateurs plus âgés dotés de compétences contemporaines, professionnels du Sud global). Cela crée un double préjudice : les utilisateurs conformes aux stéréotypes sont profilés avec précision, tandis que ceux qui violent les stéréotypes sont mal assignés, entraînant un préjudice représentatif et un ciblage incorrect en aval.
3. ChatGPT est un nouveau substrat de profilage comparable : Bien qu'il ne soit pas uniformément plus intrusif que les journaux de recherche, les journaux ChatGPT capturent une classe de données différente (narrative, émotionnelle, réflexive) qui complète les substrats existants de publicité comportementale.
4. Implications politiques : Les pratiques actuelles d'anonymisation (masquage des IPI) échouent à traiter les risques inférentiels posés par les caractéristiques stylistiques et thématiques. Les auteurs plaident pour des interventions de confidentialité au niveau de la conversation (par exemple, obfuscation stylistique, confidentialité différentielle) plutôt que pour un masquage isolé des messages.

Les auteurs déclarent explicitement ne pas affirmer que ChatGPT est uniformément plus intrusif que la recherche, ni qu'ils mesurent les résultats commerciaux en aval. Leur contribution est l'observation structurelle selon laquelle l'identité est récupérable à partir de journaux nettoyés via un raisonnement médiatisé par les stéréotypes, et que ce risque est réparti inégalement parmi les populations.