Human-Centred LLM Privacy Audits: Findings and Frictions

Cette étude présente LMP2, un outil d'auto-audit permettant aux utilisateurs d'inspecter les associations que les grands modèles de langage font à leur sujet, et met en lumière les défis méthodologiques et les neuf frictions rencontrés dans la création d'audits de confidentialité centrés sur l'humain pour l'IA générative.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si nous en discutions autour d'un café.

🕵️‍♂️ Le Concept : L'Enquêteur de l'Intérieur

Imaginez que les Grands Modèles de Langage (LLM), comme ChatGPT, sont de gigantesques bibliothécaires qui ont lu presque tout ce qui existe sur Internet. Ils sont si intelligents qu'ils peuvent deviner des choses sur vous juste en entendant votre nom.

Le problème ? Vous ne savez pas ce qu'ils savent de vous. C'est comme si quelqu'un tenait un dossier secret sur votre vie dans son dos, et vous ne pouviez pas le lire.

Les auteurs de cette étude (Dimitri, Kirsten, David et Bettina) ont créé un outil appelé LMP2. C'est un peu comme un miroir magique ou un détecteur de mensonges pour votre vie numérique. Il vous permet de demander au robot : "Hé, qu'est-ce que tu penses savoir sur moi ?" et le robot vous répond avec une liste de prédictions.

🔍 Comment ça marche ? (L'Analogie du Puzzle)

Pour tester ce que le robot sait, les chercheurs n'ont pas simplement demandé "Qui suis-je ?". C'est trop flou.
Ils ont utilisé une astuce de détective : le jeu du "Complète la phrase".

Imaginez que vous donnez au robot une phrase coupée : "La résidence de [Votre Nom] est...".
Le robot doit deviner la fin.

• S'il dit "Paris", c'est peut-être vrai.
• S'il dit "Hogwarts", c'est qu'il se trompe (ou qu'il vous prend pour Harry Potter !).

Ils ont répété ce jeu des milliers de fois avec différentes façons de poser la question pour voir si le robot reste cohérent. S'il dit toujours la même chose, c'est qu'il a une "opinion" forte sur vous.

📊 Ce qu'ils ont découvert (Les Résultats)

Ils ont testé cela avec 458 personnes et plusieurs robots différents. Voici les révélations :

1. Les Célèbres sont des Ouverts : Pour les gens connus (comme des politiciens ou des acteurs), les robots devinent très bien des choses comme leur nationalité, leur langue maternelle ou même leur orientation sexuelle. C'est comme si leur dossier était ouvert sur la table.
2. Les Gens Normaux sont aussi "Lus" : Même pour des gens ordinaires, le robot GPT-4o a réussi à deviner 11 choses sur 50 avec une grande précision (comme votre sexe, votre langue ou la couleur de vos yeux).
3. Le Danger des "Parapluies" : Pour les gens qui n'existent pas (des noms inventés), les robots ont tendance à deviner des choses très communes (comme "droitier" ou "habite en Angleterre"). C'est comme un vendeur qui, ne connaissant pas votre nom, vous vend le produit le plus populaire au monde, au cas où ça vous plairait.
4. Le Paradoxe des Utilisateurs : C'est le point le plus curieux.
   • Quand les gens voyaient ce que le robot devinait, 72 % voulaient pouvoir effacer ou corriger ces informations.
   • Pourtant, 87 % ne trouvaient pas que c'était une violation de leur vie privée, même si le robot avait raison !
   • Pourquoi ? Parce que pour beaucoup, savoir que le robot devine votre couleur d'yeux semble anodin, comme une devinette, et non comme un danger.

🚧 Les 9 Obstacles (Les "Frottements")

L'étude explique pourquoi c'est si difficile de faire ce genre de contrôle, comme si vous essayiez de nettoyer un château de sable avec un seau d'eau :

• Le Flou Artistique : Les robots ne sont pas des humains qui ont une mémoire fixe. Ils sont comme des artistes abstraits qui peignent une image différente à chaque fois qu'on leur demande la même chose. Parfois ils disent "Rouge", parfois "Orange". Comment savoir ce qu'ils "pensent" vraiment ?
• Le Doute sur la Source : Si le robot devine que vous habitez à Paris, est-ce parce qu'il a lu un article sur vous (mémoire) ? Ou est-ce qu'il a juste deviné parce que beaucoup de gens qui parlent comme vous habitent à Paris (stéréotype) ? On ne peut pas faire la différence.
• La Barrière de la Langue : L'outil fonctionne surtout en anglais. C'est comme essayer de mesurer la température avec un thermomètre qui ne lit que le Fahrenheit, alors que vous vivez en Europe.
• Le Problème du "Vrai" : Votre vie change. Vous déménagez, vous changez de travail. Le robot, lui, reste bloqué sur une vieille version de vous. C'est comme un portrait peint il y a 10 ans : ce n'est plus vous, mais c'est ce qu'il a dans sa tête.

💡 La Conclusion : Pourquoi c'est important ?

Cette étude nous dit une chose essentielle : Nous sommes passés de l'ère où l'on stockait nos données, à l'ère où les machines inventent des données sur nous.

Le vrai danger n'est pas seulement que le robot ait "volé" votre numéro de téléphone. Le danger, c'est qu'il crée une réalité alternative sur vous (par exemple, qu'il vous associe à une religion ou un parti politique que vous n'avez jamais soutenu) et que cette "réalité" soit utilisée pour vous cibler, vous juger ou vous influencer.

En résumé :
Les auteurs appellent à créer des miroirs plus clairs pour que nous puissions voir ce que ces robots pensent de nous, et surtout, à nous donner le pouvoir de dire : "Non, ce n'est pas moi, efface ça."

C'est un peu comme demander à un ami : "Qu'est-ce que tu penses de moi ?" et avoir le droit de lui répondre : "Attends, tu te trompes, je ne suis pas comme ça, et je veux que tu oublies cette idée."

Résumé technique

1. Problématique

Les grands modèles de langage (LLM) sont entraînés sur des corpus massifs et des interactions utilisateurs, ce qui leur permet d'apprendre des associations statistiques et d'inférer des informations sensibles sur les individus. Cependant, les utilisateurs actuels manquent de moyens pratiques pour inspecter ce que le modèle associe à leur nom ou à leur identité.

Les défis majeurs identifiés sont :

• Opacité des associations : Les utilisateurs ne peuvent pas voir ni contrôler les attributs que le modèle infère (ex: orientation sexuelle, religion, lieu de résidence) à partir de leur nom.
• Limites des audits existants : Les audits organisationnels ne révèlent pas les associations au niveau du modèle. Les contrôles de "mémoire" dans les applications ne couvrent que les souvenirs explicites, pas les inférences déduites.
• Crise d'évaluation : La nature probabiliste, contextuelle et dépendante de l'élucidation (prompting) des sorties des LLM rend difficile la définition de ce qui constitue une "association" et la validation des preuves d'inférence.

2. Méthodologie et Outil (LMP2)

Les auteurs introduisent LMP2 (Language Model Privacy Probe), un outil d'auto-audit basé sur un navigateur conçu pour les API "boîte noire".

Approche Technique

• Probing par "Canaries" : L'outil adapte la méthode des canaries (phrases d'assertion sujet-propriété-valeur) pour les API fermées. Au lieu de demander directement au modèle de révéler une donnée, l'outil reformule la requête en une tâche de récupération de fragments de phrase.
• Processus d'inférence :
  1. L'utilisateur entre son nom et sélectionne des attributs à auditer (ex: "résidence", "langue maternelle").
  2. Le backend génère des préfixes de deux caractères basés sur la vérité terrain (tronquée) et 20 préfixes contrefactuels aléatoires.
  3. Le modèle est invité à compléter le dernier mot(s) de phrases fragmentées (ex: "La résidence de [Nom] est Ho...").
  4. Les sorties sont calibrées par rapport à une base de référence (sujet générique) et agrégées sur plusieurs paraphrases de prompts.
• Métriques de sortie :
  • Force d'association : Combinaison de la fréquence de production d'une valeur et de sa probabilité moyenne (poids du vote).
  • Confiance : Mesure de la concentration des preuves (convergence vers une seule valeur ou dispersion).
• Interface Utilisateur : Affiche des cartes de résultats avec les prédictions principales, les scores de confiance et permet aux utilisateurs de fournir un retour sur la précision, la violation de confidentialité et l'impact émotionnel.

3. Résultats Principaux

Évaluation Empirique sur 8 LLMs (Figures et Publics)

L'étude a comparé trois modèles open-source (Qwen3, Llama 3.1, Ministral) et cinq modèles API (GPT-4o, GPT-5, Gemini, Grok-3, Cohere) sur deux ensembles de sujets : des personnalités publiques (100) et des noms synthétiques (100).

• Séparation par sujet : Les modèles montrent une forte confiance pour les personnalités publiques (associations stables basées sur la présence web) mais tendent à des "devinettes" biaisées pour les noms inexistants.
• Performance des modèles API : Les modèles plus grands (GPT-4o, GPT-5) sont significativement plus précis que les modèles open-source plus petits.
  • Exemple : GPT-4o prédit 11 attributs sur 50 avec une précision ≥ 60% pour des personnes ordinaires, dont le genre (94,4%), l'orientation sexuelle (82,9%) et la langue maternelle (77,8%).
• Biais de base : Les modèles peuvent afficher une haute confiance pour des réponses erronées ou stéréotypées (ex: "ambidextre" pour la latéralité, "+1" pour les numéros de téléphone) lorsqu'aucune association spécifique n'existe.

Études Utilisateurs (Résidents de l'UE, N=458)

• Intérêt et Préoccupations : 60% des participants sont intéressés par un outil d'auto-audit. Les plus grandes craintes concernent le numéro de téléphone, les conditions médicales et la résidence.
• Comportement d'audit : Paradoxalement, moins de 3% des participants ont sélectionné des attributs à haute sensibilité (téléphone, santé) dans l'outil, préférant des traits physiques ou démographiques moins sensibles (couleur des yeux, cheveux).
• Perception de la vie privée : Bien que 87% des sorties ne soient pas considérées comme des violations de confidentialité (même si exactes), 72% des utilisateurs souhaitent pouvoir effacer ou corriger ces informations générées par le modèle.

4. Contributions Clés

1. Outil LMP2 : Première implémentation d'un outil d'auto-audit centré sur l'utilisateur pour les API de LLM, capable de révéler la force des associations nom-conditionnées sans accès aux poids du modèle.
2. Preuve d'inférence pour les citoyens : Démonstration que les LLM commerciaux peuvent inférer avec une précision élevée des attributs sensibles (orientation sexuelle, religion) pour des personnes ordinaires, au-delà des simples données publiques.
3. Identification des "Frictions" : L'article identifie neuf frictions socio-techniques qui entravent les audits de confidentialité, notamment :
   • La confusion entre les contrôles de mémoire applicative et les inférences au niveau du modèle.
   • L'impossibilité de distinguer, par la seule sortie, si une information provient d'une mémorisation, d'une inférence contextuelle ou d'un biais de population.
   • L'ambiguïté des noms et la multiplicité des vérités (données changeantes dans le temps).
   • Le manque de couverture linguistique et scripturale (l'outil actuel est limité à l'anglais et au script latin).
4. Cadre d'évaluation : Mise en lumière d'une "crise d'évaluation" où les audits basés sur la sortie ne peuvent pas prouver la provenance des données, rendant difficile l'application de droits légaux comme le RGPD (droit à l'effacement).

5. Signification et Implications

Ce travail souligne que les audits de confidentialité pour les LLM ne sont pas seulement un problème technique de mesure, mais un défi de conception socio-technique.

• Pour la recherche : Il est nécessaire de définir explicitement ce qu'est une "association" et ce que l'audit peut certifier. Les futures interfaces doivent communiquer la stabilité des résultats face aux variations de prompts et exporter des métadonnées temporelles pour soutenir les contestations légales.
• Pour la régulation (RGPD) : L'article met en évidence un fossé entre la capacité des modèles à inférer des données personnelles et les mécanismes actuels de conformité. Le fait qu'un modèle "sache" quelque chose (même par inférence probabiliste) crée un risque réel pour l'autonomie et la vie privée, nécessitant de nouveaux mécanismes de remédiation au-delà de la simple suppression de données explicites.
• Pour les utilisateurs : Il existe une demande forte pour la transparence et le contrôle, mais les utilisateurs sont réticents à auditer leurs propres données les plus sensibles, ce qui suggère un besoin de conception d'interfaces qui rassurent et guident l'audit sans décourager la participation.

En conclusion, l'article plaide pour une approche human-centrée où l'audit n'est pas une vérification de fait unique, mais un processus itératif de compréhension des associations générées par l'IA, accompagné de preuves exportables pour la contestation.