Résumé technique : PRIVACYSIM : Évaluation de la simulation par les LLM du comportement des utilisateurs en matière de vie privée

Énoncé du problème

Les modèles de langage de grande taille (LLM) sont de plus en plus utilisés pour simuler le comportement humain afin d'évaluer les systèmes de partage de données, pouvant potentiellement remplacer les études utilisateurs contrôlées, coûteuses et lentes. Cependant, il reste incertain de savoir si les LLM peuvent simuler fidèlement les décisions de vie privée au niveau individuel. Les travaux existants reposent souvent sur des personas généralisés ou une alignement au niveau de la population, échouant à capturer les nuances du comportement individuel, en particulier le « paradoxe de la vie privée » où les attitudes déclarées des utilisateurs divergent de leurs actions réelles. Il manque des suites d'évaluation standardisées pour déterminer si des attributs spécifiques de persona utilisateur peuvent amener les LLM à imiter avec précision la prise de décision individuelle en matière de vie privée dans des contextes médiatisés par l'IA.

Méthodologie

Les auteurs présentent PRIVACYSIM, une suite d'évaluation conçue pour évaluer la simulation par les LLM du comportement des utilisateurs en matière de vie privée par rapport à des réponses humaines de vérité terrain.

Construction du jeu de données

L'évaluation est fondée sur des données réelles plutôt que sur une génération synthétique. Les auteurs ont constitué un jeu de données à partir de cinq études utilisateurs publiées couvrant divers domaines :

1. Consultation médicale par LLM
2. Autorisations d'agents IA
3. Chatbot LLM
4. Chat de groupe avec chatbot
5. Agents conversationnels LLM

À partir de ces études, ils ont échantillonné 1 000 utilisateurs (200 par étude) et extrait 9 400 paires utilisateur-question. Chaque utilisateur est associé à un « persona de vie privée » ($P_u$) composé de trois facettes hypothétiques :

• Données démographiques ($D_u$) : Âge, genre, niveau d'éducation (optionnel, certaines études les ayant omis).
• Expériences antérieures ($E_u$) : Familiarité et fréquence d'utilisation des IA/chatbots.
• Attitudes en matière de vie privée ($A_u$) : Préoccupations et préférences déclarées concernant l'utilisation des données.

Tâche de simulation

La tâche est définie comme un simulateur LLM $f$ prenant le persona d'un utilisateur $P_u$ et une question de partage de données $q_i$ pour produire une réponse simulée $\hat{r}_{u,i}$. L'objectif est d'aligner $\hat{r}_{u,i}$ sur la réponse réelle de l'utilisateur $r_{u,i}$.

Métrique d'évaluation

En raison des échelles de réponse variables entre les études (par exemple, échelle de Likert à 5 points vs numérique de 0 à 100), les auteurs emploient une métrique de précision de tolérance. Une réponse simulée est considérée comme une correspondance si elle tombe dans une marge de tolérance ($\tau \cdot W_{Q_u}$) de la réponse réelle, où $W_{Q_u}$ est la borne supérieure de l'échelle. Les auteurs fixent $\tau = 0,15$, ce qui équivaut effectivement à une correspondance exacte pour les échelles à 5 points, mais autorise une marge de ±15 points pour les échelles à 100 points.

Configuration expérimentale

L'étude a évalué neuf LLM de pointe (à la fois à poids ouverts et propriétaires), incluant GPT-5.4, Claude Sonnet 4.6, Gemini 3.1 Pro, et diverses variantes de Qwen et Gemma. Les modèles ont été testés dans huit conditions de prompt :

1. Aucun persona (référence).
2. Sous-ensembles des trois facettes du persona ($D_u$, $E_u$, $A_u$) dans toutes les combinaisons non vides.
3. Variantes intégrant des théories de la vie privée (Calcul de la vie privée, Rationalité limitée, Théorie de la motivation à la protection) comme lentilles de raisonnement.

Contributions clés

1. Référence PRIVACYSIM : La première suite d'évaluation standardisée pour évaluer les LLM en tant que simulateurs de vie privée au niveau individuel, utilisant des données réelles d'utilisateurs issues de cinq études distinctes.
2. Analyse des facettes du persona : Une investigation systématique sur la manière dont les données démographiques, les expériences antérieures et les attitudes déclarées contribuent à la précision de la simulation.
3. Quantification du paradoxe de la vie privée : Des preuves empiriques démontrant que les attitudes déclarées en matière de vie privée seules sont souvent de mauvais prédicteurs du comportement réel dans la simulation, soulignant la difficulté de modéliser le paradoxe de la vie privée.
4. Analyse de la difficulté par groupes : Identification de groupes d'utilisateurs spécifiques (basés sur l'attitude et l'exposition) qui sont disproportionnellement difficiles à simuler pour les LLM.

Résultats

RQ1 : Étendue de la précision de la simulation

• Fidélité limitée : Même le modèle le plus performant, Gemini 3.1 Pro, n'a atteint qu'une précision de 40,4 % lorsqu'il était conditionné par la combinaison de persona la plus riche disponible (Expériences antérieures + Attitudes en matière de vie privée) sur l'ensemble des cinq études. Cela indique que les LLM actuels sont loin de simuler fidèlement les décisions individuelles en matière de vie privée.
• Valeur du persona : Le conditionnement sur les facettes du persona a systématiquement amélioré la précision par rapport à la référence sans persona (qui a obtenu environ 36–37 %). La combinaison des Expériences antérieures ($E_u$) et des Attitudes en matière de vie privée ($A_u$) a donné les meilleurs résultats, tandis que les Données démographiques ($D_u$) seules ont apporté des gains négligeables.
• Variation par domaine : La qualité de la simulation variait considérablement selon le domaine. La « Consultation médicale par LLM » était la plus difficile à simuler (précision la plus faible), tandis que les « Agents conversationnels LLM » et le « Chat de groupe avec chatbot » étaient plus faciles.

RQ2 : Groupes les plus difficiles à simuler

En utilisant une taxonomie (attitude, exposition), les auteurs ont identifié des groupes d'utilisateurs distincts :

• Groupe le plus difficile : Les utilisateurs ayant une faible préoccupation déclarée en matière de vie privée mais une exposition élevée aux IA/chatbots (« Faible attitude / Forte exposition ») étaient les plus difficiles à simuler, obtenant la précision la plus faible (36,51 %) et le gain le plus faible grâce au conditionnement par persona (+1,07 point de pourcentage). Les auteurs émettent l'hypothèse que les LLM infèrent incorrectement que ces utilisateurs sont moins préoccupés qu'ils ne le sont réellement, échouant à capturer la divergence entre leur faible préoccupation déclarée et leur comportement réel façonné par une utilisation extensive.
• Groupe le plus facile : Les utilisateurs ayant une préoccupation déclarée élevée et une exposition modérée étaient les plus faciles à simuler, montrant la plus grande amélioration grâce au conditionnement par persona (+8,53 points de pourcentage).

RQ3 : Caractéristiques des modèles et prompts

• Effort de raisonnement : L'augmentation de l'effort de raisonnement (par exemple, de faible à moyen) a eu un impact négligeable sur la précision (<1 point de pourcentage).
• Taille du modèle : L'augmentation de la taille du modèle au sein d'une famille (par exemple, Mini vs Full, 27B vs 122B) n'a produit que des gains modestes (de 0,12 à 1,31 point de pourcentage).
• Prompts informés par la théorie : Demander aux modèles de raisonner à travers des théories établies de la vie privée (Calcul de la vie privée, Rationalité limitée, Théorie de la motivation à la protection) n'a pas amélioré la qualité de la simulation au-delà du signal fourni par les facettes du persona seules.

Importance et affirmations

L'article conclut que, bien que les LLM possèdent une compréhension de base non triviale des normes générales de vie privée, ils manquent actuellement de la fidélité nécessaire pour servir de substituts fiables à la prise de décision en matière de vie privée au niveau individuel. L'écart entre ce que les utilisateurs disent (attitudes) et ce qu'ils font (comportement) reste l'obstacle central.

Les auteurs positionnent PRIVACYSIM comme une première étape vers la compréhension de ces limites. Ils affirment que la simulation par LLM n'est actuellement appropriée que pour des tâches à faible enjeu et de phase précoce (par exemple, comparer des alternatives de conception, mettre en évidence des violations évidentes, générer des hypothèses) mais doit être couplée à des études utilisateurs humaines avant toute décision de déploiement. Le travail suggère que combler l'écart vers une simulation fidèle nécessitera probablement des signaux comportementaux plus riches au-delà de l'ensemble actuel de facettes de persona, plutôt que de simplement augmenter l'échelle des modèles ou d'affiner les prompts.