Résumé Technique : IDP-Bench

Énoncé du Problème

Alors que les grands modèles de langage (LLM) sont de plus en plus déployés en tant qu'assistants IA personnels ayant accès à des données utilisateur sensibles, garantir la confidentialité est devenu un défi de sécurité critique. Bien que les recherches antérieures aient largement évalué les risques de confidentialité au niveau individuel, ces évaluations négligent souvent la Confidentialité Interdépendante (IDP - Interdependent Privacy). L'IDP décrit des scénarios où la vie privée d'une personne dépend des décisions de partage de données d'autrui, signifiant que les données personnelles sont souvent co-détenues plutôt qu'appartenant à un seul individu.

Dans les systèmes sociotechniques réels, les agents LLM traitent fréquemment des données impliquant plusieurs sujets (ex. : notes de réunion, discussions de groupe, listes de contacts, photos partagées). Les benchmarks actuels, tels que CI-Bench et PrivacyLens, se concentrent principalement sur des scénarios à sujet unique ou ne distinguent pas formellement la présence de plusieurs individus impliqués dans le même flux de données. Par conséquent, il existe une lacune dans la compréhension de la capacité des LLM à raisonner sur les normes de confidentialité complexes requises lorsque les données impliquent des parties co-impliquées qui n'ont pas consenti ou n'ont même pas conscience du flux de données.

Méthodologie

Les auteurs introduisent IDP-Bench, le premier benchmark spécifiquement conçu pour évaluer la capacité des LLM à raisonner sur des scénarios de confidentialité interdépendante. La méthodologie est fondée sur le cadre de l'Intégrité Contextuelle (CI - Contextual Integrity) et la théorie de l'IDP, structurée en trois composantes principales : un modèle de risque, un pipeline de génération de données et un protocole d'évaluation multiniveau.

1. Modèle de Risque

Le benchmark définit un scénario de risque de confidentialité impliquant quatre composantes et un objet d'information :

• Expéditeur de la donnée ($u$) : L'individu initiant le partage.
• Destinataire de la donnée ($r$) : La cible prévue du partage.
• Sujet principal de la donnée ($d_p$) : Le principal individu concerné par la donnée.
• Sujets secondaires de la donnée ($\{d_{s1}, \dots, d_{sk}\}$) : Un ensemble non vide d'individus additionnels dont l'information est simultanément exposée dans la donnée, mais qui n'ont pas nécessairement consenti.
• Principe de transmission ($tp$) : La méthode de transmission.

Le défi central est de déterminer si un LLM peut identifier correctement que la donnée $D$ est multi-sujet, reconnaître tous les individus co-impliqués, et juger de la pertinence du flux d'information compte tenu de l'absence de consentement des sujets secondaires.

2. Pipeline de Génération de Données

Le benchmark utilise un pipeline synthétique pour générer 100 scénarios uniques (97 utilisés après filtrage), comprenant :

• Extension de Grain (Seed Extension) : En partant de 493 graines de PrivacyLens (5-uplets), les auteurs ont utilisé Qwen2.5-72B-Instruct pour les étendre en graines IDP à 9 champs. Cela a impliqué l'ajout de champs pour les sujets secondaires, le type d'interdépendance (co-propriété, corrélation, parenté, co-localisation) et la description de l'interdépendance.
• Vérification : Un vérificateur par test unitaire contrôle la validité structurelle et sémantique, garantissant que les sujets secondaires sont distincts du sujet principal et que le scénario reflète de manière réaliste des contextes IDP quotidiens (ex. : réseaux sociaux, chats de groupe) plutôt que des contextes professionnels spécialisés.
• Génération de Vignettes : Les graines vérifiées sont développées en récits de 7 phrases. Les six premières phrases établissent les acteurs et les données communes sans étiquettes explicites, tandis que la septième phrase (retenue lors de l'évaluation) stipule explicitement la fuite de confidentialité envers les sujets secondaires.
• Instructions Sous-spécifiées : Chaque vignette est associée à une instruction de partage de haut niveau qui omet les détails spécifiques sur ce qui doit être partagé ou sur qui est impliqué, forçant le modèle à inférer les contraintes de confidentialité.

3. Protocole d'Évaluation

L'évaluation sonde huit LLM open-source (familles Qwen2.5 et Llama-3.1) à travers trois niveaux de raisonnement progressifs en utilisant deux juges LLM indépendants (Llama-3.1-70B et Qwen2.5-72B) :

• Niveau 1 : Compréhension du Contexte (Q1–Q7) : Extraction des paramètres de CI (attribut d'information, sujets primaires/secondaires, expéditeur, destinataire, principe de transmission) et identification de ce que les informations sur les sujets secondaires révéleraient.
• Niveau 2 : Reconnaissance de la Co-propriété (Q8) : Déterminer si la donnée est co-détenue par plusieurs individus.
• Niveau 3 : Jugement de Pertinence (Q9) : Décider si le partage est approprié et fournir une justification.

L'évaluation utilise cinq variantes de prompts par question pour mesurer la sensibilité à la formulation et emploie une approche "LLM-as-a-judge" avec des prompts spécifiques pour l'appariement sémantique, le crédit partiel et l'appariement exact strict.

Contributions Clés

1. Extension des Graines de CI : Les auteurs ont formalisé la transition des graines à sujet unique vers les graines multi-sujets en étendant le format 5-uplet de PrivacyLens pour inclure les sujets secondaires et les descripteurs d'interdépendance.
2. Construction d'IDP-Bench : Un benchmark synthétique de 100 scénarios IDP couvrant divers types de données multi-sujets (notes de réunion, photos de groupe, listes de contacts, etc.) ancrés dans des plateformes numériques réalistes.
3. Évaluation Complète : Une évaluation multiniveau des LLM open-source à travers la compréhension du contexte, la reconnaissance de la co-propriété et le jugement de pertinence, comparant les performances selon l'échelle et les familles de modèles.

Résultats

L'évaluation de huit modèles (allant de 1,5B à 72B paramètres) a produit les conclusions suivantes :

• Reconnaissance de la Co-propriété (Niveau 2) : Les modèles performent fortement ici. Six modèles sur huit ont obtenu un score supérieur à 90 % sur Q8, les plus grands modèles (ex. : Llama-3.1-70B, Qwen2.5-72B) atteignant une performance proche du plafond. Cela suggère que les modèles peuvent identifier de manière fiable la présence de co-propriété lorsqu'ils sont explicitement sollicités.
• Compréhension du Contexte (Niveau 1) : La performance est mitigée et généralement plus faible.
  • Identification de l'Expéditeur/Destinataire : Généralement élevée pour les grands modèles (70–90 %), mais les petits modèles (ex. : Qwen2.5-1.5B) éprouvent des difficultés significatives (38–40 %).
  • Identification du Sujet Primaire/Secondaire : Cela reste un défi important. Si l'identification du sujet primaire (Q2) s'améliore avec l'échelle, l'identification du sujet secondaire (Q3) montre une mise à l'échelle incohérente ; par exemple, Qwen2.5-14B a surpassé Qwen2.5-72B dans certaines configurations de juge.
  • Attribut d'Information (Q1) : Tous les modèles ont obtenu un score inférieur à 76 %, indiquant une difficulté à classifier le type de donnée central.
• Jugement de Pertinence (Niveau 3) : La performance s'améliore avec l'échelle du modèle. Les deux plus grands modèles Qwen (32B, 72B) ont atteint une précision de 91–96 %, tandis que les plus petits (1.5B, 3B, 7B) sont restés dans la plage de 60–71 %. Notamment, les grands modèles atteignent souvent la conclusion normative correcte (le partage est inapproprié) même s'ils échouent à identifier correctement les sujets secondaires ou les attributs d'information spécifiques sous-jacents à cette conclusion.
• Sensibilité au Prompt : La performance varie considérablement selon les variantes de prompts, particulièrement pour les questions spécifiques à l'IDP, soulignant un manque de robustesse dans le raisonnement sur ces scénarios.

Signification et Revendications

L'article affirme que IDP-Bench révèle une lacune critique dans les capacités de confidentialité des LLM actuels : bien que les modèles puissent reconnaître qu'une donnée est co-détenue, ils peinent avec le raisonnement plus fin requis pour identifier qui est impliqué et quelle information spécifique est à risque.

Les auteurs soulignent que :

• L'échelle n'est pas une panacée : Bien que le jugement de pertinence s'améliore avec la taille du modèle, les petits modèles et même certains grands modèles échouent à résoudre systématiquement les paramètres détaillés de l'IDP (sujets secondaires) nécessaires à une protection robuste de la vie privée.
• Les benchmarks actuels sont insuffisants : Les benchmarks de confidentialité existants, qui se concentrent sur des scénarios à sujet unique, ne parviennent pas à capturer la nature relationnelle des données réelles, ce qui peut conduire à un faux sentiment de sécurité concernant la confidentialité des LLM.
• Directions Futures : Ce travail souligne la nécessité d'une étude plus ciblée de l'IDP dans la recherche sur la confidentialité des LLM, incluant l'extension des évaluations aux environnements agentiques où les modèles accomplissent des actions plutôt que de simplement répondre à des questions, et le développement d'objectifs d'entraînement qui tiennent compte de la nature multi-sujet des données.

Les auteurs restent modestes, notant que leur évaluation actuelle est basée sur le raisonnement et n'inclut pas encore de cadres basés sur l'action où les modèles utilisent des outils pour exécuter des actions violant la confidentialité, ce qu'ils identifient comme une extension future nécessaire.