Résumé technique : LLM-as-a-Discriminator (Le LLM en tant que discriminateur)

Problématique

Les organisations utilisent de plus en plus de données tabulaires synthétiques pour partager des informations tout en atténuant les risques liés à la confidentialité. Cependant, l'audit de la confidentialité de ces données reste un défi. Les outils classiques de contrôle de la divulgation statistique (SDC) (par exemple, la $k$-anonymité) et les mesures modernes basées sur les attaques (par exemple, les attaques par inférence d'appartenance ou MIA) échouent souvent à capturer si une table synthétique est perceptiblement distinguable d'une table réelle pour un observateur humain ou une IA. Bien que la MIA cadre le risque de confidentialité comme une classification binaire de savoir si un enregistrement appartenait à l'ensemble d'entraînement, elle n'évalue pas directement si un adversaire informé peut distinguer une publication synthétique d'une publication réelle sur la base de l'apparence et des propriétés distributionnelles des données.

Méthodologie

Les auteurs proposent un protocole LLM-as-a-Discriminator, cadrant l'audit de confidentialité comme une tâche de classification binaire où un grand modèle de langage (LLM) agit comme un discriminateur ($D$).

Conditions expérimentales

L'étude évalue deux modèles de menace :

• C1 (Table uniquement) : Le discriminateur reçoit un échantillon de la table au format Markdown de 20 lignes avec les noms de colonnes et les dimensions du jeu de données. Cela simule un adversaire n'ayant accès qu'à la publication des données.
• C2 (Table + Métadonnées) : Le même échantillon est augmenté d'un bloc de métadonnées structurées contenant des statistiques descriptives par colonne (moyenne, écart-type, quartiles, asymétrie, aplatissement), les résultats du test de Shapiro–Wilk, les fréquences des catégories top-$k$, l'entropie de Shannon et une matrice de corrélation de Pearson. Cela simule un scénario où les statistiques de synthèse sont publiées aux côtés des données synthétiques.

Protocole et métriques

• Modèles : L'étude utilise Gemini-2.5-Flash (Google) et LLaMA-3.1-8b-instant (via Groq) comme discriminateurs.
• Méthodes de synthèse : Trois générateurs ont été testés : CTGAN (GAN conditionnel), TVAE (Auto-encodeur variationnel) et Copule Gaussienne.
• Jeux de données : Deux jeux de données de recensement ont été utilisés : UCI Adult (encodages de chaînes de caractères lisibles par l'humain) et ACS Census 2018 (encodages entiers numériques pour les colonnes catégorielles).
• Score de risque de divulgation (DRS) : Pour traduire la précision brute en un scalaire orienté vers la confidentialité, les auteurs définissent le DRS comme le minimum des taux de vrais positifs pour les deux classes :
  $$DRS = \min(\hat{p}_{REAL}, \hat{p}_{SYNTHETIC})$$
  Un DRS proche de 0 indique que le discriminateur ne peut pas distinguer les données (soit en raison d'une bonne confidentialité, soit d'un modèle effondré), tandis qu'un DRS proche de 0,5 indique une discrimination par pur hasard. Un DRS > 0,5 suggère que les données synthétiques contiennent des artefacts discriminants.
• Référentiels (Baselines) : Les résultats des LLM ont été comparés à :
  1. Test d'échantillon de deux classificateurs (C2ST) : Un classificateur de régression logistique entraîné pour séparer les distributions réelles et synthétiques.
  2. Liaison d'enregistrements (Record Linkage) : Mesurant la distance euclidienne entre les enregistrements synthétiques et leurs plus proches voisins réels.
  3. Annotation humaine : Une étude pilote avec deux annotateurs humains effectuant les mêmes tâches C1/C2.

Principales contributions

1. Définition du protocole : Un protocole formel de LLM-as-a-Discriminator pour l'audit de confidentialité en boîte noire sous deux conditions de menace distinctes (C1 et C2).
2. Évaluation empirique : Une évaluation complète impliquant 451 essais valides avec deux jeux de données, trois méthodes de synthèse et deux familles de LLM, révélant de fortes dépendances vis-à-vis du choix du modèle et de l'encodage des données.
3. Proposition de métrique : L'introduction du Score de Risque de Divulgation (DRS) pour normaliser la précision de la discrimination et tenir compte des artefacts de biais de l'étiquette.
4. Comparaison Humain-LLM : Une étude pilote contrôlée démontrant que si les LLM de pointe peuvent égaler ou dépasser les performances humaines, les modèles plus petits peuvent s'effondrer vers des bases biaisées, ne fournissant pas un signal de confidentialité utile.

Résultats expérimentaux

Disparité de performance des modèles

Le choix du modèle discriminateur s'est avéré aussi critique que le choix du synthétiseur :

• LLaMA (Groq) : A présenté un biais sévère. Sur UCI Adult, il a étiqueté presque toutes les tables comme RÉELLES (DRS = 0 %). Sur ACS Census, il a étiqueté toutes les tables comme SYNTHÉTIQUES (DRS = 0 %). Dans les deux cas, le modèle s'est effondré, ne fournissant aucun signal discriminant.
• Gemini : A démontré une haute capacité de discrimination.
  • Sur UCI Adult, Gemini a atteint un DRS = 100 % pour CTGAN et TVAE sous les conditions C1 et C2.
  • Sur ACS Census, Gemini a atteint un DRS de 100 % sous C1 pour toutes les méthodes. Sous C2, la performance a chuté pour CTGAN (0 %) et TVAE (25 %), tandis que la Copule Gaussienne est restée à 100 %.

Effets des métadonnées (C1 vs. C2)

L'impact de l'ajout de métadonnées distributionnelles dépendait du jeu de données et de la méthode :

• Sur UCI Adult, les métadonnées n'ont eu aucun effet sur la discrimination parfaite de Gemini pour CTGAN et TVAE.
• Sur ACS Census, les métadonnées ont considérablement réduit la discrimination pour CTGAN et TVAE, suggérant que lorsque les marginales réelles et synthétiques sont étroitement alignées, les statistiques de résumé peuvent masquer le signal de détection.

Alignement avec les référentiels formels

• UCI Adult : Le DRS de Gemini a atteint un plafond (100 %) pour CTGAN et TVAE, empêchant le classement des méthodes. Cependant, les scores C2ST variaient (TVAE : 0,725, CTGAN : 0,538), indiquant que si Gemini détectait des artefacts dans les deux cas, le C2ST pouvait différencier le degré de séparation distributionnelle.
• ACS Census : Sous C2, l'ordre des DRS (Copule Gaussienne > TVAE > CTGAN) était inversé par rapport aux scores C2ST. La Copule Gaussienne avait un score C2ST faible (0,542) mais maintenait un DRS élevé, suggérant que ses artefacts restaient perceptuellement saillants malgré la similitude statistique.

Humain vs. LLM

• Performance humaine : Les annotateurs humains ont obtenu un DRS groupé de 66,4 %, surpassant significativement LLaMA (qui s'est effondré à 0 %) mais étant généralement inférieurs à Gemini.
• Gemini vs. Humains : Gemini a égalé ou dépassé les performances humaines dans la plupart des cellules, particulièrement sur UCI Adult où il a atteint un DRS de 100 % contre des taux humains de 33 à 60 %.
• Raisonnement : Les humains et Gemini ont identifié les mêmes artefacts structurels comme principaux discriminateurs, tels que les correspondances brisées entre les niveaux d'éducation et les codes numériques (ex: "Bachelors" vs 13) et les contradictions dans les champs d'état civil/relation.

Signification et affirmations

L'article affirme que la discrimination par LLM est un signal d'audit de confidentialité pratique, mais seulement lorsqu'elle est interprétée avec prudence concernant le modèle spécifique et l'encodage des données utilisé.

• Dépendance au modèle : La capacité du discriminateur est le goulot d'étranglement. Un modèle effondré (comme LLaMA dans cette étude) produit un DRS de 0 %, ce qui simule une confidentialité parfaite mais indique en réalité un échec de l'évaluateur. À l'inverse, un modèle puissant (Gemini) peut détecter des violations structurelles subtiles que les tests statistiques pourraient manquer.
• Utilité pratique : Les auteurs positionnent le DRS comme un "écran distributionnel rapide" plutôt que comme une garantie de confidentialité autonome. Ils recommandent d'utiliser le DRS aux côtés du C2ST pour un premier filtrage, suivi d'une MIA plus rigoureuse si la mémorisation au niveau de l'enregistrement est une préoccupation spécifique.
• Interprétabilité : Contra-irement aux tests statistiques de type "boîte noire", les LLM fournissent des justifications en langage naturel (ex: identification de contraintes brisées spécifiques), rendant le processus d'audit transparent et actionnable pour les praticiens.

L'étude conclut que bien que le paradigme soit prometteur, les travaux futurs nécessiteront des modèles hébergés localement pour éviter les échecs d'API, une validation plus large sur d'autres méthodes de synthèse (incluant la diffusion et les générateurs basés sur les LLM), et un audit sensible à l'encodage pour gérer les représentations numériques versus textuelles.