Résumé Technique : TabPATE : Apprentissage en Contexte Tabulaire avec Confidentialité Différentielle sans Données Publiques

1. Énoncé du Problème

Les Modèles de Fondation Tabulaires (TFM) permettent des prédictions précises via l'Apprentissage en Contexte (ICL - In-Context Learning), où un petit ensemble de données étiquetées est placé dans le contexte du modèle pour guider l'inférence sans mise à jour des paramètres. Bien que cette méthode soit efficace dans des domaines tels que la santé et la finance, ce paradigme introduit une vulnérabilité critique en matière de confidentialité : les enregistrements placés dans le contexte peuvent contenir des informations privées sensibles.

Les auteurs démontrent d'abord que ce risque n'est pas simplement hypothétique. En adaptant les attaques d'inférence d'appartenance (MIA - Membership Inference Attacks) standards à la configuration de l'ICL tabulaire, ils montrent que les prédictions du modèle divulguent des informations sur la présence ou non d'un enregistrement spécifique dans le contexte de démonstration privé.

• Modèles de Menace : L'étude évalue quatre modèles de menace allant de l'accès boîte noire passif (étiquette uniquement) à l'accès boîte grise actif (avec manipulation/empoisonnement du contexte).
• Résultats : Même les adversaires boîte grise passifs atteignent un taux de vrais positifs (TPR) de 9,9 % pour un taux de faux positifs (FPR) de 1 %. Les attaques actives, telles que celles utilisant l'empoisonnement par "Truth Serum", peuvent atteindre un TPR de 75,4 %, indiquant que les enregistrements de contexte privés sont considérablement exposés à travers le comportement du modèle.

Les méthodes d'entraînement classiques de Confidentialité Différentielle (DP - Differential Privacy), comme le Descente de Gradient Stochastique avec Confidentialité Différentielle (DPSGD), sont inappropriées ici car les TFM sont utilisés comme des modèles d'inférence gelés. Les approches PATE (Agrégation Privée d'Ensembles d'Enseignants) existantes, telles que PromptPATE, reposent sur des données publiques de même distribution non étiquetées pour générer des requêtes pour les modèles enseignants. Dans les domaines tabulaires sensibles (ex. : finance, santé), ces données publiques sont souvent indisponibles, créant un fossé pour un déploiement privé pratique.

2. Méthodologie : TabPATE

Le papier présente TabPATE, un cadre de DP centrale conçu pour l'ICL tabulaire qui élimine l'exigence de données publiques de même distribution. Il suit une architecture enseignant-élève :

A. Partitionnement des Enseignants et Génération de Requêtes

1. Partitionnement : Le jeu de données sensible privé $D$ est partitionné en $K$ sous-ensembles disjoints. Chaque sous-ensemble sert de contexte de démonstration pour un "enseignant" TFM distinct (le même modèle gelé sollicité avec des données différentes).
2. Génération de Requêtes Synthétiques (L'Innovation Centrale) : Contrairement au PATE standard qui interroge les enseignants sur des données publiques, TabPATE génère des requêtes tabulaires synthétiques ($\tilde{x}$) sans données publiques. Cela exploite les propriétés spécifiques des données tabulaires (caractéristiques bornées, typées et de faible dimension) :
   • Prior Indépendant des Données ($\alpha=0$) : Les requêtes sont échantillonnées à partir d'un prior fixe basé sur les bornes connues des caractéristiques (par exemple, des distributions uniformes ou gaussiennes sur les plages de caractéristiques). Cela n'incurre aucun coût de confidentialité.
   • Statistiques Marginales DP ($\alpha>0$) : Une partie du budget de confidentialité ($\alpha\epsilon$) est utilisée pour publier des statistiques marginales bruitées (moyennes et variances) des données privées. Les requêtes sont ensuite échantillonnées à partir de la distribution produit résultante. Cela est bénéfique pour les jeux de données déséquilibrés ou les tâches de régression.

B. Agrégation Privée

Les enseignants sont interrogés sur les enregistrements synthétiques. Leurs prédictions sont agrégées à l'aide de l'algorithme Confident-GNMax :

• Si les enseignants sont suffisamment en accord sur une étiquette, une étiquette de pluralité bruitée est publiée.
• Si la confiance est faible, le mécanisme s'abstient.
• Les paires de données synthétiques étiquetées résultantes $(\tilde{x}, \tilde{y})$ forment le contexte de l'élève ($\tilde{D}$).

C. Garantie de Confidentialité

Le contexte de l'élève publié satisfait la $(\epsilon, \delta)$-Confidentialité Différentielle. Le budget de confidentialité est partagé entre la publication optionnelle des marginales et l'agrégation des étiquettes. Puisque les prédictions en aval ne dépendent que du contexte de l'élève publié, elles n'incuront aucun coût de confidentialité supplémentaire.

3. Contributions Clés

1. Vérification Empirique du Risque : Les auteurs adaptent les MIA au contexte de l'ICL tabulaire, démontrant que les enregistrements de contexte privés fuient à travers les prédictions, les attaques actives causant des fuites sévères.
2. Cadre TabPATE : Un cadre de défense de type PATE (DP centrale) pour l'ICL tabulaire qui remplace le besoin de données de transfert publiques de même distribution par des requêtes tabulaires synthétiques dérivées des bornes de caractéristiques ou des marginales DP.
3. Validation Empirique : Évaluation sur plusieurs benchmarks tabulaires montrant que TabPATE préserve une utilité compétitive tout en réduisant le succès de l'inférence d'appartenance à un niveau proche du hasard.

4. Résultats Expérimentaux

Les auteurs ont évalué TabPATE sur cinq jeux de données de classification standard (ex. : German Credit, Diabetes) et huit jeux de données de régression, en comparant avec l'ICL non-privé, le DP-SGD, les données synthétiques DP, l'agrégation au moment de la requête (Query-Time) et PromptPATE.

• Utilité : À un budget de confidentialité de $\epsilon=10$, TabPATE a atteint une exactitude équilibrée de 71,2 %, surpassant les autres bases sans données publiques (ex. : Query-Time à 61,3 %) et approchant PromptPATE (68,6 %), qui nécessite des données publiques.
• Protection de la Confidentialité : TabPATE a réussi à atténuer l'inférence d'appartenance. Pour le modèle non-privé TabPFN, les attaques LiRA ont atteint un AUC d'environ 0,76. TabPATE a réduit cela à une performance proche du hasard (AUC $\approx$ 0,5) tant à $\epsilon=1$ qu'à $\epsilon=10$.
• Régression : La méthode a été étendue aux tâches de régression en agrégeant des prédictions d'enseignants bornées et bruitées. Bien que la régression se soit avérée plus difficile que la classification, l'allocation d'un petit budget à la génération de requêtes marginales ($\alpha > 0$) a amélioré les performances par rapport aux requêtes purement indépendantes des données.
• Comparaison avec les Baselines : TabPATE a systématiquement surpassé les bases de référence DP-SGD et DP-Synthetic data, qui peinaient à maintenir l'utilité sous des contraintes de confidentialité.

5. Signification et Revendications

Le papier affirme que TabPATE offre une voie pratique vers l'ICL tabulaire privé dans les scénarios où les données publiques de même distribution sont indisponibles. En exploitant la nature structurée des caractéristiques tabulaires (plages bornées et types), la méthode génère des requêtes utiles sans compromettre la confidentialité ni nécessiter de données externes.

Les auteurs concluent que TabPATE offre un mécanisme de défense viable qui :

1. Préserve une utilité compétitive pour les tâches en aval.
2. Réduit les risques d'inférence d'appartenance à un niveau proche du hasard.
3. Permet le déploiement des TFM dans des domaines sensibles (comme la santé et la finance) où le partage de données pour des ensembles d'entraînement publics est restreint.

Ce travail suggère que le transfert de connaissances de type PATE sans données publiques est une voie réalisable pour sécuriser les modèles de fondation dans les environnements de données structurées.