Résumé Technique : LDPKiT

Énoncé du Problème

Dans les domaines réglementés tels que la santé et la finance, les organisations hébergent souvent des modèles d'apprentissage automatique (ML) via des API distantes pour fournir des services (par exemple, la prédiction des risques de maladies, la détection de la fraude) sans partager leurs données d'entraînement ou les poids de leurs modèles propriétaires. Si l'accès en boîte noire protège la propriété intellectuelle et les données d'entraînement du fournisseur de modèles, il contraint l'utilisateur du modèle à transmettre des entrées d'inférence potentiellement sensibles au serveur distant. Les méthodes existantes d'inférence respectant la vie privée, telles que le chiffrement homomorphe ou les environaux d'exécution de confiance (TEE), souffrent de surcoûts computationnels importants ou nécessitent un matériel spécialisé qui n'est pas largement disponible.

À l'inverse, permettre aux utilisateurs de télécharger les poids du modèle pour une inférence locale expose le modèle à des attaques en boîte blanche. Le défi central abordé par ce travail est de permettre aux utilisateurs de distiller un modèle local à partir d'un modèle distant en boîte noire en utilisant leurs propres données privées et sensibles, tout en limitant strictement la fuite de confidentialité des requêtes d'entrée. Un défi secondaire est que les utilisateurs de ces domaines ne possèdent souvent que de petites quantités de données privées qui, combinées au bruit requis pour la confidentialité, entraînent une faible utilité (précision) pour le modèle distillé.

Méthodologie

Les auteurs proposent LDPKiT (Local Differentially-Private and Utility-Preserving Inference via Knowledge Transfer), un cadre qui combine la confidentialité différentielle locale (LDP) avec une nouvelle technique d'augmentation de données pour récupérer l'utilité perdue à cause du bruit de confidentialité.

1. Configuration du Système

Le scénario implique un fournisseur de modèle hébergeant un modèle distant ($M_R$) et un utilisateur possédant un petit ensemble de données sensibles non étiquetées ($D_{priv}$). L'objectif de l'utilisateur est d'entraîner un modèle local ($M_L$) capable d'étiqueter précisément $D_{priv}$ sans révéler les données brutes à $M_R$.

2. Mécanisme de Confidentialité

Pour protéger $D_{priv}$, l'utilisateur applique un bruit $\epsilon$-LDP à chaque échantillon avant de solliciter $M_R$. Le document utilise le mécanisme de Laplace pour satisfaire la condition $\epsilon$-LDP. Crucialement, le cadre repose sur la propriété de post-traitement de la LDP, qui stipule que toute fonction déterministe ou aléatoire appliquée à une sortie $\epsilon$-LDP reste $\epsilon$-LDP. Cela permet à l'utilisateur d'augmenter les données bruitées sans affaiblir la garantie de confidentialité.

3. Stratégies d'Augmentation de Données

Comme $D_{priv}$ est typiquement restreint, l'interrogation directe produit une faible utilité. LDPKiT augmente le jeu de données bruité initial ($D_{protected}$) en un jeu de données d'inférence plus large ($D_{infer}$) en utilisant deux stratégies :

• LDPKiT-Rand : Ajoute une seconde couche de bruit de Laplace indépendant aux échantillons protégés. Cela génère des variantes perturbées mais peut éloigner les données de la distribution réelle.
• LDPKiT-Sup (Superposition) : Il s'agit de la contribution novatrice. Elle génère de nouveaux échantillons en faisant la moyenne de paires d'échantillons protégés issus de $D_{protected}$. Plus précisément, pour des indices distincts $i$ et $j$, un échantillon augmenté est calculé comme $d_{infer} = \text{avg}(d_{protected_i}, d_{protected_j})$.
  • Raisonnement : Les auteurs émettent l'hypothèse que la superposition d'échantillons bruités aide à mieux préserver la structure des classes cibles et les frontières de décision que l'injection de bruit aléatoire.
  • Confidentialité : Puisque la moyenne est une opération de post-traitement sur des sorties $\epsilon$-LDP, le $D_{infer}$ résultant maintient la garantie $\epsilon$-LDP au niveau de l'enregistrement. Même si un fournisseur tente de récupérer algébriquement les enregistrements protégés à partir des moyennes par paires, il ne récupérera que les enregistrements protégés bruités, et non les données privées originales, préservant ainsi la garantie $\epsilon$-LDP.

4. Flux de Travail (Workflow)

1. Étape I : L'utilisateur applique un bruit $\epsilon$-LDP à $D_{priv}$ pour créer $D_{protected}$.
2. Étape II : L'utilisateur post-traite $D_{protected}$ (via Rand ou Sup) pour générer $D_{infer}$.
3. Étape III : L'utilisateur interroge $M_R$ avec $D_{infer}$ pour obtenir les étiquettes.
4. Étape IV : L'utilisateur entraîne $M_L$ sur le $D_{infer}$ étiqueté et utilise $M_L$ pour l'inférence locale sur $D_{priv}$.

Principales Contributions

1. Cadre pour la Distillation Préservant la Confidentialité : LDPKiT permet aux utilisateurs de distiller la connaissance de modèles distants en boîte noire en utilisant leurs propres données prives tout en plafonnant la fuite de confidentialité via la LDP.
2. Technique de Superposition : L'introduction de LDPKiT-Sup, qui utilise la moyenne par paires d'échantillons bruités pour générer des données augmentées. Cette technique exploite la propriété de post-traitement de la LDP pour améliorer l'utilité sans compromettre la confidentialité.
3. Validation Empirique : Les auteurs démontrent que LDPKiT, particulièrement la variante de superposition, récupère de manière significative l'utilité perdue due au bruit LDP par rapport aux méthodes de référence (SIDP) et à l'augmentation par bruit aléatoire.
4. Analyse de l'Espace Latent : Le document fournit une analyse des représentations de l'espace latent, montrant que les échantillons superposés restent plus proches des clusters de classes cibles que les échantillons perturbés aléatoirement, expliquant ainsi les gains de précision.

Résultats Expérimentaux

Le cadre a été évalué sur trois jeux de données de classification d'images : Fashion-MNIST, SVHN et PathMNIST (imagerie médicale), en utilisant ResNet-152 comme enseignant distant et ResNet-18 ou MobileNetV2 comme étudiant local.

• Récupération de l'Utilité : LDPKiT-Sup surpasse systématiquement tant la méthode de référence (SIDP) que LDPKiT-Rand.
  • Sur SVHN avec $\epsilon = 1.25$, LDPKiT-Sup atteint presque la même précision d'inférence qu'à $\epsilon = 2.0$, offrant des garanties de confidentialité plus fortes avec une réduction de précision de moins de 2 % par rapport au réglage $\epsilon$ plus élevé.
  • Sur Fashion-MNIST ($\epsilon = 2.0$), LDPKiT-Sup a amélioré la précision de ResNet-18 à 81,78 %, contre 28,69 % pour SIDP et 68,52 % pour LDPKiT-Rand.
  • Sur PathMNIST ($\epsilon = 10.0$), LDPKiT-Sup a atteint 82,11 %, surpassant nettement SIDP (28,74 %) et LDPKiT-Rand (43,90 %).
• Impact de la Taille du Jeu de Données : Le système est relativement insensible à la taille du jeu de données privé ($|D_{priv}|$). Les utilisateurs peuvent obtenir une utilité similaire avec moins d'échantillons privés (ex: 125 échantillons) à condition que le jeu de requêtes augmenté ($|D_{infer}|$) soit suffisamment large (ex: 250k–500k requêtes).
• Robustesse de la Confidentialité : Les attaques de reconstruction de données utilisant des DDPM sur les données augmentées ont échoué à récupérer les images originales avec une haute fidélité. Les images reconstruites présentaient un SSIM plus faible et une MSE plus élevée par rapport aux originales, et les classificateurs ont obtenu une précision proche du hasard sur celles-ci.
• Efficacité des Coûts : Les auteurs estiment que pour de grands ensembles de requêtes (ex: 2,2 millions de requêtes), le coût de l'API est d'environ 1,15 $ (basé sur une tarification hypothétique de 2026), ce qui est plus efficace que le chiffrement homomorphe pour le traitement par lots.

Signification et Revendications

Le document affirme que LDPKiT offre une conception pratique et respectueuse de la vie privée pour interagir avec des services de ML distants dans des domaines sensibles. Sa signification réside dans :

• Équilibre entre Confidentialité et Utilité : Il démontre qu'un transfert de connaissance efficace est possible même sous des contraintes de confidentialité strictes (faible $\epsilon$) en exploitant une augmentation de données qui respecte les garanties LDP.
• Accessibilité : Contrairement aux TEE ou au chiffrement homomorphe, LDPKiT ne nécessite aucun matériel spécialisé et fonctionne dans les limites standards des API, ce qui le rend plus accessible pour l'adoption.
• Confidentialité par Conception (Privacy-by-Design) : Le cadre s'aligne sur les principes d'utilisation responsable des données en garantissant que les données privées brutes ne quittent jamais le contrôle de l'utilisateur et que la fuite de confidentialité est mathématiquement bornée.

Les auteurs notent modestement des limitations, notamment la restriction actuelle aux modalités d'image (où la superposition est basée sur les pixels) et l'absence de borne inférieure universelle pour la taille du jeu de données privé, suggérant que ce sont des directions pour des travaux futurs. Ils reconnaissent également que bien que la LDP au niveau de l'enregistrement soit garantie, les corrélations entre les enregistrements pourraient théoriquement affaiblir la confidentialité sémantique, bien que les pratiques de déduplication dans l'industrie puissent atténuer cela.