Résumé Technique : Audit de Confidentialité avec Zéro (0) Exécution d'Entraînement

1. Énoncé du Problème

L'audit de confidentialité est essentiel pour établir empiriquement des bornes inférieures sur les paramètres de confidentialité différentielle (DP) des algorithmes d'apprentissage, complétant ainsi les garanties théoriques. Cependant, les méthodes d'audit existantes (par exemple, Multi-Exécution et Une-Exécution) reposent sur un accès interventionnel au pipeline d'entraînement. Elles nécessitent soit de réentraîner des modèles à plusieurs reprises avec des insertions de données randomisées, soit d'exécuter l'algorithme une seule fois avec des indicateurs d'appartenance randomisés.

Cette exigence d'intervention rend l'audit irréalisable pour les modèles de base déployés à grande échelle (par exemple, les grands modèles de langage) en raison de :

• Interdits Computationsnels : Le réentraînement ou la réexécution des pipelines d'entraînement consomme des milliers de jours GPU.
• Obstacles Logistiques : L'accès aux pipelines de données internes et la capacité de randomiser l'inclusion des données sont souvent indisponibles dans les déploiements en boîte noire.
• Le Vide de Responsabilité : Les systèmes présentant les risques de confidentialité les plus élevés sont les plus isolés de l'évaluation indépendante, forçant une reliance sur la confiance plutôt que sur la vérification.

De plus, une tentative naïve d'audit sans intervention (utilisant des jeux de données statiques de membres et de non-membres connus) échoue car elle introduit des décalages de distribution confondants. Si les ensembles de données de membres et de non-membres suivent des distributions sous-jacentes différentes ($P_1 \neq P_0$), une attaque d'inférence d'appartenance (MIA) peut réussir en exploitant ces différences distributionnelles plutôt qu'une fuite algorithmique, conduisant à des faux positifs et à des bornes de confidentialité invalides.

2. Méthodologie : Audit Zéro-Exécution

Les auteurs proposent l'Audit Zéro-Exécution, un cadre a posteriori qui traite l'audit de confidentialité comme un problème d'inférence observationnelle, analogue à l'inférence causale. Le cadre opère sans modifier l'algorithme ni le pipeline de données, s'appuyant uniquement sur la sortie du modèle et deux jeux de données fixes :

1. $D_1$ (Membres) : Un sous-ensemble des données d'entraînement (ou des données de pré-entraînement connues).
2. $D_0$ (Non-membres) : Un jeu de données connu pour être exclu de l'entraînement (par exemple, des données post-entraînement ou des échantillons synthétiques).

Le cadre procède en quatre étapes :

1. Observation : L'auditeur observe la sortie du modèle $\theta = A(D_{train})$ et les données observationnelles $\{X_i\} = D_1 \cup D_0$.
2. Inférence d'Appartenance : Une MIA standard génère des hypothèses brutes $T_i \in \{-1, 0, 1\}$ pour chaque $X_i$.
3. Estimation de Propension : L'auditeur estime un score de propension $\hat{\pi}(X_i) \approx P(S_i=1 | X_i)$, représentant la probabilité qu'un point de données soit un membre basé uniquement sur ses caractéristiques. Cela isole la probabilité de sélection structurelle du signal algorithmique.
4. Correction : Le cadre applique des corrections pour démêler le décalage de distribution de la fuite algorithmique en utilisant deux approches complémentaires.

Approches de Correction

L'article formalise deux méthodes pour corriger l'effet confondant du décalage de distribution :

• Correction Globale (Composition Adaptative) :

  • Modélise la fuite observée comme la composition adaptative de deux mécanismes : un mécanisme de décalage de distribution ($M_{DS}$) et l'algorithme audité ($A$).
  • Traite la fuite totale comme $f_{Tot} = f \otimes f_{DS}$, où $\otimes$ est le produit tensoriel des fonctions de compromis.
  • Résultat : Produit des bornes globales conservatrices. Elle suppose une fuite de décalage de distribution au pire des cas sur tous les points de données, ce qui peut entraîner une perte de puissance statistique si le décalage est hétérogène.

• Correction Conditionnelle (Audit Ponctuel) :

  • Conditionne sur les exemples observés $X_i$. Elle reconnaît que la contribution du décalage de distribution à l'inférence est locale, définie par les rapports de cotes $\epsilon_{DS}(x_i) = |\log \pi(x_i) - \log(1-\pi(x_i))|$.
  • Mécanisme de Falsification : Pour prévenir une surconfiance due au décalage de distribution, le cadre « falsifie » les hypothèses de la MIA. Pour un exemple avec un score de propension fortement déséquilibré (par exemple, $\pi(x) \approx 1$), une hypothèse correcte est moins indicative d'une fuite algorithmique. Le cadre conserve de telles hypothèses avec une probabilité plus faible $b_i$, effectuant essentiellement une abstention randomisée.
  • Résultat : Produit des bornes plus précises, dépendantes de l'instance, qui sont robustes aux décalages de distribution sans les pénalités sévères de l'approche globale au pire des cas.

Quantification de l'Incertain

Puisque les scores de propension doivent être estimés à partir de données, le cadre intègre le rééchantillonnage (bootstrapping) pour quantifier l'incertitude. En rééchantillonnant l'ensemble de données d'estimation de propension, la méthode produit des bornes inférieures empiriques qui tiennent compte de l'erreur d'estimation, garantissant que l'audit final reste valide avec une forte probabilité.

3. Contributions Clés

1. Formalisation de l'Audit Zéro-Exécution : L'article définit un régime d'audit a posteriori où l'appartenance n'est pas randomisée. Il démontre que les audits naïfs sur de telles données surestiment la fuite et connecte explicitement ce cadre à l'inférence causale observationnelle, nécessitant une hypothèse de « chevauchement » (positivité) entre les distributions de membres et de non-membres.
2. Cadres de Correction de Fuite :
   • Un Point de Vue de Composition qui déconvolue le décalage de distribution de la fuite algorithmique via une composition adaptative.
   • Un Point de Vue Conditionnel qui ajuste les hypothèses d'appartenance ponctuelles basées sur les scores de propension, produisant des corrections robustes et dépendantes du décalage.
3. Quantification de l'Incertain : Intégration du rééchantillonnage pour fournir des bornes inférieures statistiquement valides qui tiennent compte des erreurs dans l'estimation des scores de propension.
4. Évolutivité : Démonstration que les audits de confidentialité peuvent être effectués sur des modèles déployés de grande taille où le réentraînement est impossible sur le plan computationnel ou logistique.

4. Résultats Expérimentaux

Les auteurs évaluent l'audit Zéro-Exécution sur des données synthétiques et des benchmarks réels (iWildCam) :

• Données Synthétiques : Sous des magnitudes croissantes de décalage de distribution, les audits standard Une-Exécution (ignorant le décalage) produisent des bornes invalides. Les corrections globales perdent rapidement leur puissance statistique en raison des pénalités au pire des cas. En revanche, la correction conditionnelle consciente de la propension maintient des bornes empiriques informatives et relativement plates à travers les niveaux de décalage.
• Données Réelles (iWildCam) : En présence de décalages de distribution naturels sévères (géographiques/environnementaux), les méthodes globales et non conscientes de la propension produisent des bornes non positives (inutiles). La correction conditionnelle consciente de la propension extrait avec succès une borne inférieure de confidentialité valide ($\hat{\mu} = 0.645$) pour des données hors distribution (OOD), correspondant étroitement à la borne atteinte par une division IID idéale ($\hat{\mu} = 0.652$).
• Coût : L'approche Zéro-Exécution entraîne une pénalité d'environ $\approx 1$ unité dans la métrique $\mu$-GDP par rapport à l'audit idéal Une-Exécution, attribué au coût de l'estimation des scores de propension et de la quantification de l'incertitude.

5. Signification et Revendications

L'article revendique que l'audit de confidentialité a posteriori est possible mais doit être traité comme un problème d'inférence observationnelle. La signification clé réside dans :

• Combler le Vide de Responsabilité : Fournir aux régulateurs et aux chercheurs des outils pour vérifier les garanties de confidentialité des modèles de base sans exiger l'accès à l'infrastructure d'entraînement.
• Analogie Causale : Appliquer avec succès les principes de l'inférence causale (scores de propension, ajustement des confondants) au domaine de l'audit de confidentialité.
• Praticité : Permettre l'évaluation de la confidentialité dans des scénarios où les garanties théoriques sont opaques et la réexécution expérimentale est irréalisable.

Les auteurs restent modestes, reconnaissant les limitations :

• Estimation de Propension : Le cadre repose sur une estimation précise des scores de propension, ce qui est difficile dans des contextes de haute dimension et d'échantillons finis.
• Limitations Héritées : L'audit Zéro-Exécution hérite des inefficacités des échantillons finis des méthodes Une-Exécution et dépend de la force de base de la MIA sous-jacente.
• Falsifiabilité : Bien que l'audit soit valide, les bornes des scores de propension eux-mêmes ne peuvent pas être formellement certifiées ; elles sont falsifiables computationnellement par des tests adverses mais reposent sur une validation empirique.

En conclusion, l'article établit que le décalage de distribution est une source distincte d'information d'appartenance qui doit être quantifiée et corrigée. En utilisant des scores de propension, l'audit Zéro-Exécution convertit ces facteurs confondants en bornes inférieures empiriques valides sur la fuite de confidentialité algorithmique.