Résumé technique : Audit différentiellement privé sous réponse stratégique

Énoncé du problème

L'article comble une lacune critique dans l'audit des systèmes d'IA : l'interaction entre les contraintes de confidentialité différentielle (DP) et le comportement stratégique des développeurs. Bien que la DP soit la norme pour protéger les données d'entraînement et les internes du modèle lors des audits, elle introduit du bruit qui crée une observabilité inégale à travers différentes dimensions de préjudice (par exemple, sous-groupes démographiques, modes de défaillance).

Le problème central est qu'un développeur stratégique, anticipant quelles dimensions seront plus bruyantes ou moins fréquemment interrogées en raison de l'allocation du budget de confidentialité, a intérêt à réallouer ses efforts d'atténuation. Il concentrera le préjudice résiduel dans des « angles morts » — des dimensions à faible détectabilité effective — tout en sur-atténuant dans les zones à haute détectabilité afin de minimiser l'exposition à l'audit. Cela crée un désalignement où l'audit détecte avec succès le préjudice dans certains domaines mais échoue à détecter le véritable préjudice résiduel pondéré par le bien-être, concentré dans d'autres.

Les auteurs formalisent cela comme un jeu de Stackelberg :

1. Auditeur (Leader) : S'engage sur une politique de requêtes ($\pi$) et une allocation de budget de confidentialité ($\varepsilon$) à travers $d$ dimensions, sous réserve d'un budget total $\varepsilon_{tot}$.
2. Développeur (Suiveur) : Observe l'interface d'audit et réalloue stratégiquement un budget d'atténuation fixe ($B$) pour minimiser l'exposition attendue à l'audit (préjudice détecté + coût d'atténuation), plutôt que de minimiser le véritable préjudice résiduel pondéré par le bien-être.

L'objectif est de minimiser l'Écart de sous-détection pondéré par le bien-être ($B_w$), défini comme la somme des préjudices résiduels pondérés par le bien-être que l'audit échoue à détecter.

Méthodologie

Formalisation du modèle

• Espace de préjudice : Un système cause des préjudices à travers $d$ dimensions avec un préjudice de base $h$ et des poids de bien-être $w$.
• Détectabilité : La capacité de l'audit à détecter un préjudice dans la dimension $j$ est modélisée par une fonction $\alpha_j(\varepsilon_j)$, strictement croissante avec le budget de confidentialité $\varepsilon_j$. La détectabilité effective est $\pi_j \alpha_j(\varepsilon_j)$.
• Objectif du développeur : Le développeur minimise $\sum \pi_j \alpha_j(\varepsilon_j) g_j(h_j, m_j) + C(m)$, où $g_j$ est la fonction de préjudice résiduel et $C(m)$ le coût de l'atténuation.
• Objectif de l'auditeur : L'auditeur minimise $B_w(\pi, \varepsilon) = \sum w_j (1 - \pi_j \alpha_j(\varepsilon_j)) g_j(h_j, m^*(\pi, \varepsilon))$, anticipant la meilleure réponse du développeur $m^*$.

Analyse théorique

L'article démontre que l'audit DP naïf (allocation uniforme ou proportionnelle au préjudice) induit un $B_w$ strictement plus grand que les baselines non stratégiques sous des conditions spécifiques :

1. Détectabilité effective hétérogène à travers les dimensions.
2. Les poids de bien-être ne sont pas comonotones avec la détectabilité.
3. L'optimum du développeur est intérieur.

Le mécanisme à l'origine de cet « angle mort stratégique » est la réallocation du préjudice par le développeur vers des régions à faible détectabilité. L'article dérive une condition d'optimalité à quatre facteurs pour l'auditeur, équilibrant :

1. Le poids de bien-être ($w_j$).
2. La probabilité de manquer l'audit ($1 - \pi_j \alpha_j(\varepsilon_j)$).
3. L'élasticité de la détectabilité ($\alpha'_j(\varepsilon_j)$).
4. La courbure du coût d'atténuation (combinée à la courbure du préjudice).

Solution algorithmique : SPAD

Pour résoudre le problème d'optimisation bi-niveau, les auteurs :

1. Reformulent le problème en un Programme Mathématique unique avec Contraintes d'Équilibre (MPEC) en substituant les conditions de Karush-Kuhn-Tucker (KKT) du développeur.
2. Proposent SPAD (Strategic Private Audit Design), un algorithme de gradient projeté.
3. Calculent des hypergradients (gradients de l'objectif par rapport aux variables de l'auditeur) en différenciant à travers la meilleure réponse du développeur, soit par différenciation implicite du système KKT, soit par différences finies.

Résultats clés

Résultats théoriques

• Angles morts stratégiques : Les politiques naïves (uniformes ou proportionnelles au préjudice) sont prouvées sous-optimales lorsque les développeurs agissent stratégiquement. L'écart entre le préjudice détecté et le préjudice réel est strictement positif.
• Non-proportionnalité : L'allocation optimale n'est pas génériquement proportionnelle au préjudice de base. Elle dépend de l'interaction entre les poids de bien-être, l'élasticité de la détectabilité et la courbure des coûts.
• Bornes inférieures : Sous des budgets de confidentialité serrés, l'article établit une borne inférieure sur le préjudice inévitable, montrant que si le budget est trop faible pour rendre une dimension hautement détectable, le développeur laissera au moins une dimension avec un préjudice proche du niveau de base.

Évaluation empirique

Les auteurs proposent un protocole d'évaluation synthétique et rapportent des études d'ablation préliminaires :

• Configuration : Les expériences varient la dimensionalité ($d \in \{5, 10, 20\}$), les budgets de confidentialité ($\varepsilon_{tot}$) et les types de développeurs (Stratégique complet, Rationalité bornée, Non-stratégique).
• Performance :
  • Sous poids de bien-être uniformes, SPAD réduit $B_w$ de 5–14 % par rapport à l'allocation uniforme et de 5–12 % par rapport à l'allocation proportionnelle au préjudice.
  • Sous poids de bien-être non uniformes (Dirichlet), SPAD réduit $B_w$ de 20–44 % par rapport à l'allocation uniforme et de 13–20 % par rapport à l'allocation proportionnelle au bien-être.
• Signification des résultats : Les améliorations sont statistiquement significatives (dépassant les intervalles de confiance bootstrap à 95 % d'un ordre de grandeur). Les résultats démontrent que la prise en compte de la réponse stratégique génère des gains substantiels dans la qualité de l'audit, en particulier lorsque les priorités de bien-être sont hétérogènes.

Importance et revendications

L'article revendique être le premier travail à modéliser conjointement :

1. La composition DP et l'allocation de budget par dimension.
2. L'engagement de l'auditeur sur une politique fixe observable par le développeur.
3. La réallocation stratégique de l'atténuation par la meilleure réponse du développeur.

Limites et modestie :
Les auteurs déclarent explicitement que leurs résultats sont basés sur des évaluations synthétiques et une ablation préliminaire. Ils ne prétendent pas que les développeurs réels se comportent actuellement ainsi ; ils postulent plutôt que, s'ils le font, l'audit naïf est insuffisant. L'article reconnaît des limites telles que l'hypothèse d'une meilleure réponse exacte (par opposition à la rationalité bornée) et un engagement ponctuel. Ils reportent la validation empirique plus large et l'étude du comportement réel des développeurs à un article compagnon.

La contribution principale est analytique : fournir une base rationnelle pour que les régulateurs exigent des conceptions d'audit stratégiques anticipant l'évasion, plutôt que de supposer que les audits sont de simples outils d'observation passive. L'article suggère que sans une telle conception, les mécanismes de confidentialité destinés à protéger les données pourraient involontairement faciliter la dissimulation de préjudices systémiques.