🤖 machine learning

Efficient Public Verification of Private ML via Regularization

Cet article introduit un nouvel algorithme d'optimisation convexe stochastique à confidentialité différentielle qui atteint des compromis vie privée-utilité quasi optimaux tout en permettant une vérification publique de ses garanties de confidentialité à un coût computationnel nettement inférieur à celui de l'entraînement du modèle.

Auteurs originaux : Zoë Ruha Bell, Anvith Thudi, Olive Franzese-McLaughlin, Nicolas Papernot, Shafi Goldwasser

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zoë Ruha Bell, Anvith Thudi, Olive Franzese-McLaughlin, Nicolas Papernot, Shafi Goldwasser

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous fassiez partie d'une communauté qui met en commun ses données personnelles (comme des photos ou des dossiers médicaux) pour entraîner un programme informatique intelligent. Vous voulez aider, mais vous êtes terrifié à l'idée que le programme final puisse accidentellement révéler vos secrets. Pour empêcher cela, les personnes qui construisent le programme promettent d'utiliser un « bouclier de confidentialité » spécial appelé Confidentialité Différentielle (Differential Privacy).

Cependant, il y a un gros problème : comment, en tant que personne ordinaire, pouvez-vous savoir s'ils ont réellement utilisé le bouclier ?

Le Problème : Le Piège de la « Boîte Noire »

Actuellement, si vous voulez vérifier si le programme est sûr, vous devez agir comme un détective. Vous demandez aux constructeurs de faire fonctionner le programme avec différentes données et de voir ce qui en ressort. L'article explique que c'est comme essayer de trouver une aiguille dans une botte de foin en ne regardant que le foin.

Les auteurs prouvent qu'un constructeur malhonnête pourrait facilement vous tromper. Il pourrait construire une « porte dérobée secrète » (backdoor) dans le programme. Cette porte dérobée est comme une trappe cachée qui ne s'ouvre que si l'on possède un code secret (une signature numérique).

Pour vous (le public) : Le programme semble parfaitement sûr et privé.
Pour le constructeur (ou ses amis) : Ils peuvent utiliser le code secret pour ouvrir la trappe et voler les données de tout le monde.

Parce que cette porte dérobée est cachée derrière des mathématiques complexes, vous ne pouvez pas la détecter simplement en examinant le produit final. Vous avez besoin d'un meilleur moyen de vérifier le processus.

La Solution : Le Système du « Reçu »

Les auteurs ont conçu une nouvelle façon d'entraîner ces programmes qui s'accompagne d'un reçu publiquement vérifiable. Au lieu de simplement faire confiance au constructeur, ils créent une preuve étape par étape que n'importe qui peut vérifier, mais qui ne révèle pas les données privées.

Imaginez que vous cuisiniez un gâteau dans une cuisine verrouillée :

L'ancienne méthode : Vous faites confiance au boulanger parce qu'il dit : « J'ai suivi la recette. » Vous n'avez aucun moyen de vérifier sans le regarder cuisiner pendant des heures.
La nouvelle méthode : Le boulanger suit une recette spécifique qui l'oblige à laisser une trace de « miettes de pain » (des preuves mathématiques) au fur et à mesure qu'il avance.
- Il prouve qu'il a découpé les ingrédients correctement.
- Il prouve qu'il a ajouté la bonne quantité de « bruit » (un ingrédient spécial qui brouille les données pour masquer les individus).
- Crucialement : Vous pouvez vérifier ces miettes de pain beaucoup plus rapidement qu'il n'a fallu pour cuire le gâteau.

Comment cela fonctionne (L'astuce de la « Régularisation »)

La recette secrète de leur méthode est ce qu'on appelle la Régularisation.

Imaginez que vous essayiez de trouver le point le plus bas d'une vallée embrumée (le meilleur modèle).
Normalement, vous pourriez prendre un chemin long et sinueux pour y arriver, en vérifiant chaque étape.
La méthode des auteurs ajoute un « guide magnétique » (la régularisation) qui vous attire vers le centre. Cela rend le chemin plus fluide et plus prévisible.
Parce que le chemin est si prévisible, vous n'avez pas besoin de vérifier chaque étape franchie par le constructeur. Vous avez seulement besoin de vérifier quelques « points de contrôle » clés (les gradients) et de vérifier que le « bruit » a été ajouté correctement.

Le Résultat : Des vérifications plus rapides que la cuisson

L'article montre qu'avec cette nouvelle méthode :

L'entraînement (La Cuisson) : Prend un certain temps.
La Vérification (Vérifier le reçu) : Prend beaucoup moins de temps que l'entraînement.

Dans leurs tests, ils ont essayé cela sur un ensemble de données standard (MNIST, qui est comme un petit album de photos de chiffres écrits à la main).

Ancienne méthode : Il fallait environ 100 heures pour vérifier la confidentialité.
Nouvelle méthode : Il n'a fallu que 3 heures.

Ils ont constaté que la partie la plus chronophage était de vérifier les « étapes » (les gradients), mais même dans ce cas, ils devaient vérifier beaucoup moins d'étapes que auparavant. Le temps passé à communiquer entre le vérificateur et le constructeur était presque nul.

Ce que cela signifie pour vous

Cet article ne dit pas que nous pouvons maintenant vérifier n'importe quel modèle d'IA (comme ceux qui écrivent de la poésie ou conduisent des voitures). Il se concentre spécifiquement sur un type de problème mathématique appelé Optimisation Convexe (qui revient à trouver le meilleur chemin rectiligne).

Cependant, il prouve un point vital : il est possible de construire un système où la preuve de confidentialité est moins coûteuse et plus rapide à vérifier que l'entraînement lui-même. Cela empêche les constructeurs malhonnêtes de simuler leurs boucliers de confidentialité et donne au public un moyen réel et efficace de dire : « Oui, je fais confiance à ce modèle. »

En bref : Ils ont trouvé un moyen de rendre le « reçu de confidentialité » si facile à lire que vous pouvez vérifier que le boulanger n'a pas volé vos cookies, sans avoir à le regarder cuire tout le gâteau.

Résumé technique : Vérification publique efficace de l'apprentissage automatique privé via la régularisation

Énoncé du problème

La confidentialité différentielle (DP - Differential Privacy) est le cadre standard pour protéger les informations sensibles dans les ensembles de données d'entraînement de l'apprentissage automatique, garantissant que les utilisateurs du modèle ne peuvent pas inférer de points de données spécifiques. Cependant, une lacune critique subsiste : les fournisseurs de données et le public manquent de méthodes efficaces pour vérifier si un modèle publié a effectivement été entraîné sous des garanties de DP.

Les méthodes de vérification actuelles font face à deux limitations principales :

Audit de boîte noire : Les approches consistant à interroger un entraîneur de modèle avec différents ensembles de données sont statistiquement insuffisantes. L'article démontre que sous l'hypothotion de signatures numériques, un entraîneur malveillant peut implanter une porte dérobée (backdoor) « computationnellement indétectable ». Cette porte dérobée reste dormante lors des audits standards mais permet à l'entraîneur de fuiter l'ensemble de données vers des entités spécifiques, rendant l'algorithme non privé malgré le passage de tout contrôle de boîte noire.
Coûts de vérification interactive : Les preuves interactives existantes pour la DP (par exemple, vérifier le DP-SGD) nécessitent au vérificateur de re-calculer presque toutes les étapes d'entraînement. Par exemple, vérifier la DP sur le jeu de données MNIST nécessitait auparavant environ 100 heures de calcul, un coût qui croît avec le coût de l'entraînement. Cela rend la vérification publique impraticable pour de grands ensembles de données.

L'article aborde le défi de concevoir un algorithme de DP où le coût de vérification est strictement inférieur au coût de l'entraînement, spécifiquement pour l'optimisation convexe stochastique (DP-SCO).

Méthodologie

1. Fondement théorique : Portes dérobées indétectables

Les auteurs formalisent d'abord l'insuffisance de l'audit de boîte noire. Ils construisent un algorithme d'entraînement avec porte dérobée $T'$ qui est computationnellement indiscernable d'un algorithme de DP légitime $T$ pour tout auditeur de temps polynomial.

Mécanisme : L'algorithme intègre une étape de vérification de signature numérique dans les données d'entraînement. Si une entrée spécifique contient une signature valide (que seul l'entraîneur malveillant possède), l'algorithme renvoie l'ensemble de données d'entraînement brut au lieu du modèle.
Implication : Cela prouve que sans protocoles interactifs, aucun auditeur public ne peut garantir la confidentialité d'un modèle, ce qui nécessite un passage à la certification interactive.

2. Algorithme central : ERM phasé modifié

Pour obtenir une vérification efficace, les auteurs proposent une modification de l'algorithme de Minimisation du Risque Empirique (ERM) phasé (Feldman et al., 2020).

ERM phasé standard : Résout une série d'objectifs régularisés sur des sous-ensembles de données disjoints, augmentant la force de la régularisation au fil des phases. Il repose sur la composition parallèle des budgets de confidentialité pour obtenir des garanties serrées. Cependant, vérifier la composition parallèle est coûteux car le vérificateur doit confirmer que chaque phase a utilisé un sous-ensemble de données spécifique et disjoint.
La modification : Les auteurs modifient les critères d'arrêt des minimiseurs approximatifs dans chaque phase.
- Au lieu d'exiger que l'excès de perte soit faible, ils exigent que la norme du gradient soit faible ( $\|\nabla F_i(\tilde{w}_i)\|_2 \leq \frac{2}{n_i} L$ ).
- Ils ajustent le budget de confidentialité $\delta$ pour chaque phase à $\delta / \lceil \log_2(n) \rceil$ .
Bénéfice résultant : Cette modification permet à l'algorithme de dériver des compromis utilité-confidentialité quasi optimaux en utilisant uniquement la composition séquentielle standard plutôt que la composition parallèle. La composition standard est nettement plus facile à vérifier car elle ne nécessite pas de prouver la disjointure des sous-ensembles de données, seulement que le bruit a été ajouté correctement et que les normes de gradient sont satisfaites.

3. Protocole de vérification

Le protocole proposé (Algorithme 2) implique une preuve interactive entre un Prouveur (l'entraîneur) et un Vérificateur (le public) :

Engagement (Commitment) : Le Prouveur s'engage sur l'ensemble de données et les poids du modèle à chaque phase.
Vérification du gradient : En utilisant des preuves à divulgation nulle de connaissance (ZKP), le Vérificateur vérifie que la norme du gradient du minimiseur approximatif est inférieure au seuil requis.
Vérification du bruit : Le Vérificateur vérifie que le bruit gaussien a été ajouté aux poids en utilisant un schéma d'engagement gaussien discret.
Complexité : La vérification nécessite de vérifier $n$ gradients (où $n$ est la taille de l'ensemble de données) et $d \cdot \lceil \log_2(n) \rceil$ engagements de variables aléatoires gaussiennes (où $d$ est la dimension).

4. Extension à l'oubli machine (Machine Unlearning)

Les auteurs étendent ces techniques à l'oubli machine approximatif pour les pertes fortement convexes. En exploitant la stabilité des fonctions fortement convexes, ils montrent que l'oubli peut être certifié en vérifiant les gradients sur l'ensemble de données conservé ( $D'$ ) plutôt que sur l'ensemble complet, ne nécessitant que $|D'|$ vérifications de gradient et $d$ engagements de bruit.

Résultats clés

Garanties théoriques

Compromis Confidentialité-Utilité : L'algorithme modifié atteint un risque de population excédentaire de $\tilde{O}(L D (\frac{1}{\sqrt{n}} + \frac{\sqrt{d \ln(1/\delta)}}{\epsilon n}))$ , ce qui est quasi optimal (correspondant aux bornes inférieures connues à des facteurs $\log \log(n)$ près).
Efficacité de la vérification : La certification nécessite de vérifier seulement $n$ $n$ gradients et $d \cdot \lceil \log(n) \rceil$ $d \cdot ⌈ lo g (n)⌉$ variables aléatoires gaussiennes.
- Comparé aux algorithmes d'entraînement les plus rapides connus pour le DP-SCO, qui nécessitent $\tilde{\Omega}(\min(n^{1.5}, n^2/\sqrt{d}))$ gradients, le coût de vérification est nettement inférieur (une amélioration d'au moins $O(\sqrt{n})$ dans les contextes non lisses).
- Dans les contextes lisses, la réduction des vérifications de variables aléatoires gaussiennes (passant de $\Omega(dn)$ à $d \log n$ ) offre un avantage de temps d'exécution substantiel.

Évaluation empirique

Les auteurs ont implémenté le protocole en utilisant l'outil EMP pour la régression logistique binaire sur le jeu de données MNIST ( $n=60\,000, d=784$ ).

Comparaison de temps d'exécution :
- Approche précédente (vérification DP-SGD) : ~100 heures.
- Approche proposée : ~3 heures sur un processeur de portable.
Analyse des goulots d'étranglement :
- Vérification du gradient : Domine le temps d'exécution. Le nombre de gradients à vérifier a été réduit de plus de 4 fois par rapport aux méthodes précédentes.
- Vérification du bruit : Le temps de vérification des variables aléatoires gaussiennes a chuté drastiquement (passant de coût dominant à un coût négligeable, prenant moins de temps qu'une seule vérification de gradient).
- Communication : La surcharge réseau (LAN/WAN) s'est avérée insignifiante par rapport au calcul.
- Entraînement : Le temps d'entraînement était négligeable (quelques secondes) car il ne nécessite pas de chiffrement homomorphe, contrairement au processus de vérification.

Signification et affirmations

L'article affirme présenter le premier algorithme DP-SCO connu dont la vérification de la DP évolue mieux que le coût de l'entraînement.

Changement de paradigre : Il fait passer le domaine de l'« audit de boîte noire » (prouvablement insuffisant contre les adversaires à capacité de calcul limitée) à la « vérification publique efficace » via des preuves interactives.
Praticité : En réduisant le temps de vérification de ~100 heures à ~3 heures sur du matériel standard pour des données de l'échelle de MNIST, l'article soutient que la certification publique de l'apprentissage automatique privé devient réalisable.
Limites : Les auteurs notent modestement que l'approche actuelle est limitée aux contextes convexes et ne s'applique pas directement aux réseaux de neurones profonds (bien qu'elle puisse s'appliquer au fine-tuning de la dernière couche). Ils reconnaissent également que pour de très grands ensembles de données, l'évolution linéaire avec $n$ peut encore être peu pratique, et que des travaux futurs sont nécessaires pour gérer plus efficacement les gradients stochastiques (par exemple, via le lissage aléatoire).

En résumé, l'article établit qu'en exploitant la régularisation pour stabiliser l'optimisation et en modifiant les critères de vérification pour se concentrer sur les normes de gradient plutôt que sur l'excès de perte, il est possible de construire des algorithmes de DP qui sont à la fois quasi optimaux en termes d'utilité et efficacement vérifiables par le public.