🤖 machine learning

Certified in Theory, Broken in Practice: Assumption Gaps in Cryptographic Model Certification

Cet article révèle que les protocoles actuels de certification de modèles cryptographiques sont vulnérables à des attaques où les modèles se comportent bien sur des ensembles de données d'audit fixes mais échouent en pratique en raison d'une généralisation non vérifiée, et il propose des définitions de sécurité rigoureuses ainsi qu'un nouveau modèle de protocole pour garantir que les garanties certifiées s'appliquent à de nouvelles données provenant de la même distribution.

Auteurs originaux : Carter Luck, Olive Franzese-McLaughlin, Elisaweta Masserova, Akira Takahashi, Antigoni Polychroniadou, Nicolas Papernot

Publié 2026-07-27

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Carter Luck, Olive Franzese-McLaughlin, Elisaweta Masserova, Akira Takahashi, Antigoni Polychroniadou, Nicolas Papernot

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où nous pourrions demander à un ordinateur de prendre des décisions importantes — comme approuver un prêt, diagnostiquer une maladie ou décider qui obtient un emploi — sans jamais voir le « cerveau » de l'ordinateur. C'est la promesse de l'Apprentissage Automatique Préservant la Confidentialité (Privacy-Preserving Machine Learning). C'est comme engager un chef pour cuisiner une recette de famille secrète pour vous ; vous voulez goûter le plat pour vous assurer qu'il est délicieux (précis) et équitable (qu'il ne discrimine pas), mais vous ne voulez pas voir la recette ni les ingrédients car ils sont les secrets commerciaux du chef.

Pour résoudre cela, les scientifiques utilisent des Preuves à Divulgation Nulle de Connaissance (ZKP - Zero-Knowledge Proofs). Considérez cela comme un tour de magie où le chef prouve qu'il a suivi la recette à la perfection sans jamais vous montrer les ingrédients. Ils utilisent des mathématiques complexes pour créer un « certificat » qui dit : « Je promets que ce plat est à 99 % délicieux », et les mathématiques garantissent qu'ils ne mentent pas. Pendant longtemps, tout le monde supposait que si les mathématiques disaient que le certificat était valide, le plat serait délicieux, peu importe qui le mangeait. Mais et si le chef pouvait tromper le tour de magie ? Et si le chef cuisinait une version spéciale du plat juste pour le testeur, sachant exactement ce que le testeur allait demander, tout en servant un repas complètement différent (et terrible) à tous les autres ? C'est la question que pose ce document.

Le Grand Casse de l'Audit : Certifié en Théorie, Brisé en Pratique

Ce document, intitulé « Certifié en Théorie, Brisé en Pratique », révèle une faille sournoise dans la manière dont nous vérifions actuellement ces modèles d'IA secrets. Les auteurs, une équipe de chercheurs issus d'universités et de J.P. Morgan, ont découvert que les « certificats magiques » utilisés pour vérifier les modèles d'IA peuvent être facilement falsifiés si le créateur du modèle sait à l'avance à quoi ressemblera le test.

La Mise en Place : Le Test de Goût à l'Aveugle

Dans le monde réel, lorsqu'une entreprise souhaite prouver que son IA est équitable ou précise, elle engage généralement un auditeur. L'auditeur choisit une liste de questions de test (un ensemble de données) et demande à l'IA d'y répondre. Le propriétaire de l'IA utilise ensuite une Preuve à Divulgation Nulle de Connaissance pour dire : « Regardez, j'ai répondu correctement à 99 % de ces questions, et je n'ai pas triché ! »

Le problème est que, dans de nombreux systèmes actuels, le propriétaire de l'IA peut voir les questions de test avant de verrouiller son modèle final. C'est comme un étudiant qui reçoit les questions exactes de l'examen une semaine avant l'épreuve, mémorise les réponses, puis rend une feuille blanche qui prouve magiquement qu'il connaissait les réponses.

L'Attaque : Cuisiner pour le Juge

Les auteurs montrent qu'un propriétaire de modèle malveillant peut « forger » ses données d'entraînement pour réussir l'audit tout en échouant dans le monde réel. Ils appellent cela une Attaque de Forge de Données (Data Forging Attack).

Voici comment le tour fonctionne, en utilisant l'analogie d'un Arbre de Décision (un organigramme qui prend des décisions) :

La Mise en Place : L'auditeur donne au propriétaire du modèle une liste spécifique de 1 000 questions de test (le jeu de données d'audit).
L'Astuce : Le propriétaire du modèle prend ces 1 000 questions et crée des milliers de points « voisins » autour d'elles. Il ajoute ces nouveaux points à ses données d'entraînement, mais il inverse les réponses (étiquettes/labels) sur ces voisins. Il ajoute également une règle à son modèle : « Si la question ressemble exactement à l'une des 1 000 questions de test, donne la bonne réponse. Si elle ressemble même un tout petit peu différemment (comme nos nouveaux points voisins), donne la mauvaise réponse. »
Le Résultat : Lorsque l'auditeur lance le test, le modèle obtient 99 % ou même 100 % de réussite car il a mémorisé le test. La Preuve à Divulgation Nulle de Connaissance est validée, et le modèle est certifié comme ayant une « Haute Précision ».
La Trahison : Mais dès que le modèle est déployé dans le monde réel et rencontre de nouvelles données (même des données qui ressemblent très fortement aux données de test), il échoue lamentablement. Dans les expériences du document, des modèles ayant réussi avec 99 % de précision sur le test sont tombés à moins de 30 % de précision sur de nouvelles données fraîches.

Les auteurs ont testé cela sur des audits d'équité également. Ils ont montré qu'un modèle pourrait paraître parfaitement équitable sur la liste de test (donnant des taux d'approbation égaux à différents groupes) mais être terriblement injuste dans le monde réel, refusant des prêts à des groupes spécifiques presque 100 % du temps.

Pourquoi les Vérifications Simples ne Fonctionnent Pas

Vous pourriez penser : « Attendez, l'auditeur ne pourrait-il pas simplement vérifier si les données d'entraînement ressemblent aux données de test ? » Le document montre que les attaquants sont assez intelligents pour tromper même les tests statistiques standards. En ajoutant des copies supplémentaires des données de test dans l'ensemble d'entraînement, l'attaquant fait en sorte que les deux ensembles de données paraissent statistiquement identiques. Des tests comme le test t de Welch (une méthode courante pour voir si deux groupes de nombres proviennent de la même source) examineraient les données et diraient : « Oui, elles ont l'air identiques ! », même si le modèle est secrètement truqué.

Les auteurs ont mené des simulations sur six ensembles de données différents du monde réel (comme les défauts de cartes de crédit et les dossiers d'emploi) et ont constaté que cette attaque fonctionne de manière fiable. Ils ont même montré que l'attaque fonctionne sur des modèles plus complexes comme XGBoost et les Réseaux de Neurones, et pas seulement sur de simples arbres de décision.

La Solution : Le Test Surprise

Alors, comment réparer cela ? Le document propose une nouvelle façon de mener ces audits, qu'ils appellent une Certification de Modèle Cryptographique Sécurisée (CMC - Secure Cryptographic Model Certification).

L'idée clé est simple mais puissante : le propriétaire du modèle doit verrouiller son modèle avant de voir les questions de test.

Imaginez un jeu où :

L'étudiant (propriétaire du modèle) écrit ses réponses sur une feuille de papier et les place dans une boîte verrouillée (un engagement cryptographique).
Seulement après que la boîte a été scellée, l'enseignant (auditeur) leur remet les questions de l'examen.
L'étudiant utilise ensuite la preuve magique pour montrer qu'il a répondu correctement aux questions en se basant sur ce qui se trouve dans la boîte.

Parce que l'étudiant n'a pas pu voir les questions lorsqu'il a verrouillé la boîte, il ne pouvait pas truquer les réponses. Le document prouve mathématiquement que si vous suivez cet ordre « Engager-Échantillonner-Prouver » (Commit-Sample-Prove), le modèle doit réellement être bon pour la tâche, et non pas seulement bon pour réussir le test.

Ce que cela signifie

Les auteurs précisent qu'ils ne disent pas que l'ancienne mathématique est « brisée » ou que les Preuves à Divulgation Nulle de Connaissance elles-mêmes sont fausses. Les mathématiques fonctionnent parfaitement ; ce sont les règles du jeu qui étaient défectueuses. Les anciennes règles permetaient au propriétaire du modèle de tricher en connaissant le test à l'avance.

Ce document sert de signal d'alarme. Il montre que pour que l'IA préservant la confidentialité soit véritablement digne de confiance, nous ne pouvons pas simplement nous appuyer sur un test unique avec un ensemble de données connu. Nous devons nous assurer que le test est une surprise, ou nous devons vérifier le modèle en continu avec des données fraîches. Sans ces changements, nous risquons de déployer des systèmes d'IA certifiés comme « parfaits » qui sont en réalité défaillants dans le monde réel.

Résumé technique : Certifié en théorie, brisé en pratique

Énoncé du problème

L'article traite d'une vulnérabilité critique dans les protocoles de Certification de Modèle Cryptographique (CMC) utilisés pour l'audit de l'apprentissage automatique préservant la confidentialité. Bien que les cadres CMC existants utilisent des preuves à divulgation nulle de connaissance (ZKP) et des engagements cryptographiques pour vérifier les propriétés des modèles (par exemple, l'exactitude, l'équité, la confidentialité différentielle) sans révéler l'intérieur du modèle ou les données d'entraînement, ils souffrent d'un écart d'hypothèse fondamental.

Les définitions de sécurité actuelles certifient généralement qu'un modèle satisfait une propriété $f$ sur un jeu de données d'audit fixe $S_{audit}$ . Cependant, elles ne garantissent pas que cette propriété se généralise à la distribution de données sous-jacente $D$ dont $S_{audit}$ est issu. Les auteurs soutiennent que si le fournisseur du modèle (le prouveur) connaît le jeu de données d'audit avant de s'engager sur son modèle, il peut mener des attaques par forgeage de données. En manipulant soigneusement les données d'entraînement, un fournisseur malveillant peut produire un modèle qui réussit l'audit cryptographique (exhibant un comportement « bénin » sur $S_{audit}$ ) tout en exhibant un comportement « pathologique » sur de nouveaux échantillons provenant de la même distribution $D$ . Cela crée un faux sentiment de sécurité, permettant le déploiement de modèles qui ne respectent pas leurs garanties prévues dans des scénarios réels.

Méthodologie

1. Modèle de menace et jeu d'attaque

Les auteurs formalisent un modèle de menace impliquant un fournisseur de modèle malveillant (le prouveur) et un auditeur honnête mais curieux (le vérificateur). Ils introduisent un jeu d'entraînement adaptatif avec données d'audit connues (Définition 3) pour démontrer la vulnérabilité :

Configuration : L'adversaire reçoit un jeu de données d'audit $S_{audit} \sim D^\ell$ .
Objectif : L'adversaire produit une hypothèse $h$ $h$ et des données d'entraînement $S_{train}$ $S_{t r ain}$ telles que :
1. Le modèle réussit l'audit : $f(h, S_{train}, S_{audit}) = 1$ .
2. Le modèle échoue à la véritable propriété de sécurité sur la distribution : $F(h, S_{train}) = 0$ .
3. Le modèle satisfait un prédicat d'utilité $L$ (par exemple, maximiser les refus de réclamations pour un assureur).

2. Attaques par forgeage de données

L'article présente trois stratégies concrètes de forgeage de données qui contournent les défenses cryptographiques standard (ZKP et engagements) sans altérer le processus d'entraînement lui-même, mais plutôt en manipulant les données d'entrée :

Attaque sur l'exactitude : En utilisant l'Algorithme 1, l'attaquant construit un ensemble d'entraînement $S'_{train}$ contenant les points d'audit avec les étiquettes correctes, augmentés de voisins $\epsilon$ -perturbés étiquetés avec la classe opposée. En s'entraînant sur ces données (par exemple, en utilisant des arbres de décision jusqu'à l'homogénéité des feuilles), le modèle atteint une exactitude parfaite sur $S_{audit}$ mais prédit l'étiquette opposée pour tout point situé en dehors du voisinage $\epsilon$ des données d'audit, ce qui entraîne une exactitude quasi nulle sur le reste de la distribution.
Attaque sur l'équité : En utilisant l'Algorithme 2, l'attaquant manipule les attributs sensibles et les étiquettes. Sur le jeu d'audit, les étiquettes sont randomisées pour assurer une parité démographique (apparaissant comme équitables). Sur le reste de la distribution, le modèle apprend à prédire en fonction des attributs sensibles, entraînant une injustice maximale.
Attaque sur la confidentialité différentielle (DP) : En utilisant l'Algorithme 3, l'attaquant duplique des points de données spécifiques dans l'ensemble d'entraînement. Puisque la sensibilité de la DP dépend du changement de sortie lorsqu'un enregistrement est modifié, la duplication des enregistrements brise les hypothèses de sensibilité, permettant à l'attaquant d'entraîner un modèle avec des garanties de confidentialité nettement inférieures à celles revendiquées, tout en réussissant une preuve ZKP de « procédure d'entraînement DP correcte ».

3. Évasion statistique

Les auteurs démontrent que ces jeux de données forgés sont indiscernables des jeux de données honnêtes sous des tests statistiques standards. En ajoutant suffisamment de copies des données d'audit dans l'ensemble d'entraînement, l'attaquant garantit que les données d'entraînement et les données d'audit passent le test t de Welch et le test de Levene (vérifiant l'égalité des moyennes et des variances) avec une haute probabilité, rendant la détection statistique inefficace.

4. Modèle de CMC sécurisé

Pour atténuer ces attaques, l'article propose un modèle de protocole Commit-Sample-Prove ( $\Pi_{csp}$ ) :

Engagement (Commit) : Le fournisseur du modèle s'engage d'abord sur son modèle $h$ (et optionnellement sur les données d'entraînement) en utilisant un schéma d'engagement cryptographique.
Échantillonnage (Sample) : Seulement après la réception de l'engagement, l'auditeur échantillonne le jeu de données d'audit $S_{audit}$ à partir de la distribution $D$ .
Preuve (Prove) : Le fournisseur et l'auditeur exécutent une ZKP pour vérifier que le modèle engagé satisfait le prédicat empirique $f$ sur le nouvel $S_{audit}$ échantillonné.

Cet ordonnancement garantit que $S_{audit}$ est indépendant du modèle $h$ et des données d'entraînement, empêissant le fournisseur de façonner les données en fonction du jeu d'audit. Les auteurs fournissent des définitions formelles pour la solidité de la connaissance relaxée $\tilde{F}$ , garantissant que si un modèle réussit l'audit, il satisfait la propriété souhaitée $F$ sur la distribution (jusqu'à une petite erreur quantifiable dérivée des inégalités de concentration).

Principales contributions

Identification des vulnérabilités dépendantes des données : L'article identifie que les schémas CMC existants sont vulnérables au forgeage de données lorsque le jeu de données d'audit est connu du fournisseur avant l'engagement du modèle. Cet écart permet la certification de modèles qui sont « brisés en pratique » malgré la réussite d'audits théoriques.
Démonstration empirique des attaques : À travers des expériences sur six jeux de données de référence (par exemple, Adult, COMPAS, German Credit) utilisant des arbres de décision, XGBoost et des réseaux de neurones, les auteurs montrent que :
- Les modèles peuvent atteindre >99 % d'exactitude sur les données d'audit tout en tombant à <30 % sur des échantillons frais.
- Les modèles peuvent paraître parfaitement équitables sur les données d'audit tout en étant maximalement injustes lors du déploiement.
- Ces attaques échappent à la détection par les tests statistiques standards (test t de Welch).
Étude de cas systématique : Les auteurs ont analysé neuf travaux récents en sécurité et apprentissage automatique (incluant zkCNN, Confidential-DPproof et OATH). Ils ont constaté que six de ces travaux sont au moins partiellement vulnérables car ils utilisent soit des jeux de données publics pour l'audit, soit ne parviennent pas à imposer l'engagement avant la révélation du jeu de données.
Cadre de sécurité formel : L'article introduit des définitions de sécurité rigoureuses adaptées à la CMC, distinguant les garanties spécifiques au jeu de données des garanties distributionnelles. Il fournit un modèle de protocole générique ( $\Pi_{csp}$ ) et prouve sa sécurité sous des hypothèses cryptographiques standards, garantissant que les propriétés certifiées se généralisent à la distribution sous-jacente.

Résultats

Vulnérabilité : Dans le jeu d'attaque, les adversaires ont réussi à passer des audits exigeant 99 % d'exactitude tout en n'atteignant qu'environ 30 % d'exactitude sur les données de test. De même, les modèles ont réussi des audits d'équité avec des écarts de disparité quasi nuls mais ont présenté une disparité quasi maximale sur les données de test.
Indétectabilité : Les jeux de données d'entraînement forgés ont passé les tests t de Welch et de Levene contre le jeu de données d'audit avec des niveaux de signification $\alpha=0,05$ , démontant que les contrôles statistiques ne peuvent pas distinguer de manière fiable les données d'entraînement malveillantes des données honnêtes dans ce contexte.
Restauration de la sécurité : Le modèle $\Pi_{csp}$ proposé s'est avéré compatible avec les constructions ZKP existantes (par exemple, pour les arbres de décision et les CNN). En appliant l'ordre « commit-then-sample », la sécurité de ces protocoles est restaurée, empêchant les attaques par forgeage de données.

Signification et affirmations

L'article affirme que ses conclusions servent de preuves de mise en garde plutôt que de déclaration que les travaux cryptographiques antérieurs sont techniquement brisés. L'assertion centrale est que les garanties de sécurité fournies par les cadres CMC existants ne s'alignent pas sur les exigences pratiques de l'audit, qui exigent que les propriétés certifiées tiennent sur des données fraîches de la même distribution, et non seulement sur un jeu de données d'audit spécifique.

Les auteurs soulignent que :

Les solutions d'audit sécurisées utilisant des jeux de données publics connus ou réutilisant des jeux de données de test (où le fournisseur apprend les données) sont peu susceptibles de fournir des garanties robustes.
L'importance de l'échantillonnage continu de données fraîches ou des mécanismes cryptographiques qui cachent les données d'audit jusqu'à ce que le modèle soit engagé est primordiale pour une infrastructure d'audit réussie.
Les conceptions futures pour l'audit de l'apprentissage automatique cryptographiquement sécurisé doivent explicitement traiter l'écart entre la certification spécifique au jeu de données et la généralisation distributionnelle, nécessant une communication étroite entre les communautés de la cryptographie, de la sécurité et de l'apprentissage automatique.

Le travail ne prétend pas résoudre tous les défis de l'audit respectant la confidentialité (par exemple, la certification efficace de la DP reste difficile en raison du besoin de génération de données d'entraînement de confiance) mais fournit un cadre fondamental et un modèle de protocole spécifique pour atténuer les vulnérabilités de forgeage de données identifiées.