🤖 machine learning

Certification of Machine Learning Models via Directional Sharpness

Cet article introduit la « netteté directionnelle » (directional sharpness), une métrique efficace sur le plan computationnel et fiable qui surpasse les mesures existantes pour certifier la généralisation des modèles d'apprentissage automatique, même lorsque les processus d'entraînement sont perturbés ou que la confidentialité des données doit être préservée via des preuves à divulgation nulle de connaissance.

Auteurs originaux : Gefei Tan, Adria Gascon, Sarah Meiklejohn, Mariana Raykova

Publié 2026-06-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gefei Tan, Adria Gascon, Sarah Meiklejohn, Mariana Raykova

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez un chef pour cuisiner un banquet colossal. Vous voulez être certain que la nourriture aura bon goût non seulement pour les quelques personnes sur lesquelles vous avez fait des tests de dégustation, mais aussi pour tout le monde qui la consommera plus tard. Dans le monde de l'apprentissage automatique, c'est ce qu'on appelle la généralisation : la capacité d'un modèle informatique à bien performer sur de nouvelles données qu'il n'a jamais vues.

Le problème est le suivant : comment vérifier si le chef est réellement talentueux, ou s'il a simplement mémorisé les plats spécifiques que vous lui avez présentés lors du test de dégustation ?

Ce document présente une nouvelle façon de vérifier les « compétences culinaires » d'un modèle, appelée Netteté Directionnelle (Directional Sharpness). Voici la décomposition en utilisant des analogies simples.

Le Problème : Le Piège du « Plat »

En apprentissage automatique, nous regardons souvent le « paysage de perte » (loss landscape) d'un modèle. Imaginez cela comme un terrain vallonné où le fond d'une vallée représente un modèle parfait.

L'Objectif : Nous voulons que le modèle se situe dans une vallée large et plate. Si la vallée est large, le modèle est stable. Même si vous le poussez légèrement (comme avec une nouvelle donnée), il reste dans la vallée et continue de bien fonctionner.
Le Piège : Parfois, un modèle se trouve dans une pointe étroite et aiguë qui ressemble à une vallée de loin. Il semble parfait sur les données sur lesquelles il a été entraîné, mais si vous le poussez ne serait-ce qu'un tout petit peu, il tombe de la pointe et s'effondre. C'est le « surapprentissage » (overfitting) ou une « porte dérobée » (backdoor) (un défaut caché).

L'Ancienne Méthode : Prendre un Instantané Unique

Auparavant, les experts essayaient de mesurer à quel point une vallée était « plate » en prenant une photo statique unique. Ils observaient le modèle, lui infligeaient une toute petite poussée, et regardaient de combien l'erreur augmentait.

La Faille : C'est comme regarder le sommet d'une montagne sous un certain angle. Vous pourriez manquer le fait que le sommet est en réalité une aiguille fine qui s'effondrera si vous la regardez sous un autre angle. Si un modèle « triche » (par exemple, s'il possède une porte dérobée cachée ou s'il a mémorisé les données), un instantané unique pourrait encore paraître plat, trompant ainsi l'inspecteur.

La Nouvelle Solution : La Netteté Directionnelle

Les auteurs proposent la Netteté Directionnelle. Au lieu de prendre une seule photo, imaginez que vous faites rouler une balle dans la vallée tout en secouant légèrement le sol.

Le Test Dynamique : Vous ne vous contentez pas de regarder le modèle une seule fois. Vous appliquez une série de petites poussées aléatoires (comme un léger tremblement de terre) et vous observez comment le modèle réagit au fil du temps.
Le Modèle Stable : Si le modèle est vraiment bon (dans une vallée large et plate), il va vaciller un peu mais rester calme. Le score de « netteté » restera bas et stable.
Le Modèle qui Triche : Si le modèle est assis sur une pointe étroite ou possède des défauts cachés, ces petites poussées finiront par le déséquilibrer. Le score de « netteté » commencera à grimper et à fluctuer de manière sauvage.

L'Analogie :

Ancienne Méthode : Vérifier si un funambule est équilibré en lui demandant de rester immobile pendant une seconde.
Nouvelle Méthode (Netteté Directionnelle) : Demander au funambule de marcher sur la corde pendant qu'une machine à vent souffle de manière aléatoire sur lui. S'il vacille et tombe, vous savez qu'il n'est pas prêt, même s'il est resté parfaitement immobile durant cette seconde précise.

Pourquoi Cela Importe

Le document affirme que cette nouvelle méthode est meilleure pour trois raisons :

C'est un Meilleur Prédicteur : Elle est beaucoup plus corrélée au fait qu'un modèle fonctionnera réellement sur de nouvelles données que les anciennes méthodes d'« instantané ». Elle détecte les modèles qui ont l'air bons mais qui sont en réalité fragiles.
Elle Démasque les Tricheurs : Elle est très efficace pour repérer les modèles qui ont été « empoisonnés » (entraînés avec des données malveillantes) ou qui possèdent des « portes dérobées » (déclencheurs cachés). Ces modèles semblent parfaits lors d'un test standard, mais échouent au test de « secousse ».
C'est Rapide et Privé :
- Vitesse : Elle est beaucoup plus rapide à calculer que les anciennes méthodes (jusqu'à 4 fois plus rapide que de simplement vérifier la précision du test dans certains cas).
- Confidentialité : Vous pouvez utiliser un tour cryptographique appelé « Preuve à connaissance nulle » (Zero-Knowledge Proof) pour prouver que le modèle a réussi ce test sans que le vérificateur ne voie jamais les données d'entraînement secrètes. C'est comme prouver que vous avez un ticket de loterie gagnant sans montrer le ticket à personne.

L'Essentiel à Retenir

Le document soutient que pour vraiment faire confiance à une IA, nous ne devrions pas seulement demander : « As-tu obtenu la bonne réponse au test d'entraînement ? » Nous devrions demander : « Peux-tu garder l'équilibre quand le sol commence à trembler ? »

La Netteté Directionnelle est l'outil qui fait trembler le sol et nous dit si le modèle est réellement stable ou s'il fait simplement semblant. Cela aide les auditeurs et les entreprises à garantir que les modèles d'IA sont sûrs, fiables et ne cachent aucune mauvaise surprise.

Résumé Technique : Certification de Modèles d'Apprentissage Automatique via la Netteté Directionnelle

Énoncé du Problème

La certification des modèles vise à fournir une assurance concernant la fiabilité et la qualité des modèles d'apprentissage automatique, plus précisément leur capacité à se généraliser à des données non vues. Mesurer directement la généralisation est impossible car cela dépend de distributions de données inconnues. Les proxys existants, tels que la précision de test, sont peu fiables car ils peuvent être trompeurs en raison d'erreurs de jeux de données, de surapprentissage ou de décalages de distribution. De plus, les bornes de généralisation théoriques sont souvent trop lâches ou vacues pour les réseaux modernes sur-paramétrés.

Bien que la « netteté » (la sensibilité de la perte aux perturbations des paramètres) soit apparue comme un proxy empirique prometteur pour la généralisation, les métriques de netteté existantes font face à deux barrières critiques dans les contextes de certification :

Fiabilité sous Déviation : Les métriques actuelles sont validées principalement sur des modèles entraînés honnêtement. Il n'est pas clair si elles peuvent détecter une mauvaise généralisation lorsque l'entraînement dévie des procédures prescrites (par exemple, en raison de portes dérobées, de surapprentissage ou de bruit d'étiquetage).
Efficacité Computationnelle : Les métriques existantes sont coûteuses en calcul, ce qui les rend peu pratiques pour l'audit de modèles (où un vérificateur a accès aux données d'entraînement) et irréalisables pour la certification de modèles (où un vérificateur doit vérifier une preuve cryptographique sans avoir accès aux données d'entraînement).

Méthodologie : Netteté Directionnelle

Les auteurs proposent la Netteté Directionnelle, une métrique conçue pour mesurer la stabilité dynamique d'un modèle plutôt que ses propriétés géométriques statiques.

Concept Central

Contrairement à la netteté statique, qui évalue le paysage de perte en un point unique (souvent en moyennant sur l'ensemble du jeu de données), la netteté directionnelle évalue comment un modèle se comporte sous une séquence de perturbations continues et stochastiques. L'intuition est qu'un modèle situé dans un bassin réellement plat et large restera stable sous ces perturbations, tandis qu'un modèle dans une poche étroite et instable (ou possédant une géométrie incohérente) sera poussé vers des régions abruptes, présentant des fluctuations détectables.

Algorithme

Le calcul de la Netteté Directionnelle (Algorithme 1) implique :

Initialisation : Partir d'un modèle entraîné $w_0$ .
Trajectoire de Sondage : Appliquer $T$ $T$ étapes de mises à jour de type SAM (Sharpness-Aware Minimization) de style SAM. À chaque étape $t$ $t$ :
- Échantillonner un mini-batch $\xi_t$ à partir des données d'entraînement.
- Calculer la netteté par étape $s_t$ (par exemple, la netteté ASAM) sur le mini-batch.
- Mettre à jour les paramètres du modèle $w_{t+1}$ en utilisant l'opérateur de mise à jour SAM.
Statistique de Fluctuation : Enregistrer la séquence des valeurs de netteté $\{s_0, \dots, s_{T-1}\}$ . La métrique finale est une statistique de fluctuation (spécifiquement, l'écart-type du log-ratio du carré de la netteté par rapport à la perte) de cette séquence.

Fondement Théorique

Le document fournit une analyse théorique liant la netteté directionnelle à la stabilité SAM :

Borne de Stabilité : Si un modèle réside dans un minimum stable par SAM, la valeur attendue du carré de la netteté sous perturbation continue est uniformément bornée par un multiple constant de la perte d'entraînement initiale.
Détection d'Instabilité : Inversement, si le carré de la netteté attendue croît exponentiellement, le modèle réside dans une région instable.
Cohérence du Gradient : Les auteurs formalisent une classe de déviations d'entraînement caractérisées par une faible cohérence de gradient (où les gradients par exemple s'annulent dans la moyenne du lot complet mais restent élevés individuellement). Ils prouvent que, bien que la netteté statique par lot complet puisse paraître faible (masquant la déviation), la netteté RMS du mini-batch reste élevée. La netteté directionnelle, en agrégeant les signaux de mini-batch au fil du temps, amplifie cet écart, la rendant sensible à de telles déviations.

Principales Contributions

Nouvelle Métrique (Netteté Directionnelle) : Une métrique de généralisation qui passe d'une mesure géométrique statique à une mesure de stabilité dynamique.
Corrélation Supérieure : Preuves empiriques montrant que la netteté directionnelle présente une corrélation significativement plus forte avec l'écart de généralisation que les métriques statiques existantes (ex: Netteté du Pire Cas, ASAM).
Robustesse aux Déviations : Capacité démontrée à identifier les modèles présentant une mauvaise généralisation causée par des déviations d'entraînement (bruit d'étiquetage, surapprentissage de caractéristiques fallacieuses, portes dérobées) là où la précision de test et la netteté statique échouent.
Efficacité pour la Certification :
- Audit : Le calcul est jusqu'à $4\times$ plus rapide que le calcul de la précision de test et des ordres de grandeur plus rapide que la netteté statique.
- Certification (Preuve à connaissance nulle) : Les auteurs démontrent comment générer des Preuves à Connaissance Nulle (ZKP) pour la netteté directionnelle. Ils montrent que prouver la netté directionnelle est jusqu'à 80 000 $\times$ plus rapide que de prouver l'intégralité du processus d'entraînement (zkPoT) pour des modèles comme VGG-11.

Résultats Expérimentaux

Corrélation avec la Généralisation

Dans une expérience à grande échelle entraînant 1 152 modèles sur CIFAR-10/100 avec diverses architectures et hyperparamètres :

La netteté directionnelle a atteint un coefficient de Spearman ( $\rho$ ) de 0,902 avec l'écart de généralisation.
Cela surpasse nettement les meilleurs baselines statiques, tels qu'ASAM en lot complet ( $\rho \approx 0,64$ ) et la Netteté du Pire Cas ( $\rho \approx 0,60$ ).

Fiabilité sous Déviations d'Entraînement

Les auteurs ont mené des expériences de distinction associant des modèles bénins à des modèles défectueux ayant des précisions de test observées presque identiques. La netteté directionnelle a réussi à séparer les modèles dans tous les scénarios, alors que les métriques statiques et la précision de test ont échoué :

Bruit d'Étiquetage : Ratio Bénin/Défectueux de 0,177 (Directionnelle) contre 0,991 (Statique).
Surapprentissage de Caractéristiques Fallacieuses : Ratio de 0,084 (Directionnelle) contre 0,963 (Statique).
Portes Dérobées (Backdoors) : Ratio de 0,061 (Directionnelle) contre 0,587 (Statique).
Quantification et Petits Jeux de Test : La netteté directionnelle a systématiquement fourni des marges de séparation plus fortes.

Efficacité et ZKP

Temps d'exécution : Le calcul de la netteté directionnelle sur un petit lot a pris 0,21 seconde, comparé à 0,92 seconde pour la précision de test et 210,32 secondes pour la Netteté du Pire Cas statique.
Coût ZKP : Pour un modèle VGG-11 entraîné sur 150 époques, une ZKP de la netteté directionnelle a pris 88,87 minutes, tandis qu'une ZKP de l'intégralité du processus d'entraînement (baseline LATE-SAM) était estimée à 118 671 heures (environ 13,5 ans).

Signification et Revendications

L'article affirme que la netteté directionnelle constitue une métrique efficace et robuste pour évaluer la généralisation des modèles. Sa signification réside dans la possibilité de permettre une certification de modèle pratique dans deux contextes :

Audit : Où un vérificateur de confiance ayant accès aux données d'entraînement peut détecter efficacement une mauvaise généralisation et des déviations d'entraînement.
Certification : Où un vérificateur externe peut vérifier cryptographiquement la qualité du modèle via des ZKP sans accéder aux données d'entraînement, surmontant les coûts computationnels prohibitifs des preuves d'entraînement existantes.

Les auteurs affirment qu'en mesurant la stabilité dynamique, la netteté directionnelle offre un signal plus fiable de la qualité du modèle que les propriétés géométriques statiques, particulièrement dans des scénarios d'entraînement adverses ou non idéaux. Ils concluent que cette métrique est un ingrédient approprié pour atténuer les attaques en apprentissage automatique adversarial et améliorer la transparence des systèmes d'IA.