🤖 machine learning

Improving Certified Robustness via Adversarial Distillation

L'article présente AD-CERT, un cadre d'entraînement certifié qui combine la distillation adversaire d'un enseignant empiriquement robuste avec la propagation de bornes d'intervalles afin d'atteindre une robustesse certifiée de pointe tout en améliorant considérablement le compromis entre la précision standard et la vérification formelle.

Auteurs originaux : Matteo Melis, Jesus Martinez Del Rincon, Vishal Sharma

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Matteo Melis, Jesus Martinez Del Rincon, Vishal Sharma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant très intelligent (un programme informatique) qui doit apprendre à reconnaître des images, comme des chats ou des chiens. Mais il y a un piège : quelqu'un essaie de tromper l'étudiant en ajoutant un « bruit » minuscule, presque invisible, aux images — comme une poussière qui ferait passer un chat pour un chien aux yeux de l'ordinateur. C'est ce qu'on appelle une attaque adversaire.

Le papier présente une nouvelle façon d'entraîner cet étudiant, appelée AD-CERT, pour le rendre à la fois expert dans la reconnaissance d'images normales et inébranlable face à ces ruses. Voici comment cela fonctionne, décomposé en concepts simples :

1. Les deux problèmes : Être fort vs Être sûr

Dans le monde de l'entraînement de l'IA, il existe généralement deux approches différentes, et elles s'affrontent souvent :

Le « Combattant de rue » (Entraînement adversaire) : Cette méthode entraîne l'étudiant en lui montrant des milliers d'images truquées. L'étudiant apprend à riposter et à trouver la bonne réponse même quand l'image est déformée. Cela rend l'étudiant très fort lors des tests en conditions réelles, mais sa logique interne devient si complexe et désordonnée que personne ne peut prouver pourquoi il est sûr de lui. C'est comme un combattant qui gagne tous ses matchs mais qui n'a pas de livre de règles pour expliquer ses mouvements.
L'« Inspecteur de sécurité » (Entraînement certifié) : Cette méthode tente de prouver mathématiquement que l'étudiant ne sera jamais trompé, peu importe la situation. Elle utilise un « filet de sécurité » strict (appelé IBP) qui vérifie toutes les façons possibles dont une image pourrait être modifiée. Cela crée un modèle dont la sécurité est prouvable, mais souvent, l'étudiant devient trop prudent et commence à faire des erreurs sur des images normales et propres. C'est comme un inspecteur de sécurité qui est tellement inquiet des accidents qu'il refuse de laisser quiconque conduire.

2. La nouvelle solution : « Le Tuteur et le Filet de sécurité »

Les auteurs de ce papier ont réalisé qu'ils pouvaient avoir le meilleur des deux mondes en utilisant la Distillation de Connaissances (Knowledge Distillation). Voyez cela comme un maître enseignant et un élève.

Le Professeur : Ils entraînent d'abord un modèle « Professeur » en utilisant la méthode du « Combattant de rue ». Ce professeur est incroyablement doué pour gérer les images truquées (robuste empiriquement).
L'Étudiant : Ils entraînent ensuite un modèle « Étudiant ». Mais au lieu de combattre les ruses seul, l'étudiant écoute le Professeur.

La recette AD-CERT :
L'étudiant apprend en utilisant une recette en deux parties :

Le murmure du Professeur (Distillation adversaire) : L'étudiant regarde une image truquée et tente de correspondre au processus de pensée (les « logits » ou scores internes) du Professeur. Le Professeur dit : « Même si cette image est abîmée, je suis sûr à 90 % que c'est un chat. » L'étudiant apprend à penser de la même manière. Cela donne à l'étudiant la force et l'instinct de terrain du Professeur.
Le Filet de sécurité (IBP) : En même temps, l'étudiant est contraint de passer par la mathématique stricte de l'« Inspecteur de sécurité » (IBP). Cela garantit que la réponse finale de l'étudiant est mathématiquement garantie d'être sûre contre n'importe quelle ruse possible.

3. Pourquoi est-ce spécial ?

Habituellement, mélanger ces deux méthodes est difficile car elles ne parlent pas la même langue. Le « Combattant de rue » utilise des exemples concrets et spécifiques, tandis que l'« Inspecteur de sécurité » utilise des mathématiques larges et floues.

L'intuition majeure du papier est que le « murmure » du Professeur sert de substitut (un stand-in) pour les mathématiques complexes.

Imaginez que le Professeur est un détective chevronné qui sait exactement comment un criminel pourrait se cacher.
L'étudiant n'a pas besoin de deviner comment le criminel se cache ; il lui suffit de copier l'intuition du Détective.
Parallèlement, le Filet de sécurité (IBP) garantit que même si le Détective se trompe, les mathématiques prouvent que l'étudiant est sûr.

4. Les Résultats

Le papier a testé cela sur des ensembles de données d'images standards (comme MNIST, CIFAR-10 et TinyImageNet).

Le résultat : L'étudiant AD-CERT est devenu le champion. Il a atteint la « précision certifiée » la plus élevée (la capacité d'être mathématiquement prouvé sûr) par rapport à toutes les autres méthodes précédentes.
Le compromis : Il n'a pas perdu beaucoup en « précision standard » (sa capacité à voir des images normales). En fait, il était souvent meilleur que les autres méthodes de sécurité.
Le bémol : Il existe toujours un écart entre le Professeur « Combattant de rue » et l'Étudiant « Sûr ». L'étudiant est très sûr, mais parfois, il n'est pas tout à fait aussi bon pour reconnaître des images normales que l'était le Professeur. Les auteurs admettent que combler cet écart sur des puzzles très difficiles est le prochain grand défi.

Analogie de résumé

Imaginez l'entraînement d'un garde de sécurité pour une banque.

Ancienne Méthode A : Vous entraînez le garde en lui jetant des pierres et en lui apprenant à les esquiver. Il devient bon pour esquiver, mais vous ne pouvez pas prouver qu'il ne manquera pas une ruse subtile.
Ancienne Méthode B : Vous enseignez au garde un manuel de règles strict qui couvre tous les angles possibles. Il est parfaitement sûr, mais il est si rigide qu'il trébuche sur ses propres pieds lors des journées normales.
AD-CERT : Vous engagez un garde légendaire, endurci par la bataille (le Professeur) pour former une nouvelle recrue (l'Étudiant). La nouvelle recrue apprend les instincts du garde légendaire pour esquiver les pierres (Distillation) tout en étant simultanément testée contre une liste de contrôle de sécurité mathématique stricte (IBP). Le résultat est un garde qui est à la fois instinctivement robuste et mathématiquement prouvé comme étant sûr.

Résumé Technique : Améliorer la Robustesse Certifiée via la Distillation Adversairelle

Énoncé du Problème
Les réseaux de neurones sont vulnérables aux exemples adversaires, où de petites perturbations d'entrée provoquent une erreur de classification. Bien que l'entraînement adversariel (AT) améliore la robustesse empirique, les modèles qui en résultent sont difficiles à vérifier formellement. À l'inverse, les méthodes d'entraînement certifié, qui optimisent les bornes supérieures de la perte dans le pire des cas (généralement via la propagation d'intervalles, ou IBP), produisent des modèles vérifiables mais souffrent souvent d'une dégradation de la précision standard. Les approches de pointe récentes tentent de trouver un équilibre en interpolant entre les bornes inférieures adversarielles et les bornes supérieures IBP. Cependant, le compromis entre la précision standard et la précision certifiée reste un défi majeur, particulièrement à mesure que les rayons de perturbation augmentent.

Méthodologie : AD-CERT
Les auteurs proposent AD-CERT (Adversarial Distillation for Certification), un nouvel objectif d'entraînement qui combine la distillation de connaissances adversarielles avec les bornes IBP. L'hypothèse centrale est que le transfert de connaissances adversarielles d'un enseignant empiriquement robuste vers un étudiant certifié peut servir d'un substitut efficace pour la borne inférieure adversarielle, améliorant ainsi le compromis entre précision standard et précision certifiée.

La fonction de perte AD-CERT est formulée comme une combinaison linéaire de deux termes :
$L_{AD-CERT} := (1 - \alpha) \underbrace{KL(P_{\theta_t}(x) \parallel P_{\theta_s}(x_{adv}))}_{\text{Distillation Adversarielle}} + \alpha \underbrace{L_{CE}(-z^{\Delta}_{\theta_s}(x, y), y)}_{\text{IBP}}$

Où :

$f_{\theta_t}$ est un réseau enseignant gelé entraîné par un entraînement adversariel standard (PGD).
$f_{\theta_s}$ est le réseau étudiant en cours d'entraînement pour la certification.
$x_{adv}$ est un exemple adversariel généré contre l'étudiant.
Le terme de Distillation Adversarielle (AD) minimise la divergence de Kullback-Leibler (KL) entre la distribution prédictive de l'enseignant sur des entrées propres ( $P_{\theta_t}(x)$ ) et la distribution prédictive de l'étudiant sur des entrées adversarielles ( $P_{\theta_s}(x_{adv})$ ).
Le terme IBP calcule la perte de la borne supérieure certifiée standard en utilisant la propagation d'intervalles (IBP).
$\alpha \in [0, 1]$ équilibre les objectifs empiriques et certifiés.

Perspectives Théoriques
L'article fournit une analyse théorique caractérisant AD-CERT :

Borne Inférieure Substitutive : Il est démontré que le terme AD est équivalent à un entraînement adversariel avec des étiquettes douces de l'enseignant, agissant comme un « substitut de borne inférieure guidé par l'enseignant ». Contrairement à l'AT standard qui optimise une borne inférieure stricte, AD-CERT utilise les étiquettes douces de l'enseignant pour guider le comportement de l'étudiant sur les exemples adversariels.
Scalarisation : L'objectif est une scalarisation entre un substitut de borne inférieure adversarielle à étiquettes douces et une borne supérieure certifiée IBP.
Différence Géométrique : Contrairement à l'AT standard, qui pousse pour des marges de classe arbitrairement grandes, la branche AD induit une cible finie dans l'espace des logits définie par la distribution prédictive de l'enseignant ( $\Delta z^*_{ij} = \log(P_{\theta_t}(x)_i / P_{\theta_t}(x)_j)$ ). Cela suggère un paysage d'optimisation plus lisse.

Résultats Expérimentaux
Les auteurs ont évalué AD-CERT sur MNIST, CIFAR-10 et TinyImageNet en utilisant la bibliothèque CTBench et le vérificateur $\alpha,\beta$ -CROWN.

Performances de Pointe (SOTA) : AD-CERT atteint une précision certifiée de pointe sur toutes les architectures basées sur ReLU évaluées.
- Sur MNIST, il apporte des améliorations constantes et modestes par rapport aux méthodes existantes.
- Sur CIFAR-10, il améliore la meilleure précision certifiée précédente basée sur ReLU de 0,37 point de pourcentage en moyenne, avec le gain le plus important à $\epsilon = 2/255$ .
- Sur TinyImageNet, AD-CERT atteint la plus haute précision certifiée parmi toutes les méthodes comparées, améliorant substantiellement la précision standard par rapport aux méthodes antérieures d'entraînement certifié sans distillation.
Comparaison avec les Méthodes de Distillation : Dans une comparaison contrôlée avec CC-DIST (qui effectue une distillation de caractéristiques robustes dans l'espace des caractéristiques), AD-CERT (distillation au niveau des logits) atteint une précision certifiée plus élevée, tandis que CC-DIST conserve une précision standard légèrement supérieure. AD-CERT améliore la précision certifiée par rapport à CC-DIST jusqu'à 5,40 points de pourcentage dans certains contextes spécifiques.
Études d'Ablation :
- Le retrait de la composante IBP pour tester les techniques de distillation pure révèle que l'appariement d'un enseignant uniquement sur des entrées propres (KL Naturelle) échoue à transférer la robustesse adversarielle.
- La distillation adversarielle au niveau des logits (AD) préserve la robustesse de l'enseignant plus efficacement que la distillation dans l'espace des caractéristiques ou d'autres variantes de distillation adversarielle (comme RSLAD) lorsqu'elle est utilisée comme point final empirique.
- L'analyse de sensibilité du coefficient IBP $\alpha$ confirme que la réduction de la force de l'IBP améliore la précision standard mais finit par dégrader la précision certifiée, ce qui est cohérent avec les tendances de la littérature sur les pertes expressives.

Signification et Revendications
L'article affirme qu'AD-CERT parvient à combler le fossé entre la robustesse empirique et la vérification formelle. En découplant le point final empirique (en utilisant une distillation au niveau des logits guidée par l'enseignant) du point final certifié (en utilisant l'IBP pur), la méthode évite les complexités des pertes expressives étroitement couplées trouvées dans les travaux antérieurs.

Les auteurs soulignent que, bien qu'AD-CERT atteigne une performance certifiée supérieure, un écart important subsiste entre la précision standard/adversarielle de l'enseignant empiriquement robuste et celle de l'étudiant certifiable, particulièrement pour les rayons de perturbation importants (ex: CIFAR-10 à $\epsilon = 8/255$ ). L'article conclut que si la distillation au niveau des logits est un mécanisme efficace pour transférer la robustesse, des travaux futurs sont nécessaires pour développer des méthodes plus fortes de transfert de la robustesse empirique vers la robustesse certifiable sans sacrifier la précision standard.