🤖 machine learning

CEAR: Certified Ensemble Adversarial Robustness in DNNs

Cet article introduit CEAR, une méthode de défense basée sur l'ensemble qui combine l'entraînement empirique avec le lissage aléatoire et de nouveaux mécanismes de vote pour atteindre une robustesse certifiée supérieure contre les attaques white-box adaptatives sur plusieurs jeux de données.

Auteurs originaux : Daniel Sadig, Mohammadreza Maleki, Hamed Karimi, Reza Samavi

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniel Sadig, Mohammadreza Maleki, Hamed Karimi, Reza Samavi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez une équipe de gardes experts (un réseau de neurones profonds) protégeant un bâtiment de grande valeur. Leur travail est de reconnaître les visiteurs et de laisser entrer les bonnes personnes. Cependant, des voleurs astucieux (attaques adverses) peuvent modifier de manière infime et presque invisible l'apparence d'un visiteur — comme un chapeau légèrement différent ou une posture subtilement modifiée — pour tromper les gardes et laisser entrer un criminel.

Le document présente un nouveau système de sécurité appelé CEAR (Robustesse Adversaire d'Ensemble Certifiée). Au lieu de compter sur un seul garde ou sur un seul type de ruse pour arrêter les voleurs, le CEAR utilise une combinaison de trois stratégies intelligentes pour rendre l'équipe de sécurité presque impossible à duper.

Voici comment fonctionne le CEAR, décomposé en concepts simples :

1. L'équipe de gardes diversifiés (L'Ensemble)

La plupart des systèmes de sécurité utilisent un garde unique ou une équipe de gardes identiques. Si un voleur trouve comment en tromper un, il peut tous les tromper.

La solution CEAR : Le CEA engage toute une équipe de gardes différents (un « ensemble »). Mais voici le twist : chaque garde voit le monde légèrement différemment.
L'analogie : Imaginez donner à chaque garde une paire de lunettes légèrement embuées différente. Une paire est un peu plus embuée que l'autre. Parce qu'ils voient le visiteur à travers des « lentilles » différentes, une ruse qui confond le Garde A pourrait ne pas confondre le Garde B. Cela rend beaucoup plus difficile pour un voleur de trouver une ruse unique qui fonctionne sur toute l'équipe.

2. L'entraînement « Doux » (Distillation avec Température)

Habituellement, les gardes sont entraînés pour être très stricts : « Ceci est un chat, cela est un chien. » Mais les gardes stricts sont facilement déconcertés par de petits changements.

La solution CEAR : Le système utilise un « Maître d'école » pour entraîner les gardes. Au lieu de dire simplement « C'est un chat », le Maître d'école dit : « Cela ressemble à 80 % à un chat, mais il y a un petit peu de chien en lui. »
L'analogie : C'est comme apprendre à un enfant à reconnaître les animaux en lui montrant à quel point un loup est similaire à un chien, plutôt que de lui faire mémoriser des définitions rigides. Cela rend la prise de décision des gardes plus « fluide ». Si un voleur change l'oreille d'un chat juste un tout petit peu, le garde ne panique pas soudainement en pensant que c'est une voiture ; il dit toujours avec confiance : « C'est toujours un chat. »

3. L'inférence « Statique » (Logits Bruyants)

Lorsqu'un visiteur arrive réellement à la porte, les voleurs tentent d'étudier les réactions des gardes pour comprendre comment s'introduire.

La solution CEAR : Chaque fois qu'un visiteur est contrôlé, le système ajoute un peu de « statique » ou de « bruit » aléatoire à l'image avant que les gardes ne la regardent.
L'analogie : Imaginez que les gardes regardent le visiteur à travers une fenêtre qui vibre constamment de manière légère. Même si le voleur essaie de calculer exactement comment bouger son visage pour tromper le garde, la vibration constante rend le calcul inutile. Le voleur ne peut pas prédire exactement ce que le garde verra ensuite.

4. Le Système de Vote Intelligent

Une fois que tous les gardes ont pris leur décision, comment l'équipe décide-t-elle qui a raison ? Le CEAR utilise deux méthodes de vote différentes selon la confiance des gardes.

Méthode A : La « Médiane Géométrique » (Pour les situations de confiance)
- Comment ça marche : Si les gardes sont globalement d'accord, cette méthode trouve le « juste milieu » qui ignore les valeurs aberrantes.
- L'analogie : Imaginez un groupe d'amis devinant le poids d'une pastèque. Si un ami devine 5 livres et un autre 500 livres, mais que tous les autres disent 20 livres, la « Médiane Géométrique » ignore les devinettes folles et s'en tient au consensus réaliste. C'est idéal quand tout le monde est plutôt sûr de soi.
Méthode B : Le « Vote Pondéré Robuste » (Pour les situations confuses)
- Comment ça marche : Si le visiteur est difficile à identifier (bruit élevé), cette méthode écoute davantage les gardes qui ont historiquement été les plus précis pour gérer les cas difficiles.
- L'analogie : Si la pastèque est enveloppée dans une couverture et difficile à voir, vous n'écoutez pas tout le monde de la même manière. Vous écoutez davantage l'ami qui est connu pour être le meilleur pour deviner les objets enveloppés. Cela garantit que l'équipe n'est pas influencée par les gardes qui sont actuellement confus.

5. Le « Certificat de Sécurité »

La partie la plus excitante du CEAR est qu'il ne se contente pas d'espérer qu'il est sûr ; il le prouve.

L'analogie : La plupart des systèmes de sécurité disent : « Nous pensons que nous sommes en sécurité. » Le CEAR est comme un inspecteur de sécurité qui fait le tour du bâtiment et dit : « Je peux prouver mathématiquement que peu importe la force avec laquelle le voleur secoue la porte (jusqu'à une certaine limite), la serrure ne cassera pas. »
Le document montre que le CEAR peut prouver sa sécurité sur une plage beaucoup plus large de « secousses » (perturbations) que les méthodes précédentes.

Qu'ont-ils trouvé ?

Les chercheurs ont testé ce système sur trois différents « terrains d'entraînement » (jeux de données) :

MNIST : Chiffres manuscrits simples (comme un test de sécurité de base).
CIFAR10 : Images colorées d'objets du quotidien (comme une rue animée).
TinyImageNet : Images plus complexes et de haute résolution (comme un aéroport bondé).

Les Résultats :

Meilleure Sécurité : Le CEAR a prouvé qu'il pouvait résister à des attaques plus fortes que les méthodes précédentes.
Moindre Transferabilité : Une ruse qui fonctionnait sur un garde de l'équipe ne fonctionnait pas sur les autres, donc les voleurs ne pouvaient pas réutiliser leurs ruses.
Adaptation Intelligente : Le système savait quand utiliser la « Médiane Géométrique » (quand les choses étaient claires) et quand passer au vote « Pondéré Robuste » (quand les choses étaient confuses), maintenant une sécurité serrée dans les deux scénarios.

En résumé, le CEAR est une équipe de sécurité qui utilise des perspectives diverses, un entraînement fluide, du bruit aléatoire et un vote intelligent pour garantir mathématiquement qu'ils ne seront pas dupés par des voleurs astucieux, même lorsque les voleurs connaissent exactement comment les gardes fonctionnent.

Résumé Technique : CEAR : Robustesse d'Ensemble Certifiée pour les DNN

Énoncé du Problème
Les réseaux de neurones profonds (DNN) atteignent une grande précision sur les ensembles de tests standards, mais restent hautement vulnérables aux perturbations adverses — des modifications d'entrée imperceptibles qui altèrent radicalement les prédictions. Cette vulnérabilité entrave leur déploiement dans les applications critiques pour la sécurité. Les mécanismes de défense existants se répartissent en deux catégories :

Défenses Empiriques : Des méthodes comme l'entraînement adversarial et la distillation défensive améliorent la robustesse pendant l'entraînement, mais manquent de garanties formelles et échouent souvent face à des attaques white-box adaptatives puissantes (ex. : C&W, AutoAttack).
Défenses Certifiées : Des méthodes comme le lissage aléatoire (randomized smoothing) fournissent des garanties prouvables que les prédictions restent invariantes dans un rayon de perturbation spécifique. Cependant, les classificateurs individuels peinent souvent à maintenir une précision certifiée élevée pour de grands rayons de perturbation.
Bien que les méthodes d'ensemble aient montré des promesses pour améliorer la robustesse par agrégation, les approches existantes souffrent souvent d'une haute transférabilité adversaire (où les attaques sur un réseau réussissent sur les autres) et d'un déclin abrupt de la précision certifiée à mesure que les budgets de perturbation augmentent.

Méthodologie
Les auteurs proposent CEAR (Certified Ensemble Adversarial Robustness), un cadre qui unifie les mécanismes de défense empirique et certifiée au sein d'un pipeline d'entraînement d'ensemble. La méthode opère en deux phases :

Entraînement Robuste :
- Augmentation Gaussienne Variable (VGA) : Contrairement aux ensembles standards qui partagent un bruit uniforme, CEAR entraîne chaque réseau de l'ensemble avec un niveau de bruit distinct. Un écart-type de base ( $\sigma_{tr}$ ) est perturbé par une variable aléatoire $\beta$ échantillonnée à partir d'une distribution uniforme, ce qui génère des distributions de bruit uniques ( $\sigma_{tr} + \beta$ ) pour chaque réseau étudiant. Cette diversité réduit la transférabilité adversaire.
- Distillation avec Mise à l'Échelle de la Température (DTS) : Un réseau enseignant est entraîné pour générer des étiquettes douces (distributions de probabilité lissées par un paramètre de température $t$ ). Les réseaux étudiants sont ensuite entraînés sur des entrées augmentées par Gauss sur ces étiquettes douces. Ce processus lisse les frontières de décision et capture les similitudes inter-classes, améliant la généralisation contre des attaques imprévues.
Inférence Robuste :
- Logits Bruités : Pour empêcher les attaquants de récupérer les logits originaux (une vulnérabilité de la distillation standard), du bruit gaussien est injecté dans les données d'entrée lors de l'inférence. Cela crée des logits intrinsèquement stochastiques sans modifier les paramètres du modèle, obscurcissant les gradients contre les attaques itératives comme C&W.
- Mécanismes d'Agrégation : CEAR emploie deux stratégies de vote selon le régime de confiance :
  - Médiane Géométrique (GM) : Agrège les probabilités softmax en utilisant la médiane géométrique. Elle est robuste aux valeurs aberrantes et efficace dans les régions de haute confiance et de faible perturbation.
  - Ensemble Pondéré Robuste (RW) : Attribue des poids à chaque réseau étudiant en fonction de sa précision certifiée individuelle sur un ensemble de validation laissé de côté. Les réseaux ayant une précision certifiée plus élevée contribuent davantage à la prédiction finale. Ce mécanisme est conçu pour gérer des budgets de perturbation plus larges et des régimes de faible confiance.
Vérification Certifiée :
Le document étend le lissage aléatoire pour vérifier les classificateurs basés sur des ensembles. Il définit un classificateur d'ensemble lissé $G$ et utilise l'échantillonnage de Monte Carlo pour calculer une borne de confiance inférieure sur la probabilité de la classe prédite. Si cette borne dépasse 0,5, le modèle est certifié robuste dans un rayon calculé $R$ .

Principales Contributions

Cadre CEAR : Un cadre de défense unifié combinant DTS et VGA dans un pipeline d'ensemble pour promouvoir la fluidité de la frontière de décision et la diversité. Il exploite les logits bruités à l'inférence pour entraver les attaques basées sur le gradient et utilise le vote GM et RW pour récupérer la précision propre tout en améliorant la robustesse.
Vérification Étendue : Les auteurs étendent la méthode de vérification par lissage aléatoire pour vérifier formellement la robustesse des classificateurs basés sur des ensembles, dérivant un corollaire pour le rayon de robustesse d'un ensemble.
Validation Empirique : Des expériences approfondies sur MNIST, CIFAR10 et TinyImageNet démontrent que CEAR atteint une précision certifiée moyenne plus élevée à de grands rayons et présente une plus grande résilience face aux attaques white-box basées sur le gradient par rapport aux lignes de base de l'état de l'art (RandSmooth et SWEEN).

Résultats Expérimentaux

Précision Certifiée : Sur MNIST et CIFAR10, les variantes de CEAR surpassent les lignes de base. Spécifiquement, CEAR(GM) atteint une précision certifiée supérieure dans les régions de haute confiance (petits rayons), tandis que CEAR(RW) maintient une précision plus élevée à mesure que les rayons de perturbation augmentent et que la confiance du modèle diminue. Par exemple, sur CIFAR10 avec $\sigma_v=1.0$ , CEAR(RW) atteint 20 % de précision certifiée à $R=1.0$ , surpassant les lignes de base.
Rayon de Robustesse : CEAR(RW) atteint systématiquement des rayons de robustesse certifiée plus grands que les lignes de base, particulièrement dans les régions de faible confiance sous de fortes perturbations.
Transférabilité : CEAR réduit considérablement les taux de succès des attaquants contre les attaques transférables. Sur CIFAR10 sous la norme $\ell_\infty$ , CEAR(RW) a réduit le taux de succès de l'attaquant à 46,00 %, contre 96,56 % pour RandSmooth et 60,10 % pour SWEEN.
Surcharge de Calcul : En tant que méthode d'ensemble, CEAR subit une croissance linéaire du calcul avec le nombre de réseaux ( $M$ ). Cependant, les auteurs notent que cette surcharge est acceptable pour les applications critiques de sécurité où des garanties vérifiables sont requises.

Signification et Revendications
L'article affirme que CEAR répond au défi fondamental de l'amélioration de la robustesse à de plus grands rayons de perturbation en combinant efficacement la diversité de l'ensemble avec des mécanismes de défense certifiés. Les auteurs soulignent que le choix de la stratégie d'agrégation est critique : une agrégation par médiane géométrique optimisée est préférable lorsque les prédictions de l'ensemble sont confiantes, tandis qu'une pondération robuste fixe est supérieure dans les régimes adverses de haute incertitude. Ce travail démontre que l'intégration de distributions de bruit variables pendant l'entraînement avec des mécanismes de vote adaptatifs ou robustes peut produire des garanties prouvables qui surpassent les défenses existantes à réseau unique et à ensemble uniforme. Les auteurs concluent en notant que des travaux futurs étudieront l'influence systématique de la mise à l'échelle de la température dans DTS sur la diversité et la calibration de l'ensemble.