🤖 machine learning

NERO-Net: A Neuroevolutionary Approach for the Design of Adversarially Robust CNNs

Le papier présente NERO-Net, une approche neuroévolutrice qui conçoit des architectures de réseaux de neurones convolutifs intrinsèquement robustes aux attaques adverses en optimisant la structure du modèle sans recourir à l'entraînement adversarial, permettant ainsi d'obtenir des performances élevées à la fois sur des données propres et sous attaque.

Auteurs originaux : Inês Valentim, Nuno Antunes, Nuno Lourenço

Publié 2026-03-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Inês Valentim, Nuno Antunes, Nuno Lourenço

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🛡️ NERO-Net : Comment entraîner un architecte à construire des châteaux forts contre les hackers

Imaginez que vous voulez construire un château (une intelligence artificielle) capable de résister aux attaques de voleurs (les pirates informatiques).

Habituellement, pour rendre un château solide, les ingénieurs utilisent une méthode appelée "Entraînement Adversaire". C'est comme si, pendant la construction, on envoyait constamment des voleurs essayer de casser les murs. Si le mur tient, on le renforce. Si le voleur passe, on le répare. C'est efficace, mais c'est long, coûteux et cela rend parfois le château moins beau ou moins fonctionnel pour les gens honnêtes (les utilisateurs normaux).

Le problème : Les chercheurs se sont rendu compte que même si le château résiste aux voleurs pendant la construction, la structure elle-même (les plans, les matériaux) pourrait être faible. Si on enlève les voleurs de l'équation, le château s'effondre.

🧬 La solution : NERO-Net (L'Évolution Naturelle des Châteaux)

Les auteurs de ce papier, Inês, Nuno et Nuno, proposent une nouvelle approche appelée NERO-Net. Au lieu de faire construire le château par un seul architecte qui apprend par essais et erreurs avec des voleurs, ils utilisent une méthode inspirée de la nature : l'évolution.

Voici comment cela fonctionne, étape par étape :

1. La "Salle des Plans" (L'Évolution)

Imaginez une grande salle remplie de milliers d'architectes différents. Chacun dessine un plan de château unique.

Au lieu de les faire construire un par un avec des voleurs (ce qui prendrait des années), on les laisse construire rapidement avec des matériaux standards.
Ensuite, on lance un test de résistance rapide : on envoie un petit voleur (une attaque informatique simple) pour voir si le château tient le coup.

2. Le Critère de Sélection (La "Formule Magique")

C'est ici que la magie opère. Habituellement, on ne sélectionne que les châteaux les plus beaux ou les plus grands. Ici, les chercheurs ont inventé une formule de sélection spéciale (appelée fonction de fitness).

Cette formule dit : "Je ne veux pas seulement un château beau pour les gens normaux. Je veux un château qui reste beau ET qui résiste un peu aux voleurs, même si on ne l'a pas entraîné spécifiquement pour ça."
Si un plan de château est beau mais s'effondre au premier coup de marteau, il est éliminé.
Si un plan est un peu moins beau mais très solide, il a une chance.
Le but est de trouver le meilleur compromis : un château qui plaît aux habitants (haute précision sur les images normales) et qui résiste aux attaques (robustesse).

3. L'Analogie du "Rebondissement"

Pendant l'évolution, les chercheurs ont remarqué quelque chose d'intéressant : certains plans de châteaux, même s'ils n'ont jamais été attaqués pendant la construction, résistent naturellement mieux que d'autres. C'est comme si certains matériaux de construction étaient intrinsèquement plus durs.

NERO-Net a réussi à découvrir ces "super-matériaux" (des architectures de réseaux de neurones) qui sont naturellement robustes.

🏆 Les Résultats : Le Château Découvert

Après avoir fait évoluer des centaines de générations de plans, ils ont trouvé un "champion" :

Sans entraînement spécial : Ce château, construit avec des méthodes classiques, a résisté à une attaque simple (FGSM) avec un score de 33 % (contre 0 % pour les modèles classiques) tout en restant très performant pour les utilisateurs normaux (87 % de réussite).
Avec un peu plus d'entraînement : En laissant ce même château se perfectionner un peu plus longtemps (sans le faire attaquer), sa résistance a grimpé à 47 % et sa performance normale à 93 %.
Le test ultime : Même si on lui apprend à se battre contre des voleurs très agressifs (entraînement adversaire), il reste solide, atteignant 40 % de résistance contre des attaques complexes.

💡 Pourquoi c'est important ?

Imaginez que vous achetiez une voiture.

L'approche classique : On achète une voiture standard, puis on installe des blindages, des alarmes et des pièges à voleurs. C'est lourd et ça consomme beaucoup de carburant.
L'approche NERO-Net : On fait évoluer la conception de la voiture pour qu'elle soit naturellement plus sûre. La structure même du châssis est conçue pour résister aux chocs. On n'a pas besoin de tout blindage externe pour qu'elle soit déjà plus sûre qu'une voiture standard.

En résumé

Ce papier nous dit que la forme compte autant que l'entraînement. En utilisant l'évolution artificielle pour concevoir les "plans" des intelligences artificielles, on peut créer des systèmes qui sont intrinsèquement plus difficiles à tromper par des pirates, sans avoir besoin de méthodes d'entraînement coûteuses et complexes dès le début.

C'est comme découvrir que certains types de briques, simplement par leur forme, forment des murs que les voleurs ne peuvent pas franchir, même sans mortier spécial ! 🧱🛡️

1. Problématique

Les réseaux de neurones artificiels (ANN), et particulièrement les réseaux de neurones convolutifs (CNN), sont vulnérables aux exemples adverses : des entrées modifiées par de petites perturbations imperceptibles à l'œil humain, conçues pour induire en erreur le modèle. Bien que l'entraînement adversarial (ajout d'exemples adverses aux données d'entraînement) soit la défense standard, la recherche sur la conception d'architectures possédant une robustesse intrinsèque (sans dépendre exclusivement de l'entraînement adversarial) reste sous-exploitée.

Les approches existantes de Neuroévolution (NE) et de Recherche d'Architecture Neurale (NAS) souffrent de plusieurs limitations :

Elles privilégient souvent la performance prédictive pure au détriment de la robustesse.
Elles utilisent des espaces de recherche restreints (basés sur des "cellules" fixes) qui limitent l'émergence de topologies novatrices.
L'intégration de l'entraînement adversarial pendant la boucle d'évolution masque la contribution réelle de l'architecture à la robustesse, rendant difficile de distinguer si la robustesse provient de la structure ou de la méthode d'entraînement.

2. Méthodologie : NERO-Net

Les auteurs proposent NERO-Net (NeuroEvolution of adversarially RObust artificial neural Networks), une approche basée sur la neuroévolution pour concevoir des CNN résistants aux attaques.

A. Cadre Général

NERO-Net est une extension de l'algorithme Fast-DENSER. Contrairement aux méthodes classiques qui intègrent l'entraînement adversarial dans la boucle d'évolution, NERO-Net évite l'entraînement adversarial pendant la recherche. L'objectif est de découvrir des architectures qui restent robustes même lorsqu'elles sont entraînées avec des méthodes standard (non robustes).

B. Fonction de Fitness et Stratégie d'Évaluation

La fonction de fitness ( $F_\beta$ ) est conçue pour co-optimiser la précision sur les données propres (clean accuracy, $C$ ) et la précision sur les données adverses (adversarial accuracy, $A$ ) :
$F_\beta = (1 + \beta^2) \cdot \frac{C \times A}{C + \beta^2 \cdot A}$

Estimation efficace : Pour réduire le coût computationnel, l'attaque FGSM (Fast Gradient Sign Method) est utilisée comme estimateur de robustesse pendant la recherche. Des attaques plus fortes (comme PGD) seraient trop coûteuses et rendraient la précision adversale proche de zéro pour tous les individus, annulant la pression sélective.
Période de "Warm-up" : Une phase initiale où la fonction de fitness ne considère que la précision sur les données propres ( $C$ ) permet d'établir une base de performance avant d'introduire la contrainte de robustesse.
Détection d'individus non viables : Des contraintes sont appliquées pour éliminer les solutions dégénérées (instabilité numérique ou classification triviale d'une seule classe).

C. Représentation Génétique et Opérateurs

Blocs de couches : Au lieu de coder des couches isolées, la grammaire encode des blocs composites (ex: Conv + BN + Activation), reflétant les architectures modernes.
Connectivité flexible : Les auteurs ont supprimé la contrainte de connexion stricte à la couche précédente, permettant des connexions résiduelles (skip connections) plus libres et une topologie plus complexe.
Espace de recherche : L'espace est plus vaste que les approches NAS basées sur des cellules fixes, inspiré de la structure macro de NSGA-Net mais avec des paramètres évolutifs (nombre de filtres, types d'activation, etc.).

D. Protocole Expérimental

Jeu de données : CIFAR-10.
Menace cible : Norme $L_\infty$ avec $\epsilon = 8/255$ .
Entraînement : Les candidats sont entraînés avec des méthodes standards (SGD, augmentation de données classique) pendant une durée limitée (cap de 30 minutes) pour garantir la faisabilité computationnelle.

3. Résultats Clés

A. Performance pendant la Recherche Évolutionnaire

Le meilleur individu trouvé après 100 générations (avec un budget d'entraînement limité) présente :

Précision sur données propres : 87,49 %
Précision adversale (contre FGSM) : 33,25 %
Ces résultats démontrent que l'évolution a réussi à trouver des architectures intrinsèquement plus robustes que des architectures aléatoires, sans entraînement adversarial.

B. Évaluation Post-Évolution (Entraînement Étendu)

Lorsque le meilleur individu est soumis à un entraînement standard prolongé (350 époques) :

La précision propre monte à 93,47 %.
La précision adversale (FGSM, $L_\infty$ ) atteint 47,88 %.
Cela confirme que l'architecture possède une robustesse inhérente qui se révèle pleinement avec un entraînement suffisant.

C. Entraînement Adversarial et Attaques Fortes

Lorsque le modèle subit un entraînement adversarial (PGD 7 étapes) :

La précision adversale contre l'attaque FGSM atteint 60,09 %.
La précision contre l'attaque composite AutoAttack (AA) atteint 40,40 %.
Robustesse multi-menaces : Bien que optimisé uniquement pour $L_\infty$ , le modèle montre une robustesse surprenante contre les perturbations $L_2$ (précision de 77,88 % contre FGM et 72,83 % contre PGD20 après entraînement adversarial), surpassant même le modèle de référence NSGA-Net sur ce front.

4. Contributions Principales

Cadre NERO-Net : Un framework de neuroévolution qui intègre la robustesse dans la fonction de fitness sans utiliser l'entraînement adversarial pendant la phase de recherche, isolant ainsi la contribution de l'architecture.
Représentation Génétique Flexible : Une nouvelle représentation génotypique permettant des blocs de couches composites et des schémas de connectivité (skip connections) plus riches que les approches NAS traditionnelles.
Preuve de Robustesse Intrinsèque : La démonstration que l'évolution peut découvrir des architectures CNN qui résistent naturellement aux attaques adverses, même entraînées de manière standard, et qui bénéficient d'une robustesse transversale ( $L_2$ et $L_\infty$ ).

5. Signification et Conclusion

Ce travail démontre que la conception architecturale joue un rôle crucial dans la robustesse aux attaques adverses, au-delà des simples techniques d'entraînement. NERO-Net prouve que l'évolution peut naviguer dans un paysage complexe pour trouver des structures intrinsèquement robustes.

Limites et Perspectives :

Le modèle évolué est plus grand (26,7 M de paramètres) que les modèles de référence (3,3 M), ce qui nécessite plus de ressources pour converger.
Les résultats après entraînement adversarial sont légèrement inférieurs à ceux de modèles NAS spécialisés sur $L_\infty$ , suggérant que l'optimisation des hyperparamètres d'entraînement adversarial spécifique à l'architecture évolue pourrait améliorer les performances.
Le coût computationnel de la neuroévolution reste un défi, ouvrant la voie à l'utilisation de "proxies à coût nul" (zero-cost proxies) adaptés à la robustesse pour l'évaluation future.

En résumé, NERO-Net offre une nouvelle voie prometteuse pour concevoir des réseaux de neurones plus sûrs et résilients, en mettant l'accent sur la structure du modèle plutôt que sur des défenses purement algorithmiques.