Résumé technique : Repenser les paradigmes d'évaluation dans l'entraînement certifié basé sur l'IBP

Énoncé du problème

Les réseaux de neurones profonds (DNN) atteignent des performances élevées sur les tâches d'apprentissage supervisé mais restent vulnérables aux perturbations adverses. Bien que la vérification des réseaux de neurones offre des garanties de robustesse mathématiquement rigoureuses, elle est coûteuse en termes de calcul (NP-complet). Les techniques d'entraînement certifié, particulièrement celles basées sur la propagation d'intervalles (Interval Bound Propagation - IBP), visent à optimiser la robustesse vérifiable pendant l'entraînement. Cependant, ces méthodes induisent un compromis fondamental entre la précision naturelle (performance sur les données propres) et la précision certifiée (performance sur les entrées prouvables comme robustes).

Le paradigme d'évaluation actuel dans le domaine est défectueux : les chercheurs rapportent généralement une configuration unique (un point unique dans l'espace de compromis) déterminée par un réglage manuel ou une recherche par grille. Cette pratique est problématique car :

1. Biais : La comparaison de configurations uniques dépend fortement du point de compromis spécifique choisi, ce qui conduit à des conclusions biaisées sur l'état de l'art.
2. Sous-réglage : Les travaux antérieurs échouent souvent à explorer l'intégralité de l'espace des hyperparamètres, manquant potentiellement des configurations supérieures qui dominent les résultats rapportés.
3. Manque de standardisation : Il n'existe aucune procédure non biaisée et standardisée pour positionner les nouvelles méthodes par rapport aux méthodes existantes à travers tout le spectre de la robustesse-précision.

Méthodologie

Les auteurs proposent un changement de paradigme passant d'une évaluation par point unique à une évaluation basée sur le front de Pareto. Au lieu d'optimiser pour un seul objectif (par exemple, maximiser la précision certifiée), ils traitent le problème comme une tâche d'optimisation multi-objectif pour découvrir l'ensemble des configurations non dominées (le front de Pareto).

Approche centrale

1. Optimisation multi-objectif des hyperparamètres (MO-HPO) : Les auteurs emploient l'optimisation bayésienne multi-objectif utilisant des substituts de processus gaussiens et la fonction d'acquisition de l'amélioration de l'hypervolume attendu (Expected Hypervolume Improvement - EHVI). Cela permet l'optimisation simultanée de la précision naturelle et de la précision certifiée.
2. Conception de l'espace de recherche : Pour garantir une comparaison impartiale, l'espace de recherche est exhaustif, incluant :
   • Des hyperparamètres généraux du deep learning (taux d'apprentissage, optimiseurs comme Adam/AdamW/RAdam, schémas de décroissance).
   • Des paramètres de compromis spécifiques à la méthode (par exemple, $\kappa$ pour IBP/CROWN-IBP, $\alpha$ pour MTL-IBP, $\tau$ pour SABR).
   • Des paramètres de calendrier d'entraînement (époques de warm-up, époques de ramp-up, facteurs d'échelle de $\epsilon$).
   • Des paramètres d'attaque (étapes PGD, taille du pas, redémarrages).
   • Crucialement, l'espace de recherche inclut des paramètres souvent fixés ou ignorés dans la littérature antérieure (par exemple, permettre les transitions de $\kappa$, varier les longueurs de warm-up), permettant la découverte de configurations auparavant inexplorées.
3. Proxy d'évaluation efficace : Puisque la vérification complète (requise pour la précision certifiée finale) est trop coûteuse pour chaque essai, la boucle d'optimisation utilise une vérification incomplète (IBP, CROWN, CROWN-IBP) comme objectif proxy.
4. Vérification finale : Une fois les configurations Pareto-optimales identifiées via le proxy, elles sont réévaluées à l'aide de la vérification complète de pointe (spécifiquement $\alpha\beta$-CROWN) pour établir le front de Pareto final. Pour gérer les coûts, le regroupement par simple liaison (single-linkage clustering) est utilisé pour filtrer les configurations redondantes avant la vérification complète.
5. Budget standardisé : Toutes les méthodes sont évaluées sous un budget de calcul fixe (100 essais par graine, 3 graines par méthode) pour assurer une comparaison équitable.

Contributions clés

1. Nouveau standard d'évaluation : Le papier établit un protocole d'évaluation multi-objectif standardisé qui remplace les comparaisons par point unique par une analyse de front de Pareto. Cela permet une évaluation nuancée où les chercheurs peuvent choisir des méthodes selon leurs besoins spécifiques (par exemple, prioriser la précision propre vs les garanties certifiées).
2. Découverte de configurations sous-réglées : En explorant systématiquement l'espace des hyperparamètres, les auteurs démontrent que de nombreux résultats précédemment rapportés comme "état de l'art" sont dominés par des configurations trouvées grâce à leur optimisation automatisée. Cela révèle un "sous-réglage" significatif dans la littérature existante.
3. Benchmarking complet : L'étude fournit la première comparaison multi-objectif complète des principales méthodes d'entraînement certifié basées sur l'IBP (IBP, CROWN-IBP, SABR, MTL-IBP) sur CIFAR-10 et Tiny ImageNet avec des rayons de perturbation variables ($\epsilon$).
4. Perspectives sur les hyperparamètres : En utilisant la fANOVA, les auteurs identifient que les interactions complexes entre les hyperparamètres (par exemple, la transition de $\kappa$ pendant le ramp-up, l'échelle de $\epsilon$, et la durée du warm-up) sont critiques pour atteindre des compromis optimaux, des informations souvent manquées lors d'un réglage manuel.

Résultats

• Performance supérieure : L'évaluation proposée découvre des configurations qui dominent les résultats précédents. Par exemple, sur CIFAR-10 avec $\epsilon = 2/255$, SABR obtient des gains de plus de 1 % tant en précision propre qu'en précision certifiée par rapport à la littérature. Sur Tiny ImageNet, MTL-IBP montre des améliorations d'environ 2 % dans les deux métriques.
• Complémentarité des méthodes : Aucune méthode ne domine uniformément.
  • SABR excelle généralement à atteindre une précision naturelle élevée.
    [] MTL-IBP tend à fournir les garanties certifiées les plus fortes, particulièrement à de petits rayons de perturbation.
  • IBP et CROWN-IBP restent compétitifs, surtout lorsque des précisions naturelles plus élevées sont souhaitées ou à des rayons de perturbation plus larges ($\epsilon = 8/255$), contestant l'hypothèse de leur obsolescence.
• Stagnation de la progression à grands rayons : L'analyse suggère que la progression à de plus grands rayons de perturbation a stagné, les anciennes méthodes contribuant de manière significative au front de Pareto combiné.
• Réglage sur l'ensemble de validation vs ensemble de test : Les auteurs démontrent que le réglage des hyperparamètres directement sur l'ensemble de test (une pratique courante mais problématique) conduit à des fronts de Pareto qui dominent strictement ceux obtenus via le réglage sur l'ensemble de validation, indiquant que les évaluations antérieures ont probablement surestimé les performances de généralisation.
• Efficacité computationnelle : L'étude montre que bien que la vérification complète soit coûteuse, réduire le délai d'expiration de la vérification (par exemple, de 1000s à 100s sur CIFAR-10) préserve la forme du front de Pareto tout en réduisant les coûts de calcul d'un ordre de grandeur.

Signification et revendications

Le papier affirme que l'état de l'art actuel de l'entraînement certifié est largement sous-estimé en raison d'un mauvais réglage des hyperparamètres et de méthodologies d'évaluation défectueuses. En adoptant une perspective multi-objectif :

• Réévaluation de l'état de l'art : Les avancées récentes sont moins prononcées qu'assumé précédemment, particulièrement pour les rayons de perturbation plus larges.
• Informations exploitables : Ce travail fournit des conseils concrets pour la communauté, soulignant que les interactions complexes entre les hyperparamètres (souvent négligées) sont essentielles pour une performance optimale.
• Direction future : Les auteurs préconisent un passage vers des protocoles d'évaluation multi-objectifs standardisés. Ils suggèrent que la communauté se concentre sur des stratégies de "vérification peu coûteuse" plutôt que de compter sur des délais de vérification de plus en plus longs pour distinguer les méthodes, car des délais plus courts sont souvent suffisants pour identifier le front de Pareto.

En fin de compte, le papier soutient qu'une évaluation équitable nécessite l'exploration de l'intégralité de l'espace de compromis, permettant le développement de modèles certifiés qui soient à la fois robustes et pratiquement utiles, tout en évitant les conclusions trompeuses tirées des comparaisons de configurations uniques.