Empirical Evidence for Simply Connected Decision Regions in Image Classifiers

Résumé technique : Preuves empiriques de régions de décision simplement connexes dans les classificateurs d'images

Énoncé du problème
Alors que des travaux empiriques antérieurs ont établi que les régions de décision dans les réseaux de neurones profonds sont connexes par arcs (c'est-à-dire que deux images quelconques d'une même classe prédite peuvent être reliées par un chemin continu au sein de cette classe), la structure topologique d'ordre supérieur reste floue. Plus précisément, il est inconnu si ces régions sont simplement connexes. Une région est simplement connexe si toute boucle fermée à l'intérieur peut être continûment contractée en un point sans quitter la région. Si une région de décision contient des « trous » (boucles non contractibles), cela implique une topologie plus complexe et fragmentée, susceptible d'affecter l'interprétabilité et la robustesse aux attaques adverses. Cet article aborde la question suivante : les boucles fermées à l'intérieur d'une région de décision prédite peuvent-elles être remplies par une surface préservant l'étiquette ?

Méthodologie
Les auteurs proposent une procédure itérative de remplissage par maillage quadrangulaire pour construire des surfaces de résolution finie, préservant l'étiquette, délimitées par une boucle donnée d'images de même étiquette.

1. Configuration du problème : L'espace d'entrée est l'espace des images normalisées. Étant donné quatre images ($x_{00}, x_{10}, x_{01}, x_{11}$) assignées à la même étiquette $y$, l'objectif est de construire une surface $S: [0, 1]^2 \to X$ telle que la frontière corresponde à la boucle et que l'intérieur satisfasse $f(S(u, v)) = y$.
2. Construction de la frontière : Les quatre coins définissent une boucle. Puisque les lignes droites entre des images de même étiquette peuvent traverser des frontières de décision, les auteurs construisent une boucle de frontière linéaire par morceaux en initialisant des sommets le long des côtés et en réparant les sommets hors-étiquette à l'aide d'une projection ciblée de type DeepFool vers l'intérieur de la région de décision cible.
3. Remplissage de la surface (Subdivision adaptative) :
   • La méthode opère sur une grille dyadique, en commençant par un quadrilatère unique (quad) défini par la frontière.
   • Vérification de la résolution : Un quad est accepté si ses sommets sont vérifiés comme étant dans la région cible et si son diamètre géométrique (mesuré en unités de gris-RMS) est inférieur à un seuil $\tau$.
   • Vérification de l'étiquette : Si le seuil de taille n'est pas atteint, l'interpolation bilinéaire du quad est échantillonnée sur une grille adaptative. Si tous les points échantillonnés conservent l'étiquette cible, le quad est accepté.
   • Subdivision : Si la vérification de l'étiquette échoue, le quad est subdivisé en quatre quads enfants. De nouveaux milieux d'arêtes et points centraux sont initialisés par interpolation linéaire.
   • Réparation : Tout sommet nouvellement créé qui tombe en dehors de la région cible est réparé à l'aide d'une mise à jour ciblée de DeepFool suivie d'une étape de bissection pour le projeter de nouveau dans la région.
4. Comparaison géométrique : Pour évaluer la complexité géométrique de la surface construite, les auteurs la comparent à un patch de Coons canonique (une interpolation géométrique standard des quatre courbes de frontière). Ils calculent le rapport entre la surface construite et la surface du patch de Coons ($\rho$).

Configuration expérimentale

• Ensembles de données et modèles : La méthode a été évaluée sur l'ensemble de validation ImageNet à travers six architectures diverses : ResNet-50, DenseNet-121, EfficientNet-B0, ConvNeXt-Tiny, ViT-B/16 et Swin-T.
• Portée : Pour chaque modèle, 1 000 boucles ont été construites (une pour chacune des 1 000 classes ImageNet), soit un total de 6 000 boucles et 24 000 images.
• Paramètres : Le seuil d'arrêt gris-RMS a été fixé à $\tau = 0,5$. Un paramétrage de réparation par défaut (50 itérations DeepFool) a été utilisé, avec un paramétrage plus fort (200 itérations) appliqué uniquement aux échecs initiaux.

Résultats clés

1. Succès universel : Sur l'ensemble des six modèles et des 6 000 boucles testées, la procédure a construit avec succès une surface de résolution finie préservant l'étiquette. Le taux de succès final était de 100 % après application du paramétrage de réparation plus fort aux quelques échecs initiaux.
2. Nécessité du raffinement adaptatif : Un diagnostic de « niveau racine » a montré que l'interpolation bilinéaire naïve (le quad initial sans subdivision) ne satisfaisait la contrainte d'étiquette que pour une minorité de boucles (allant de 6,9 % pour DenseNet-121 à 42,2 % pour Swin-T). Cela confirme que le mécanisme de subdivision adaptative et de réparation est essentiel.
3. Simplicité géométrique : Le rapport de surface $\rho$ entre la surface construite et le patch de Coons était concentré près de 1. Cela indique que les surfaces préservant l'étiquette sont géométriquement proches de l'interpolation naturelle de la frontière, plutôt que d'être fortement déformées ou convolutées.
4. Complexité du maillage : Le nombre de quads nécessaires pour remplir les boucles variait selon l'architecture. Les modèles basés sur des transformateurs (Swin-T, ViT-B/16) et ConvNeXt-Tiny nécessitaient significativement moins de quads (maillages plus petits) que ResNet-50 ou DenseNet-121, suggérant que leurs régions de décision sont localement plus plates ou plus cohérentes dans ces zones échantillonnées.

Signification et affirmations
L'article fournit de fortes preuves empiriques (à résolution finie) soutenant l'hypothèse selon laquelle les régions de décision dans les classificateurs d'images modernes sont non seulement connexes par arcs, mais aussi simplement connexes.

• Insight topologique : Les résultats suggèrent que les régions de décision sont organisées en structures globalement cohérentes où les boucles sont contractibles, remettant en cause l'idée que la vulnérabilité aux attaques adverses implique une fragmentation topologique globale.
• Limites : Les auteurs déclarent explicitement que ces résultats constituent des preuves empiriques à résolution finie, et non une preuve topologique formelle. La méthode vérifie des points échantillonnés à une échelle gris-RMS spécifique et ne peut exclure l'existence de trous plus petits ou de boucles non contractibles en dehors de la résolution testée ou de la famille de boucles examinée.
• Implications : Les résultats offrent une nouvelle image empirique des régions de décision des réseaux de neurones, suggérant que malgré la fragilité locale aux attaques adverses, la topologie globale de ces régions peut être étonnamment simple et bien comportée.

L'ouvrage ne prétend pas prouver la connexité simple pour tous les inputs possibles ou à résolution infinie, mais établit plutôt un motif robuste à travers des architectures diverses et l'espace complet des étiquettes ImageNet à la résolution testée.