Résumé Technique : Mesurer la Robustesse des Modèles via l'Information de Fisher

1. Énoncé du Problème

Les réseaux de neurones profonds (DNN) sont de plus en plus déployés dans des applications critiques pour la sécurité, pourtant leur vulnérabilité aux perturbations adverses demeure une menace significative. Les méthodes existantes d'évaluation de la robustesse souffrent de deux limitations principales :

1. Dépendance aux Attaques : Les métriques empiriques (ex. PGD, AutoAttack) reposent sur des algorithmes adverses spécifiques. Elles sont coûteuses en calcul, sensibles aux hyperparamètres et ne parviennent pas à révéler les propriétés intrinsèques du modèle ou à se généraliser à des modèles de menaces inconnus.
2. Manque d'Interprétabilité et de Scalabilité : Les bornes dérivées théoriquement (ex. constantes de Lipschitz, scores CLEVER) sont souvent agnostiques aux attaques mais manquent d'interprétation probabiliste. De plus, elles sont difficiles à adapter aux architectures modernes comme les Transformers en raison de frontières floues ou d'une complexité computationnelle exponentielle.

Il existe un fossé critique pour un cadre unifié et interprétable qui connecte la sensibilité géométrique avec l'incertitude statistique afin de fournir une métrique de robustesse agnostique aux attaques.

2. Méthodologie

Fondement Théorique : La FIM comme Métrique de Robustesse

Les auteurs proposent un cadre fondé sur la géométrie de l'information-théorique. Ils établissent une connexion fondamentale entre la divergence de Kullback-Leibler (KL) des distributions de sortie et la Matrice d'Information de Fisher (FIM).

• Théorème 1 : La divergence KL entre deux distributions conditionnelles $p(y|x)$ et $p(y|x')$ est approximativement égale à la moitié de la distance de Mahalanobis entre les entrées, où la matrice de covariance est l'inverse de la FIM.
  $$KL(p(y|x), p(y|x')) \approx \frac{1}{2}\delta^T F(x) \delta$$
  où $\delta = x' - x$. Cela implique que la direction de la divergence KL maximale (perturbation la plus défavorable) s'aligne avec l'vecteur propre principal de la FIM.

• Théorème 2 : Pour un modèle de classification avec une couche de sortie softmax, la FIM est équivalente à la variance de la matrice Jacobienne d'entrée, pondérée par les probabilités prédictives du modèle :
  $$F(x) = \text{var}(J_f(x))$$
  Ceci révèle que la FIM capture non seulement la sensibilité géométrique (via la Jacobienne) mais aussi la confiance statistique du modèle. Une variance élevée dans les directions de gradient pondérée par une faible confiance indique une haute vulnérabilité.

Définition de la Métrique de Robustesse

Basée sur la norme spectrale de la FIM, $\|F(x)\|_2$ (la plus grande valeur propre), les auteurs définissent deux métriques pour un ensemble de données $S$ :

1. $R_{norm}(S)$ : La norme spectrale moyenne, corrélée positivement avec la vulnérabilité.
2. $R_{spec}(S)$ : L'inverse de la norme spectrale moyenne, servant de score de robustesse.

Bornes Théoriques et Analyse Architecturale

Le papier dérive des bornes supérieures en forme close pour les composants architecturaux courants (Tableau 1) et analyse leur propagation à travers les réseaux profonds (Tableau 2) :

• Composants de Base : ReLU et le Max Pooling ont une norme spectrale de 1 (propagation équidistante). L'Average Pooling réduit la norme ($1/k$). La Normalisation de Batch/Layer peut amplifier ou supprimer les perturbations selon les facteurs d'échelle. Les couches linéaires (Conv/FC) sont les principales sources d'amplification de perturbation.
• Classement Architectural : En analysant le produit des bornes des composants, les auteurs dérivent un classement de robustesse théorique pour les architectures communes :
  $$\text{DenseNet121} \lesssim \text{VGG16} \lesssim \text{ResNet18} \lesssim \text{ViT-B-16}$$
  Cela suggère que les architectures dotées de connexions résiduelles et de mécanismes d'attention (comme ViT) possèdent intrinsèquement des bornes de norme spectrale inférieures par rapport aux CNN denses ou classiques.

Algorithmes Scalables

Pour remédier au coût de calcul de l'estimation de la norme spectrale de la FIM de dimension $d \times d$ (où $d$ est la dimension d'entrée), les auteurs exploitent la structure de rang faible de la FIM ($F(x) = Q\Lambda Q^T$, où le rang $\le K$, le nombre de classes). Ils proposent trois algorithmes :

1. Décomposition en valeurs propres directe : Adaptée aux petites valeurs de $K$. Complexité : $O(dK^2 + K^3)$.
2. Itération de puissance (Power Iteration) : Efficace pour les modèles à échelle moyenne. Elle exploite la structure $Q(\Lambda(Q^T b))$ pour éviter la construction explicite de la matrice. Complexité : $O(TdK)$.
3. Approximation de Hutchinson : Conçue pour les contextes à grande échelle et "boîte noire". Elle estime la valeur propre principale en utilisant des vecteurs aléatoires (Gaussiens ou de Rademacher) et des différences finies pour l'estimation du gradient dans les scénarios de boîte noire. Complexité : $O(MdK)$.

3. Contributions Clés

1. Première Métrique de Robustesse basée sur la FIM : Propose une métrique agnostique aux attaques, interprétable, basée sur la norme spectrale de la FIM, fournissant une mesure directe de la sensibilité dans le pire des cas, ancrée dans la théorie probabiliste.
2. Classement de Robustesse Théorique : Dérive des bornes spectrales en forme close pour les composants communs et fournit le premier classement de robustesse théorique pour les architectures VGG, ResNet, DenseNet et Transformer.
3. Algorithmes Scalables : Conçoit des algorithmes efficaces (Itération de puissance, Hutchinson) qui supportent les évaluations en boîte blanche (white-box) et boîte noire (black-box).
4. Validation Empirique : Valide de manière extensive la métrique à travers plusieurs jeux de données (CIFAR, ImageNet, Médical) et architectures, démontrant une forte corrélation avec la vulnérabilité adversaire.

4. Résultats Expérimentaux

• Corrélation avec les Attaques : Les expériences montrent une forte corrélation entre la norme spectrale FIM proposée et les métriques basées sur les attaques (PGD, CW, CLEVER). Par exemple, les modèles ayant des normes spectrales FIM plus faibles présentent généralement une plus grande robustesse face aux attaques PGD et CW.
• Cohérence Architecturale : Les classements empiriques sur des jeux de données comme CIFAR-10 s'alignent largement sur les bornes théoriques, confirmant que DenseNet est moins robuste et ViT est plus robuste parmi les modèles testés.
• Capacité Boîte Noire : Le cadre estime avec succès la robustesse dans les contextes de boîte noire en utilisant des différences finies, produisant des classements cohérents avec les évaluations en boîte blanche.
• Stabilité : Les métriques basées sur la FIM présentent une variance plus faible entre différents échantillons de données par rapport aux taux de succès d'attaques discrets (PGD/CW), qui fluctuent considérablement en raison de leur nature non différentiable.
• Efficacité Computationnelle : Bien qu'un peu plus lente que les estimations Lipschitz ou CLEVER en raison du besoin d'informations de second ordre (variance), les algorithmes proposés sont nettement plus efficaces que l'exécution d'attaques adverses complètes (ex. PGD) et fournissent des informations diagnostiques plus riches.

5. Signification et Impact

Le papier affirme faire progresser la compréhension théorique et l'évaluation pratique de la robustesse des modèles en :

• Unifiant les Perspectives : En reliant la sensibilité géométrique (Jacobienne) et l'incertitude probabiliste (FIM) dans un cadre unique et interprétable.
• Utilité Diagnostique : En servant d'outil pour expliquer pourquoi un modèle est vulnérable (ex. une variance élevée dans les directions de gradient) plutôt que simplement comment il est robuste sous une attaque spécifique.
• Sélection de Modèles : En offrant une méthode fondée pour comparer les architectures et sélectionner des modèles dotés d'une robustesse intrinsèque, réduisant ainsi la dépendance aux tests adverses empiriques coûteux.
• Applications Critiques pour la Sécurité : En fournissant une métrique qui ne dépend pas d'algorithmes d'attaque spécifiques, aidant ainsi à la conception de modèles plus fiables pour les systèmes autonomes, la santé et la finance.

Les auteurs notent des limitations, notamment la dépendance aux données (la métrique reflète les propriétés du modèle et des données) et la surcharge de calcul pour les modèles extrêmement larges (ex. les LLM à des milliards de paramètres), suggérant des travaux futurs sur des bornes indépendantes des jeux de données et l'échantillonnage distribué.