Robustness of neural networks to random noise perturbations of their inputs

Résumé technique : Robustesse des réseaux de neurones face aux perturbations de bruit aléatoire de leurs entrées

Énoncé du problème
L'article traite de l'évaluation de la robustesse des réseaux de neurones (RN), plus précisément de la stabilité des prédictions lorsque les valeurs d'entrée sont perturbées par un bruit aléatoire. Bien que l'exactitude (mesurée via l'erreur quadratique moyenne, MSE, ou le score de Brier multiclasse, MBS) soit une métrique standard de la qualité d'un modèle, elle ne tient pas compte de la stabilité dans des conditions telles qu'un bruit gaussien aléatoire. Les auteurs notent un compromis connu où l'augmentation de l'exactitude peut diminuer la robustesse. La recherche existante se concentre souvent sur la modification des poids du réseau ou est limitée aux problèmes de classification ; ce travail traite le RN entraîné comme une « boîte noire » et se concentre sur les perturbations d'entrée pour les tâches de régression et de classification.

Méthodologie
L'approche proposée implique une méthodologie en trois étapes :

1. Perturbation et mesure de robustesse ($\theta$-robustesse) :
   Les auteurs définissent une mesure de robustesse, $\theta$, pour un RN entraîné étant donné un écart-type $\sigma$ et un niveau de signification $\alpha$. La mesure $\rho(\sigma, \alpha, NN)$ représente la limite supérieure de la MSE (ou du MBS) du réseau sous une perturbation d'entrée $\epsilon \sim N(0, \sigma^2)$ avec une probabilité de $1-\alpha$.

   • Calcul : Ceci est approximé par une méthode de Monte Carlo (Algorithme 1). L'algorithme génère $m$ vecteurs de bruit aléatoires, calcule la MSE résultante pour chacun, les trie, et sélectionne la valeur au $(1-\alpha)m$-ième percentile comme limite de robustesse $\theta$.
   • Gestion des entrées : Pour les ensembles de données réels présentant des types de caractéristiques mixtes, la méthode ne perturbe que les caractéristiques numériques. La variance du bruit pour une caractéristique numérique spécifique est mise à l'échelle par son écart-type empirique. Une probabilité $p$ détermine si une caractéristique numérique spécifique d'un élément de donnée est perturbée.

2. Courbes de robustesse :
   Pour visualiser la relation entre l'ampleur de la perturbation et l'erreur, les auteurs introduisent des « courbes de robustesse ». Celles-ci tracent le ratio de robustesse normalisé $\rho(\sigma, \alpha, NN) / \text{MSE}_0$ (où $\text{MSE}_0$ est l'erreur de base) par rapport à l'écart-type du bruit $\sigma$. Cette normalisation permet une comparaison indépendante de l'échelle entre différents ensembles de données.

3. Modélisation avec la fonction de Gompertz :
   Les courbes de robustesse sont ajustées à une fonction de Gompertz à quatre paramètres, une courbe sigmoïde utilisée pour les phénomènes de croissance et de saturation. L'ajustement est évalué à l'aide du coefficient de détermination ($R^2$). Les points clés de la courbe sont identifiés :

   • Point de genou (Knee Point) : Le point de courbure maximale avant l'inflexion, marquant la fin du régime linéaire où l'erreur croît lentement.
   • Point d'inflexion : Le point de taux de croissance maximal.
   • Pente à demi-maximum : Un seuil intermédiaire.

   Sur la base de ces ajustements, les auteurs définissent un Indice de robustesse ($G_i$). En normalisant les courbes de Gompertz pour supprimer les asymptotes verticales, ils comparent le « taux de croissance » ($b$) et le « point d'inflexion » ($c$) de différents ensembles de données. Un indice de robustesse relatif ($R_{ij}$) est calculé pour déterminer la fraction de l'intervalle $[0, 1]$ où une courbe se situe en dessous d'une autre (indiquant une erreur plus faible et une robustesse plus élevée).

Configuration expérimentale et résultats
La méthode a été validée sur cinq ensembles de données réels :

• Régression : « Décès dus au cancer » et « Taux de vaccination contre la grippe » (petits ensembles de données, $n=31$).
• Classification : « Maladie cardiaque », « Cancer du sein diagnostique du Wisconsin » et « MNIST » (chiffres manuscrits).

Des réseaux de neurones à propagation avant (FNN) ont été entraînés sur ces ensembles de données. Les auteurs ont vérifié que leur performance de base (MSE, RMSE, scores F1) était comparable aux standards de la littérature.

• Ajustement de courbe : La fonction de Gompertz a fourni d'excellents ajustements pour tous les ensembles de données ($R^2 > 0,99$), confirmant la dégradation de la performance en forme de S à mesure que le bruit augmente.
• Analyse de seuil : Pour les tâches de régression, les auteurs ont constaté qu'un seuil défini par l'utilisateur de deux fois la MSE de base ($y=2$) était une métrique sensible pour la robustesse. Pour les tâches de classification, le « point de genou » de la courbe était plus approprié.
• Hiérarchie de robustesse : En utilisant l'indice de robustesse calculé ($G_i$), les ensembles de données ont été classés par robustesse. L'ensemble de données « Décès dus au cancer » a produit le modèle le plus robuste ($G_1 = 0,9866$), suivi de « Taux de vaccination contre la grippe », « Cancer du sein », « Maladie cardiaque », et enfin « MNIST » ($G_5 = 0,1708$). La hiérarchie résultante est :
  $$\text{Décès dus au cancer} > \text{Taux de vaccination contre la grippe} > \text{Cancer du sein} > \text{Maladie cardiaque} > \text{MNIST}$$

Signification et revendications
L'article prétend fournir une méthode simple, efficace et de type « boîte noire » pour quantifier la robustesse des réseaux de neurones sans nécess avoir recours aux poids internes ou à des modifications d'architecture. Les principales contributions incluent :

1. Une borne supérieure probabiliste : Une méthode pour estimer une limite supérieure de la MSE/MBS sous un bruit gaussien avec un niveau de confiance spécifié.
2. Courbes de robustesse : Un outil de visualisation pour analyser la dégradation de la performance du modèle à mesure que le bruit augmente, révélant les régimes linéaires et les points de saturation.
3. Métrique comparative : L'introduction d'un indice de robustesse basé sur les paramètres de la courbe de Gompertz, permettant la comparaison quantitative de la robustesse entre différents ensembles de données et modèles.

Les auteurs concluent que bien que leur méthode soit efficace pour les ensembles de données testés, des travaux futurs devront la valider sur d'autres ensembles de données et étendre le concept de robustesse aux modèles génératifs comme les auto-encodeurs variationnels (VAE). Ils précisent explicitement que la méthode est également valide pour d'autres algorithmes d'apprentissage automatique, à condition qu'ils puissent être traités comme des boîtes noires déterministes une fois entraînés.