Résumé Technique : MiniFool - Attaque Adversaire Basée sur un Minimiseur de Contraintes Physiques

Énoncé du Problème

En physique des particules et de l'astroparticule, les réseaux de neurones profonds (DNN) sont de plus en plus centraux dans l'analyse des données, particulièrement pour la classification d'événements en catégories de signal et de bruit de fond. Cependant, ces réseaux sont entraînés sur des simulations de Monte Carlo étiquetées, qui peuvent contenir une modélisation imparfaite des instruments expérimentaux. Une telle modélisation peut amener les réseaux à apprendre des caractéristiques non physiques, dégradant ainsi les performances lors de l'application aux données expérimentales réelles.

Les algorithmes d'attaque adversaire standard (ex: FGSM, PGD, DeepFool) sont conçus pour trouver les perturbations minimales permettant d'inverser une classification. Cependant, ces méthodes minimisent généralement des métriques de distance (comme $L_\infty$ ou $L_2$) sans tenir compte des incertitudes expérimentales ou des conditions limites physiques (ex: lois de conservation, signaux non négatifs). Par conséquent, les perturbations requises pour tromper un réseau via ces approches standard représentent souvent des événements de données physiquement impossibles. Cela rend l'interprétation statistique et physique des taux de succès des attaques difficile, voire impossible, dans le contexte de la physique expérimentale. Il existe un besoin pour une méthodologie d'attaque respectant les incertitudes expérimentales afin d'évaluer de manière robuste les décisions des réseaux et d'identifier les événements mal classés.

Méthodologie : L'algorithme MiniFool

Les auteurs présentent MiniFool, un nouvel algorithme qui implémente des attaques adversaires inspirées de la physique. Contrairement aux méthodes traditionnelles qui cherchent le changement absolument minimal des valeurs de pixels ou de caractéristiques, MiniFool minimise une fonction de coût qui équilibre le changement du score de classification cible avec la plausibilité physique de la perturbation, quantifiée par les incertitudes expérimentales.

Formulation Fondamentale

L'algorithme opère sur une tâche de classification avec $m$ classes. Étant donné une entrée $\vec{x}_0$ et un score cible $g$ (typiquement $g=0$ pour inverser une classification confiante), MiniFool cherche une entrée adversaire $\vec{x}_a$ qui minimise la métrique totale $\lambda$ :

$$\lambda(\vec{x}_0; \vec{x}_a; \vec{\theta}) = \eta(\vec{x}_0; \vec{x}_a) + \beta \cdot (f_{i^*}(\vec{x}_a; \vec{\theta}) - g)^2$$

Où :

• $\eta$ (Métrique d'Entrée) : Une norme $L_2$ au carré des écarts quadratiques moyens des caractéristiques perturbées par rapport aux caractéristiques originales, normalisée par l'incertitude expérimentale $\sigma_i$ de chaque caractéristique :
  $$\eta = \frac{1}{N} \sum_{i=1}^{N} \left( \frac{x_{0,i} - x_{a,i}}{\sigma_i} \right)^2$$
  Cette métrique est analogue à une statistique $\chi^2$. Elle peut être étendue aux caractéristiques corrélées en utilisant une matrice de covariance.
• Terme de Score Cible : La différence au carré entre la sortie du réseau pour la classe cible $f_{i^*}$ et le score souhaité $g$.
• $\beta$ : Un méparamètre ajustable (par défaut 1) pour repondérer les termes, utile si les sorties ne sont pas des probabilités normalisées.
• Paramètre d'Attaque ($s$) : Pour évaluer la robustesse, les incertitudes nominales $\vec{\sigma}_0$ sont mises à l'échelle par un scalaire $s$ ($\vec{\sigma} = s \cdot \vec{\sigma}_0$). En balayant $s$, on peut déterminer l'ampleur de l'incertitude nécessaire pour inverser une classification.

Optimisation

La minimisation est effectuée à l'aide de l'optimiseur Adam. Le processus est plus exigeant en calcul que les méthodes basées sur le signe du gradient, prenant quelques secondes par événement sur une station de travail, mais il produit des solutions statistiquement cohérentes avec les incertitudes expérimentales supposées. L'algorithme est implémenté à la fois sous TensorFlow et PyTorch.

Contributions Clés et Résultats

Le papier valide MiniFool à travers trois domaines distincts :

1. Classification de Chiffres MNIST (Mise en chauffe)

• Configuration : Un réseau de neurones à propagation avant standard entraîné sur des images en niveaux de gris de 28x28 (précision de plus de 98 %).
• Résultats :
  • MiniFool a réussi à inverser des classifications (ex: un "9" en "4") et à corriger des erreurs de classification (ex: un "9" mal classé en "8" corrigé en "9") avec des perturbations minimales.
  • Analyse de Robustesse : Lors du balayage du paramètre d'attaque $s$, les images mal classées ont montré une décroissance rapide des scores de confiance, tandis que les images correctement classées sont restées robustes jusqu'à des valeurs de $s$ beaucoup plus élevées. Cela confirme que les prédictions incorrectes sont moins robustes aux perturbations cohérentes avec les incertitudes des données.

2. Identification des Neutrinos Tau dans IceCube

• Contexte : Identifier les neutrinos tau astrophysiques ($\nu_\tau$) contre le bruit de fond des neutrinos électron ($\nu_e$) en utilisant des images 2D de motifs de lumière Cherenkov dans le détecteur IceCube.
• Configuration : Les attaques ont été appliquées à des événements simulés et à sept événements candidats réels identifiés dans une analyse de 2024. Les incertitudes ont été modélisées comme étant de 10 % de l'amplitude enregistrée.
• Résultats :
  • Pour les sept événements candidats réels, six nécessitaient un paramètre d'attaque $s \approx 10$ (impliquant une incertitude de 100 %) pour inverser la classification, indiquant une haute robustesse.
  • Un événement a été inversé à $s < 1$, suggérant qu'il s'agissait probablement d'un événement de bruit de fond mal classé.
  • Cette distinction concorde avec l'estimation du bruit de fond de 0,5 événement dans l'analyse originale, démontrant que MiniFool peut vérifier indépendamment la pureté des échantillons d'événements sélectionnés.

3. Étiquetage de B-Jet CMS

• Contexte : Identifier les jets provenant de quarks b en utilisant le réseau DeepJet de CMS sur les données ouvertes de CMS.
• Configuration : Le réseau traite plus de 600 quantités d'entrée. En raison de la difficulté à quantifier les incertitudes spécifiques pour toutes les entrées, un modèle simplifié a été utilisé où toutes les incertitudes ont été fixées à l'unité et mises à l'échelle par $s$.
• Résultats :
  • Test de Stress : L'Aire Sous la Courbe (AUC) a chuté de 0,932 (nominal) à 0,752 à mesure que $s$ augmentait. Une dégradation significative a commencé à $s = 3 \times 10^{-4}$.
  • Balayage de Robustesse : Pour un sous-ensemble de 200 jets avec une confiance initiale élevée ($P \ge 87 \%$), les jets correctement classés nécessitaient des valeurs de $s$ nettement plus grandes pour être inversés par rapport aux jets initialement mal classés.
  • Cela confirme la généralisabilité de l'algorithme aux données de physique des particules de haute dimension et hétérogènes.

Signification et Revendications

Le papier affirme que MiniFool fournit un moyen physiquement significatif de tester la robustesse des décisions des réseaux de neurones en physique des particules. Sa principale importance réside dans :

1. Plausibilité Physique : En incorporant les incertitudes expérimentales dans la fonction de coût, les perturbations résultantes représentent des variations de données physiquement possibles, contrairement aux attaques standard qui peuvent générer des artefacts non physiques.
2. Évaluation de la Robustesse : La capacité de balayer le paramètre d'attaque $s$ permet aux chercheurs de quantifier l'incertitude expérimentale qu'une classification peut supporter avant de faillir. Cela sert de métrique pour la fiabilité de la classification d'événements individuels.
3. Détection de Mauvais Classement : La méthode distingue systématiquement les événements correctement et incorrectement classés ; les événements mal classés sont "inversibles" avec des échelles d'incertitude plus petites que les classifications correctes et robustes.
4. Applicabilité Générale : L'algorithme n'est pas limité à un détecteur ou un type de données spécifique, comme le démontre son succès sur les données d'images (MNIST), les données de détecteur en séries temporelles/2D (IceCube) et les données cinématiques de haute dimension (CMS).

Les auteurs notent que bien que l'implémentation actuelle soit plus lente que les attaques basées sur le gradient, elle offre un outil unique pour valider les analyses de physique. Ils suggèrent que les travaux futurs devraient se concentrer sur l'application de modèles d'incertitude plus complexes et réalistes, et explorer l'intégration de cette méthode dans le processus d'entraînement (entraînement adversaire), bien que les coûts de calcul actuels limitent cela à des ensembles de données plus restreints.