Mechanistic Anomaly Detection via Functional Attribution

1. Problématique : La limite de la détection d'anomalies actuelles

Le déploiement sécurisé des réseaux de neurones se heurte à une difficulté fondamentale : il est possible de vérifier la justesse d'une sortie par rapport à une vérité terrain (ground truth), mais il est impossible de déterminer de manière fiable si cette sortie a été générée par des mécanismes internes normaux ou anormaux.

• Le défi : Un modèle peut produire une sortie correcte (ex: "avion") soit en reconnaissant les caractéristiques réelles de l'objet, soit en réagissant à un déclencheur (trigger) de porte dérobée (backdoor) ou à une perturbation adversaire. Les méthodes actuelles de détection d'anomalies mécaniques (MAD) souffrent de deux limites majeures :
  1. Dépendance à l'espace latent : La plupart des méthodes analysent les activations internes (espaces latents). Or, un adversaire peut concevoir des entrées qui exécutent un comportement malveillant tout en imitant les motifs d'activation normaux, contournant ainsi ces défenses (obfuscation).
  2. Spécificité architecturale : De nombreuses solutions sont conçues pour des architectures ou des modalités (vision, langage) spécifiques, limitant leur généralisation.

L'objectif est donc de détecter les cas où le modèle repose sur un traitement interne anormal, même si la sortie finale semble correcte.

2. Méthodologie : L'attribution fonctionnelle via les fonctions d'influence

Les auteurs reformulent le problème de détection d'anomalies mécaniques comme un problème d'attribution fonctionnelle. Au lieu de chercher des motifs dans les activations, ils demandent : "Dans quelle mesure un ensemble de données de confiance (trusted set) peut-il expliquer le comportement du modèle sur un échantillon de test ?"

Principes clés :

• Fonctions d'influence (Influence Functions) : L'idée centrale est d'utiliser les fonctions d'influence pour mesurer la dépendance fonctionnelle entre un échantillon de test et un ensemble de référence de confiance. Si un échantillon de test (anormal) partage les mêmes mécanismes internes qu'un échantillon de confiance, leurs pertes (loss) réagiront de manière similaire aux perturbations des paramètres du modèle.
• Approche Bayésienne et SGLD : Pour les grands réseaux de neurones, le calcul classique des fonctions d'influence (inversion de la Hessienne) est impossible. Les auteurs utilisent une approche bayésienne basée sur l'échantillonnage du postérieur localisé via la dynamique de Langevin à gradient stochastique (SGLD).
  • On échantillonne des paramètres $w_t$ autour des poids entraînés $w^*$.
  • On trace les courbes de perte (loss traces) pour les échantillons de confiance et les échantillons de test.
  • Signal de détection : Pour les échantillons "propres" (clean), les pertes sont fortement corrélées avec celles des données de confiance. Pour les échantillons anormaux (backdoor, OOD, adversarial), la corrélation est faible car ils reposent sur des mécanismes internes distincts.

Justification Théorique :

L'article fournit une justification géométrique basée sur les propriétés spectrales de la Hessienne :

• Les mécanismes normaux opèrent dans les directions "raides" (sharp) de la fonction de perte, où les paramètres sont sensibles.
• Les mécanismes anormaux (comme les backdoors furtifs) doivent se concentrer dans les directions "plates" (flat) pour ne pas dégrader la performance sur les données normales.
• Les gradients des échantillons normaux et anormaux sont donc orthogonaux dans l'espace pondéré par la covariance du postérieur, ce qui entraîne une faible corrélation détectable.

3. Contributions Principales

1. Reformulation du problème : Transformation de la détection d'anomalies mécaniques en un problème d'attribution fonctionnelle vers des données de confiance, évitant ainsi l'analyse des espaces latents.
2. Adaptation des fonctions d'influence : Développement d'une méthode d'estimation scalable pour la détection en temps d'exécution (test-time) sans accès aux données d'entraînement ni aux labels de vérité terrain pour les échantillons de test.
3. Preuve théorique : Analyse de l'éventail des valeurs propres (eigenspectrum) de la Hessienne montrant que l'énergie des gradients des échantillons anormaux se concentre dans les directions plates, rendant leur détection possible par corrélation.
4. Performance supérieure : Démonstration d'une capacité à détecter divers types d'anomalies (backdoors, OOD, adversariaux) et à distinguer plusieurs mécanismes anormaux au sein d'un même modèle.

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur des modèles de vision (CIFAR-10, CIFAR-100, GTSRB, Tiny-ImageNet) et de langage (Gemma 2-2B, Llama 3.1 8B).

Détection de Backdoors (Vision) :

• Sur le benchmark BackdoorBench, la méthode atteint un taux d'efficacité de défense (DER) moyen de 0,93 sur sept attaques et quatre jeux de données.
• Cela représente une amélioration significative par rapport à la meilleure méthode de base (0,83), avec un gain de 0,095 sur le DER à un taux d'empoisonnement de 5%.
• La méthode reste robuste même à de très faibles taux d'empoisonnement (0,1%).

Détection de Backdoors (Langage) :

• Sur des modèles de langage, la méthode obtient un AUROC > 0,98 (proche de 1,0) pour divers types de backdoors, y compris des déclencheurs complexes et contextuels.
• Résistance à l'obfuscation : Contrairement aux méthodes basées sur l'espace latent (Mahalanobis, VAE, TED) qui échouent face aux modèles explicitement obfusqués (où les activations sont rendues indistinguables), la méthode proposée maintient une détection parfaite (AUROC = 1,0). Elle ne dépend pas des motifs d'activation mais de la structure fonctionnelle.

Détection d'autres pathologies :

• La méthode distingue efficacement les échantillons hors distribution (OOD) et les exemples adversariaux des échantillons propres.
• Elle peut séparer plusieurs mécanismes anormaux distincts au sein d'un même modèle (ex: un modèle avec deux backdoors différents produisant des réponses différentes).

5. Signification et Impact

Ce travail établit l'attribution fonctionnelle comme un outil puissant et agnostique au modalité pour la détection d'anomalies en temps d'exécution.

• Sécurité et Alignement : La capacité à détecter si un modèle "raisonne normalement" ou utilise un mécanisme caché est cruciale pour la sécurité des systèmes d'IA déployés, en particulier dans des domaines à haut risque.
• Complémentarité : Cette approche offre un signal de détection décorrélaté des méthodes basées sur l'espace latent. L'avenir pourrait voir des ensembles (ensembles) combinant les deux approches pour une défense plus robuste.
• Limites : Le coût computationnel est plus élevé que les méthodes basées sur l'espace latent (nécessite plusieurs passes avant et calculs de gradients pour l'échantillonnage SGLD), bien que des optimisations (réduction du nombre de tirages) soient possibles. De plus, la méthode nécessite un petit ensemble de données de confiance dont on est certain qu'elles utilisent des mécanismes normaux.

En résumé, cette recherche propose une nouvelle lentille pour la surveillance des modèles d'IA, passant de l'observation de ce que le modèle produit (sortie/activation) à l'analyse de comment il le produit (mécanismes internes), offrant ainsi une protection contre des attaques sophistiquées qui échappent aux défenses traditionnelles.