💻 computer science

NeuroTrace: Inference Provenance-Based Detection of Adversarial Examples

Le papier présente NeuroTrace, un cadre et un jeu de données open source qui utilisent des graphes de provenance d'inférence pour détecter efficacement et de manière transférable les exemples adversariaux en analysant le flux d'information et la structure d'exécution des réseaux de neurones profonds.

Auteurs originaux : Firas Ben Hmida, Philemon Hailemariam, Kashif Ali Khan, Birhanu Eshete

Publié 2026-04-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Firas Ben Hmida, Philemon Hailemariam, Kashif Ali Khan, Birhanu Eshete

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ L'Enquête : Comment NeuroTrace traque les menteurs des IA

Imaginez que vous avez un détective très intelligent (une Intelligence Artificielle ou IA) qui regarde des photos pour dire si c'est un chat ou un chien. Ce détective est très fort, mais il est aussi un peu mystérieux : on ne sait pas exactement comment il prend ses décisions à l'intérieur de sa tête.

Le problème, c'est que des pirates informatiques (les "adversaires") peuvent modifier subtilement une photo (ajouter un peu de bruit invisible) pour tromper le détective. Par exemple, ils peuvent faire croire à l'IA qu'un chien est un chat. C'est ce qu'on appelle un exemple antagoniste.

Jusqu'à présent, pour détecter ces tricheurs, on regardait seulement la "réponse finale" du détective ou ce qu'il voyait dans une seule partie de son cerveau. C'est un peu comme essayer de savoir si quelqu'un ment en ne regardant que son sourire, sans écouter sa voix ni voir ses mains qui tremblent.

NeuroTrace change la donne. Au lieu de regarder seulement la réponse, il enregistre tout le parcours de la pensée du détective.

🗺️ L'Analogie : La Carte du Voyage (Le "Graphique de Preuve")

Pour comprendre comment fonctionne NeuroTrace, imaginez que l'IA est une gare de train géante.

Le voyage normal (Image innocente) :
Quand une photo de chat arrive, le train suit un itinéraire bien connu. Il passe par les quais A, B et C, les portes s'ouvrent dans un ordre logique, et les passagers (les données) circulent fluidement. C'est un trajet prévisible et sain.
Le voyage truqué (Image piratée) :
Quand un pirate modifie la photo, il ne change pas seulement la destination finale. Il force le train à prendre des raccourcis étranges, à sauter des quais, ou à faire des détours inutiles. Le train s'emballe, les portes s'ouvrent au mauvais moment, et le trajet devient chaotique.

NeuroTrace, c'est le système qui dessine une carte en temps réel de chaque voyage.

Il note : "Le train est passé par le quai 3, puis a sauté directement au quai 7, en ignorant le quai 4."
Il crée une carte de provenance (un graphique) qui montre exactement comment l'information a voyagé à travers le cerveau de l'IA.

🛠️ Comment ça marche ? (Les 3 étapes de NeuroTrace)

L'équipe de chercheurs a créé un outil appelé NeuroTrace qui fait trois choses principales :

L'Enregistrement (L'Extraction) :
Ils ont installé des "caméras de surveillance" (des petits capteurs) à l'intérieur de l'IA. À chaque fois que l'IA regarde une image, ces caméras enregistrent chaque étape du raisonnement. Elles ne regardent pas juste le résultat, mais comment l'IA est arrivée là.
Le Dessin de la Carte (Le Graphique) :
Toutes ces données brutes sont transformées en une carte structurée (un graphique complexe). Sur cette carte :
- Les points sont les différentes parties du cerveau de l'IA qui se sont activées.
- Les lignes montrent comment l'information est passée d'un point à l'autre.
- Si l'image est normale, la carte ressemble à un réseau routier fluide.
- Si l'image est truquée, la carte ressemble à un labyrinthe cassé ou à un réseau de routes qui ne mènent nulle part.
Le Détective (La Détection) :
Ils entraînent un autre petit détective (une IA spécialisée) à lire ces cartes. Ce détective apprend à dire : "Tiens, cette carte a des lignes qui ne devraient pas exister. C'est sûrement un pirate !"

🌍 Pourquoi c'est révolutionnaire ?

Les chercheurs ont testé leur méthode sur deux mondes très différents :

Les images (reconnaître des chats et des chiens).
Les logiciels malveillants (détecter des virus informatiques).

Le résultat magique ?
Le détective de NeuroTrace fonctionne si bien qu'il peut reconnaître un pirate même s'il n'a jamais vu ce type de piratage auparavant.

C'est comme si vous appreniez à un garde à reconnaître un voleur par sa façon de marcher (son "style de mouvement"), plutôt que par son visage. Même si le voleur change de costume ou de masque, sa démarche reste suspecte.
De même, peu importe comment le pirate a modifié l'image (avec une méthode A, B ou C), le "chemin de pensée" de l'IA reste bizarre et trahi par la carte.

⚖️ Les Avantages et les Inconvénients

✅ Les points forts :

C'est robuste : Ça marche même si le pirate essaie de se cacher.
C'est transparent : On ne se contente pas de dire "C'est faux", on a la carte complète pour prouver pourquoi c'est faux. C'est comme avoir la vidéo de la caméra de surveillance en plus du rapport de police.
C'est universel : Ça marche sur les images et sur les virus informatiques.

⚠️ Les limites :

C'est un peu lent : Dessiner cette carte détaillée prend un peu plus de temps que de simplement regarder l'image. Pour l'instant, c'est parfait pour vérifier des dossiers importants ou faire de l'analyse après coup, mais peut-être pas encore assez rapide pour arrêter un pirate en temps réel sur un téléphone portable.

🎯 En résumé

NeuroTrace est comme un enregistreur de vol noir pour les intelligences artificielles. Au lieu de se fier uniquement à la destination finale (la réponse de l'IA), il analyse tout le trajet. S'il voit que le trajet a fait des détours bizarres, il sait immédiatement que quelqu'un a tenté de pirater le système.

C'est une étape majeure vers des IA plus transparentes, plus sûres et plus faciles à auditer, car nous ne sommes plus obligés de deviner ce qui se passe dans leur "tête" noire.

1. Problématique

Les réseaux de neurones profonds (DNN) sont souvent opaques lors de l'inférence, ce qui limite la capacité à détecter et diagnostiquer des manipulations malveillantes d'entrées, telles que les exemples adverses.

Limites des approches existantes : La plupart des méthodes de détection actuelles reposent sur des signaux locaux à une couche (logits, gradients, cartes de saillance). Ces approches traitent les composants du modèle de manière isolée et échouent à capturer la propagation de l'information à travers les différentes couches du réseau.
Hypothèse de travail : Les perturbations adverses ne se limitent pas à modifier localement des activations ; elles induisent des perturbations systémiques dans le flux d'information global du réseau. L'hypothèse est que la "provenance de l'inférence" (la trace structurée de l'exécution) contient des signaux détectables et transférables, indépendamment du mécanisme d'attaque spécifique.

2. Méthodologie : Le Framework NeuroTrace

Les auteurs proposent NeuroTrace, un cadre unifié pour extraire, représenter et analyser la provenance de l'inférence via des Graphes de Provenance d'Inférence (IPG - Inference Provenance Graphs).

A. Extraction des IPG

Le processus transforme l'exécution d'un modèle (inférence) en un graphe hétérogène structuré :

Instrumentation : Utilisation de "hooks" (crochets) PyTorch pour intercepter les activations lors du passage avant (forward pass).
Construction des Nœuds : Chaque nœud représente une activation intermédiaire (neuron, canal, ou carte de caractéristiques). Les nœuds sont filtrés par un seuil d'activation ( $\tau$ $τ$ ) pour ne garder que les chemins computationnels actifs.
- Attributs : Statistiques d'activation (moyenne, norme L2, sparsité), masque d'activation, métadonnées (index de couche, type).
Construction des Arêtes : Les arêtes encodent les dépendances computationnelles entre les activations de différentes couches.
- Attributs : Pour les couches paramétriques (convolutions, linéaires), les poids appris sont utilisés. Pour les opérations non paramétriques (pooling, normalisation), la connectivité structurelle est encodée.
Représentation : Les IPG sont stockés sous forme de graphes hétérogènes (nœuds et arêtes de types différents) compatibles avec les GNN (Graph Neural Networks).

B. Détection via GNN

Un classifieur basé sur un GNN (GraphSAGE) est entraîné pour analyser ces graphes.
Le modèle apprend à distinguer les graphes générés par des entrées bénignes de ceux générés par des exemples adverses, en exploitant les dépendances inter-couches et la structure globale du flux d'information.

3. Contributions Clés

La Provenance d'Inférence comme Signal de Détection : Formalisation de l'inférence sous forme de graphe pour capturer des dépendances inter-couches inaccessibles aux méthodes locales.
Framework NeuroTrace : Un pipeline d'extraction reproductible (PyTorch) qui instrumente n'importe quel modèle sans adaptation spécifique majeure, générant des graphes hétérogènes standardisés.
Dataset et Benchmark NeuroTrace-IPG : Publication d'un jeu de données multi-domaines couvrant :
- Vision : Classification CIFAR-10 (Modèle ResNet-20) avec 6 types d'attaques (blanches et noires).
- Malware : Détection de logiciels malveillants (modèles Cuckoo-DNN et EMBER-DNN) avec des attaques dans l'espace des fonctionnalités.
- Le dataset inclut des schémas standardisés et des métadonnées pour la recherche reproductible.
Preuve de Transférabilité : Démonstration que les détecteurs entraînés sur un sous-ensemble d'attaques généralisent efficacement à des attaques non vues et entre différents modèles de menaces (blanc/noir).

4. Résultats Expérimentaux

Les évaluations ont été menées sur trois protocoles : intra-attaque, multi-attaque, et transfert de menace.

Performance Intra-Attaque :
- Sur CIFAR-10, NeuroTrace atteint une précision (Accuracy) supérieure à 96% et un AUC proche de 1.0 pour toutes les attaques (FGSM, PGD, AutoAttack, SPSA, etc.), tant en mode boîte blanche que boîte noire.
- Sur les modèles de malware, la séparation est parfaite (100%) pour les attaques testées (Emb-att, Bit-Flip).
Entraînement Multi-Attaque :
- Un seul détecteur entraîné sur un mélange de toutes les attaques maintient des performances saturées (>99% d'Accuracy) sur chaque type d'attaque testé individuellement.
Transfert de Menace (Cross-Threat) :
- Entraînement sur des attaques "boîte blanche" et test sur des attaques "boîte noire" (et vice-versa) : Les performances restent très élevées (Accuracy > 96%, AUC > 99%). Cela prouve que la provenance capture des déviations structurelles communes à tous les types d'attaques.
Comparaison avec l'État de l'Art :
- NeuroTrace surpasse systématiquement CIGA (Critical Inference Graphs), la meilleure baseline basée sur les graphes disponible, avec des gains significatifs sur des attaques comme PGD et APGD.

5. Coûts et Limitations

Coût de Calcul : L'extraction des IPG ajoute une surcharge. Pour un modèle de vision moyen (ResNet-20), l'extraction prend environ 15 à 25 ms par échantillon (sur GPU V100). Pour les modèles de malware, c'est plus rapide (5-10 ms).
Stockage : La taille des graphes sérialisés varie de 0.5 à 2 Mo par échantillon (vision) et moins pour le malware.
Limites :
- Le coût actuel rend le déploiement en temps réel difficile pour les architectures très larges sans compression.
- Les évaluations n'incluent pas encore d'attaques adaptatives conçues spécifiquement pour contourner le détecteur de provenance.
- Les résultats sur le malware couvrent moins de familles d'attaques que ceux sur la vision.

6. Signification et Impact

Ce travail établit que la provenance d'inférence est un signal robuste et transférable pour la détection d'exemples adverses.

Transparence : NeuroTrace offre une représentation structurée et auditable du comportement du modèle, dépassant l'analyse locale des activations.
Généralisation : La capacité à détecter des attaques inconnues en se basant sur la structure de l'exécution suggère que les perturbations adverses laissent une "empreinte digitale" systémique dans le réseau.
Utilité Pratique : Bien que le coût de calcul limite actuellement son usage au temps réel strict, le framework est idéal pour l'audit hors ligne, l'analyse forensique, la réponse aux incidents et les systèmes à haute assurance où la latence supplémentaire est acceptable.

En résumé, NeuroTrace déplace le paradigme de la détection d'attaques de l'analyse des résultats ou des activations locales vers l'analyse de la trajectoire computationnelle globale, offrant une nouvelle voie pour construire des systèmes d'apprentissage automatique plus transparents et résilients.